網頁python模塊

① python中都有哪些模塊呢

os模塊
os.getcwd() # 獲取當前工作目錄，即當前python腳本工作的目錄路徑
os.chdir("dirname") # 改變當前腳本工作目錄;相當於shell下cd
os.curdir # 返回當前目錄: ('.')
os.pardir # 獲取當前目錄的父目錄字元串名：('..')
os.makedirs('dirname1/dirname2') # 可生成多層遞歸目錄
os.removedirs('dirname1') # 若目錄為空，則刪除，並遞歸到上一級目錄，如若也為空，則刪除，依此類推
os.mkdir('dirname') # 生成單級目錄;相當於shell中mkdir dirname
os.rmdir('dirname') # # 刪除單級空目錄，若目錄不為空則無法刪除，報錯;相當於shell中rmdir dirname
os.listdir('dirname') # 列出指定目錄下的所有文件和子目錄，包括隱藏文件，並以列表方式列印
os.remove() # 刪除一個文件
os.rename("oldname","newname") # 重命名文件/目錄
os.stat('path/filename') # 獲取文件/目錄信息
os.sep # 輸出操作系統特定的路徑分隔符，win下為"\\",Linux下為"/"
os.linesep # 輸出當前平台使用的行終止符，win下為"\t\n",Linux下為"\n"
os.pathsep # 輸出用於分割文件路徑的字元串 win下為;,Linux下為:
os.name # 輸出字元串指示當前使用平台。win->'nt'; Linux->'posix'
os.system("bash command") # 運行shell命令，直接顯示
os.environ # 獲取系統環境變數
os.path.abspath(path) # 返回path規范化的絕對路徑
os.path.split(path) # 將path分割成目錄和文件名二元組返回
os.path.dirname(path) # 返回path的目錄。其實就是os.path.split(path)的第一個元素
os.path.basename(path) #
返回path最後的文件名。如何path以/或\結尾，那麼就會返回空值。即os.path.split(path)的第二個元素
os.path.exists(path) # 如果path存在，返回True;如果path不存在，返回False
os.path.isabs(path) # 如果path是絕對路徑，返回True
os.path.isfile(path) # 如果path是一個存在的文件，返回True。否則返回False
os.path.isdir(path) # 如果path是一個存在的目錄，則返回True。否則返回False
os.path.join(path1[, path2[, ...]]) # 將多個路徑組合後返回，第一個絕對路徑之前的參數將被忽略
os.path.getatime(path) # 返回path所指向的文件或者目錄的最後訪問時間
os.path.getmtime(path) # 返回path所指向的文件或者目錄的最後修改時間
os.path.getsize(path) # 返回path的大小
sys模塊
sys.argv # 命令行參數List，第一個元素是程序本身路徑
sys.exit(n) # 退出程序，正常退出時exit(0)
sys.version # 獲取Python解釋程序的版本信息
sys.maxint # 最大的Int值
sys.path # 返回模塊的搜索路徑，初始化時使用PYTHONPATH環境變數的值
sys.platform # 返回操作系統平台名稱
datetime模塊
datetime.today()返回一個表示當前本期日期時間的datetime對象
datetime.now([tz])返回指定時區日期時間的datetime對象，如果不指定tz參數則結果同上
datetime.utcnow()返回當前utc日期時間的datetime對象
datetime.fromtimestamp(timestamp[, tz])根據指定的時間戳創建一個datetime對象
datetime.utcfromtimestamp(timestamp)根據指定的時間戳創建一個datetime對象
datetime.strptime(date_str, format)將時間字元串轉換為datetime對象

② 那些Python中的模塊

Python的解釋環境是很好用，但是如果我們需要編寫一個大型的程序的時候，解釋環境就完全不夠用了。這個時候我們需要將python程序保存在一個文件里。通常這個文件是以.py結尾的。

對於大型的應用程序來說，一個文件可能是不夠的，這個時候我們需要在文件中引用其他的文件，這樣文件就叫做模塊。

模塊是一個包含Python定義和語句的文件。文件名就是模塊名後跟文件後綴 .py 。在模塊內部，模塊名可以通過全局變數 __name__ 獲得。

還是之前的斐波拉赫數列的例子，我們在fibo.py文件中存放了函數的實現：

編寫完畢之後，我們可以在Python的解釋環境中導入它：

然後直接使用即可：

常用的函數，我們可以將其賦值給一個變數：

或者，我們在導入的時候，直接給這個模塊起個名字：

或者導入模塊中的函數：

每個模塊都有它自己的私有符號表，該表用作模塊中定義的所有函數的全局符號表。因此，模塊的作者可以在模塊內使用全局變數，而不必擔心與用戶的全局變數發生意外沖突。

前面我們提到了可以使用import來導入一個模塊，並且 __name__ 中保存的是模塊的名字。

和java中的main方法一樣，如果我們想要在模塊中進行一些測試工作，有沒有類似java中main方法的寫法呢？

先看一個例子：

在模塊中，我們需要進行一個判斷 __name__ 是不是被賦值為 "__main__"。

我們這樣來執行這個模塊：

以腳本執行的情況下，模塊的 __name__ 屬性會被賦值為 __main__ , 這也是例子中為什麼要這樣寫的原因。

看下執行效果：

如果是以模塊導入的話，那麼將不會被執行：

使用import導入模塊的時候，解釋器首先會去找該名字的內置模塊，如果沒找到的話，解釋器會從 sys.path變數給出的目錄列表裡尋找。

sys.path的初始目錄包括：

要想查看模塊中定義的內容，可以使用dir函數。

上面的例子列出了當前模塊中定義的內容，包括變數，模塊，函數等。

我們可以給dir加上參數，來獲取特定模塊的內容：

java中有package的概念，用來隔離程序代碼。同樣的在Python中也有包。

我們看一個Python中包的例子：

上面我們定義了4個包，分別是sound,sound.formats, sound.effects, sound.filters。

__init__.py 可以是一個空文件，也可以執行包的初始化代碼或設置 __all__ 變數。

當導入的時候， python就會在 sys.path 路徑中搜索該包。

包的導入有很多種方式，我們可以導入單個模塊：

但是這樣導入之後，使用的時候必須載入全名：

如果不想載入全名，可以這樣導入：

那麼就可以這樣使用了：

還可以直接導入模塊中的方法：

然後這樣使用：

如果一個包裡面的子包比較多，我們可能會希望使用 * 來一次性導入：

那麼如何去控制到底會導入effects的哪一個子包呢？

我們可以在 __init__.py 中定義一個名叫 __all__ 的列表，在這個列表中列出將要導出的子包名，如下所示：

這樣from sound.effects import * 將導入 sound 包的三個命名子模塊。

如果沒有定義 __all__，from sound.effects import * 語句 不會 從包 sound.effects 中導入所有子模塊到當前命名空間；它只會導入包 sound.effects。

Import 可以指定相對路徑，我們使用 . 來表示當前包， 使用 .. 來表示父包。

如下所示：

③ Python編程網頁爬蟲工具集介紹

【導語】對於一個軟體工程開發項目來說，一定是從獲取數據開始的。不管文本怎麼處理，機器學習和數據發掘，都需求數據，除了通過一些途徑購買或許下載的專業數據外，常常需求咱們自己著手爬數據，爬蟲就顯得格外重要，那麼Python編程網頁爬蟲東西集有哪些呢?下面就來給大家一一介紹一下。

1、 Beautiful Soup

客觀的說，Beautifu Soup不完滿是一套爬蟲東西，需求協作urllib運用，而是一套HTML / XML數據分析，清洗和獲取東西。

2、Scrapy

Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework
for
Python.信不少同學都有耳聞，課程圖譜中的許多課程都是依託Scrapy抓去的，這方面的介紹文章有許多，引薦大牛pluskid早年的一篇文章：《Scrapy
輕松定製網路爬蟲》，歷久彌新。

3、 Python-Goose

Goose最早是用Java寫得，後來用Scala重寫，是一個Scala項目。Python-Goose用Python重寫，依靠了Beautiful
Soup。給定一個文章的URL, 獲取文章的標題和內容很便利，用起來非常nice。

以上就是Python編程網頁爬蟲工具集介紹，希望對於進行Python編程的大家能有所幫助，當然Python編程學習不止需要進行工具學習，還有很多的編程知識，也需要好好學起來哦，加油!

④ python 用什麼模塊處理網頁的javascript

lxml 配合 html5lib
可以很好的解析 html DOM
但對於js的解析 據我所知現在沒有什麼很成熟的模塊能做這個

解析js肯定不是正則能辦得到的, 比較現實的方案是
從webkit下手, 但光這一個庫就有10+M
(利用webkit自己解析js等解析完之後讀取html dom, 什麼時候解析完,什麼內容需要解析,什麼內容不應該解析是使用的難點)

如果你碰到的js代碼比較簡單
可以自己看看js代碼然後使用python模擬js代碼得到網址

其中使用webkit是最難的(不是簡單顯示界面,需要自己hook)
模擬js其次
lxml是最普遍的了
(這個解析一般的html必須配合其他html解析庫,自帶的那個html解析不是很健壯碰到稍微差點的頁面就不能正確解析)
另外html DOM 裡面 beautifulsoup 是一個比較老道的使用正則實現解析HTML DOM的庫.

⑤ Python必學的模塊有哪些

簡單來說，模塊就是一堆代碼實現某個功能，它們是已經寫好的.py文件，在我們的.py文件中只需要用import導入模塊就能使用它的功能了。

Python中的模塊有內置標准模塊、開源模塊和自定義模塊。

內置標准模塊就是Python自帶的模塊，即下載好Python就可以直接導入使用的模塊，例如我們之前使用過的math模塊、time模塊等。

開源模塊就是不收費的由好心人寫好的模塊，我們可以通過下載這些模塊後導入使用，開源模塊一般也被我們稱為第三方模塊，例如數據處理工具NumPy、Pandas，以及深度學習著名框架Tensorflow都屬於開源模塊。

自定義模塊與開源模塊相對應，開源模塊是他人寫的，而自定義模塊就是自己寫好的模塊。

Python常見的三個模塊

一、time與datetime模塊

在Python中，通常有這幾種方式來表示時間：

• 時間戳(timestamp)：通常來說，時間戳表示的是從1970年1月1日00:00:00開始按秒計算的偏移量。我們運行「type(time.time())」，返回的是float類型。

• 格式化的時間字元串(Format String)

• 結構化的時間(struct_time)：struct_time元組共有9個元素共九個元素:(年，月，日，時，分，秒，一年中第幾周，一年中第幾天，夏令時)

二、random模塊

三、os模塊

os模塊是與操作系統交互的一個介面

⑥ Python調用自定義模塊方法有什麼

import語句

自定義模塊可以採用import語句來進行引入，其操作步驟是先導入模塊，再調用模塊中包含的函數，可將自定義模塊放入當前目錄，便於解釋器路徑搜索，以下是導入自定義hello.py模塊，並調用World函數的實例：

#!/usr/bin/python

#-*- coding: UTF-8 -*-

#導入模塊

import hello

#現在可以調用模塊里包含的函數了

support.print_func("World")

輸出結果為：

Hello World!

以上實例也可以採用from…import的方法進行實現，是指從一個模塊中導入指定的部分到當前命名空間中，以上功能可寫成：

#!/usr/bin/python

#-*- coding: UTF-8 -*-

from hello import World

如果要將模塊中的所有內容全部導入當前命名空間，可採用from…import*的方法，具體實例如下：

#!/usr/bin/python

#-*- coding: UTF-8 -*-

from hello import *

還需注意，當要導入一個模塊時，Python解釋器會對模塊的位置進行搜索，具體搜索順序規律如下：

1.當前目錄;

2.如果不在當前目錄，Python則搜索在shell變數PYTHONPATH下的每個目錄;

3.如果都找不到，Python會察看默認路徑。

⑦ python標准庫中常用的網路相關模塊有哪些

標准庫 Python擁有一個強大的標准庫。Python語言的核心只包含數字、字元串、列表、字典、文件等常見類型和函數，而由Python標准庫提供了系統管理、網路通信、文本處理、資料庫介面、圖形系統、XML處理等額外的功能。 Python標准庫的主要功能有： 1.文本處理，包含文本格式化、正則表達式匹配、文本差異計算與合並、Unicode支持，二進制數據處理等功能 2.文件處理，包含文件操作、創建臨時文件、文件壓縮與歸檔、操作配置文件等功能 3.操作系統功能，包含線程與進程支持、IO復用、日期與時間處理、調用系統函數、日誌（logging）等功能 4.網路通信，包含網路套接字，SSL加密通信、非同步網路通信等功能 5.網路協議，支持HTTP，FTP，SMTP，POP，IMAP，NNTP，XMLRPC等多種網路協議，並提供了編寫網路伺服器的框架 6.W3C格式支持，包含HTML，SGML，XML的處理。 7.其它功能，包括國際化支持、數學運算、HASH、Tkinter等 Python社區提供了大量的第三方模塊，使用方式與標准庫類似。它們的功能覆蓋科學計算、Web開發、資料庫介面、圖形系統多個領域。第三方模塊可以使用Python或者C語言編寫。SWIG,SIP常用於將C語言編寫的程序庫轉化為Python模塊。Boost C++ Libraries包含了一組函式庫，Boost.Python，使得以Python或C++編寫的程式能互相調用。Python常被用做其他語言與工具之間的「膠水」語言。 著名第三方庫 1.Web框架 Django： 開源Web開發框架，它鼓勵快速開發,並遵循MVC設計，開發周期短。 ActiveGrid： 企業級的Web2.0解決方案。 Karrigell： 簡單的Web框架，自身包含了Web服務，py腳本引擎和純python的資料庫PyDBLite。 Tornado： 一個輕量級的Web框架，內置非阻塞式伺服器，而且速度相當快 webpy： 一個小巧靈活的Web框架，雖然簡單但是功能強大。 CherryPy： 基於Python的Web應用程序開發框架。 Pylons： 基於Python的一個極其高效和可靠的Web開發框架。 Zope： 開源的Web應用伺服器。 TurboGears： 基於Python的MVC風格的Web應用程序框架。 Twisted： 流行的網路編程庫，大型Web框架。 Quixote： Web開發框架。 2.科學計算 Matplotlib： 用Python實現的類matlab的第三方庫，用以繪制一些高質量的數學二維圖形。 SciPy： 基於Python的matlab實現，旨在實現matlab的所有功能。 NumPy： 基於Python的科學計算第三方庫，提供了矩陣，線性代數，傅立葉變換等等的解決方案。 3.GUI PyGtk： 基於Python的GUI程序開發GTK+庫。 PyQt： 用於Python的QT開發庫。 WxPython： Python下的GUI編程框架，與MFC的架構相似。 4.其它 BeautifulSoup： 基於Python的HTML/XML解析器，簡單易用。 PIL： 基於Python的圖像處理庫，功能強大，對圖形文件的格式支持廣泛。 PyGame： 基於Python的多媒體開發和游戲軟體開發模塊。 Py2exe： 將python腳本轉換為windows上可以獨立運行的可執行程序。

⑧ Python模塊的幾種類型簡介

view plain to clipboardprint?
import os
import stat
import time<DIV></DIV>

fileStats = os.stat ( 'test.txt' )
fileInfo = {
'Size' : fileStats [ stat.ST_SIZE ],
'LastModified' : time.ctime ( fileStats [ stat.ST_MTIME ] ),
'LastAccessed' : time.ctime ( fileStats [ stat.ST_ATIME ] ),
'CreationTime' : time.ctime ( fileStats [ stat.ST_CTIME ] ),
'Mode' : fileStats [ stat.ST_MODE ]
}

for infoField, infoValue in fileInfo:
print infoField, ':' + infoValue
if stat.S_ISDIR ( fileStats [ stat.ST_MODE ] ):
print 'Directory. '
else:
print 'Non-directory.'

import os
import stat
import time

fileStats = os.stat ( 'test.txt' )
fileInfo = {
'Size' : fileStats [ stat.ST_SIZE ],
'LastModified' : time.ctime ( fileStats [ stat.ST_MTIME ] ),
'LastAccessed' : time.ctime ( fileStats [ stat.ST_ATIME ] ),
'CreationTime' : time.ctime ( fileStats [ stat.ST_CTIME ] ),
'Mode' : fileStats [ stat.ST_MODE ]
}

for infoField, infoValue in fileInfo:
print infoField, ':' + infoValue
if stat.S_ISDIR ( fileStats [ stat.ST_MODE ] ):
print 'Directory. '
else:
print 'Non-directory.'

⑨ Python html 模塊簡介

比如：

比如，數學符號 ， ，可以直接獲得：

escape 將特殊字元 ＆ ， < 和 > 替換為HTML安全序列。如果可選的 flags quote 為 True （默認值），則還會翻譯引號字元，包括雙引號（ " ）和單引號（ ' ）字元。

將字元串 s 中的所有命名和數字字元引用 (例如 > , > , > ) 轉換為相應的 Unicode 字元。此函數使用 HTML 5 標准為有效和無效字元引用定義的規則，以及 HTML 5 命名字元引用列表 。

這個模塊定義了一個 HTMLParser 類，為 HTML（超文本標記語言）和 XHTML 文本文件解析提供基礎。

class html.parser.HTMLParser(*, convert_charrefs=True) 創建一個能解析無效標記的解析器實例。查找標簽（tags）和其他標記（markup）並調用 handler 函數。

用法：

通過調用 self.handle_starttag 處理開始標簽，或通過調用 self.handle_startendtag 處理結束標簽。標簽之間的數據通過以 data 為參數調用 self.handle_data 從解析器傳遞到派生類（數據可以分成任意塊）。如果 convert_charrefs 為 True ，則將字元引用自動轉換為相應的 Unicode 字元（並且 self.handle_data 不再拆分成塊），否則通過調用帶有字元串的 self.handle_entityref 或 self.handle_charref 來傳遞它們以分別包含命名或數字引用作為參數。如果 convert_charrefs 為 True (默認值)，則所有字元引用( script / style 元素中的除外)都會自動轉換為相應的 Unicode 字元。

一個 HTMLParser 類的實例用來接受 HTML 數據，並在標記開始、標記結束、文本、注釋和其他元素標記出現的時候調用對應的方法。要實現具體的行為，請使用 HTMLParser 的子類並重載其方法。

這個解析器不檢查結束標記是否與開始標記匹配，也不會因外層元素完畢而隱式關閉了的元素引發結束標記處理。

下面是簡單的 HTML 解析器的一個基本示例，使用 HTMLParser 類，當遇到開始標記、結束標記以及數據的時候將內容列印出來。

輸出：

HTMLParser.reset() 重置實例。丟失所有未處理的數據。在實例化階段被隱式調用。

HTMLParser.feed(data) 填充一些文本到解析器中。如果包含完整的元素，則被處理；如果數據不完整，將被緩沖直到更多的數據被填充，或者 close() 被調用。 data 必須為 str 類型。

HTMLParser.close() 如同後面跟著一個文件結束標記一樣，強制處理所有緩沖數據。這個方法能被派生類重新定義，用於在輸入的末尾定義附加處理，但是重定義的版本應當始終調用基類 HTMLParser 的 close() 方法。

HTMLParser.getpos() 返回當前行號和偏移值。

HTMLParser.get_starttag_text() 返回最近打開的開始標記中的文本。結構化處理時通常應該不需要這個，但在處理「已部署」的 HTML 或是在以最小改變來重新生成輸入時可能會有用處（例如可以保留屬性間的空格等）。

下列方法將在遇到數據或者標記元素的時候被調用。他們需要在子類中重載。基類的實現中沒有任何實際操作（除了 handle_startendtag() ）：

HTMLParser.handle_starttag 這個方法在標簽開始的時候被調用（例如： <div id="main"> ）。 tag 參數是小寫的標簽名。 attrs 參數是一個 (name, value) 形式的列表，包含了所有在標記的 <> 括弧中找到的屬性。 name 轉換為小寫， value 的引號被去除，字元和實體引用都會被替換。比如，對於標簽 <a href="https://www.cwi.nl/"> ，這個方法將以下列形式被調用 handle_starttag('a', [('href', 'https://www.cwi.nl/')]) 。 html.entities 中的所有實體引用，會被替換為屬性值。

HTMLParser.handle_endtag(tag) 此方法被用來處理元素的結束標記（例如： </div> ）。 tag 參數是小寫的標簽名。

HTMLParser.handle_startendtag(tag, attrs) 類似於 handle_starttag() , 只是在解析器遇到 XHTML 樣式的空標記時被調用（ <tag ... /> ）。這個方法能被需要這種特殊詞法信息的子類重載；默認實現僅簡單調用 handle_starttag() 和 handle_endtag() 。

HTMLParser.handle_data(data) 這個方法被用來處理任意數據（例如：文本節點和 <script>...</script> 以及 <style>...</style> 中的內容）。

HTMLParser.handle_entityref(name) 這個方法被用於處理 &name; 形式的命名字元引用（例如 > ），其中 name 是通用的實體引用（例如： 'gt' ）。如果 convert_charrefs 為 True，該方法永遠不會被調用。

HTMLParser.handle_charref(name) 這個方法被用來處理 &#NNN; 和 &#xNNN; 形式的十進制和十六進制字元引用。例如， > 等效的十進制形式為 > ，而十六進制形式為 > ；在這種情況下，方法將收到 '62' 或 'x3E' 。如果 convert_charrefs 為 True ，則該方法永遠不會被調用。

HTMLParser.handle_comment(data) 這個方法在遇到注釋的時候被調用（例如： ）。例如， 這個注釋會用 ' comment ' 作為參數調用此方法。

Internet Explorer 條件注釋（condcoms）的內容也被發送到這個方法，因此，對於 ``，這個方法將接收到 '[if IE 9]>IE9-specific content<![endif]' 。

HTMLParser.handle_decl(decl) 這個方法用來處理 HTML doctype 申明（例如 <!DOCTYPE html> ）。 decl 形參為 <!...> 標記中的所有內容（例如： 'DOCTYPE html' ）。

HTMLParser.handle_pi(data) 此方法在遇到處理指令的時候被調用。 data 形參將包含整個處理指令。例如，對於處理指令 <?proc color='red'> ，這個方法將以 handle_pi("proc color='red'") 形式被調用。它旨在被派生類重載；基類實現中無任何實際操作。

註解： HTMLParser 類使用 SGML 語法規則處理指令。使用 '?' 結尾的 XHTML 處理指令將導致 '?' 包含在 data 中。

HTMLParser.unknown_decl(data) 當解析器讀到無法識別的聲明時，此方法被調用。 data 形參為 <![...]> 標記中的所有內容。某些時候對派生類的重載很有用。基類實現中無任何實際操作。

因此，我們可以如此定義：

下面介紹如何解析 HTML 文檔。

解析一個文檔類型聲明：

解析一個具有一些屬性和標題的元素：

script 和 style 元素中的內容原樣返回，無需進一步解析：

解析注釋：

解析命名或數字形式的字元引用，並把他們轉換到正確的字元（注意：這 3 種轉義都是 '>' ）：

填充不完整的塊給 feed() 執行， handle_data() 可能會多次調用（除非 convert_charrefs 被設置為 True ）：

解析無效的 HTML (例如：未引用的屬性）也能正常運行：

⑩ Python開發中常用的模塊有哪些

1、os模塊#用作系統級別的工作

2、sys模塊#提供解釋器相關操作

3、hashlib模塊# 用於加密相關的操作

4、json和pickle模塊 #用於序列化數據

5、subprocess模塊

6、shuit模塊#文件的復制移動

7、logging模塊#格式化記錄日誌

8、random模塊 用於取隨機數

9、time datetime模塊時間模塊

10、re模塊 正則匹配

關於Python開發中常用的模塊有哪些，青藤小編就和您分享到這里了。如果您對python編程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於python編程的技巧及素材等內容，可以點擊本站的其他文章進行學習。