python3標准庫中文版

Ⅰ python 常用的標准庫以及第三方庫有哪些

Python常用庫大全，看看有沒有你需要的。
環境管理
管理 Python 版本和環境的工具
p – 非常簡單的互動式 python 版本管理工具。
pyenv – 簡單的 Python 版本管理工具。
Vex – 可以在虛擬環境中執行命令。
virtualenv – 創建獨立 Python 環境的工具。
virtualenvwrapper- virtualenv 的一組擴展。
包管理
管理包和依賴的工具。
pip – Python 包和依賴關系管理工具。
pip-tools – 保證 Python 包依賴關系更新的一組工具。
conda – 跨平台，Python 二進制包管理工具。
Curdling – 管理 Python 包的命令行工具。
wheel – Python 分發的新標准，意在取代 eggs。
包倉庫
本地 PyPI 倉庫服務和代理。
warehouse – 下一代 PyPI。
Warehousebandersnatch – PyPA 提供的 PyPI 鏡像工具。
devpi – PyPI 服務和打包/測試/分發工具。
localshop – 本地 PyPI 服務（自定義包並且自動對 PyPI 鏡像）。
分發
打包為可執行文件以便分發。
PyInstaller – 將 Python 程序轉換成獨立的執行文件（跨平台）。
dh-virtualenv – 構建並將 virtualenv 虛擬環境作為一個 Debian 包來發布。
Nuitka – 將腳本、模塊、包編譯成可執行文件或擴展模塊。
py2app – 將 Python 腳本變為獨立軟體包（Mac OS X）。
py2exe – 將 Python 腳本變為獨立軟體包（Windows）。
pynsist – 一個用來創建 Windows 安裝程序的工具，可以在安裝程序中打包 Python本身。
構建工具
將源碼編譯成軟體。
buildout – 一個構建系統，從多個組件來創建，組裝和部署應用。
BitBake – 針對嵌入式 Linux 的類似 make 的構建工具。
fabricate – 對任何語言自動找到依賴關系的構建工具。
PlatformIO – 多平台命令行構建工具。
PyBuilder – 純 Python 實現的持續化構建工具。
SCons – 軟體構建工具。
互動式解析器
互動式 Python 解析器。
IPython – 功能豐富的工具，非常有效的使用互動式 Python。
bpython- 界面豐富的 Python 解析器。
ptpython – 高級互動式Python解析器， 構建於python-prompt-toolkit 之上。
文件
文件管理和 MIME（多用途的網際郵件擴充協議）類型檢測。
imghdr – （Python 標准庫）檢測圖片類型。
mimetypes – （Python 標准庫）將文件名映射為 MIME 類型。
path.py – 對 os.path 進行封裝的模塊。
pathlib – （Python3.4+ 標准庫）跨平台的、面向對象的路徑操作庫。
python-magic- 文件類型檢測的第三方庫 libmagic 的 Python 介面。
Unipath- 用面向對象的方式操作文件和目錄
watchdog – 管理文件系統事件的 API 和 shell 工具
日期和時間
操作日期和時間的類庫。
arrow- 更好的 Python 日期時間操作類庫。
Chronyk – Python 3 的類庫，用於解析手寫格式的時間和日期。
dateutil – Python datetime 模塊的擴展。
delorean- 解決 Python 中有關日期處理的棘手問題的庫。
moment – 一個用來處理時間和日期的Python庫。靈感來自於Moment.js。
PyTime – 一個簡單易用的Python模塊，用於通過字元串來操作日期/時間。
pytz – 現代以及歷史版本的世界時區定義。將時區資料庫引入Python。
when.py – 提供用戶友好的函數來幫助用戶進行常用的日期和時間操作。
文本處理
用於解析和操作文本的庫。
通用
chardet – 字元編碼檢測器，兼容 Python2 和 Python3。
difflib – (Python 標准庫)幫助我們進行差異化比較。
ftfy – 讓Unicode文本更完整更連貫。
fuzzywuzzy – 模糊字元串匹配。
Levenshtein – 快速計算編輯距離以及字元串的相似度。
pangu.py – 在中日韓語字元和數字字母之間添加空格。
pyfiglet -figlet 的 Python實現。
shortuuid – 一個生成器庫，用以生成簡潔的，明白的，URL 安全的 UUID。
unidecode – Unicode 文本的 ASCII 轉換形式 。
uniout – 列印可讀的字元，而不是轉義的字元串。
xpinyin – 一個用於把漢字轉換為拼音的庫。

Ⅱ Python標准庫的主要功能有哪些

Python常用庫大全，看看有沒有你需要的。

環境管理
管理 Python 版本和環境的工具
p – 非常簡單的互動式 python 版本管理工具。
pyenv – 簡單的 Python 版本管理工具。
Vex – 可以在虛擬環境中執行命令。
virtualenv – 創建獨立 Python 環境的工具。
virtualenvwrapper- virtualenv 的一組擴展。
包管理
管理包和依賴的工具。
pip – Python 包和依賴關系管理工具。
pip-tools – 保證 Python 包依賴關系更新的一組工具。
conda – 跨平台，Python 二進制包管理工具。
Curdling – 管理 Python 包的命令行工具。
wheel – Python 分發的新標准，意在取代 eggs。
包倉庫
本地 PyPI 倉庫服務和代理。
warehouse – 下一代 PyPI。
Warehousebandersnatch – PyPA 提供的 PyPI 鏡像工具。
devpi – PyPI 服務和打包/測試/分發工具。
localshop – 本地 PyPI 服務（自定義包並且自動對 PyPI 鏡像）。
分發
打包為可執行文件以便分發。
PyInstaller – 將 Python 程序轉換成獨立的執行文件（跨平台）。
dh-virtualenv – 構建並將 virtualenv 虛擬環境作為一個 Debian 包來發布。
Nuitka – 將腳本、模塊、包編譯成可執行文件或擴展模塊。
py2app – 將 Python 腳本變為獨立軟體包（Mac OS X）。
py2exe – 將 Python 腳本變為獨立軟體包（Windows）。
pynsist – 一個用來創建 Windows 安裝程序的工具，可以在安裝程序中打包 Python本身。
構建工具
將源碼編譯成軟體。
buildout – 一個構建系統，從多個組件來創建，組裝和部署應用。
BitBake – 針對嵌入式 Linux 的類似 make 的構建工具。
fabricate – 對任何語言自動找到依賴關系的構建工具。
PlatformIO – 多平台命令行構建工具。
PyBuilder – 純 Python 實現的持續化構建工具。
SCons – 軟體構建工具。
互動式解析器
互動式 Python 解析器。
IPython – 功能豐富的工具，非常有效的使用互動式 Python。
bpython- 界面豐富的 Python 解析器。
ptpython – 高級互動式Python解析器， 構建於python-prompt-toolkit 之上。
文件
文件管理和 MIME（多用途的網際郵件擴充協議）類型檢測。
imghdr – （Python 標准庫）檢測圖片類型。
mimetypes – （Python 標准庫）將文件名映射為 MIME 類型。
path.py – 對 os.path 進行封裝的模塊。
pathlib – （Python3.4+ 標准庫）跨平台的、面向對象的路徑操作庫。
python-magic- 文件類型檢測的第三方庫 libmagic 的 Python 介面。
Unipath- 用面向對象的方式操作文件和目錄
watchdog – 管理文件系統事件的 API 和 shell 工具
日期和時間
操作日期和時間的類庫。
arrow- 更好的 Python 日期時間操作類庫。
Chronyk – Python 3 的類庫，用於解析手寫格式的時間和日期。
dateutil – Python datetime 模塊的擴展。
delorean- 解決 Python 中有關日期處理的棘手問題的庫。
moment – 一個用來處理時間和日期的Python庫。靈感來自於Moment.js。
PyTime – 一個簡單易用的Python模塊，用於通過字元串來操作日期/時間。
pytz – 現代以及歷史版本的世界時區定義。將時區資料庫引入Python。
when.py – 提供用戶友好的函數來幫助用戶進行常用的日期和時間操作。
文本處理
用於解析和操作文本的庫。
通用
chardet – 字元編碼檢測器，兼容 Python2 和 Python3。
difflib – (Python 標准庫)幫助我們進行差異化比較。
ftfy – 讓Unicode文本更完整更連貫。
fuzzywuzzy – 模糊字元串匹配。
Levenshtein – 快速計算編輯距離以及字元串的相似度。
pangu.py – 在中日韓語字元和數字字母之間添加空格。
pyfiglet -figlet 的 Python實現。
shortuuid – 一個生成器庫，用以生成簡潔的，明白的，URL 安全的 UUID。
unidecode – Unicode 文本的 ASCII 轉換形式 。
uniout – 列印可讀的字元，而不是轉義的字元串。
xpinyin – 一個用於把漢字轉換為拼音的庫。

Ⅲ 如何學習數據分析

首先我說說這兩種方向共同需要的技術面，當然以下只是按照數據分析入門的標准來寫：

1. SQL（資料庫），我們都知道數據分析師每天都會處理海量的數據，這些數據來源於資料庫，那麼怎麼從資料庫取數據？如何建立兩表、三表之間的關系？怎麼取到自己想要的特定的數據？等等這些數據選擇問題就是你首要考慮的問題，而這些問題都是通過SQL解決的，所以SQL是數據分析的最基礎的技能，零基礎學習SQL可以閱讀這里：SQL教程_w3cschool

2. 統計學基礎，數據分析的前提要對數據有感知，數據如何收集？數據整體分布是怎樣的？如果有時間維度的話隨著時間的變化是怎樣的？數據的平均值是什麼？數據的最大值最小值指什麼？數據相關與回歸、時間序列分析和預測等等，這些在網易公開課上倒是有不錯的教程：哈里斯堡社區大學公開課：統計學入門_全24集_網易公開課
3.Python或者R的基礎，這一點是必備項也是加分項，在數據挖掘方向是必備項，語言相比較工具更加靈活也更加實用。至於學習資料：R語言我不太清楚，Python方向可以在廖雪峰廖老師的博客里看Python教程，面向零基礎。
再說說兩者有區別的技能樹：

1.數據挖掘向
我先打個前哨，想要在一兩個月內快速成為數據挖掘向的數據分析師基本不可能，做數據挖掘必須要底子深基礎牢，編程語言基礎、演算法、數據結構、統計學知識樣樣不能少，而這些不是你自習一兩個月就能完全掌握的。
所以想做數據挖掘方向的，一定要花時間把軟體工程專業學習的計算機基礎課程看完，這些課程包括：數據結構、演算法，可以在這里一探究竟：如何學習數據結構？
在此之後你可以動手用Python去嘗試實現數據挖掘的十八大演算法：數據挖掘18大演算法實現以及其他相關經典DM演算法
2.產品經理向
產品經理向需要你對業務感知能力強，對數據十分敏感，掌握常用的一些業務分析模型套路，企業經常招聘的崗位是：商業分析、數據運營、用戶研究、策略分析等等。這方面的學習書籍就很多，看得越多掌握的方法越多，我說幾本我看過的或者很多人推薦的書籍：《增長黑客》、《網站分析實戰》、《精益數據分析》、《深入淺出數據分析》、《啤酒與尿布》、《數據之魅》、《Storytelling with Data》

Ⅳ 如何自學數據分析

第一方面是數學基礎，第二方面是統計學基礎，第三方面是計算機基礎。要想在數據分析的道路上走得更遠，一定要注重數學和統計學的學習。數據分析說到底就是尋找數據背後的規律，而尋找規律就需要具備演算法的設計能力，所以數學和統計學對於數據分析是非常重要的。

而想要快速成為數據分析師，則可以從計算機知識開始學起，具體點就是從數據分析工具開始學起，然後在學習工具使用過程中，輔助演算法以及行業致死的學習。學習數據分析工具往往從Excel工具開始學起，Excel是目前職場人比較常用的數據分析工具，通常在面對10萬條以內的結構化數據時，Excel還是能夠勝任的。對於大部分職場人來說，掌握Excel的數據分析功能能夠應付大部分常見的數據分析場景。

在掌握Excel之後，接下來就應該進一步學習資料庫的相關知識了，可以從關系型資料庫開始學起，重點在於Sql語言。掌握資料庫之後，數據分析能力會有一個較大幅度的提升，能夠分析的數據量也會有明顯的提升。如果採用資料庫和BI工具進行結合，那麼數據分析的結果會更加豐富，同時也會有一個比較直觀的呈現界面。

數據分析的最後一步就需要學習編程語言了，目前學習Python語言是個不錯的選擇，Python語言在大數據分析領域有比較廣泛的使用，而且Python語言自身比較簡單易學，即使沒有編程基礎的人也能夠學得會。通過Python來採用機器學習的方式實現數據分析是當前比較流行的數據分析方式。

對大數據分析有興趣的小夥伴們，不妨先從看看大數據分析書籍開始入門！B站上有很多的大數據教學視頻，從基礎到高級的都有，還挺不錯的，知識點講的很細致，還有完整版的學習路線圖。也可以自己去看看，下載學習試試。

Ⅳ 零基礎可以培訓大數據分析師嗎會不會很難

零基礎是可以培訓大數據分析師的，不過要學習相應的知識才可以。

數據分析師屬於互聯網行業，所以先要學習一些相關的代碼。想做數據分析師，代碼只是第一步，只有熟練掌握代碼，才能在工作中更加高效，為日後的發展空間提供一份保障。推薦學習掌握的代碼有SQL、MySQL資料庫、Python基礎和Python數據分析，這些都是數據分析師所需要的必備技能。

對於零基礎的人來說，看書和做筆記可以對數據分析方面的內容了解的更加透徹明白。推薦學習數據分析所需要的書籍有：Python核心編程，掌握編程最基本的技能；MySQL必知必會，學會SQL語句；利用Python進行數據分析，掌握使用Python來做數據分析；通過Python數據分析與挖掘實戰，可以學習如何將商業問題轉化為數學問題。

最後要學習和掌握的就是Excel的基本操作，包括增刪改排篩、各類常用函數的使用、各類基礎圖表的製作以及數據透視表等，因為做數據分析師需要經常和數據打交道，需要將數據做成更直觀更易觀察表達的圖表，因此，Excel的基本操作必不可少。

想要了解更多關於大數據分析師的問題可以咨詢一下CDA認證機構，CDA是大數據和人工智慧時代面向國際范圍全行業的數據分析專業人才職業簡稱。全球CDA持證者秉承著先進商業數據分析的新理念，遵循著《CDA職業道德和行為准則》新規范，發揮著自身數據專業能力，推動科技創新進步，助力經濟持續發展。

Ⅵ Python3基礎

默認情況下，Python 3 源碼文件以 UTF-8 編碼，所有字元串都是 unicode 字元串。 當然你也可以為源碼文件指定不同的編碼：

在 Python 3 中，非 ASCII 標識符也是允許的了。

保留字即關鍵字，我們不能把它們用作任何標識符名稱。Python 的標准庫提供了一個 keyword 模塊，可以輸出當前版本的所有關鍵字：

Python中單行注釋以 # 開頭，實例如下：

執行以上代碼，輸出結果為：

多行注釋可以用多個 # 號，還有 ''' 和 """：

執行以上代碼，輸出結果為：

python最具特色的就是使用縮進來表示代碼塊，不需要使用大括弧 {} 。

縮進的空格數是可變的，但是同一個代碼塊的語句必須包含相同的縮進空格數。實例如下：

以下代碼最後一行語句縮進數的空格數不一致，會導致運行錯誤：

以上程序由於縮進不一致，執行後會出現類似以下錯誤：

Python 通常是一行寫完一條語句，但如果語句很長，我們可以使用反斜杠()來實現多行語句，例如：

在 [], {}, 或 () 中的多行語句，不需要使用反斜杠()，例如：

python中數字有四種類型：整數、布爾型、浮點數和復數。

實例

輸出結果為：

函數之間或類的方法之間用空行分隔，表示一段新的代碼的開始。類和函數入口之間也用一行空行分隔，以突出函數入口的開始。

空行與代碼縮進不同，空行並不是Python語法的一部分。書寫時不插入空行，Python解釋器運行也不會出錯。但是空行的作用在於分隔兩段不同功能或含義的代碼，便於日後代碼的維護或重構。

記住： 空行也是程序代碼的一部分。

執行下面的程序在按回車鍵後就會等待用戶輸入：

以上代碼中 ，" "在結果輸出前會輸出兩個新的空行。一旦用戶按下 enter 鍵時，程序將退出。

Python可以在同一行中使用多條語句，語句之間使用分號(;)分割，以下是一個簡單的實例：

執行以上代碼，輸出結果為：

縮進相同的一組語句構成一個代碼塊，我們稱之代碼組。

像if、while、def和class這樣的復合語句，首行以關鍵字開始，以冒號( : )結束，該行之後的一行或多行代碼構成代碼組。

我們將首行及後面的代碼組稱為一個子句(clause)。

如下實例：

print 默認輸出是換行的，如果要實現不換行需要在變數末尾加上 end="" ：

以上實例執行結果為：

在 python 用 import 或者 from...import 來導入相應的模塊。

將整個模塊(somemole)導入，格式為： import somemole

從某個模塊中導入某個函數,格式為： from somemole import somefunction

從某個模塊中導入多個函數,格式為： from somemole import firstfunc, secondfunc, thirdfunc

將某個模塊中的全部函數導入，格式為： from somemole import *

import sys print ( ' ================Python import mode========================== ' ) ; print ( ' 命令行參數為: ' ) for i in sys . argv : print ( i ) print ( ' python 路徑為 ' , sys . path )

from sys import argv , path # 導入特定的成員 print ( ' ================python from import=================================== ' ) print ( ' path: ' , path ) # 因為已經導入path成員，所以此處引用時不需要加sys.path

很多程序可以執行一些操作來查看一些基本信息，Python可以使用-h參數查看各參數幫助信息：

Ⅶ 如何自學數據分析

第1本《誰說菜鳥不會數據分析入門篇》

很有趣的數據分析書！基本看過就能明白，以小說的形式講解，很有代入感。包含了數據分析的結構化思維、數據處理技巧、數據展現的技術，很能幫我們提升職場競爭能力。找不到工作的，學好了它，自然沒問題。

第2本《拯救你的Excel數據的分析、處理、展示（動畫版）》

一本用手機看的Excel操作書，大部分例子都配置了二維碼，手機掃掃就能看，基本上可以躺著把書學了。所有數據的分析、處理也都帶了職場範例（有會計、HR、銷售場景），很貼合實際。拯救我們小白的Excel，職場加薪不是夢想！

第3本《Excel圖表之道：如何製作專業有效的商務圖表》

職場大牛的書，教我們做圖表的，好看到不能再好看。可以設計和製作達到雜志級質量的、專業有效的商務圖表。相信平時我們很難做到吧，看了你就知道，也許一切沒那麼難。

第4本《絕了！Excel可以這樣用：數據分析經典案例實戰圖表書》

挺好的一個系列，都是Excle常用的技巧，適合銷售和HR。也是職場故事，很接地氣，帶視頻的，全都是Excel數據分析的常用理念和方法。

第5本《深入淺出數據分析》

深入淺出系列是對新手非常友好的叢書，用生動但啰嗦的語言講解案例。厚厚的一本書翻起來很快。本書涉及的基礎概念比較廣，包含一點統計學知識，學下來對數據分析思維會有一個大概了解。

第6本《MySQL必知必會》

如果真想買書看，可以看這本，適合新手向的學習，看基礎概念和查詢相關的章節即可。網路上大部分MySQL都是偏DBA的。

第7本《深入淺出統計學》

大概是最啰嗦的深入淺出系列，從賣橡皮鴨到賭博機的案例，囊括了常用的統計分析如假設檢驗、概率分布、描述統計、貝葉斯等。

第8本《網站分析實戰》

互聯網不再是網站的天下，但是移動端依舊有Web，我們在朋友圈看到的所有H5活動、第三方內容等，都是依託網頁實現。網站的數據分析依舊有存在空間，網站的數據指標還是能夠指導我們運營！

第9本《深入淺出Python》

還是深入淺出系列，完全適合零基礎的新人。需要注意的是，編程學習不同於其他知識，如果計算機基礎不穩固，在使用中會遇到各類問題。知其然不知其所以然！

第10本《Python學習手冊》

對於擁有編程基礎的人，這本書系無巨細的有些啰嗦，不過對新人，可以避免不必要的坑。把它當作一本工具文檔吧，當遇到不理解的內容隨時翻閱。

第11本《利用Python進行數據分析》

這本書是你學習python不二之選，對著書，著重學習numpy，pandas兩個包！每段代碼都敲打一遍，千萬行的數據清洗基本不會有大問題了。

第12本《R語言實戰》

R語言的入門書籍，從數據讀取到各類統計函數的使用。雖然沒有涉及機器學習，依靠這本書入門R是綽綽有餘了。

第13本《統計學：從數據到結論》

這本書是將R語言和統計學結合的教材，可以利用這本書再復習一遍統計知識。

第14本《深入淺出SQL》

帶你進入SQL語言的心臟地帶，從使用INSERT和SELECT這些基本的查詢語法到使用子查詢（subquery）、連接（join）和事務（transaction）這樣的核心技術來操作資料庫。到讀完《深入淺出SQL》之時，你將不僅能夠理解高效資料庫設計和創建，還能像一個專家那樣查詢、歸一（normalizing）和聯接數據。你將成為數據的真正主人。

第15本《數據挖掘導論》

這本書絕對是一本良心教材，拿到手從第一章開始閱讀，能看多少就看多少。但是要盡量多看點，因為此書你可能要看一輩子的～～

第16本《演算法導論中文版》

本書將嚴謹性和全面性融為一體，深入討論各類演算法，並著力使這些演算法的設計和分析能為各個層次的讀者接受。演算法以英語和偽代碼的形式描述，具備初步程序設計經驗的人就能看懂；說明和解釋力求淺顯易懂，不失深度和數學嚴謹性。

上面的書籍都是PDF版

視頻教材的有：

Python入門教程完整版（懂中文就能學會）資料

Python入門教程完整版（懂中文就能學會）視頻

Mysql從入門到精通全套視頻教程

8天深入理解python教程

大數據Hadoop視頻教程，從入門到精通

Python就業班

Python標准庫（中文版）

數學建模0基礎從入門到精通，全套資源

0基礎Python實戰-四周實現爬蟲系統

麥子學院招牌課程[明星python編程視頻VIP教程][200G](價值9000元)

從零基礎到數據分析師，幫你拿到年薪50萬！

煒心:xccx158

Ⅷ 如何查python中的一些庫函數呢

最簡單的就是直接到python官網查看文檔了

python2: https://docs.python.org/2/library/index.html

python3: https://docs.python.org/3/library/index.html

如果再離線的情況下使用help函數也可以：

>>>importre
>>>help(re)

如果解決了您的問題請採納！
如果未解決請繼續追問

Ⅸ 後端編程Python3-調試、測試和性能剖析(下)

單元測試（Unit Testing）

為程序編寫測試——如果做的到位——有助於減少bug的出現，並可以提高我們對程序按預期目標運行的信心。通常，測試並不能保證正確性，因為對大多數程序而言， 可能的輸入范圍以及可能的計算范圍是如此之大，只有其中最小的一部分能被實際地進 行測試。盡管如此，通過仔細地選擇測試的方法和目標，可以提高代碼的質量。

大量不同類型的測試都可以進行，比如可用性測試、功能測試以及整合測試等。這里, 我們只講單元測試一對單獨的函數、類與方法進行測試，確保其符合預期的行為。

TDD的一個關鍵點是，當我們想添加一個功能時——比如為類添加一個方法—— 我們首次為其編寫一個測試用例。當然，測試將失敗，因為我們還沒有實際編寫該方法。現在，我們編寫該方法，一旦方法通過了測試，就可以返回所有測試，確保我們新添加的代碼沒有任何預期外的副作用。一旦所有測試運行完畢（包括我們為新功能編寫的測試），就可以對我們的代碼進行檢查，並有理有據地相信程序行為符合我們的期望——當然，前提是我們的測試是適當的。

比如，我們編寫了一個函數，該函數在特定的索引位置插入一個字元串，可以像下面這樣開始我們的TDD：

def insert_at（string, position, insert）:

"""Returns a of string with insert inserted at the position

>>> string = "ABCDE"

>>> result =[]

>>> for i in range(-2, len(string) + 2):

... result.append(insert_at(string, i,「-」))

>>> result[:5]

['ABC-DE', 'ABCD-E', '-ABCDE','A-BCDE', 'AB-CDE']

>>> result[5:]

['ABC-DE', 'ABCD-E', 'ABCDE-', 'ABCDE-']

"""

return string

對不返回任何參數的函數或方法（通常返回None）,我們通常賦予其由pass構成的一個suite,對那些返回值被試用的，我們或者返回一個常數（比如0）,或者某個不變的參數——這也是我們這里所做的。（在更復雜的情況下，返回fake對象可能更有用一一對這樣的類，提供mock對象的第三方模塊是可用的。）

運行doctest時會失敗，並列出每個預期內的字元串（'ABCD-EF'、'ABCDE-F' 等），及其實際獲取的字元串（所有的都是'ABCD-EF'）。一旦確定doctest是充分的和正確的，就可以編寫該函數的主體部分，在本例中只是簡單的return string[:position] + insert+string[position:]。（如果我們編寫的是 return string[:position] + insert,之後復制 string [:position]並將其粘貼在末尾以便減少一些輸入操作，那麼doctest會立即提示錯誤。）

Python的標准庫提供了兩個單元測試模塊，一個是doctest,這里和前面都簡單地提到過，另一個是unittest。此外，還有一些可用於Python的第三方測試工具。其中最著名的兩個是nose (code.google.com/p/python-nose)與py.test (codespeak.net/py/dist/test/test.html), nose 致力於提供比標準的unittest 模塊更廣泛的功能，同時保持與該模塊的兼容性，py.test則採用了與unittest有些不同的方法，試圖盡可能消除樣板測試代碼。這兩個第三方模塊都支持測試發現，因此沒必要寫一個總體的測試程序——因為模塊將自己搜索測試程序。這使得測試整個代碼樹或某一部分 (比如那些已經起作用的模塊)變得很容易。那些對測試嚴重關切的人，在決定使用哪個測試工具之前，對這兩個(以及任何其他有吸引力的)第三方模塊進行研究都是值 得的。

創建doctest是直截了當的：我們在模塊中編寫測試、函數、類與方法的docstrings。 對於模塊，我們簡單地在末尾添加了 3行：

if __name__ =="__main__":

import doctest

doctest.testmod()

在程序內部使用doctest也是可能的。比如，blocks.py程序(其模塊在後面)有自己函數的doctest，但以如下代碼結尾：

if __name__== "__main__":

main()

這里簡單地調用了程序的main()函數，並且沒有執行程序的doctest。要實驗程序的 doctest,有兩種方法。一種是導入doctest模塊，之後運行程序---比如，在控制台中輸 入 python3 -m doctest blocks.py (在 Wndows 平台上，使用類似於 C:Python3 lpython.exe 這樣的形式替代python3)。如果所有測試運行良好，就沒有輸出，因此，我們可能寧願執行python3-m doctest blocks.py-v,因為這會列出每個執行的doctest,並在最後給出結果摘要。

另一種執行doctest的方法是使用unittest模塊創建單獨的測試程序。在概念上， unittest模塊是根據Java的JUnit單元測試庫進行建模的，並用於創建包含測試用例的測試套件。unittest模塊可以基於doctests創建測試用例，而不需要知道程序或模塊包含的任何事物——只要知道其包含doctest即可。因此，為給blocks.py程序製作一個測試套件，我們可以創建如下的簡單程序(將其稱為test_blocks.py)：

import doctest

import unittest

import blocks

suite = unittest.TestSuite()

suite.addTest(doctest.DocTestSuite(blocks))

runner = unittest.TextTestRunner()

print(runner.run(suite))

注意，如果釆用這種方法，程序的名稱上會有一個隱含的約束：程序名必須是有效的模塊名。因此，名為convert-incidents.py的程序的測試不能寫成這樣。因為import convert-incidents不是有效的，在Python標識符中，連接符是無效的（避開這一約束是可能的，但最簡單的解決方案是使用總是有效模塊名的程序文件名，比如，使用下劃線替換連接符）。這里展示的結構（創建一個測試套件，添加一個或多個測試用例或測試套件，運行總體的測試套件，輸出結果）是典型的機遇unittest的測試。運行時，這一特定實例產生如下結果：

...

.............................................................................................................

Ran 3 tests in 0.244s

OK

每次執行一個測試用例時，都會輸出一個句點（因此上面的輸出最前面有3個句點），之後是一行連接符，再之後是測試摘要（如果有任何一個測試失敗，就會有更多的輸出信息）。

如果我們嘗試將測試分離開（典型情況下是要測試的每個程序和模塊都有一個測試用例），就不要再使用doctests,而是直接使用unittest模塊的功能——尤其是我們習慣於使用JUnit方法進行測試時ounittest模塊會將測試分離於代碼——對大型項目（測試編寫人員與開發人員可能不一致）而言，這種方法特別有用。此外，unittest單元測試編寫為獨立的Python模塊，因此，不會像在docstring內部編寫測試用例時受到兼容性和明智性的限制。

unittest模塊定義了 4個關鍵概念。測試夾具是一個用於描述創建測試（以及用完之後將其清理）所必需的代碼的術語，典型實例是創建測試所用的一個輸入文件，最後刪除輸入文件與結果輸出文件。測試套件是一組測試用例的組合。測試用例是測試的基本單元—我們很快就會看到實例。測試運行者是執行一個或多個測試套件的對象。

典型情況下，測試套件是通過創建unittest.TestCase的子類實現的，其中每個名稱 以「test」開頭的方法都是一個測試用例。如果我們需要完成任何創建操作，就可以在一個名為setUp()的方法中實現；類似地，對任何清理操作，也可以實現一個名為 tearDown()的方法。在測試內部，有大量可供我們使用的unittest.TestCase方法，包括 assertTrue()、assertEqual()、assertAlmostEqual()（對於測試浮點數很有用）、assertRaises() 以及更多，還包括很多對應的逆方法，比如assertFalse()、assertNotEqual()、failIfEqual()、 failUnlessEqual ()等。

unittest模塊進行了很好的歸檔，並且提供了大量功能，但在這里我們只是通過一 個非常簡單的測試套件來感受一下該模塊的使用。這里將要使用的實例,該練習要求創建一個Atomic模塊，該模塊可以用作一 個上下文管理器，以確保或者所有改變都應用於某個列表、集合或字典，或者所有改變都不應用。作為解決方案提供的Atomic.py模塊使用30行代碼來實現Atomic類， 並提供了 100行左右的模塊doctest。這里，我們將創建test_Atomic.py模塊，並使用 unittest測試替換doctest,以便可以刪除doctest。

在編寫測試模塊之前，我們需要思考都需要哪些測試。我們需要測試3種不同的數據類型：列表、集合與字典。對於列表，需要測試的是插入項、刪除項或修改項的值。對於集合，我們必須測試向其中添加或刪除一個項。對於字典，我們必須測試的是插入一個項、修改一個項的值、刪除一個項。此外，還必須要測試的是在失敗的情況下，不會有任何改變實際生效。

結構上看，測試不同數據類型實質上是一樣的，因此，我們將只為測試列表編寫測試用例，而將其他的留作練習。test_Atomic.py模塊必須導入unittest模塊與要進行測試的Atomic模塊。

創建unittest文件時，我們通常創建的是模塊而非程序。在每個模塊內部，我們定義一個或多個unittest.TestCase子類。比如，test_Atomic.py模塊中僅一個單獨的 unittest-TestCase子類，也就是TestAtomic (稍後將對其進行講解)，並以如下兩行結束:

if name == "__main__":

unittest.main()

這兩行使得該模塊可以單獨運行。當然，該模塊也可以被導入並從其他測試程序中運行——如果這只是多個測試套件中的一個，這一點是有意義的。

如果想要從其他測試程序中運行test_Atomic.py模塊，那麼可以編寫一個與此類似的程序。我們習慣於使用unittest模塊執行doctests,比如：

import unittest

import test_Atomic

suite = unittest.TestLoader().loadTestsFromTestCase(test_Atomic.TestAtomic)

runner = unittest.TextTestRunner()

pnnt(runner.run(suite))

這里，我們已經創建了一個單獨的套件，這是通過讓unittest模塊讀取test_Atomic 模塊實現的，並且使用其每一個test*()方法(本實例中是test_list_success()、test_list_fail()，稍後很快就會看到)作為測試用例。

我們現在將查看TestAtomic類的實現。對通常的子類(不包括unittest.TestCase 子類)，不怎麼常見的是，沒有必要實現初始化程序。在這一案例中，我們將需要建立 一個方法，但不需要清理方法，並且我們將實現兩個測試用例。

def setUp(self)：

self.original_list = list(range(10))

我們已經使用了 unittest.TestCase.setUp()方法來創建單獨的測試數據片段。

def test_list_succeed(self):

items = self.original_list[:]

with Atomic.Atomic(items) as atomic:

atomic.append(1999)

atomic.insert(2, -915)

del atomic[5]

atomic[4]= -782

atomic.insert(0, -9)

self.assertEqual(items,

[-9, 0, 1, -915, 2, -782, 5, 6, 7, 8, 9, 1999])

def test_list_fail(self):

items = self.original_list[:]

with self.assertRaises(AttributeError):

with Atomic.Atomic(items) as atomic:

atomic.append(1999)

atomic.insert(2, -915)

del atomic[5]

atomic[4] = -782

atomic.poop() # Typo

self.assertListEqual(items, self.original_list)

這里，我們直接在測試方法中編寫了測試代碼，而不需要一個內部函數，也不再使用unittest.TestCase.assertRaised()作為上下文管理器(期望代碼產生AttributeError)。 最後我們也使用了 Python 3.1 的 unittest.TestCase.assertListEqual()方法。

正如我們已經看到的，Python的測試模塊易於使用，並且極為有用，在我們使用 TDD的情況下更是如此。它們還有比這里展示的要多得多的大量功能與特徵——比如，跳過測試的能力，這有助於理解平台差別——並且這些都有很好的文檔支持。缺失的一個功能——但nose與py.test提供了——是測試發現，盡管這一特徵被期望在後續的Python版本(或許與Python 3.2—起)中出現。

性能剖析（Profiling）

如果程序運行很慢，或者消耗了比預期內要多得多的內存，那麼問題通常是選擇的演算法或數據結構不合適，或者是以低效的方式進行實現。不管問題的原因是什麼， 最好的方法都是准確地找到問題發生的地方,而不只是檢査代碼並試圖對其進行優化。 隨機優化會導致引入bug,或者對程序中本來對程序整體性能並沒有實際影響的部分進行提速，而這並非解釋器耗費大部分時間的地方。

在深入討論profiling之前，注意一些易於學習和使用的Python程序設計習慣是有意義的，並且對提高程序性能不無裨益。這些技術都不是特定於某個Python版本的， 而是合理的Python程序設計風格。第一，在需要只讀序列時，最好使用元組而非列表； 第二，使用生成器，而不是創建大的元組和列表並在其上進行迭代處理；第三，盡量使用Python內置的數據結構 dicts、lists、tuples 而不實現自己的自定義結構，因為內置的數據結構都是經過了高度優化的；第四，從小字元串中產生大字元串時， 不要對小字元串進行連接，而是在列表中累積，最後將字元串列表結合成為一個單獨的字元串；第五，也是最後一點，如果某個對象(包括函數或方法)需要多次使用屬性進行訪問(比如訪問模塊中的某個函數)，或從某個數據結構中進行訪問，那麼較好的做法是創建並使用一個局部變數來訪問該對象，以便提供更快的訪問速度。

Python標准庫提供了兩個特別有用的模塊，可以輔助調査代碼的性能問題。一個是timeit模塊——該模塊可用於對一小段Python代碼進行計時，並可用於諸如對兩個或多個特定函數或方法的性能進行比較等場合。另一個是cProfile模塊，可用於profile 程序的性能——該模塊對調用計數與次數進行了詳細分解，以便發現性能瓶頸所在。

為了解timeit模塊，我們將查看一些小實例。假定有3個函數function_a()、 function_b()、function_c(), 3個函數執行同樣的計算，但分別使用不同的演算法。如果將這些函數放於同一個模塊中(或分別導入)，就可以使用timeit模塊對其進行運行和比較。下面給出的是模塊最後使用的代碼：

if __name__ == "__main__":

repeats = 1000

for function in ("function_a", "function_b", "function_c"):

t = timeit.Timer("{0}(X, Y)".format(function),"from __main__ import {0}, X, Y".format(function))

sec = t.timeit(repeats) / repeats

print("{function}() {sec:.6f} sec".format(**locals()))

賦予timeit.Timer()構造子的第一個參數是我們想要執行並計時的代碼，其形式是字元串。這里，該字元串是「function_a(X,Y)」；第二個參數是可選的，還是一個待執行的字元串，這一次是在待計時的代碼之前，以便提供一些建立工作。這里，我們從 __main__ (即this)模塊導入了待測試的函數，還有兩個作為輸入數據傳入的變數(X 與Y),這兩個變數在該模塊中是作為全局變數提供的。我們也可以很輕易地像從其他模塊中導入數據一樣來進行導入操作。

調用timeit.Timer對象的timeit()方法時，首先將執行構造子的第二個參數(如果有)， 之後執行構造子的第一個參數並對其執行時間進行計時。timeit.Timer.timeit()方法的返回值是以秒計數的時間，類型是float。默認情況下，timeit()方法重復100萬次，並返回所 有這些執行的總秒數，但在這一特定案例中，只需要1000次反復就可以給出有用的結果, 因此對重復計數次數進行了顯式指定。在對每個函數進行計時後，使用重復次數對總數進行除法操作，就得到了平均執行時間，並在控制台中列印出函數名與執行時間。

function_a() 0.001618 sec

function_b() 0.012786 sec

function_c() 0.003248 sec

在這一實例中，function_a()顯然是最快的——至少對於這里使用的輸入數據而言。 在有些情況下一一比如輸入數據不同會對性能產生巨大影響——可能需要使用多組輸入數據對每個函數進行測試，以便覆蓋有代表性的測試用例，並對總執行時間或平均執行時間進行比較。

有時監控自己的代碼進行計時並不是很方便，因此timeit模塊提供了一種在命令行中對代碼執行時間進行計時的途徑。比如，要對MyMole.py模塊中的函數function_a()進行計時，可以在控制台中輸入如下命令：python3 -m timeit -n 1000 -s "from MyMole import function_a, X, Y" "function_a(X, Y)"(與通常所做的一樣，對 Windows 環境，我們必須使用類似於C:Python3lpython.exe這樣的內容來替換python3)。-m選項用於Python 解釋器，使其可以載入指定的模塊(這里是timeit),其他選項則由timeit模塊進行處理。 -n選項指定了循環計數次數，-s選項指定了要建立，最後一個參數是要執行和計時的代碼。命令完成後，會向控制台中列印運行結果，比如：

1000 loops, best of 3: 1.41 msec per loop

之後我們可以輕易地對其他兩個函數進行計時，以便對其進行整體的比較。

cProfile模塊(或者profile模塊，這里統稱為cProfile模塊)也可以用於比較函數 與方法的性能。與只是提供原始計時的timeit模塊不同的是，cProfile模塊精確地展示 了有什麼被調用以及每個調用耗費了多少時間。下面是用於比較與前面一樣的3個函數的代碼：

if __name__ == "__main__":

for function in ("function_a", "function_b", "function_c"):

cProfile.run("for i in ranged 1000): {0}(X, Y)".format(function))

我們必須將重復的次數放置在要傳遞給cProfile.run()函數的代碼內部，但不需要做任何創建，因為模塊函數會使用內省來尋找需要使用的函數與變數。這里沒有使用顯式的print()語句，因為默認情況下，cProfile.run()函數會在控制台中列印其輸出。下面給出的是所有函數的相關結果(有些無關行被省略，格式也進行了稍許調整，以便與頁面適應)：

1003 function calls in 1.661 CPU seconds

ncalls tottime percall cumtime percall filename:lineno(function)

1 0.003 0.003 1.661 1.661 :1 ( )

1000 1.658 0.002 1.658 0.002 MyMole.py:21 (function_a)

1 0.000 0.000 1.661 1.661 {built-in method exec}

5132003 function calls in 22.700 CPU seconds

ncalls tottime percall cumtime percall filename:lineno(function)

1 0.487 0.487 22.700 22.700 : 1 ( )

1000 0.011 0.000 22.213 0.022 MyMole.py:28(function_b)

5128000 7.048 0.000 7.048 0.000 MyMole.py:29( )

1000 0.00 50.000 0.005 0.000 {built-in method bisectjeft}

1 0.000 0.000 22.700 22.700 {built-in method exec}

1000 0.001 0.000 0.001 0.000 {built-in method len}

1000 15.149 0.015 22.196 0.022 {built-in method sorted}

5129003 function calls in 12.987 CPU seconds

ncalls tottime percall cumtime percall filename:lineno(function)

1 0.205 0.205 12.987 12.987 :l ( )

1000 6.472 0.006 12.782 0.013 MyMole.py:36(function_c)

5128000 6.311 0.000 6.311 0.000 MyMole.py:37( )

1 0.000 0.000 12.987 12.987 {built-in method exec}

ncalls ("調用的次數")列列出了對指定函數(在filename:lineno(function)中列出) 的調用次數。回想一下我們重復了 1000次調用，因此必須將這個次數記住。tottime (「總的時間」)列列出了某個函數中耗費的總時間，但是排除了函數調用的其他函數內部花費的時間。第一個percall列列出了對函數的每次調用的平均時間(tottime // ncalls)。 cumtime ("累積時間")列出了在函數中耗費的時間，並且包含了函數調用的其他函數內部花費的時間。第二個percall列列出了對函數的每次調用的平均時間，包括其調用的函數耗費的時間。

這種輸出信息要比timeit模塊的原始計時信息富有啟發意義的多。我們立即可以發現，function_b()與function_c()使用了被調用5000次以上的生成器，使得它們的速度至少要比function_a()慢10倍以上。並且，function_b()調用了更多通常意義上的函數，包括調用內置的sorted()函數，這使得其幾乎比function_c()還要慢兩倍。當然,timeit() 模塊提供了足夠的信息來查看計時上存在的這些差別，但cProfile模塊允許我們了解為什麼會存在這些差別。正如timeit模塊允許對代碼進行計時而又不需要對其監控一樣，cProfile模塊也可以做到這一點。然而，從命令行使用cProfile模塊時，我們不能精確地指定要執行的 是什麼——而只是執行給定的程序或模塊，並報告所有這些的計時結果。需要使用的 命令行是python3 -m cProfile programOrMole.py,產生的輸出信息與前面看到的一 樣，下面給出的是輸出信息樣例，格式上進行了一些調整，並忽略了大多數行：

10272458 function calls (10272457 primitive calls) in 37.718 CPU secs

ncalls tottime percall cumtime percall filename:lineno(function)

10.000 0.000 37.718 37.718 :1 ( )

10.719 0.719 37.717 37.717 :12( )

1000 1.569 0.002 1.569 0.002 :20(function_a)

1000 0.011 0.000 22.560 0.023 :27(function_b)

5128000 7.078 0.000 7.078 0.000 :28( )

1000 6.510 0.007 12.825 0.013 :35(function_c)

5128000 6.316 0.000 6.316 0.000 :36( )

在cProfile術語學中，原始調用指的就是非遞歸的函數調用。

以這種方式使用cProfile模塊對於識別值得進一步研究的區域是有用的。比如，這里 我們可以清晰地看到function_b()需要耗費更長的時間，但是我們怎樣獲取進一步的詳細資料？我們可以使用cProfile.run("function_b()")來替換對function_b()的調用。或者可以保存完全的profile數據並使用pstats模塊對其進行分析。要保存profile,就必須對命令行進行稍許修改:python3 -m cProfile -o profileDataFile programOrMole.py。 之後可以對 profile 數據進行分析，比如啟動IDLE,導入pstats模塊，賦予其已保存的profileDataFile,或者也可以在控制台中互動式地使用pstats。

下面給出的是一個非常短的控制台會話實例，為使其適合頁面展示，進行了適當調整，我們自己的輸入則以粗體展示：

$ python3 -m cProfile -o profile.dat MyMole.py

$ python3 -m pstats

Welcome to the profile statistics browser.

% read profile.dat

profile.dat% callers function_b

Random listing order was used

List reced from 44 to 1 e to restriction

Function was called by...

ncalls tottime cumtime

:27(function_b) <- 1000 0.011 22.251 :12( )

profile.dat% callees function_b

Random listing order was used

List reced from 44 to 1 e to restriction

Function called...

ncalls tottime cumtime

:27(function_b)->

1000 0.005 0.005 built-in method bisectJeft

1000 0.001 0.001 built-in method len

1000 1 5.297 22.234 built-in method sorted

profile.dat% quit

輸入help可以獲取命令列表，help後面跟隨命令名可以獲取該命令的更多信息。比如, help stats將列出可以賦予stats命令的參數。還有其他一些可用的工具，可以提供profile數據的圖形化展示形式，比如 RunSnakeRun (www.vrplumber.com/prograinming/runsnakerun), 該工具需要依賴於wxPython GUI庫。

使用timeit與cProfile模塊，我們可以識別出我們自己代碼中哪些區域會耗費超過預期的時間；使用cProfile模塊，還可以准確算岀時間消耗在哪裡。

以上內容部分摘自視頻課程 05後端編程Python-19調試、測試和性能調優(下) ，更多實操示例請參照視頻講解。跟著張員外講編程，學習更輕松，不花錢還能學習真本領。