python3性能對比

① python為啥運行效率不高

原因：1、python是動態語言；2、python是解釋執行，但是不支持JIT；3、python中一切都是對象，每個對象都需要維護引用計數，增加了額外的工作。4、python GIL；5、垃圾回收。

當我們提到一門編程語言的效率時：通常有兩層意思，第一是開發效率，這是對程序員而言，完成編碼所需要的時間；另一個是運行效率，這是對計算機而言，完成計算任務所需要的時間。編碼效率和運行效率往往是魚與熊掌的關系，是很難同時兼顧的。不同的語言會有不同的側重，python語言毫無疑問更在乎編碼效率，life is short，we use python。

雖然使用python的編程人員都應該接受其運行效率低的事實，但python在越多越來的領域都有廣泛應用，比如科學計算 、web伺服器等。程序員當然也希望python能夠運算得更快，希望python可以更強大。

首先，python相比其他語言具體有多慢，這個不同場景和測試用例，結果肯定是不一樣的。這個網址給出了不同語言在各種case下的性能對比，這一頁是python3和C++的對比，下面是兩個case：

從上圖可以看出，不同的case，python比C++慢了幾倍到幾十倍。

python運算效率低，具體是什麼原因呢，下列羅列一些：

第一：python是動態語言

一個變數所指向對象的類型在運行時才確定，編譯器做不了任何預測，也就無從優化。舉一個簡單的例子：r = a + b。a和b相加，但a和b的類型在運行時才知道，對於加法操作，不同的類型有不同的處理，所以每次運行的時候都會去判斷a和b的類型，然後執行對應的操作。而在靜態語言如C++中，編譯的時候就確定了運行時的代碼。

另外一個例子是屬性查找，關於具體的查找順序在《python屬性查找》中有詳細介紹。簡而言之，訪問對象的某個屬性是一個非常復雜的過程，而且通過同一個變數訪問到的python對象還都可能不一樣（參見Lazy property的例子）。而在C語言中，訪問屬性用對象的地址加上屬性的偏移就可以了。

第二：python是解釋執行，但是不支持JIT（just in time compiler）。雖然大名鼎鼎的google曾經嘗試Unladen Swallow 這個項目，但最終也折了。

第三：python中一切都是對象，每個對象都需要維護引用計數，增加了額外的工作。

第四：python GIL，GIL是Python最為詬病的一點，因為GIL，python中的多線程並不能真正的並發。如果是在IO bound的業務場景，這個問題並不大，但是在CPU BOUND的場景，這就很致命了。所以筆者在工作中使用python多線程的情況並不多，一般都是使用多進程（pre fork），或者在加上協程。即使在單線程，GIL也會帶來很大的性能影響，因為python每執行100個opcode（默認，可以通過sys.setcheckinterval()設置）就會嘗試線程的切換，具體的源代碼在ceval.c::PyEval_EvalFrameEx。

第五：垃圾回收，這個可能是所有具有垃圾回收的編程語言的通病。python採用標記和分代的垃圾回收策略，每次垃圾回收的時候都會中斷正在執行的程序，造成所謂的頓卡。infoq上有一篇文章，提到禁用Python的GC機制後，Instagram性能提升了10%。感興趣的讀者可以去細讀。

推薦課程：Python機器學習(Mooc禮欣、嵩天教授)

② python2和python3的區別，轉換及共存

python2和python3的區別

1.性能

Py3.0運行 pystone benchmark的速度比Py2.5慢30%。Guido認為Py3.0有極大的優化空間，在字元串和整形操作上可以取得很好的優化結果。

Py3.1性能比Py2.5慢15%，還有很大的提升空間。

2.編碼

Py3.X源碼文件默認使用utf-8編碼，這就使得以下代碼是合法的：
>>> 中國 = 'china'
>>>print(中國)
china

3. 語法

1）去除了<>，全部改用!=

在Python 2里，為了得到一個任意對象的字元串表示，有一種把對象包裝在反引號里(比如`x`)的特殊語法。在Python 3里，這種能力仍然存在，但是你不能再使用反引號獲得這種字元串表示了。你需要使用全局函數repr()。

Notes

Python 2

Python 3

①

`x` repr(x)

②

`'PapayaWhip' + `2`` repr('PapayaWhip'+repr(2))

Note:x可以是任何東西—一個類，函數，模塊，基本數據類型，等等。repr()函數可以使用任何類型的參數。

2）去除``，全部改用repr()

3）關鍵詞加入as 和with，還有True,False,None

4）整型除法返回浮點數，要得到整型結果，請使用//

由於人們常常會忽視Python 3在整數除法上的改動（寫錯了也不會觸發Syntax Error），所以在移植代碼或在Python 2中執行Python 3的代碼時，需要特別注意這個改動。

所以，我還是會在Python 3的腳本中嘗試用float(3)/2或 3/2.0代替3/2，以此來避免代碼在Python 2環境下可能導致的錯誤（或與之相反，在Python 2腳本中用from __future__ import division來使用Python 3的除法）。

Python 2

print'3/2=',3/2print'3//2=',3//2print'3/2.0=',3/2.0print'3//2.0=',3//2.0
3/2=13//2=13/2.0=1.53//2.0=1.0

默認，如果兩個操作數都是整數，Python 2 自動執行整型計算。

Python 3

print('3/2=',3/2)print('3//2=',3//2)print('3/2.0=',3/2.0)print('3//2.0=',3//2.0)
3/2=1.53//2=13/2.0=1.53//2.0=1.0

Note: 需要注意的是「雙劃線」（//）操作符將一直執行整除，而不管操作數的類型，這就是為什麼 5.0//2.0 值為 2.0。Python 3 中，/ 操作符是做浮點除法，而 // 是做整除（即商沒有餘數，比如 10 // 3 其結果就為 3，余數會被截除掉，而 (-7) // 3 的結果卻是 -3。這個演算法與其它很多編程語言不一樣，需要注意，它們的整除運算會向0的方向取值。而在 Python 2 中，/ 就是整除，即和 Python 3 中的 // 操作符一樣。

5）加入nonlocal語句。使用noclocal x可以直接指派外圍（非全局）變數

6）print

去除print語句，加入print()函數實現相同的功能。同樣的還有 exec語句，已經改為exec()函數

在Python 2里，print是一個語句。無論你想輸出什麼，只要將它們放在print關鍵字後邊就可以。

Python 3里，print()是一個函數。就像其他的函數一樣，print()需要你將想要輸出的東西作為參數傳給它。

例如：
2.X: print "The answer is", 2*2
3.X: print("The answer is", 2*2)
2.X: print x, # 使用逗號結尾禁止換行
3.X: print(x, end=" ") # 使用空格代替換行

在Python 2里，如果你使用一個逗號(,)作為print語句的結尾，它將會用空格分隔輸出的結果，然後在輸出一個尾隨的空格(trailing space)，而不輸出回車(carriage return)。在Python 3里，通過把end=' '作為一個關鍵字參數傳給print()可以實現同樣的效果。參數end的默認值為' '，所以通過重新指定end參數的值，可以取消在末尾輸出回車符。
2.X: print # 輸出新行
3.X: print() # 輸出新行
2.X: print >>sys.stderr, "fatal error"
3.X: print("fatal error", file=sys.stderr)

在Python 2里，你可以通過使用>>pipe_name語法，把輸出重定向到一個管道，比如sys.stderr。在Python 3里，你可以通過將管道作為關鍵字參數file的值傳遞給print()來完成同樣的功能。參數file的默認值為std.stdout，所以重新指定它的值將會使print()輸出到一個另外一個管道。
2.X: print (x, y) # 輸出repr((x, y))
3.X: print((x, y)) # 不同於print(x, y)!

exec語句

exec()函數使用一個包含任意Python代碼的字元串作為參數，然後就像執行語句或者表達式一樣執行它。exec()跟eval()是相似的，但是exec()更加強大並更具有技巧性。eval()函數只能執行單獨一條表達式，但是exec()能夠執行多條語句，導入(import)，函數聲明—實際上整個Python程序的字元串表示也可以。

Notes

Python 2

Python 3

①

execcodeString exec(codeString)

②

execcodeStringina_global_namespace exec(codeString,a_global_namespace)

③

execcodeStringina_global_namespace,a_local_namespace exec(codeString,a_global_namespace,a_local_namespace)

• 在最簡單的形式下，因為exec()現在是一個函數，而不是語句，2to3會把這個字元串形式的代碼用括弧圍起來。

• Python 2里的exec語句可以指定名字空間，代碼將在這個由全局對象組成的私有空間里執行。Python 3也有這樣的功能；你只需要把這個名字空間作為第二個參數傳遞給exec()函數。

• 更加神奇的是，Python 2里的exec語句還可以指定一個本地名字空間(比如一個函數里聲明的變數)。在Python 3里，exec()函數也有這樣的功能。

execfile語句

就像以前的exec語句，Python 2里的execfile語句也可以像執行Python代碼那樣使用字元串。不同的是exec使用字元串，而execfile則使用文件。在Python 3里，execfile語句已經被去掉了。如果你真的想要執行一個文件里的Python代碼(但是你不想導入它)，你可以通過打開這個文件，讀取它的內容，然後調用compile()全局函數強制Python解釋器編譯代碼，然後調用新的exec()函數。

Notes

Python 2

Python 3

• execfile('a_filename') exec(compile(open('a_filename').read(),'a_filename','exec'))

7）輸入函數改變了，刪除了raw_input，用input代替： Python 2有兩個全局函數，用來在命令行請求用戶輸入。第一個叫做input()，它等待用戶輸入一個Python表達式(然後返回結果)。第二個叫做raw_input()，用戶輸入什麼它就返回什麼。這讓初學者非常困惑，並且這被廣泛地看作是Python語言的一個「肉贅」(wart)。Python 3通過重命名raw_input()為input()，從而切掉了這個肉贅，所以現在的input()就像每個人最初期待的那樣工作。
2.X:guess = int(raw_input('Enter an integer : ')) # 讀取鍵盤輸入的方法
3.X:guess = int(input('Enter an integer : '))

Note:如果你真的想要請求用戶輸入一個Python表達式，計算結果，可以通過調用input()函數然後把返回值傳遞給eval()。

I/O方法xreadlines()

在Python 2里，文件對象有一個xreadlines()方法，它返回一個迭代器，一次讀取文件的一行。這在for循環中尤其有用。事實上，後來的Python 2版本給文件對象本身添加了這樣的功能。

在Python 3里，xreadlines()方法不再可用了。2to3可以解決簡單的情況，但是一些邊緣案例則需要人工介入。

Notes

Python 2

Python 3

①

• for line in a_file.xreadlines(): for line in a_file:

②

• for line in a_file.xreadlines(5): no change (broken)

• 如果你以前調用沒有參數的xreadlines()，2to3會把它轉換成文件對象本身。在Python 3里，這種轉換後的代碼可以完成前同樣的工作：一次讀取文件的一行，然後執行for循環的循環體。

• 如果你以前使用一個參數(每次讀取的行數)調用xreadlines()，2to3不能為你完成從Python 2到Python 3的轉換，你的代碼會以這樣的方式失敗：AttributeError: '_io.TextIOWrapper' object has no attribute 'xreadlines'。你可以手工的把xreadlines()改成readlines()以使代碼能在Python 3下工作。(readline()方法在Python 3里返回迭代器，所以它跟Python 2里的xreadlines()效率是不相上下的。)




8）改變了順序操作符的行為，例如x<y，當x和y類型不匹配時拋出TypeError而不是返回隨即的 bool值


9）去除元組參數解包。不能def(a, (b, c)):pass這樣定義函數了


10）新式的8進制字變數，相應地修改了oct()函數。
2.X的方式如下：
>>> 0666
438
>>> oct(438)
'0666'


3.X這樣：
>>> 0666
SyntaxError: invalid token (<pyshell#63>, line 1)
>>> 0o666
438
>>> oct(438)
'0o666'

11）增加了 2進制字面量和bin()函數
>>> bin(438)
'0b110110110'
>>> _438 = '0b110110110'
>>> _438
'0b110110110'

12）擴展的可迭代解包。在Py3.X 里，a, b, *rest = seq和 *rest, a = seq都是合法的，只要求兩點：rest是list對象和seq是可迭代的。

13）新的super()，可以不再給super()傳參數，
>>> class C(object):
def __init__(self, a):
print('C', a)
>>> class D(C):
def __init(self, a):
super().__init__(a) # 無參數調用super()
>>> D(8)
C 8
<__main__.D object at 0x00D7ED90>

14）支持class decorator。用法與函數decorator一樣：
>>> def foo(cls_a):
def print_func(self):
print('Hello, world!')
cls_a.print = print_func
return cls_a
>>> @foo
class C(object):
pass
>>> C().print()
Hello, world!


class decorator可以用來玩玩狸貓換太子的大把戲。更多請參閱PEP 3129

4. 字元串和位元組串

Python 2有兩種字元串類型：Unicode字元串和非Unicode字元串。Python 2有基於ASCII的str()類型，其可通過單獨的unicode()函數轉成unicode類型，但沒有byte類型。

而在Python 3中，終於有了Unicode（utf-8）字元串，以及兩個位元組類：bytes和bytearrays。Python 3隻有一種類型：Unicode字元串(Unicode strings)。只有str一種類型，但它跟2.x版本的unicode幾乎一樣。

Notes

Python 2

Python 3

①

• u'PapayaWhip' 'PapayaWhip'

②

• ur'PapayaWhipfoo' r'PapayaWhipfoo'

• Python 2里的Unicode字元串在Python 3里即普通字元串，因為在Python 3里字元串總是Unicode形式的。

• Unicode原始字元串(raw string)(使用這種字元串，Python不會自動轉義反斜線"")也被替換為普通的字元串，因為在Python 3里，所有原始字元串都是以Unicode編碼的。

全局函數unicode()

Python 2有兩個全局函數可以把對象強制轉換成字元串：unicode()把對象轉換成Unicode字元串，還有str()把對象轉換為非Unicode字元串。

Python 3隻有一種字元串類型，Unicode字元串，所以str()函數即可完成所有的功能。(unicode()函數在Python 3里不再存在了。)

Notes

Python 2

Python 3

• unicode(anything) str(anything)



5.數據類型


1）Python 2有為非浮點數准備的int和long類型。int類型的最大值不能超過sys.maxint，而且這個最大值是平台相關的。可以通過在數字的末尾附上一個L來定義長整型，顯然，它比int類型表示的數字范圍更大。

在Python 3里，只有一種整數類型int，大多數情況下，它很像Python 2里的長整型。


Note:檢查一個變數是否是整型，獲得它的數據類型，並與一個int類型(不是long)的作比較。你也可以使用isinstance()函數來檢查數據類型；再強調一次，使用int，而不是long，來檢查整數類型。


sys.maxint

由於長整型和整型被整合在一起了，sys.maxint常量不再精確。但是因為這個值對於檢測特定平台的能力還是有用處的，所以它被Python 3保留，並且重命名為sys.maxsize。

Notes

Python 2

Python 3

①

• from sys import maxint from sys import maxsize

②

③ Python3的哪個版本最好用

Python 3.9 。

場景一：學習、練習

如果是純粹學習的話，盡可能選擇比較新的版本，例如：3.7、3.8，這樣能夠使用最新的特性，目前最新版本是 Python 3.9 。如果是初學者，可以安裝 anaconda，裡面自帶 500+ 常用庫，省事方便。

場景二：生產環境

在生產環境的話，盡可能選擇穩定的版本，長期支持的版本。如果是有歷史包袱，比如歷史代碼用的 2.7 版本，那麼就繼續用 Python 2.7 的版本。

需要補充的是：Python 2.x 已經停止更新了，而且 Python 3.x 與 Python 2.x 不兼容。

Python由荷蘭數學和計算機科學研究學會的Guido van Rossum於1990 年代初設計，作為一門叫做ABC語言的替代品。

Python提供了高效的高級數據結構，還能簡單有效地面向對象編程。Python語法和動態類型，以及解釋型語言的本質，使它成為多數平台上寫腳本和快速開發應用的編程語言，隨著版本的不斷更新和語言新功能的添加，逐漸被用於獨立的、大型項目的開發。

Python解釋器易於擴展，可以使用C或C++（或者其他可以通過C調用的語言）擴展新的功能和數據類型。Python 也可用於可定製化軟體中的擴展程序語言。Python豐富的標准庫，提供了適用於各個主要系統平台的源碼或機器碼。

2021年10月，語言流行指數的編譯器Tiobe將Python加冕為最受歡迎的編程語言，20年來首次將其置於Java、C和JavaScript之上。

④ 後端編程Python3-調試、測試和性能剖析(下)

單元測試（Unit Testing）

為程序編寫測試——如果做的到位——有助於減少bug的出現，並可以提高我們對程序按預期目標運行的信心。通常，測試並不能保證正確性，因為對大多數程序而言， 可能的輸入范圍以及可能的計算范圍是如此之大，只有其中最小的一部分能被實際地進 行測試。盡管如此，通過仔細地選擇測試的方法和目標，可以提高代碼的質量。

大量不同類型的測試都可以進行，比如可用性測試、功能測試以及整合測試等。這里, 我們只講單元測試一對單獨的函數、類與方法進行測試，確保其符合預期的行為。

TDD的一個關鍵點是，當我們想添加一個功能時——比如為類添加一個方法—— 我們首次為其編寫一個測試用例。當然，測試將失敗，因為我們還沒有實際編寫該方法。現在，我們編寫該方法，一旦方法通過了測試，就可以返回所有測試，確保我們新添加的代碼沒有任何預期外的副作用。一旦所有測試運行完畢（包括我們為新功能編寫的測試），就可以對我們的代碼進行檢查，並有理有據地相信程序行為符合我們的期望——當然，前提是我們的測試是適當的。

比如，我們編寫了一個函數，該函數在特定的索引位置插入一個字元串，可以像下面這樣開始我們的TDD：

def insert_at（string, position, insert）:

"""Returns a of string with insert inserted at the position

>>> string = "ABCDE"

>>> result =[]

>>> for i in range(-2, len(string) + 2):

... result.append(insert_at(string, i,「-」))

>>> result[:5]

['ABC-DE', 'ABCD-E', '-ABCDE','A-BCDE', 'AB-CDE']

>>> result[5:]

['ABC-DE', 'ABCD-E', 'ABCDE-', 'ABCDE-']

"""

return string

對不返回任何參數的函數或方法（通常返回None）,我們通常賦予其由pass構成的一個suite,對那些返回值被試用的，我們或者返回一個常數（比如0）,或者某個不變的參數——這也是我們這里所做的。（在更復雜的情況下，返回fake對象可能更有用一一對這樣的類，提供mock對象的第三方模塊是可用的。）

運行doctest時會失敗，並列出每個預期內的字元串（'ABCD-EF'、'ABCDE-F' 等），及其實際獲取的字元串（所有的都是'ABCD-EF'）。一旦確定doctest是充分的和正確的，就可以編寫該函數的主體部分，在本例中只是簡單的return string[:position] + insert+string[position:]。（如果我們編寫的是 return string[:position] + insert,之後復制 string [:position]並將其粘貼在末尾以便減少一些輸入操作，那麼doctest會立即提示錯誤。）

Python的標准庫提供了兩個單元測試模塊，一個是doctest,這里和前面都簡單地提到過，另一個是unittest。此外，還有一些可用於Python的第三方測試工具。其中最著名的兩個是nose (code.google.com/p/python-nose)與py.test (codespeak.net/py/dist/test/test.html), nose 致力於提供比標準的unittest 模塊更廣泛的功能，同時保持與該模塊的兼容性，py.test則採用了與unittest有些不同的方法，試圖盡可能消除樣板測試代碼。這兩個第三方模塊都支持測試發現，因此沒必要寫一個總體的測試程序——因為模塊將自己搜索測試程序。這使得測試整個代碼樹或某一部分 (比如那些已經起作用的模塊)變得很容易。那些對測試嚴重關切的人，在決定使用哪個測試工具之前，對這兩個(以及任何其他有吸引力的)第三方模塊進行研究都是值 得的。

創建doctest是直截了當的：我們在模塊中編寫測試、函數、類與方法的docstrings。 對於模塊，我們簡單地在末尾添加了 3行：

if __name__ =="__main__":

import doctest

doctest.testmod()

在程序內部使用doctest也是可能的。比如，blocks.py程序(其模塊在後面)有自己函數的doctest，但以如下代碼結尾：

if __name__== "__main__":

main()

這里簡單地調用了程序的main()函數，並且沒有執行程序的doctest。要實驗程序的 doctest,有兩種方法。一種是導入doctest模塊，之後運行程序---比如，在控制台中輸 入 python3 -m doctest blocks.py (在 Wndows 平台上，使用類似於 C:Python3 lpython.exe 這樣的形式替代python3)。如果所有測試運行良好，就沒有輸出，因此，我們可能寧願執行python3-m doctest blocks.py-v,因為這會列出每個執行的doctest,並在最後給出結果摘要。

另一種執行doctest的方法是使用unittest模塊創建單獨的測試程序。在概念上， unittest模塊是根據Java的JUnit單元測試庫進行建模的，並用於創建包含測試用例的測試套件。unittest模塊可以基於doctests創建測試用例，而不需要知道程序或模塊包含的任何事物——只要知道其包含doctest即可。因此，為給blocks.py程序製作一個測試套件，我們可以創建如下的簡單程序(將其稱為test_blocks.py)：

import doctest

import unittest

import blocks

suite = unittest.TestSuite()

suite.addTest(doctest.DocTestSuite(blocks))

runner = unittest.TextTestRunner()

print(runner.run(suite))

注意，如果釆用這種方法，程序的名稱上會有一個隱含的約束：程序名必須是有效的模塊名。因此，名為convert-incidents.py的程序的測試不能寫成這樣。因為import convert-incidents不是有效的，在Python標識符中，連接符是無效的（避開這一約束是可能的，但最簡單的解決方案是使用總是有效模塊名的程序文件名，比如，使用下劃線替換連接符）。這里展示的結構（創建一個測試套件，添加一個或多個測試用例或測試套件，運行總體的測試套件，輸出結果）是典型的機遇unittest的測試。運行時，這一特定實例產生如下結果：

...

.............................................................................................................

Ran 3 tests in 0.244s

OK

每次執行一個測試用例時，都會輸出一個句點（因此上面的輸出最前面有3個句點），之後是一行連接符，再之後是測試摘要（如果有任何一個測試失敗，就會有更多的輸出信息）。

如果我們嘗試將測試分離開（典型情況下是要測試的每個程序和模塊都有一個測試用例），就不要再使用doctests,而是直接使用unittest模塊的功能——尤其是我們習慣於使用JUnit方法進行測試時ounittest模塊會將測試分離於代碼——對大型項目（測試編寫人員與開發人員可能不一致）而言，這種方法特別有用。此外，unittest單元測試編寫為獨立的Python模塊，因此，不會像在docstring內部編寫測試用例時受到兼容性和明智性的限制。

unittest模塊定義了 4個關鍵概念。測試夾具是一個用於描述創建測試（以及用完之後將其清理）所必需的代碼的術語，典型實例是創建測試所用的一個輸入文件，最後刪除輸入文件與結果輸出文件。測試套件是一組測試用例的組合。測試用例是測試的基本單元—我們很快就會看到實例。測試運行者是執行一個或多個測試套件的對象。

典型情況下，測試套件是通過創建unittest.TestCase的子類實現的，其中每個名稱 以「test」開頭的方法都是一個測試用例。如果我們需要完成任何創建操作，就可以在一個名為setUp()的方法中實現；類似地，對任何清理操作，也可以實現一個名為 tearDown()的方法。在測試內部，有大量可供我們使用的unittest.TestCase方法，包括 assertTrue()、assertEqual()、assertAlmostEqual()（對於測試浮點數很有用）、assertRaises() 以及更多，還包括很多對應的逆方法，比如assertFalse()、assertNotEqual()、failIfEqual()、 failUnlessEqual ()等。

unittest模塊進行了很好的歸檔，並且提供了大量功能，但在這里我們只是通過一 個非常簡單的測試套件來感受一下該模塊的使用。這里將要使用的實例,該練習要求創建一個Atomic模塊，該模塊可以用作一 個上下文管理器，以確保或者所有改變都應用於某個列表、集合或字典，或者所有改變都不應用。作為解決方案提供的Atomic.py模塊使用30行代碼來實現Atomic類， 並提供了 100行左右的模塊doctest。這里，我們將創建test_Atomic.py模塊，並使用 unittest測試替換doctest,以便可以刪除doctest。

在編寫測試模塊之前，我們需要思考都需要哪些測試。我們需要測試3種不同的數據類型：列表、集合與字典。對於列表，需要測試的是插入項、刪除項或修改項的值。對於集合，我們必須測試向其中添加或刪除一個項。對於字典，我們必須測試的是插入一個項、修改一個項的值、刪除一個項。此外，還必須要測試的是在失敗的情況下，不會有任何改變實際生效。

結構上看，測試不同數據類型實質上是一樣的，因此，我們將只為測試列表編寫測試用例，而將其他的留作練習。test_Atomic.py模塊必須導入unittest模塊與要進行測試的Atomic模塊。

創建unittest文件時，我們通常創建的是模塊而非程序。在每個模塊內部，我們定義一個或多個unittest.TestCase子類。比如，test_Atomic.py模塊中僅一個單獨的 unittest-TestCase子類，也就是TestAtomic (稍後將對其進行講解)，並以如下兩行結束:

if name == "__main__":

unittest.main()

這兩行使得該模塊可以單獨運行。當然，該模塊也可以被導入並從其他測試程序中運行——如果這只是多個測試套件中的一個，這一點是有意義的。

如果想要從其他測試程序中運行test_Atomic.py模塊，那麼可以編寫一個與此類似的程序。我們習慣於使用unittest模塊執行doctests,比如：

import unittest

import test_Atomic

suite = unittest.TestLoader().loadTestsFromTestCase(test_Atomic.TestAtomic)

runner = unittest.TextTestRunner()

pnnt(runner.run(suite))

這里，我們已經創建了一個單獨的套件，這是通過讓unittest模塊讀取test_Atomic 模塊實現的，並且使用其每一個test*()方法(本實例中是test_list_success()、test_list_fail()，稍後很快就會看到)作為測試用例。

我們現在將查看TestAtomic類的實現。對通常的子類(不包括unittest.TestCase 子類)，不怎麼常見的是，沒有必要實現初始化程序。在這一案例中，我們將需要建立 一個方法，但不需要清理方法，並且我們將實現兩個測試用例。

def setUp(self)：

self.original_list = list(range(10))

我們已經使用了 unittest.TestCase.setUp()方法來創建單獨的測試數據片段。

def test_list_succeed(self):

items = self.original_list[:]

with Atomic.Atomic(items) as atomic:

atomic.append(1999)

atomic.insert(2, -915)

del atomic[5]

atomic[4]= -782

atomic.insert(0, -9)

self.assertEqual(items,

[-9, 0, 1, -915, 2, -782, 5, 6, 7, 8, 9, 1999])

def test_list_fail(self):

items = self.original_list[:]

with self.assertRaises(AttributeError):

with Atomic.Atomic(items) as atomic:

atomic.append(1999)

atomic.insert(2, -915)

del atomic[5]

atomic[4] = -782

atomic.poop() # Typo

self.assertListEqual(items, self.original_list)

這里，我們直接在測試方法中編寫了測試代碼，而不需要一個內部函數，也不再使用unittest.TestCase.assertRaised()作為上下文管理器(期望代碼產生AttributeError)。 最後我們也使用了 Python 3.1 的 unittest.TestCase.assertListEqual()方法。

正如我們已經看到的，Python的測試模塊易於使用，並且極為有用，在我們使用 TDD的情況下更是如此。它們還有比這里展示的要多得多的大量功能與特徵——比如，跳過測試的能力，這有助於理解平台差別——並且這些都有很好的文檔支持。缺失的一個功能——但nose與py.test提供了——是測試發現，盡管這一特徵被期望在後續的Python版本(或許與Python 3.2—起)中出現。

性能剖析（Profiling）

如果程序運行很慢，或者消耗了比預期內要多得多的內存，那麼問題通常是選擇的演算法或數據結構不合適，或者是以低效的方式進行實現。不管問題的原因是什麼， 最好的方法都是准確地找到問題發生的地方,而不只是檢査代碼並試圖對其進行優化。 隨機優化會導致引入bug,或者對程序中本來對程序整體性能並沒有實際影響的部分進行提速，而這並非解釋器耗費大部分時間的地方。

在深入討論profiling之前，注意一些易於學習和使用的Python程序設計習慣是有意義的，並且對提高程序性能不無裨益。這些技術都不是特定於某個Python版本的， 而是合理的Python程序設計風格。第一，在需要只讀序列時，最好使用元組而非列表； 第二，使用生成器，而不是創建大的元組和列表並在其上進行迭代處理；第三，盡量使用Python內置的數據結構 dicts、lists、tuples 而不實現自己的自定義結構，因為內置的數據結構都是經過了高度優化的；第四，從小字元串中產生大字元串時， 不要對小字元串進行連接，而是在列表中累積，最後將字元串列表結合成為一個單獨的字元串；第五，也是最後一點，如果某個對象(包括函數或方法)需要多次使用屬性進行訪問(比如訪問模塊中的某個函數)，或從某個數據結構中進行訪問，那麼較好的做法是創建並使用一個局部變數來訪問該對象，以便提供更快的訪問速度。

Python標准庫提供了兩個特別有用的模塊，可以輔助調査代碼的性能問題。一個是timeit模塊——該模塊可用於對一小段Python代碼進行計時，並可用於諸如對兩個或多個特定函數或方法的性能進行比較等場合。另一個是cProfile模塊，可用於profile 程序的性能——該模塊對調用計數與次數進行了詳細分解，以便發現性能瓶頸所在。

為了解timeit模塊，我們將查看一些小實例。假定有3個函數function_a()、 function_b()、function_c(), 3個函數執行同樣的計算，但分別使用不同的演算法。如果將這些函數放於同一個模塊中(或分別導入)，就可以使用timeit模塊對其進行運行和比較。下面給出的是模塊最後使用的代碼：

if __name__ == "__main__":

repeats = 1000

for function in ("function_a", "function_b", "function_c"):

t = timeit.Timer("{0}(X, Y)".format(function),"from __main__ import {0}, X, Y".format(function))

sec = t.timeit(repeats) / repeats

print("{function}() {sec:.6f} sec".format(**locals()))

賦予timeit.Timer()構造子的第一個參數是我們想要執行並計時的代碼，其形式是字元串。這里，該字元串是「function_a(X,Y)」；第二個參數是可選的，還是一個待執行的字元串，這一次是在待計時的代碼之前，以便提供一些建立工作。這里，我們從 __main__ (即this)模塊導入了待測試的函數，還有兩個作為輸入數據傳入的變數(X 與Y),這兩個變數在該模塊中是作為全局變數提供的。我們也可以很輕易地像從其他模塊中導入數據一樣來進行導入操作。

調用timeit.Timer對象的timeit()方法時，首先將執行構造子的第二個參數(如果有)， 之後執行構造子的第一個參數並對其執行時間進行計時。timeit.Timer.timeit()方法的返回值是以秒計數的時間，類型是float。默認情況下，timeit()方法重復100萬次，並返回所 有這些執行的總秒數，但在這一特定案例中，只需要1000次反復就可以給出有用的結果, 因此對重復計數次數進行了顯式指定。在對每個函數進行計時後，使用重復次數對總數進行除法操作，就得到了平均執行時間，並在控制台中列印出函數名與執行時間。

function_a() 0.001618 sec

function_b() 0.012786 sec

function_c() 0.003248 sec

在這一實例中，function_a()顯然是最快的——至少對於這里使用的輸入數據而言。 在有些情況下一一比如輸入數據不同會對性能產生巨大影響——可能需要使用多組輸入數據對每個函數進行測試，以便覆蓋有代表性的測試用例，並對總執行時間或平均執行時間進行比較。

有時監控自己的代碼進行計時並不是很方便，因此timeit模塊提供了一種在命令行中對代碼執行時間進行計時的途徑。比如，要對MyMole.py模塊中的函數function_a()進行計時，可以在控制台中輸入如下命令：python3 -m timeit -n 1000 -s "from MyMole import function_a, X, Y" "function_a(X, Y)"(與通常所做的一樣，對 Windows 環境，我們必須使用類似於C:Python3lpython.exe這樣的內容來替換python3)。-m選項用於Python 解釋器，使其可以載入指定的模塊(這里是timeit),其他選項則由timeit模塊進行處理。 -n選項指定了循環計數次數，-s選項指定了要建立，最後一個參數是要執行和計時的代碼。命令完成後，會向控制台中列印運行結果，比如：

1000 loops, best of 3: 1.41 msec per loop

之後我們可以輕易地對其他兩個函數進行計時，以便對其進行整體的比較。

cProfile模塊(或者profile模塊，這里統稱為cProfile模塊)也可以用於比較函數 與方法的性能。與只是提供原始計時的timeit模塊不同的是，cProfile模塊精確地展示 了有什麼被調用以及每個調用耗費了多少時間。下面是用於比較與前面一樣的3個函數的代碼：

if __name__ == "__main__":

for function in ("function_a", "function_b", "function_c"):

cProfile.run("for i in ranged 1000): {0}(X, Y)".format(function))

我們必須將重復的次數放置在要傳遞給cProfile.run()函數的代碼內部，但不需要做任何創建，因為模塊函數會使用內省來尋找需要使用的函數與變數。這里沒有使用顯式的print()語句，因為默認情況下，cProfile.run()函數會在控制台中列印其輸出。下面給出的是所有函數的相關結果(有些無關行被省略，格式也進行了稍許調整，以便與頁面適應)：

1003 function calls in 1.661 CPU seconds

ncalls tottime percall cumtime percall filename:lineno(function)

1 0.003 0.003 1.661 1.661 :1 ( )

1000 1.658 0.002 1.658 0.002 MyMole.py:21 (function_a)

1 0.000 0.000 1.661 1.661 {built-in method exec}

5132003 function calls in 22.700 CPU seconds

ncalls tottime percall cumtime percall filename:lineno(function)

1 0.487 0.487 22.700 22.700 : 1 ( )

1000 0.011 0.000 22.213 0.022 MyMole.py:28(function_b)

5128000 7.048 0.000 7.048 0.000 MyMole.py:29( )

1000 0.00 50.000 0.005 0.000 {built-in method bisectjeft}

1 0.000 0.000 22.700 22.700 {built-in method exec}

1000 0.001 0.000 0.001 0.000 {built-in method len}

1000 15.149 0.015 22.196 0.022 {built-in method sorted}

5129003 function calls in 12.987 CPU seconds

ncalls tottime percall cumtime percall filename:lineno(function)

1 0.205 0.205 12.987 12.987 :l ( )

1000 6.472 0.006 12.782 0.013 MyMole.py:36(function_c)

5128000 6.311 0.000 6.311 0.000 MyMole.py:37( )

1 0.000 0.000 12.987 12.987 {built-in method exec}

ncalls ("調用的次數")列列出了對指定函數(在filename:lineno(function)中列出) 的調用次數。回想一下我們重復了 1000次調用，因此必須將這個次數記住。tottime (「總的時間」)列列出了某個函數中耗費的總時間，但是排除了函數調用的其他函數內部花費的時間。第一個percall列列出了對函數的每次調用的平均時間(tottime // ncalls)。 cumtime ("累積時間")列出了在函數中耗費的時間，並且包含了函數調用的其他函數內部花費的時間。第二個percall列列出了對函數的每次調用的平均時間，包括其調用的函數耗費的時間。

這種輸出信息要比timeit模塊的原始計時信息富有啟發意義的多。我們立即可以發現，function_b()與function_c()使用了被調用5000次以上的生成器，使得它們的速度至少要比function_a()慢10倍以上。並且，function_b()調用了更多通常意義上的函數，包括調用內置的sorted()函數，這使得其幾乎比function_c()還要慢兩倍。當然,timeit() 模塊提供了足夠的信息來查看計時上存在的這些差別，但cProfile模塊允許我們了解為什麼會存在這些差別。正如timeit模塊允許對代碼進行計時而又不需要對其監控一樣，cProfile模塊也可以做到這一點。然而，從命令行使用cProfile模塊時，我們不能精確地指定要執行的 是什麼——而只是執行給定的程序或模塊，並報告所有這些的計時結果。需要使用的 命令行是python3 -m cProfile programOrMole.py,產生的輸出信息與前面看到的一 樣，下面給出的是輸出信息樣例，格式上進行了一些調整，並忽略了大多數行：

10272458 function calls (10272457 primitive calls) in 37.718 CPU secs

ncalls tottime percall cumtime percall filename:lineno(function)

10.000 0.000 37.718 37.718 :1 ( )

10.719 0.719 37.717 37.717 :12( )

1000 1.569 0.002 1.569 0.002 :20(function_a)

1000 0.011 0.000 22.560 0.023 :27(function_b)

5128000 7.078 0.000 7.078 0.000 :28( )

1000 6.510 0.007 12.825 0.013 :35(function_c)

5128000 6.316 0.000 6.316 0.000 :36( )

在cProfile術語學中，原始調用指的就是非遞歸的函數調用。

以這種方式使用cProfile模塊對於識別值得進一步研究的區域是有用的。比如，這里 我們可以清晰地看到function_b()需要耗費更長的時間，但是我們怎樣獲取進一步的詳細資料？我們可以使用cProfile.run("function_b()")來替換對function_b()的調用。或者可以保存完全的profile數據並使用pstats模塊對其進行分析。要保存profile,就必須對命令行進行稍許修改:python3 -m cProfile -o profileDataFile programOrMole.py。 之後可以對 profile 數據進行分析，比如啟動IDLE,導入pstats模塊，賦予其已保存的profileDataFile,或者也可以在控制台中互動式地使用pstats。

下面給出的是一個非常短的控制台會話實例，為使其適合頁面展示，進行了適當調整，我們自己的輸入則以粗體展示：

$ python3 -m cProfile -o profile.dat MyMole.py

$ python3 -m pstats

Welcome to the profile statistics browser.

% read profile.dat

profile.dat% callers function_b

Random listing order was used

List reced from 44 to 1 e to restriction

Function was called by...

ncalls tottime cumtime

:27(function_b) <- 1000 0.011 22.251 :12( )

profile.dat% callees function_b

Random listing order was used

List reced from 44 to 1 e to restriction

Function called...

ncalls tottime cumtime

:27(function_b)->

1000 0.005 0.005 built-in method bisectJeft

1000 0.001 0.001 built-in method len

1000 1 5.297 22.234 built-in method sorted

profile.dat% quit

輸入help可以獲取命令列表，help後面跟隨命令名可以獲取該命令的更多信息。比如, help stats將列出可以賦予stats命令的參數。還有其他一些可用的工具，可以提供profile數據的圖形化展示形式，比如 RunSnakeRun (www.vrplumber.com/prograinming/runsnakerun), 該工具需要依賴於wxPython GUI庫。

使用timeit與cProfile模塊，我們可以識別出我們自己代碼中哪些區域會耗費超過預期的時間；使用cProfile模塊，還可以准確算岀時間消耗在哪裡。

以上內容部分摘自視頻課程 05後端編程Python-19調試、測試和性能調優(下) ，更多實操示例請參照視頻講解。跟著張員外講編程，學習更輕松，不花錢還能學習真本領。