① 「低門檻 手把手」python 裝飾器(Decorators)原理說明
本文目的是由淺入深地介紹python裝飾器原理
裝飾器(Decorators)是 Python 的一個重要部分
其功能是, 在不修改原函數(類)定義代碼的情況下,增加新的功能
為了理解和實現裝飾器,我們先引入2個核心操作:
在這個例子中,函數hi的形參name,默認為'world'
在函數內部,又定義了另一個函數 howdoyoudo,定義這個函數時,將形參name作為新函數的形參name2的默認值。
因此,在函數內部調用howdoyoudo()時,將以調用hi時的實參為默認值,但也可以給howdoyoudo輸入其他參數。
上面的例子運行後輸出結果為:
這里新定義的howdoyoudo可以稱作一個「閉包」。不少關於裝飾器的blog都提到了這個概念,但其實沒必要給它取一個多專業的名字。我們知道閉包是 函數內的函數 就可以了
當我們進行 def 的時候,我們在做什麼?
這時,hi函數,列印一個字元串,同時返回一個字元串。
但hi函數本身也是一個對象,一個可以執行的對象。執行的方式是hi()。
這里hi和hi()有本質區別,
hi 代表了這個函數對象本身
hi() 則是運行了函數,得到函數的返回值。
作為對比,可以想像以下代碼
此時也是b存在,可以正常使用。
我們定義2個函數,分別實現自加1, 自乘2,
再定義一個函數double_exec,內容是將某個函數調用2次
在調用double_exec時,可以將函數作為輸入傳進來
輸出結果就是
7
27
同樣,也可以將函數作為輸出
輸出結果為
6
10
有了以上兩個核心操作,我們可以嘗試構造裝飾器了。
裝飾器的目的: 在不修改原函數(類)定義代碼的情況下,增加新的功能
試想一下,現在有一個原函數
在不修改原函數定義代碼的情況下,如果想進行函數內容的添加,可以將這個函數作為一個整體,添加到這樣的包裹中:
我們定義了一個my_decorator函數,這個函數進行了一種操作:
對傳入的f,添加操作(運行前後增加列印),並把添加操作後的內容連同運行原函數的內容,一起傳出
這個my_decorator,定義了一種增加前後列印內容的行為
調用my_decorator時,對這個行為進行了操作。
因此,new_function是一個在original_function上增加了前後列印行為的新函數
這個過程被可以被稱作裝飾。
這里已經可以發現,裝飾器本身對於被裝飾的函數是什麼,是不需要考慮的。裝飾器本身只定義了一種裝飾行為,這個行為是通過裝飾器內部的閉包函數()進行定義的。
運行裝飾前後的函數,可以清晰看到裝飾的效果
我們復現一下實際要用裝飾器的情況,我們往往有一種裝飾器,想應用於很多個函數,比如
此時,如果我們想給3個print函數都加上裝飾器,需要這么做
實際調用的時候,就需要調用添加裝飾器的函數名了
當然,也可以賦值給原函數名
這樣至少不需要管理一系列裝飾前後的函數。
同時,在不需要進行裝飾的時候,需要把
全部刪掉。
事實上,這樣並不方便,尤其對於更復雜的裝飾器來說
為此,python提供了一種簡寫方式
這個定義print1函數前的@my_decorator,相當於在定義完print1後,自動直接運行了
不論採用@my_decorator放在新函數前,還是顯示地重寫print1 = my_decorator(print1),都會存在一個問題:
裝飾後的函數,名字改變了(其實不止名字,一系列的索引都改變了)
輸出結果為:
這個現象的原因是,裝飾行為本身,是通過構造了一個新的函數(例子中是wrap_func函數)來實現裝飾這個行為的,然後把這個修改後的函數賦給了原函數名。
這樣,會導致我們預期的被裝飾函數的一些系統變數(比如__name__)發生了變化。
對此,python提供了解決方案:
經過這個行為後,被裝飾函數的系統變數問題被解決了
輸出結果為
剛才的例子都比較簡單,被裝飾的函數是沒有參數的。如果被裝飾的函數有參數,只需要在定義裝飾行為時(事實上,這個才更通用),增加(*args, **kwargs)描述即可
之前的描述中可以感受到,對於例子中的裝飾行為(前後加列印),函數被裝飾後,本質上是調用了新的裝飾函數wrap_func。
因此,如果原函數需要有輸入參數傳遞,只需要在wrap_func(或其他任意名字的裝飾函數)定義時,也增加參數輸入(*args, **kwargs),並將這些參數,原封不動地傳給待裝飾函數f。
這種定義裝飾行為的方式更具有普遍性,忘記之前的定義方式吧
我們試一下
輸出
這里需要注意的是,如果按照以下的方式定義裝飾器
那麼以下語句將不會執行
因為裝飾後實際的函數wrap_func(雖然名字被改成了原函數,系統參數也改成了原函數),運行到return f(*args, **kwargs) 的時候已經結束了
因為裝飾器my_decorator本身也是可以輸入的,因此,只需要在定義裝飾器時,增加參數,並在後續函數中使用就可以了,比如
此時裝飾器已經可以有輸入參數了
輸出
你可能發現,為什麼不用簡寫版的方法了
因為以上代碼會報錯!!
究其原因,雖然
等價於
但是,
並不等價於
這本身和@語法有關,使用@my_decorator時,是系統在應用一個以單個函數作為參數的閉包函數。即,@是不能帶參數的。
但是你應該發現了,之前的@wraps(f)不是帶參數了嗎?請仔細觀察以下代碼
通過一層嵌套,my_decorator_with_parma本質上是返回了一個參數僅為一個函數的函數(my_decorator),但因為my_decorator對my_decorator_with_parma來說是一個閉包,my_decorator_with_parma是可以帶參數的。(這句話真繞)
通過以上的定義,我們再來看
可以這么理解,my_decorator_with_parma(msg='yusheng')的結果是原來的my_decorator函數,同時,因為my_decorator_with_parma可以傳參,參數實際上是參與了my_decorator的(因為my_decorator對my_decorator_with_parma是閉包), my_decorator_with_parma(msg='yusheng') 全等於 一個有參數參加的my_decorator
因此,以上代碼等價於有參數msg傳遞的
比較繞,需要理解一下,或者乾脆強記這種範式:
以上範式包含函數的輸入輸出、裝飾器的輸入,可以應對大部分情況了。
實驗一下:
輸出
以上是一個log裝飾器,利用datetime統計了函數的耗時,
並且,裝飾器可以進行輸出文件操作,如果給出了文件路徑,則輸出文件,否則就列印。
利用這個裝飾器,可以靈活地進行耗時統計
不設置輸出文件地址,則列印。運行結果為:
也可以輸出到文件
輸出結果為
同時在當前目錄生成了一個test.log 文件,內容為:
以上的裝飾器都是以函數形式出現的,但我們可以稍做改寫,將裝飾器以類的形式實現。
這個裝飾器類Log 上個例子里的裝飾器函數log功能是一樣的,同時,這個裝飾器類還可以作為基類被其他繼承,進一步增加功能。
原文 http://www.cnblogs.com/yushengchn/p/15636944.html
② 2022/01/17 python ftplib無法連接伺服器及解決
一,問題1:
描述:在使用Python/ftplib程序連接FTP伺服器時,遇到問題,能夠連接主機A/B的FTP伺服器並下載數據,但在連接主機B的FTP伺服器時,執行dir/nlst/retrbinary等操作時報錯「timeout: timed out」。
分析1(A):推測問題可能由網路問題引起。經過網路搜索和參考其他文章,了解到TCP傳輸過程中存在MTU(Maximum Transmission Unit)上限,超過上限的文件傳輸會拆成多個包分多次發送,可能導致超時問題。發現路由器MTU設置為1492,調整為1472並重啟後,問題解決。
分析1(B):推測問題可能是由程序問題引起,因為FileZilla客戶端工作正常。通過谷歌搜索並參考相關文章,了解到設置debug_level=3可以幫助檢查問題。發現執行nlst/dir()時返回的是內部IP地址,導致問題發生。分析文章提到這可能是FTP伺服器配置錯誤導致的。解決方法是修改代碼以提供處理這種問題的支持,或者找到並修復FTP伺服器配置。
二,問題2:
描述:在Jupyter Notebook中使用上述解決方法的代碼時,首次運行可以正常執行dir/nlst(),但在第二次運行時,出現了「RecursionError: maximum recursion depth exceeded」的錯誤。
分析2(A):通過對比winscp的詳細輸出信息,找到了問題所在,即FTPLIB無法處理FTP伺服器返回的錯誤內部IP。解決方法是自定義FTPLIB的FTP.makepasv()函數,返回正確的外部IP。
分析2(B):問題出現在import庫後未正確清除內存中的代碼,並重新載入。解決方法是在使用importlib.reload()重新載入庫後,問題得到解決。
整體方案:在第一次運行後,通過自定義函數替換原FTPLIB.FTP.makepasv()。第二次運行時,如果在同一個名字空間中多次導入相同模塊,會導致無限循環問題。需要確保在不同伺服器連接時,即使使用相同的客戶端,makepasv()返回的IP也可能不一致。