python原生方法

㈠ python能做什麼

python的用途：

Python的優勢有必要作為第一步去了解，Python作為面向對象的腳本語言，優勢就是數據處理和挖掘，這也註定了它和AI、互聯網技術的緊密聯系。

網路爬蟲。顧名思義，從互聯網上爬取信息的腳本，主要由urllib、requests等庫編寫，實用性很強，小編就曾寫過爬取5w數據量的爬蟲。在大數據風靡的時代，爬蟲絕對是新秀。

人工智慧。AI使Python一戰成名，AI的實現可以通過tensorflow庫。神經網路的核心在於激活函數、損失函數和數據，數據可以通過爬蟲獲得。訓練時大量的數據運算又是Python的show time。

(1)python原生方法擴展閱讀：

Python開發人員盡量避開不成熟或者不重要的優化。一些針對非重要部位的加快運行速度的補丁通常不會被合並到Python內。在某些對運行速度要求很高的情況，Python設計師傾向於使用JIT技術，或者用使用C/C++語言改寫這部分程序。可用的JIT技術是PyPy。

Python是完全面向對象的語言。函數、模塊、數字、字元串都是對象。並且完全支持繼承、重載、派生、多繼承，有益於增強源代碼的復用性。

Python支持重載運算符和動態類型。相對於Lisp這種傳統的函數式編程語言，Python對函數式設計只提供了有限的支持。有兩個標准庫(functools, itertools)提供了Haskell和Standard ML中久經考驗的函數式程序設計工具。

㈡ cython與python的不同有哪些

Cython是Python的一個超集，結合了Python的易用性和原生代碼的速度，可以編譯成C語言，產生的性能提升可以從幾個百分點到幾個數量級，具體取決於手頭的任務。

使用Cython，你可以避開Python的許多原生限制，或者完全超越Python，而無需放棄Python的簡便性和便捷性。

Python代碼可以直接調用C模塊。這些C模塊可以是通用的C庫或專門為Python工作的庫。Cython生成第二種類型的模塊：與Python內部對話的C庫，可以與現有的Python代碼綁定在一起。

Cython代碼在設計上看起來很像Python代碼。如果你給Cython編譯器提供了一個Python程序，它將會按原樣接受它，但是Cython的原生加速器都不會起作用。但是如果你用Cython的特殊語法來修飾Python代碼，那麼Cython就可以用快速的C代替慢的Python對象。

請注意，Cython的方法是漸進的。這意味著開發人員可以從現有的Python應用程序開始，通過對代碼立刻進行更改來加快速度，而不是從頭開始重寫整個應用程序。

這種方法通常與軟體性能問題的性質相吻合。在大多數程序中，絕大多數CPU密集型代碼都集中在一些熱點上，也就是帕累托原則的一個版本，也被稱為「80/20」規則。因此，Python應用程序中的大部分代碼不需要進行性能優化，只需要幾個關鍵部分。你可以逐漸將這些熱點轉換為Cython，從而獲得你最需要的性能提升。程序的其餘部分可以保留在Python中，以方便開發人員。

相關推薦：《Python入門教程》

Cython優勢

除了能夠加速已經編寫的代碼之外，Cython還具有其他幾個優點：

使用外部C庫可以更快

像NumPy這樣的Python軟體包可以在Python界面中打包C庫，使它們易於使用。但是，這些包在Python和C之間來回切換會減慢速度。Cython可以讓你直接與底層庫進行通信，而不需要Python（也支持C ++庫）。

可以同時使用C和Python內存管理

如果你使用Python對象，它們就像在普通的Python中一樣被內存管理和垃圾收集。但是如果你想創建和管理自己的C級結構，並使用malloc/free來處理它們，你可以這樣做，只記得自己清理一下。

可以根據需要選擇安全性或速度

Cython通過decorator 和編譯器指令（例如@boundscheck（False））自動執行對C中彈出的常見問題的運行時檢查，例如對數組的超出邊界訪問。因此，由Cython生成的C代碼默認比手動C代碼安全得多。

如果確信在運行時不需要這些檢查，則可以在整個模塊上或僅在選擇功能上禁用它們以獲得額外的編譯速度。

Cython還允許本地訪問使用「緩沖協議」的Python結構，以直接訪問存儲在內存中的數據（無需中間復制）。Cython的「記憶視圖」可以高速地在這些結構上進行工作，並且具有適合任務的安全級別。

Cython C代碼可以從釋放GIL中受益

Python的全局解釋器鎖（Global Interpreter Lock，GIL）同步解釋器中的線程，保護對Python對象的訪問並管理資源的爭用。但GIL被廣泛批評為Python性能的絆腳石，特別是在多核系統上。

如果有一段代碼不會引用Python對象並執行長時間運行，那麼可以使用nogil：指令將其標記為允許它在沒有GIL的情況下運行。這使得Python中間人可以做其他事情，並允許Cython代碼使用多個內核（附加工作）。

Cython可以使用Python類型的提示語法

Python有一個類型提示語法，主要由linters和代碼檢查器使用，而不是CPython解釋器。 Cython有它自己的代碼裝飾的自定義語法，但是最近修改了Cython，你可以使用Python類型提示語法為Cython提供類型提示。

Cython限制

請記住，Cython不是一個魔術棒。它不會自動將每一個poky Python代碼變成極速的C代碼。為了充分利用Cython，你必須明智地使用它，並理解它的局限性：

常規Python代碼的加速很少

當Cython遇到Python代碼時，它不能完全翻譯成C語言，它將這些代碼轉換成一系列對Python內部的C調用。這相當於將Python的解釋器從執行循環中提取出來，這使得代碼默認加速了15％到20％。請注意，這是最好的情況。在某些情況下，可能看不到性能改善，甚至性能下降。

原生Python數據結構有一點加速

Python提供了大量的數據結構 - 字元串，列表，元組，字典等等。它們對於開發者來說非常方便，而且他們自帶了自動內存管理功能，但是他們比純C慢。

Cython讓你繼續使用所有的Python數據結構，盡管沒有太多的加速。這又是因為Cython只是在Python運行時調用創建和操作這些對象的C API。因此，Python數據結構的行為與Cython優化的Python代碼大致相同：有時會得到一個提升，但只有一點。

Cython代碼運行速度最快時，「純C」

如果你在C中有一個標有cdef關鍵字的函數，那麼它的所有變數和內聯函數調用都是純C的，所以它的運行速度可以和C一樣快。 但是，如果該函數引用任何Python原生代碼（如Python數據結構或對內部Python API的調用），則該調用將成為性能瓶頸。

幸運的是，Cython提供了一種方法來發現這些瓶頸：一個源代碼報告，一目瞭然地顯示您的Cython應用程序的哪些部分是純C以及哪些部分與Python交互。 對應用程序進行了更好的優化，就會減少與Python的交互。

為Cython應用程序生成的源代碼報告。 白色區域純C；黃色區域顯示與Python內部的交互。一個精心優化的Cython程序將盡可能的黃色。 展開的最後一行顯示了解釋其相應Cython代碼的C代碼。

Cython NumPy

Cython改進了基於C的第三方數字運算庫（如NumPy）的使用。由於Cython代碼編譯為C，它可以直接與這些庫進行交互，並將Python的瓶頸帶出循環。

但是NumPy特別適用於Cython。 Cython對NumPy中的特定結構具有本地支持，並提供對NumPy數組的快速訪問。在傳統的Python腳本中使用的熟悉的NumPy語法可以在Cython中使用。

但是，如果要創建Cython和NumPy之間最接近的綁定，則需要使用Cython的自定義語法進一步修飾代碼。例如，cimport語句允許Cython代碼在編譯時在庫中查看C級構造，以實現最快的綁定。

由於NumPy被廣泛使用，Cython支持NumPy「開箱即用」。如果你安裝了NumPy，你可以在你的代碼中聲明cimport numpy，然後添加進一步的裝飾來使用暴露的函數。

Cython分析和性能

可以通過分析代碼並親眼目睹瓶頸在哪裡獲得最佳性能。Cython為Python的cProfile模塊提供鉤子，因此可以使用Python自己的分析工具來查看Cython代碼的執行情況。無需在工具組之間切換；可以繼續所熟悉和喜愛的Python世界中工作。

它有助於記住所有情況下，Cython不是魔術，仍然適用明智的現實世界的表現實踐。在Python和Cython之間來回穿梭越少，你的應用運行得越快。

例如，如果你有一個你想要在Cython中處理的對象的集合，那麼不要在Python中迭代它，並且在每一步調用一個Cython函數。將整個集合傳遞給你的Cython模塊並在那裡迭代。這種技術經常在管理數據的庫中使用，因此這是在自己的代碼中模擬的好模型。

我們使用Python是因為它為程序員提供了便利，並且能夠快速開發。有時程序員的工作效率是以犧牲性能為代價的。使用Cython，只需要一點點額外的努力就可以給你兩全其美的好處。

㈢ 10《Python 原生爬蟲教程》BeatifulSoup 的使用

還記得之前我們在第一個爬蟲案例中使用過的 BeatifulSoup 嗎？這節課我們就來正式學習一下 BeatifulSoup 這個頁面提取工具，通過本節課的學習你會熟悉使用 BeatifulSoup 提取常見的網頁元素。

使用 Requests 獲取到頁面源碼後，我們需要一種工具來幫助我們結構化這些數據，從而方便我們檢索需要的某個或者某些數據內容。BeautifulSoup 庫就是這樣一種工具，可以很方便我們對數據進行解析和數據的提取。

BeautifulSoup 的名字來源於大家耳熟能詳的一部外國名著裡面的小說，這部小說的名字叫做《愛麗絲夢遊仙境》。從名字就可以看出，發明這個庫的作者的目的是為了讓使用這個庫的人，心情舒暢，使用起來很方便舒適，介面簡單人性化。

因為 BeautifulSoup 並不是 Python 內置的庫，我們需要額外安裝它。我們現在普遍使用的版本是 BeautifulSoup4， 簡稱作 bs4。

使用 pip 來安裝 BeautifulSoup 很簡單，打開 CMD 窗口運行下面這條命令：

安裝成功後，如圖所示：

解析器是一種幫我們結構化網頁內容的工具，通過解析器，我們可以得到結構化的數據，而不是單純的字元，方便我們解析和查找數據。

BeautifulSoup 的解析器有 html.parse，html5lib，lxml 等。BeautifulSoup 本身支持的標准庫是 html.parse，html5lib。但是，lxml 的性能非常棒，以及擁有良好的容錯能力，現在被廣泛的使用。

解析器對比：

安裝 lxml 和安裝 BeautifulSoup 類似，同樣只需一行命令就好：

安裝成功後，如下所示：

BeautifulSoup 將 HTML 轉換成樹形結構，每個節點都是 Python 對象，所有對象可以歸納為 4 種:

下面我們一一來看下這四類對象：

下面我們就來具體使用一下 BeautifulSoup 這個解析工具，我們首先模仿 HTML 頁面結構創建一個字元串：

工作中，我們一般經常的使用的方法就是 find_all 方法。但是，除了上述我們講的 find_all 方法之外，BeautifulSoup 還有其他一些以 find 開頭的方法，由於不是經常使用，這里就簡單的列舉一下，如果同學們感興趣的話可以自己深入了解下。

㈣ windows下如何安裝Python的庫

Windows下安裝python庫的方法：
方法一：pip安裝。
這是最常用的python安裝方法，新版的python一般自帶pip.exe程序，在如我的就在C:Python27Scripts目錄下這時候我們在CMD中打pip就可以看到一些版本信息如圖：
這個時候我們就可以使用指令 pip install xxx來讓python自動安裝某些常見的庫了。
如以下例子：
方法二：通過下載whl文件安裝
python畢竟不是windows的原生語言，所以很多庫還是不支持python，但是很多偉大的具有奉獻精神的大牛將庫編譯成了whl文件供我們使用，這里表示感謝。
步驟：
1、下載相應庫的whl文件，網址Python Extension Packages。注意要下載相應版本的，還有32還是64位系統。
2、cmd上輸入pip install .whl文件名即可。 要完整的文件
方法三：官網下載文件安裝
1、下載
2、解壓
3、在命令提示符窗口中，使用cd進入到解壓後的文件的路徑下
4、輸入命令python setup.py install
更多Python知識請關注Python視頻教程欄目。

㈤ Python的各種imread函數在實現方式和讀取速度上有何區別

1. PIL.Image.open

代碼在這里：Pillow/Image.py at 3.1.x · python-pillow/Pillow · GitHub
open() 函數打開圖像，但並不讀入，直到有操作發生。
具體的讀取操作是在 ImageFile.py 寫的。大體流程是先檢測文件類型，整塊地讀入文件內容，然後調用解碼器解碼，做了很多優化，效率應該還是很高的。

2. scipy.ndimage.imread

代碼在這里：scipy/io.py at v0.17.1 · scipy/scipy · GitHub
imread 調用 scipy.misc.pilutil.imread。從名字就能看出來其實調用的還是 Pillow。
根據 pilutil 代碼：scipy/pilutil.py at v0.17.1 · scipy/scipy · GitHub
確實是調用 pil.image.open()，然後返回一個 fromimage()。

3. scipy.misc.imread

misc 的 __init__.py 在這里：scipy/__init__.py at v0.17.1 · scipy/scipy · GitHub
調用的還是 pilutil 中的 imread
相關代碼如下
try:
from .pilutil import *
from . import pilutil
__all__ += pilutil.__all__
del pilutil
except ImportError:
pass

也算是學了一招，從 pilutil 導入其所有函數添加到當前空間，然後又刪除了 pilutil 消除影響。

4. skimage.io.imread

代碼在這里：scikit-image/_io.py at master · scikit-image/scikit-image · GitHub
是通過插件 plugin 來讀入不同的文件，而且會試用幾個不同的 plugins 來找到合適的。
使用 call_plugin 來調用，代碼在這里：scikit-image/manage_plugins.py at master · scikit-image/scikit-image · GitHub
可以根據如下代碼查看插件調用的優先順序
# For each plugin type, default to the first available plugin as defined by
# the following preferences.
preferred_plugins = {
# Default plugins for all types (overridden by specific types below).
'all': ['pil', 'matplotlib', 'qt', 'freeimage'],
'imshow': ['matplotlib'],
'imshow_collection': ['matplotlib']
}

plugins 的源代碼在這里：scikit-image/skimage/io/_plugins at master · scikit-image/scikit-image · GitHub。可以看到 pil 的 imread，是用 open 打開圖像之後，再轉換成 ndarray。

5. cv2.imread

這里是調用的 CV::imread()，代碼在這里：opencv/loadsave.cpp at master · opencv/opencv · GitHub。一般來說 C\C++ 的實現，應該比 python 速度快一點。

6. matplotlib.image.imread

matplotlib 的文檔裡面說，matplotlib 原生只可以讀取 PNG 文件，有 PIL 的時候，可以讀取其他類型的文件。如果使用 URL 打開在線圖像文件，需要符合 PIL 的文檔要求。

matplotlib.image.imread 的代碼在這里：matplotlib/image.py at master · matplotlib/matplotlib · GitHub。matplotlib 的原生 PNG 讀取和寫入，是用 C 實現的，代碼在這里：matplotlib/_png.cpp at master · matplotlib/matplotlib · GitHub。

matplotlib 是先用 pil 的 open 打開圖像，如果格式是 png，就用原生方法打開。相關代碼如下：
handlers = {'png': _png.read_png, }
if format is None:
if cbook.is_string_like(fname):
parsed = urlparse(fname)
# If the string is a URL, assume png
if len(parsed.scheme) > 1:
ext = 'png'
else:
basename, ext = os.path.splitext(fname)
ext = ext.lower()[1:]
elif hasattr(fname, 'name'):
basename, ext = os.path.splitext(fname.name)
ext = ext.lower()[1:]
else:
ext = 'png'
else:
ext = format

if ext not in handlers:
im = pilread(fname)
if im is None:
raise ValueError('Only know how to handle extensions: %s; '
'with Pillow installed matplotlib can handle '
'more images' % list(six.iterkeys(handlers)))
return im

聲明的處理器只有 png。如果是 png 文件，調用 _png.read_png。如果不是 png 直接使用 pilread（就是用 pil 的 Image.open 然後 pil_to_array）。

matplotlib 的源碼確實比較復雜，一大部分主體是用 C 寫的，改動很激進，功能更新猛烈。

㈥ 零基礎學Python應該學習哪些入門知識

關於零基礎怎麼樣能快速學好Python的問題，網路提問和解答的都很多，你可以網路下看看。我覺得從個人自學的角度出發，應從以下幾個方面來理解：

1 為什麼選擇學python？

據統計零基礎或非專業的人士學python的比較多，據HackerRank開發者調查報告2018年5月顯示（見圖），Python排名第一，成為最受歡迎編程語言。Python以優雅、簡潔著稱，入行門檻低，可以從事linux運維、Python Web網站工程師、Python自動化測試、數據分析、人工智慧等職位，薪資待遇呈上漲趨勢。

2 入門python需要那些准備？

2.1 心態准備。編程是一門技術，也可說是一門手藝。如同書法、繪畫、樂器、雕刻等，技藝純熟的背後肯定付出了長時間的反復練習。不要相信幾周速成，也不能急於求成。編程的世界浩瀚無邊，所以請保持一顆敬畏的心態去學習，認真對待寫下的每一行代碼，甚至每一個字元。收拾好自己的心態，向著編程的世界出發。第一步至關重要，關繫到初學者從入門到精通還是從入門到放棄。選一條合適的入門道路，並堅持走下去。

2.2 配置 Python 學習環境。選Python2 還是 Python3？入門時很多人都會糾結。二者只是程序不兼容，思想上並無大差別，語法變動也並不多。選擇任何一個入手，都沒有大影響。如果你仍然無法抉擇，那請選擇 Python3，畢竟這是未來的趨勢。

編輯器該如何選？同樣，推薦 pycharm 社區版，配置簡單、功能強大、使用起來省時省心，對初學者友好，並且完全免費！其他編輯器如：notepad++、sublimeText 3、vim 和 Emacs等不推薦了。

操作環境？Python 支持現有所有主流操作平台，不管是 windows 還是 mac 還是 linux，都能很好的運行 Python。並且後兩者都默認自帶 Python 環境。

2.3 選擇自學的書籍。我推薦的書的內容由淺入深，建議按照先後順序閱讀學習：

2.3.1《Python簡明教程》。這是一本言簡意賅的 Python 入門教程，簡單直白，沒有廢話。就算沒有基礎，你也可以像讀小說一樣，花兩天時間就可以讀完。適合入門快速了解語法。

2.3.2 廖雪峰編寫的《Python教程》。廖先生的教程涵蓋了 Python 知識的方方面面，內容更加系統，有一定深度，有一定基礎之後學習會有更多的收獲。

2.4 學會安裝包。Python中有很多擴展包，想要安裝這些包可以採用兩種方法：

2.4.1 使用pip或easy_install。

1)在網上找到的需要的包，下載下來。eg. rsa-3.1.4.tar.gz;

2)解壓縮該文件;

3)命令行工具cd切換到所要安裝的包的目錄，找到setup.py文件，然後輸入python setup.py install

2.4.2 不用pip或easy_install,直接打開cmd，敲pip install rsa。

3 提升階段需要恆心和耐力。

完成入門階段的基礎學習之後，常會陷入一個瓶頸期，通過看教程很難進一步提高編程水平。這時候，需要的是反復練習，大量的練習。可以從書上的例題、作業題開始寫，再寫小程序片段，然後寫完整的項目。我們收集了一些練習題和網站。可根據自己階段，選擇適合的練習去做。建議最好挑選一兩個系列重點完成，而不是淺嘗輒止。

3.1 多做練習。推薦網站練習：

crossin編程教室實例：相對於編程教室基礎練習著重於單一知識點，

編程實例訓練對基礎知識的融會貫通；

hackerrank：Python 部分難度循序漸進，符合學習曲線

實驗樓：提升編程水平從做項目開始；

codewar：社區型編程練習網站，內容由易到難；

leetcode：為編程面試准備，對初學者稍難；

牛客網：提供 BAT 等大廠筆試題目；

codecombat：提供一邊游戲一邊編程；

projecteuler：純粹的編程練習網站；

菜鳥教程100例：基於 py2 的基礎練習；

3.2 遇到問題多交流。

3.2.1 利用好搜索引擎。

3.2.2 求助於各大網站。推薦

stackoverflow：這是一個程序員的知識庫；

v2ex：國內非常不錯的編程社區，不僅僅是包含程序，也包含了程序員的生活；

segmentfault：一家以編程問答為主的網站;

CSDN、知乎、簡書等

3.2.3 加入相關的QQ、微信群、網路知道。不懂的可以隨時請教。