Python非同步爬蟲框架

A. python都有哪些框架

這要看你說的是那些方面的框架

像web框架 flask、django、Tornado
爬蟲 Scrapy、Crawley、Portia
框架多得是，要你需要什麼框架

B. python的爬蟲框架有哪些

實現爬蟲技術的編程環境有很多種，java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什麼呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。
高效的Python爬蟲框架。分享給大家。
1.Scrapy
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。
2.PySpider
pyspider 是一個用python實現的功能強大的網路爬蟲系統，能在瀏覽器界面上進行腳本的編寫，功能的調度和爬取結果的實時查看，後端使用常用的資料庫進行爬取結果的存儲，還能定時設置任務與任務優先順序等。
3.Crawley
Crawley可以高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
4、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
5.Newspaper
Newspaper可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。
6、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
7.Grab

Grab是一個用於構建Web刮板的Python框架。藉助Grab，您可以構建各種復雜的網頁抓取工具，從簡單的5行腳本到處理數百萬個網頁的復雜非同步網站抓取工具
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。

C. python爬蟲需要安裝哪些庫

一、 請求庫

1. requests
requests 類庫是第三方庫，比 Python 自帶的 urllib 類庫使用方便和

2. selenium
利用它執行瀏覽器動作，模擬操作。
3. chromedriver
安裝chromedriver來驅動chrome。

4. aiohttp
aiohttp是非同步請求庫，抓取數據時可以提升效率。

二、 解析庫
1. lxml
lxml是Python的一個解析庫，支持解析HTML和XML，支持XPath的解析方式，而且解析效率非常高。
2. beautifulsoup4
Beautiful Soup可以使用它更方便的從 HTML 文檔中提取數據。

3. pyquery
pyquery是一個網頁解析庫，採用類似jquery的語法來解析HTML文檔。
三、 存儲庫
1. mysql
2. mongodb
3. redis
四、 爬蟲框架scrapy
Scrapy 是一套非同步處理框架，純python實現的爬蟲框架，用來抓取網頁內容以及各種圖片
需要先安裝scrapy基本依賴庫，比如lxml、pyOpenSSL、Twisted

D. python爬蟲用什麼框架

python爬蟲框架概述
爬蟲框架中比較好用的是 Scrapy 和PySpider。pyspider上手更簡單，操作更加簡便，因為它增加了 WEB 界面，寫爬蟲迅速，集成了phantomjs，可以用來抓取js渲染的頁面。Scrapy自定義程度高，比 PySpider更底層一些，適合學習研究，需要學習的相關知識多，不過自己拿來研究分布式和多線程等等是非常合適的。
PySpider
PySpider是binux做的一個爬蟲架構的開源化實現。主要的功能需求是：
抓取、更新調度多站點的特定的頁面
需要對頁面進行結構化信息提取
靈活可擴展，穩定可監控
pyspider的設計基礎是：以python腳本驅動的抓取環模型爬蟲
通過python腳本進行結構化信息的提取，follow鏈接調度抓取控制，實現最大的靈活性
通過web化的腳本編寫、調試環境。web展現調度狀態
抓取環模型成熟穩定，模塊間相互獨立，通過消息隊列連接，從單進程到多機分布式靈活拓展
pyspider的架構主要分為 scheler（調度器）, fetcher（抓取器）, processor（腳本執行）：
各個組件間使用消息隊列連接，除了scheler是單點的，fetcher 和 processor 都是可以多實例分布式部署的。 scheler 負責整體的調度控制
任務由 scheler 發起調度，fetcher 抓取網頁內容， processor 執行預先編寫的python腳本，輸出結果或產生新的提鏈任務（發往 scheler），形成閉環。
每個腳本可以靈活使用各種python庫對頁面進行解析，使用框架API控制下一步抓取動作，通過設置回調控制解析動作。
Scrapy
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。
其最初是為了頁面抓取 (更確切來說, 網路抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網路爬蟲。Scrapy用途廣泛，可以用於數據挖掘、監測和自動化測試
Scrapy主要包括了以下組件：
引擎(Scrapy): 用來處理整個系統的數據流處理, 觸發事務(框架核心)
調度器(Scheler): 用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是鏈接）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重復的網址
下載器(Downloader): 用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的非同步模型上的)
爬蟲(Spiders): 爬蟲是主要幹活的, 用於從特定的網頁中提取自己需要的信息, 即所謂的實體(Item)。用戶也可以從中提取出鏈接,讓Scrapy繼續抓取下一個頁面
項目管道(Pipeline): 負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的信息。當頁面被爬蟲解析後，將被發送到項目管道，並經過幾個特定的次序處理數據。
下載器中間件(Downloader Middlewares): 位於Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請求及響應。
爬蟲中間件(Spider Middlewares): 介於Scrapy引擎和爬蟲之間的框架，主要工作是處理蜘蛛的響應輸入和請求輸出。
調度中間件(Scheler Middewares): 介於Scrapy引擎和調度之間的中間件，從Scrapy引擎發送到調度的請求和響應。
Scrapy運行流程大概如下：
首先，引擎從調度器中取出一個鏈接(URL)用於接下來的抓取
引擎把URL封裝成一個請求(Request)傳給下載器，下載器把資源下載下來，並封裝成應答包(Response)
然後，爬蟲解析Response
若是解析出實體（Item）,則交給實體管道進行進一步的處理。
若是解析出的是鏈接（URL）,則把URL交給Scheler等待抓取

E. Python的爬蟲框架有哪些

向大家推薦十個Python爬蟲框架。

1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。

2、Crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。

3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。

4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。

5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。

6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。

7、mechanize：它的優點是可以載入JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。

8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。

9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。

10、PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。

以上就是分享的Python爬蟲一般用的十大主流框架。這些框架的優缺點都不同，大家在使用的時候，可以根據具體場景選擇合適的框架。

F. python爬蟲必知必會的幾個工具包

爬蟲是學習python有趣途徑，同樣有強大的框架
python自帶的urllib其實使用起來有點麻煩，推薦你使用requests庫，這是一個非常強大，使用方便的庫，而且有全面的中文文檔，網上爬數據爬圖片都不在話下。
還有更高級的庫-scrapy庫。
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 其可以應用在數據挖掘，信息處理或存儲歷史數據等一系列的程序中。Scrapy 使用了 Twisted非同步網路庫來處理網路通訊。爬取網站數據，當然少不了正則模塊re，還有beautiful soup模塊
re模塊具有強大的處理字元串的能力，但是使用起來並不簡單，因為當你覺得可以使用正則表達式的時候，這本身就是一個問題，因為寫出一個正則表達式就是一個大問題。不過不用怕，在處理網站結構的數據時，有更強大的庫-beautiful soup
Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫，擁有完善的中文文檔，提供了種類繁多的屬性和方法供你選擇，讓你解析網站數據更加的得心應手！
web後端框架django，flask
python在web開發方面也是多面手，既有大而全的框架django，又有小而精的框架flask。
雖說在web開發方面有許多框架，但是最常用的還是這兩種，如果你想做中方面的工作，學好這兩個框架就夠用了，而且，目前的python後端開發的招聘需求多半是要求會這兩個框架。

G. Python之爬蟲框架概述

丨綜述

爬蟲入門之後，我們有兩條路可以走。

一個是繼續深入學習，以及關於設計模式的一些知識，強化Python相關知識，自己動手造輪子，繼續為自己的爬蟲增加分布式，多線程等功能擴展。另一條路便是學習一些優秀的框架，先把這些框架用熟，可以確保能夠應付一些基本的爬蟲任務，也就是所謂的解決溫飽問題，然後再深入學習它的源碼等知識，進一步強化。

就個人而言，前一種方法其實就是自己動手造輪子，前人其實已經有了一些比較好的框架，可以直接拿來用，但是為了自己能夠研究得更加深入和對爬蟲有更全面的了解，自己動手去多做。後一種方法就是直接拿來前人已經寫好的比較優秀的框架，拿來用好，首先確保可以完成你想要完成的任務，然後自己再深入研究學習。第一種而言，自己探索的多，對爬蟲的知識掌握會比較透徹。第二種，拿別人的來用，自己方便了，可是可能就會沒有了深入研究框架的心情，還有可能思路被束縛。

不過個人而言，我自己偏向後者。造輪子是不錯，但是就算你造輪子，你這不也是在基礎類庫上造輪子么？能拿來用的就拿來用，學了框架的作用是確保自己可以滿足一些爬蟲需求，這是最基本的溫飽問題。倘若你一直在造輪子，到最後都沒造出什麼來，別人找你寫個爬蟲研究了這么長時間了都寫不出來，豈不是有點得不償失？所以，進階爬蟲我還是建議學習一下框架，作為自己的幾把武器。至少，我們可以做到了，就像你拿了把槍上戰場了，至少，你是可以打擊敵人的，比你一直在磨刀好的多吧？

丨框架概述

博主接觸了幾個爬蟲框架，其中比較好用的是 Scrapy 和PySpider。就個人而言，pyspider上手更簡單，操作更加簡便，因為它增加了 WEB 界面，寫爬蟲迅速，集成了phantomjs，可以用來抓取js渲染的頁面。Scrapy自定義程度高，比 PySpider更底層一些，適合學習研究，需要學習的相關知識多，不過自己拿來研究分布式和多線程等等是非常合適的。

在這里博主會一一把自己的學習經驗寫出來與大家分享，希望大家可以喜歡，也希望可以給大家一些幫助。

丨PySpider

PySpider是binux做的一個爬蟲架構的開源化實現。主要的功能需求是：

· 抓取、更新調度多站點的特定的頁面
· 需要對頁面進行結構化信息提取
· 靈活可擴展，穩定可監控
而這也是絕大多數python爬蟲的需求 —— 定向抓取，結構化化解析。但是面對結構迥異的各種網站，單一的抓取模式並不一定能滿足，靈活的抓取控制是必須的。為了達到這個目的，單純的配置文件往往不夠靈活，於是，通過腳本去控制抓取是最後的選擇。
而去重調度，隊列，抓取，異常處理，監控等功能作為框架，提供給抓取腳本，並保證靈活性。最後加上web的編輯調試環境，以及web任務監控，即成為了這套框架。

pyspider的設計基礎是：以python腳本驅動的抓取環模型爬蟲

· 通過python腳本進行結構化信息的提取，follow鏈接調度抓取控制，實現最大的靈活性

· 通過web化的腳本編寫、調試環境。web展現調度狀態

· 抓取環模型成熟穩定，模塊間相互獨立，通過消息隊列連接，從單進程到多機分布式靈活拓展
pyspider-arch

pyspider的架構主要分為 scheler（調度器）, fetcher（抓取器）, processor（腳本執行）：

· 各個組件間使用消息隊列連接，除了scheler是單點的，fetcher 和 processor 都是可以多實例分布式部署的。 scheler 負責整體的調度控制。

· 任務由 scheler 發起調度，fetcher 抓取網頁內容， processor 執行預先編寫的python腳本，輸出結果或產生新的提鏈任務（發往 scheler），形成閉環。

· 每個腳本可以靈活使用各種python庫對頁面進行解析，使用框架API控制下一步抓取動作，通過設置回調控制解析動作。

丨Scrapy

Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

其最初是為了頁面抓取 (更確切來說, 網路抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網路爬蟲。Scrapy用途廣泛，可以用於數據挖掘、監測和自動化測試

Scrapy 使用了 Twisted 非同步網路庫來處理網路通訊。整體架構大致如下

Scrapy主要包括了以下組件：

· 引擎(Scrapy): 用來處理整個系統的數據流處理, 觸發事務(框架核心)

· 調度器(Scheler): 用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是鏈接）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重復的網址

· 下載器(Downloader): 用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的非同步模型上的)

· 爬蟲(Spiders): 爬蟲是主要幹活的, 用於從特定的網頁中提取自己需要的信息, 即所謂的實體(Item)。用戶也可以從中提取出鏈接,讓Scrapy繼續抓取下一個頁面

· 項目管道(Pipeline): 負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的信息。當頁面被爬蟲解析後，將被發送到項目管道，並經過幾個特定的次序處理數據。

· 下載器中間件(Downloader Middlewares): 位於Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請求及響應。

· 爬蟲中間件(Spider Middlewares): 介於Scrapy引擎和爬蟲之間的框架，主要工作是處理蜘蛛的響應輸入和請求輸出。

· 調度中間件(Scheler Middewares): 介於Scrapy引擎和調度之間的中間件，從Scrapy引擎發送到調度的請求和響應。

Scrapy運行流程大概如下：

· 首先，引擎從調度器中取出一個鏈接(URL)用於接下來的抓取

· 引擎把URL封裝成一個請求(Request)傳給下載器，下載器把資源下載下來，並封裝成應答包(Response)

· 然後，爬蟲解析Response

· 若是解析出實體（Item）,則交給實體管道進行進一步的處理。

· 若是解析出的是鏈接（URL）,則把URL交給Scheler等待抓取。 文 | 崔慶才 來源 | 靜覓

H. Python什麼爬蟲庫好用

aiohttp：是純粹的非同步框架，同時支持HTTP客戶端和服務端，可以快速實現非同步爬蟲，並且其中的aiohttp解決了requests的一個痛點，它可以輕松實現自動轉碼，對於中文編碼就很方便了。
asks：Python自帶一個非同步的標准庫asyncio，但這個庫很多人覺得並不好用，而裡面的ask則是封裝了curio和trio的一個http請求庫。用起來和
Requests 90%相似，新手也可以很快上手。
vibora：號稱是現在最快的非同步請求框架，跑分是最快的。寫爬蟲、寫伺服器響應都可以用。但這個項目一直在重構，現在頁面上還掛著項目正在重構的警告，使用需謹慎。
Pyppeteer：是非同步無頭瀏覽器，從跑分來看比Selenium+webdriver快，使用方式是最接近於瀏覽器的自身的設計介面的。它本身是來自
Google維護的puppeteer，但是按照Python社區的梗，作者進行了封裝並且把名字中的u改成了y。
下面為大家介紹一下框架：
Grab：是很流行的漸進式框架，Grab可以說是爬蟲界的漸進式框架，又十分簡單的用法，封裝的也很好，是基於生成器非同步的設計。
botflow：概念很新穎，定位成了處理數據工作流的框架，可以用來爬蟲、機器學習、量化交易等等。
ruia：比較接近Scrapy的使用方式，非同步設計。

I. 爬蟲框架都有什麼

主流爬蟲框架通常由以下部分組成：

1.種子URL庫：URL用於定位互聯網中的各類資源，如最常見的網頁鏈接，還有常見的文件資源、流媒體資源等。種子URL庫作為網路爬蟲的入口，標識出爬蟲應該從何處開始運行，指明了數據來源。

2.數據下載器：針對不同的數據種類，需要不同的下載方式。主流爬蟲框架通暢提供多種數據下載器，用來下載不同的資源，如靜態網頁下載器、動態網頁下載器、FTP下載器等。

3.過濾器：對於已經爬取的URL，智能的爬蟲需要對其進行過濾，以提高爬蟲的整體效率。常用的過濾器有基於集合的過濾器、基於布隆過濾的過濾器等。

4.流程調度器：合理的調度爬取流程，也可以提高爬蟲的整體效率。在流程調度器中，通常提供深度優先爬取、廣度優先爬取、訂制爬取等爬取策略。同時提供單線程、多線程等多種爬取方式。

J. 用python寫爬蟲有哪些框架

以下是搜索來源於網路：
1)Scrapy:很強大的爬蟲框架，可以滿足簡單的頁面爬取（比如可以明確獲知url pattern的情況）。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。

2)Crawley: 高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等

3)Portia:可視化爬取網頁內容

4)newspaper:提取新聞、文章以及內容分析

5)python-goose:java寫的文章提取工具

6)Beautiful Soup:名氣大，整合了一些常用爬蟲需求。缺點：不能載入JS。

7)mechanize:優點：可以載入JS。缺點：文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。

8)selenium:這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。

9)cola:一個分布式爬蟲框架。項目整體設計有點糟，模塊間耦合度較高。