php比較好的爬蟲框架

『壹』 有哪些適合練手的php項目

1. 項目名稱：輕量級 B2C 商城系統

項目簡介：本項目是一個擁有 PC 端 + H5 移動端的超輕量，功能強大的 B2C 商城系統。
技術實現：
核心框架：基於全新超輕量高性能Speed框架
JS框架：jQuery 1.10.2
移動端JS框架：Zepto 1.2.0
圖表庫：Flot 0.8.3
富文本編輯器：網路 精簡版 UMeditor
JS模板引擎：Juicer 0.6.8
運行環境：
操作系統： Windows / Linux / Unix
Web 伺服器：Apache / Nginx / IIS
PHP 版本：5.2 及以上
MySQL 版本：5.0 及以上
生產環境推薦：Linux + Nginx + PHP5.5 + MySQL5.6
項目地址：cigery/verydows - 碼雲
2、項目名稱：基於 PHP 的輕量級路由器

項目簡介：非常輕量級的路由器。無依賴、簡潔、速度快、自定義性強。
輕量級且速度快，查找速度不受路由數量的影響。
支持路由參數定義，以及路由選項(比如設定 domains、schema 等檢查限制)。
支持請求方法：GET POST PUT DELETE HEAD OPTIONS ...
支持事件： found notFound execStart execEnd execError，當觸發事件時你可以做一些事情(比如記錄日誌等)。
支持動態獲取 action 名。支持設置方法執行器(actionExecutor)，通過方法執行器來自定義調用真實請求方法。
支持自動匹配路由到控制器就像 yii 一樣，請參看配置項 autoRoute。
支持通過方法 SRouter::dispatch($path, $method) 手動調度一個路由。
你也可以不配置任何東西，它也能很好的工作。
項目地址：inhere/php-srouter - 碼雲
3. 項目名稱：輕量級論壇社區系統
項目簡介：本項目是一個基於 CodeIgniter 框架開發的 PHP 新型社區系統，她輕量小巧、簡單易用、強大高效，又簡稱 」STB（燒餅 BBS）。
項目地址：燒餅/startbbs - 碼雲
4. 項目名稱：基於 PHP 的三維驗證碼
<img src="https://pic2.mg.com/50/v2-_hd.png" data-rawwidth="360" data-rawheight="80" class="content_image" width="360">
項目簡介：打破傳統的，基於 PHP 的 3d 英文字母驗證碼，圖片粒子化，機器難以識別邊界，破解難度極大。
項目地址：Quekie/Safe 3D Identifying Code
5. 項目名稱：基於 PHP 的多進程網路爬蟲框架

<img src="https://pic4.mg.com/50/v2-_hd.jpg" data-rawwidth="650" data-rawheight="800" class="origin_image zh-lightbox-thumb" width="650" data-original="https://pic4.mg.com/v2-_r.jpg">
項目簡介：Beanbun 是一個簡單可擴展的爬蟲框架，支持分布式，支持守護進程模式與普通模式，守護進程模式基於 Workerman，下載器基於 Guzzle。
特點：
支持守護進程與普通兩種模式（守護進程模式只支持 Linux 伺服器）
默認使用 guzzle 進行爬取
支持分布式
支持內存、Redis 等多種隊列方式
支持自定義URI過濾
支持廣度優先和深度優先兩種爬取方式
遵循 PSR-4 標准
爬取網頁分為多步，每步均支持自定義動作（如添加代理、修改 user-agent 等）
靈活的擴展機制，可方便的為框架製作插件：自定義隊列、自定義爬取方式...
項目地址：Kiddyu/Beanbun - 碼雲

『貳』 python爬蟲框架哪個好用

說實話感覺大同小異。各有優缺點吧~

常見python爬蟲框架
1)Scrapy:很強大的爬蟲框架，可以滿足簡單的頁面爬取（比如可以明確獲知url pattern的情況）。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。
2)Crawley: 高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等
3)Portia:可視化爬取網頁內容
4)newspaper:提取新聞、文章以及內容分析
5)python-goose:java寫的文章提取工具
6)Beautiful Soup:名氣大，整合了一些常用爬蟲需求。缺點：不能載入JS。
7)mechanize:優點：可以載入JS。缺點：文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
8)selenium:這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。
9)cola:一個分布式爬蟲框架。項目整體設計有點糟，模塊間耦合度較高。

資料來源：網頁鏈接

希望我的回答對你有幫助~

『叄』 Python什麼爬蟲庫好用

aiohttp：是純粹的非同步框架，同時支持HTTP客戶端和服務端，可以快速實現非同步爬蟲，並且其中的aiohttp解決了requests的一個痛點，它可以輕松實現自動轉碼，對於中文編碼就很方便了。
asks：Python自帶一個非同步的標准庫asyncio，但這個庫很多人覺得並不好用，而裡面的ask則是封裝了curio和trio的一個http請求庫。用起來和
Requests 90%相似，新手也可以很快上手。
vibora：號稱是現在最快的非同步請求框架，跑分是最快的。寫爬蟲、寫伺服器響應都可以用。但這個項目一直在重構，現在頁面上還掛著項目正在重構的警告，使用需謹慎。
Pyppeteer：是非同步無頭瀏覽器，從跑分來看比Selenium+webdriver快，使用方式是最接近於瀏覽器的自身的設計介面的。它本身是來自
Google維護的puppeteer，但是按照Python社區的梗，作者進行了封裝並且把名字中的u改成了y。
下面為大家介紹一下框架：
Grab：是很流行的漸進式框架，Grab可以說是爬蟲界的漸進式框架，又十分簡單的用法，封裝的也很好，是基於生成器非同步的設計。
botflow：概念很新穎，定位成了處理數據工作流的框架，可以用來爬蟲、機器學習、量化交易等等。
ruia：比較接近Scrapy的使用方式，非同步設計。

『肆』 最高效的python爬蟲框架有幾個

1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。
2、Crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。
5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。
7、mechanize：它的優點是可以載入JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。
9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。
10、PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。

『伍』 爬蟲用哪個好

爬蟲用ForeSpider數據採集系統好。
ForeSpider數據採集系統是天津市前嗅網路科技有限公司自主知識產權的通用性互聯網數據採集軟體。軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。支持正則表達式操作，更有強大的面向對象的腳本語言系統。台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。軟體特點：一．通用性：可以抓取互聯網上幾乎100%的數據1.支持用戶登錄。2.支持Cookie技術。3.支持驗證碼識別。4.支持HTTPS安全協議。5.支持OAuth認證。6.支持POST請求。7.支持搜索欄的關鍵詞搜索採集。8.支持JS動態生成頁面採集。9.支持IP代理採集。10.支持圖片採集。11.支持本地目錄採集。12.內置面向對象的腳本語言系統，配置腳本可以採集幾乎100%的互聯網信息。二．高質量數據：精準採集所需數據1.獨立知識產權JS引擎，精準採集。2.內部集成資料庫，數據直接採集入庫。3.內部創建數據表結構，抓取數據後直接存入資料庫相應欄位。4.根據dom結構自動過濾無關信息。5.通過模板配置鏈接抽取和數據抽取，目標網站的所有可見內容均可採集，智能過濾無關信息。6.採集前數據可預覽採集，隨時調整模板配置，提升數據精度和質量。7.欄位的數據支持多種處理方式。8.支持正則表達式，精準處理數據。9.支持腳本配置，精確處理欄位的數據。
智能：智能模擬用戶和瀏覽器行為1.智能模擬瀏覽器和用戶行為，突破反爬蟲限制。2.自動抓取網頁的各類參數和下載過程的各類參數。

『陸』 php爬蟲框架有哪些

我做過採集站，用的是Beanbun，支持多進程，開放性很高，自己按自己項目需求改代碼都可以的

『柒』 爬蟲框架都有什麼

主流爬蟲框架通常由以下部分組成：

1.種子URL庫：URL用於定位互聯網中的各類資源，如最常見的網頁鏈接，還有常見的文件資源、流媒體資源等。種子URL庫作為網路爬蟲的入口，標識出爬蟲應該從何處開始運行，指明了數據來源。

2.數據下載器：針對不同的數據種類，需要不同的下載方式。主流爬蟲框架通暢提供多種數據下載器，用來下載不同的資源，如靜態網頁下載器、動態網頁下載器、FTP下載器等。

3.過濾器：對於已經爬取的URL，智能的爬蟲需要對其進行過濾，以提高爬蟲的整體效率。常用的過濾器有基於集合的過濾器、基於布隆過濾的過濾器等。

4.流程調度器：合理的調度爬取流程，也可以提高爬蟲的整體效率。在流程調度器中，通常提供深度優先爬取、廣度優先爬取、訂制爬取等爬取策略。同時提供單線程、多線程等多種爬取方式。

『捌』 Python的爬蟲框架哪個最好用

1、Scrapy：是一個為了抓取網站數據，提取數據結構性數據而編寫的應用框架，可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中，用這個框架可以輕松爬下來各種信息數據。
2、Pyspider：是一個用Python實現的功能強大的網路爬蟲系統，能在瀏覽器界面上進行腳本的編寫，功能的調度和爬取結果的實時查看，後端使用常用的資料庫進行抓取結構的存儲，還能定時設置任務與任務優先順序等。
3、Crawley：可以高速抓取對應網站內容，支持關系和非關系資料庫，數據可以導出為json、xml等。
4、Portia：是一個開源可視化爬蟲工具，可以讓您在不需要任何編程知識的情況下抓取網站，簡單地註解您感興趣的頁面，創建一個蜘蛛來從類似的頁面抓取數據。
5、Newspaper：可以用來提取新聞、文章和內容分析，使用多線程，支持10多種編程語言。
6、Beautiful Soup：是一個可以從HTML或者xml文件中提取數據的Python庫，它能通過你喜歡的轉換器實現慣用的文檔導航，畢亂查找，修改文檔的方式;同時幫你節省數小時甚至數天的工作時間。
7、Grab：是一個用於創建web刮板的Python框架，藉助Grab，您可以創建各種復雜的網頁抓取工具，從簡單的五行腳卜數悶本到處理數萬個網頁的復雜非同步網站抓取工具。Grab提供一個api用於執行網路請求和處理接收到的內容。
8、Cola：是一個分布式的爬蟲框架，對於用戶來說，只需要編寫幾個特定的函數，而無需關注分布式運行的細節，任務會自動分配到多型彎台機器上，整個過程對用戶是透明的。

『玖』 Python中的爬蟲框架有哪些呢

實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什麼呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。那麼，Python爬蟲一般用什麼框架比較好？
一般來講，只有在遇到比較大型的需求時，才會使用Python爬蟲框架。這樣的做的主要目的，是為了方便管理以及擴展。本文我將向大家推薦十個Python爬蟲框架。
1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。
2、Crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。

4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。
5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。
7、mechanize：它的優點是可以載入JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。
9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。
10、PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。