A. python什麼爬蟲庫好用
Python下的爬蟲庫，一般分為3類。
抓取類
urllib(Python3)，這是Python自帶的庫，可以模擬瀏覽器的請求，獲得Response用來解析，其中提供了豐富的請求手段，支持Cookies、Headers等各類參數，眾多爬蟲庫基本上都是基於它構建的。建議學習了解一下，因為有些罕見的問題需要通過底層的方式解決。
requests，基於urllib，但是更方便易用。強烈推薦掌握。
解析類
re：正則表達式官方庫，不僅僅是學習爬蟲要使用，在其他字元串處理或者自然語言處理的過程中，這是繞不過去的一個庫，強烈推薦掌宴喚模握。
BeautifulSoup：方便易用，好上手，推薦掌握。通過選擇器的方式選取頁面元素，並獲取對應的內容。
lxml：使用
lxml.etree
將字元串轉換之後，我們可以使用XPath表達式來解析網頁，終極推薦。XPath對於網頁解析的支持非常強大，而且很容易上手。它本來是設計出來進行XML元素選擇的，但是它同樣支持HTML。pyquery：另一個強大的解析庫，感興趣的可以學習下。
綜合類
selenium：所見即所得式爬蟲，綜合了抓取和解析兩種功能，一站式解決。很多動態網頁不太容易通過requests、scrapy直接抓取，比如有些url後邊帶了加密的隨晌緩機數，這些演算法不太好破解，這種情況下，只能通過直接訪問網址、模擬登陸等方式請求到頁面源碼，直接從網頁元素中解析內容，這種情況下，Selenium就是最好的選擇。不過Selenium最初設計出來，是用於測試的。強烈推薦。
scrapy：另一個爬蟲神器，適合爬取大量頁面，甚至對分布式爬蟲提供了良好的支持。強烈鏈悶推薦。
以上這些是我個人經常使用的庫，但是還有很多其他的工具值得學習。比如Splash也支持動態網頁的抓取；Appium可以幫助我們抓取App的內容；Charles可以幫助我們抓包，不管是移動端還是PC網頁端，都有良好的支持；pyspider也是一個綜合性的框架；MySQL(pymysql)、MongoDB(pymongo)，抓到了數據就要存儲，資料庫也是繞不過去的。
掌握了以上這些，基本上大部分的爬蟲任務都難不倒你啦！
B. Python什麼爬蟲庫好用
請求庫：
1. requests 這個庫是爬蟲最常用的一個庫
2. Selenium Selenium 是一個自動化測試工具，利用它我們可以驅動瀏覽器執行特定的動作，如點擊、下拉等操作 對於一些用JS做誼染的頁面來說，這種抓取方式是非常有效的。
3.ChomeDrive 安裝了這個庫，才能驅動Chrome瀏覽器完成相應的操作
4.GeckoDriver 使用W3C WebDriver兼容客戶端與基於Gecko的瀏覽器進行交互的代理。
5.PhantomJS PhantomJS 是一個無界面 、可腳本編程的 WebKit 瀏覽器引擎，它原生支持多種Web標准：Dom操作，css選擇器，json，Canvas以及SVG。
6.aiohttp 之前接收requests庫是一個阻塞式HTTP請求庫，當我們發送一個請求後。程序會一直等待伺服器響應，直到伺服器響應後，程序才會最下一步處理。其實，這個過程比較耗時間。如果程序可以在等待的過程中做一些其他的事情，如進行請求的調度，響應的處理等，那麼爬蟲的效率就會比之前的那種方式有很大的提升。 而aiohttp就是這樣一個提供非同步web服務的庫。使用說這個庫用起來還是相當方便的。
解析庫：
1.lxml lxml是python的一個解析庫，這個庫支持HTML和xml的解析，支持XPath的解析方式，而且效率也是非常高的，深受廣大程序員的熱愛
2.Beautiful Soup Beautiful Soup也是python里一個HTML或XMl的解析庫，它可以很方便的懂網頁中提取數據，擁有強大的API和多種解析方式。
3.pyquery 同樣是一個強大的網頁解析工具，它提供了和 jQuery 類似的語法來解析HTML 文梢，
資料庫：
1.mysql 資料庫
2.MongoDB Mo goDB 是由 ＋＋語言編寫的非關系型資料庫， 是一個基於分布式文件存儲的開源資料庫系統內容存儲形式類似 JSON 對象，它的欄位值可以包含其他文檔、數組及文檔數組，非常靈活
3.Redis 是一個基於 存的高效的非關系型資料庫，
存儲庫：
1.PyMySOL
2.PyMongo
3.redis-py
4.RedisDump
web庫：
1.Flask 是一個輕量級的Web服務程序，它簡單，易用，靈活
2.Tornado 是一個支持非同步的Web框架，通過使用非阻塞I/O流，可以支持成千上萬的開放式連接。
C. Python中的爬蟲框架有哪些呢
實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來爬蟲。但很多人選擇Python來寫爬蟲，為什麼呢？因為Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。那麼，Python爬蟲一般用什麼框架比較好？
一般來講，只有在遇到比較大型的需求時，才會使用Python爬蟲框架。這樣的做的主要目的，是為了方便管理以及擴展。本文我將向大家推薦十個Python爬蟲框架。
1、Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。
2、Crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為JSON、XML等。
3、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用Python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。
5、Python-goose：Java寫的文章提取工具。Python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
6、Beautiful Soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。
7、mechanize：它的優點是可以載入JS。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。
9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。
10、PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。
D. Python 爬蟲的入門教程有哪些值得推薦的
Python 爬蟲的入門教程有很多值得推薦的，以下是一些比較受歡迎和推薦的教程：
1.《精通 Python 網路爬蟲》：這本書是一本入門級的 Python 爬蟲教程，適合初學者學習。
Python3 網路爬蟲實戰：這是一個在線教程，詳細介紹了 Python 爬蟲的基礎知識，包括爬蟲的原理、如何使用 Python 爬取網頁、如何使用正則表達式和 XPath 解析網頁等。
Python 爬蟲指南：這是一個在線教程，通過幾個簡單的例子來介紹 Python 爬蟲的基礎知識。
網路爬蟲實戰：這是一個在線課程，通過幾個實際案例來介紹 Python 爬蟲的基礎知識和進階技巧。
Python 爬蟲實戰：這是一個在線課程，通過幾個實際案例來介紹 Python 爬蟲的基礎知識和進階技巧。
以上是一些比較受歡迎和推薦的 Python 爬蟲入門教程，你可以根據自己的需求和學習進度選擇適合自己的教程。
bilibili上也有一些視頻教程。
E. Python什麼爬蟲庫好用
aiohttp：是純粹的非同步框架，同時支持HTTP客戶端和服務端，可以快速實現非同步爬蟲，並且其中的aiohttp解決了requests的一個痛點，它可以輕松實現自動轉碼，對於中文編碼就很方便了。
asks：Python自帶一個非同步的標准庫asyncio，但這個庫很多人覺得並不好用，而裡面的ask則是封裝了curio和trio的一個http請求庫。用起來和
Requests 90%相似，新手也可以很快上手。
vibora：號稱是現在最快的非同步請求框架，跑分是最快的。寫爬蟲、寫伺服器響應都可以用。但這個項目一直在重構，現在頁面上還掛著項目正在重構的警告，使用需謹慎。
Pyppeteer：是非同步無頭瀏覽器，從跑分來看比Selenium+webdriver快，使用方式是最接近於瀏覽器的自身的設計介面的。它本身是來自
Google維護的puppeteer，但是按照Python社區的梗，作者進行了封裝並且把名字中的u改成了y。
下面為大家介紹一下框架：
Grab：是很流行的漸進式框架，Grab可以說是爬蟲界的漸進式框架，又十分簡單的用法，封裝的也很好，是基於生成器非同步的設計。
botflow：概念很新穎，定位成了處理數據工作流的框架，可以用來爬蟲、機器學習、量化交易等等。
ruia：比較接近Scrapy的使用方式，非同步設計。
F. python爬蟲需要安裝哪些庫
一、 請求庫
1. requests
requests 類庫是第三方庫，比 Python 自帶的 urllib 類庫使用方便和
2. selenium
利用它執行瀏覽器動作，模擬操作。
3. chromedriver
安裝chromedriver來驅動chrome。
4. aiohttp
aiohttp是非同步請求庫，抓取數據時可以提升效率。
二、 解析庫
1. lxml
lxml是Python的一個解析庫，支持解析HTML和XML，支持XPath的解析方式，而且解析效率非常高。
2. beautifulsoup4
Beautiful Soup可以使用它更方便的從 HTML 文檔中提取數據。
3. pyquery
pyquery是一個網頁解析庫，採用類似jquery的語法來解析HTML文檔。
三、 存儲庫
1. mysql
2. mongodb
3. redis
四、 爬蟲框架scrapy
Scrapy 是一套非同步處理框架，純python實現的爬蟲框架，用來抓取網頁內容以及各種圖片
需要先安裝scrapy基本依賴庫，比如lxml、pyOpenSSL、Twisted