A. python爬蟲中怎麼寫反爬蟲
1、通過UA判斷：UA是UserAgent，是要求瀏覽器的身份標志。
UA是UserAgent，是要求瀏覽器的身份標志。反爬蟲機制通過判斷訪問要求的頭部沒有UA來識別爬蟲，這種判斷方法水平很低，通常不作為唯一的判斷標准。反爬蟲非常簡單，可以隨機數UA。
2、通過Cookie判定：Cookie是指會員帳戶密碼登錄驗證
Cookie是指會員帳戶密碼登錄驗證，通過區分該帳戶在短時間內爬行的頻率來判斷。這種方法的反爬蟲也很困難，需要多賬戶爬行。
3、通過訪問頻率判定
爬蟲類經常在短時間內多次訪問目標網站，反爬蟲類機制可以通過單個IP訪問的頻率來判斷是否是爬蟲類。這樣的反爬方式難以反制，只能通過更換IP來解決。
4、通過驗證碼判定
驗證碼是反爬蟲性價比高的實施方案。反爬蟲通常需要訪問OCR驗證碼識別平台，或者使用TesseractOCR識別，或者使用神經網路訓練識別驗證碼。
5、動態性頁面載入
使用動態載入的網站通常是為了方便用戶點擊和查看，爬蟲無法與頁面互動，這大大增加了爬蟲的難度。
一般情況下，用戶對網站進行信息爬取時，都要受到「爬蟲」的約束，使用戶在獲取信息時受到一定的阻礙
B. python能用於做什麼
Python 的實際應用場景有哪些？這里給大家簡單做一個介紹：
Web 應用開發
在因大數據、人工智慧為人所熟知之前，Python 就已經在 Web 開發領域被廣泛使用，產生了 Django、Flask、Tornado 等 Web 開發框架。得益於其簡潔的語法和動態語言特性，Python 的開發效率很高，因而深受創業團隊的青睞。
一些將 Python 作為主要開發語言的知名互聯網企業/產品：
豆瓣
知乎
果殼網
Quora
Dropbox
由於後台伺服器的通用性，除了狹義的網站之外，很多 App 和游戲的伺服器端也同樣用 Python 實現。
自動化運維
在 Web 開發領域，Python 只是眾多語言選擇之一；但在自動化運維領域，Python 則是必備技能。靈活的功能和豐富的類庫使其成為運維工程師的首選語言。大量自動化運維工具和平台或以 Python 開發，或提供 Python 的配置介面。單從 Linux 內置 Python 這一點來看也足見其在伺服器和運維領域的地位。
因此很多公司雖然核心業務不是使用 Python，但在管理系統、運維等方面也大量使用。比如 Facebook 工程師維護了上千個 Python 項目，包括基礎設施管理、廣告 API 等。
推薦學習《python教程》
網路爬蟲
也叫網路蜘蛛，是指從互聯網採集數據的程序腳本。對於很多數據相關公司來說，爬蟲和反爬蟲技術都是其賴以生存的重要保障。盡管很多語言都可以編寫爬蟲，但靈活的 Python 無疑也是當前的首選。基於 Python 的爬蟲框架 Scrapy 也很受歡迎。
這個星球上最大的「爬蟲」公司 -- Google 一直力推 Python，不僅在公司內部大量使用 Python，也為開發社區做了巨大貢獻。就連 Python 之父 Guido van Rossum 也曾在 Google 工作七年。
數據分析
當通過爬蟲獲取了海量數據之後，需要對數據進行清洗、去重、存儲、展示、分析，在這方面 Python 有許多優秀的類庫：NumPy、Pandas、Matplotlib 可以讓你的數據分析工作事半功倍。
科學計算
雖然 Matlab 在科學計算領域有著不可取代的地位，但 Python 作為一門通用的編程語言，可以帶來更廣泛的應用和更豐富的類庫。NumPy、SciPy、BioPython、SunPy 等類庫在生物信息、地理信息、數學、物理、化學、建築等領域發揮著重要作用。
而大名鼎鼎的 NASA 也早已把 Python 作為主要開發語言。
人工智慧
Python 在人工智慧大范疇領域內的數據挖掘、機器學習、神經網路、深度學習等方面都是主流的編程語言，得到廣泛的支持和應用。
機器學習：Scikit-learn
自然語言處理：NLTK
深度學習：Keras、Google 的 TensorFlow、Facebook 的 PyTorch、Amazon 的 MxNet
這些已經占據業內主流的工具要麼是用 Python 開發，要麼也提供了 Python 版本。Python 無疑已成為 AI 領域的必修語言。
膠水語言
Python 簡潔、靈活、通用，幾乎可以在各種場景與各種平台、設備、語言進行連接，因此被稱為膠水語言。有人把它比作小巧而又多功能的瑞士軍刀。除了上面提到的，在其他領域也常常見到 Python 的身影：
金融：大量金融分析和量化交易工具使用 Python 作為的開發腳本語言
游戲：一些引擎使用 Python 作為開發腳本，比較有名的游戲有《文明》系列、網易的《陰陽師》
桌面應用：雖然不算主流，但 PyQT、wxPython、Tkinter 等 GUI 庫也足以應付一般的桌面程序
C. python爬蟲如何對抗反爬蟲策略
優福音杏w
D. python爬蟲有什麼辦法防止反爬蟲
動態頁面的限制，爬蟲工作者可能會遇到這樣的尷尬，當你抓取下目標頁面之後，你發現，關鍵信息處一片空白，只有密密麻麻一片的框架代碼，這是因為該網站的信息是通過用戶Post的XHR動態返回內容信息，解決這種問題就是要通過開發者工具（FireBug等）對網站流進行分析，對內容信息進行抓取，獲取所需要的內容。
用戶行為檢測，有一些是網站通過檢測和分析一些用戶的行為，比如說是針對cookies，通過檢查cookies來判斷用戶是不是可以利用和保存的有效客戶，通常是需要登陸的網站，經常會採用這樣的技術。層次再深的還有，信息驗證，部分網站的登陸是需要驗證嗎的驗證的，就像登陸的時候，系統會自動分配出驗證碼，authenticity_token，authenticity_token會和用戶提交的登錄名和密碼一起發送回伺服器。
IP的訪問頻率被限制，一些平台為了防止多次訪問網站，會在某個同一個IP在單元時間內超過一定的次數的時候，將禁止這個IP繼續訪問。對於這個限制IP訪問效率，可以使用代理IP的方法來解決問題比如使用IPIDEA。
以上簡單的說了三種常見的反爬蟲已經反爬蟲的應對方法，一般來講越高級的爬蟲被封鎖的機率救會越低，但是性能會比較低一些。
E. Python爬取知乎與我所理解的爬蟲與反爬蟲
關於知乎驗證碼登陸的問題，用到了Python上一個重要的圖片處理庫PIL,如果不行，就把圖片存到本地，手動輸入。
通過對知乎登陸是的抓包，可以發現登陸知乎，需要post三個參數，一個是賬號，一個是密碼，一個是xrsf。
這個xrsf隱藏在表單裡面，每次登陸的時候，應該是伺服器隨機產生一個字元串。所有，要模擬登陸的時候，必須要拿到xrsf。
用chrome （或者火狐 httpfox 抓包分析）的結果：
所以，必須要拿到xsrf的數值，注意這是一個動態變化的參數，每次都不一樣。
拿到xsrf，下面就可以模擬登陸了。
使用requests庫的session對象，建立一個會話的好處是，可以把同一個用戶的不同請求聯系起來，直到會話結束都會自動處理cookies。
注意：cookies 是當前目錄的一個文件，這個文件保存了知乎的cookie，如果是第一個登陸，那麼當然是沒有這個文件的，不能通過cookie文件來登陸。必須要輸入密碼。
這是登陸的函數，通過login函數來登陸，post 自己的賬號，密碼和xrsf 到知乎登陸認證的頁面上去，然後得到cookie，將cookie保存到當前目錄下的文件裡面。下次登陸的時候，直接讀取這個cookie文件。
這是cookie文件的內容
以下是源碼：
運行結果：
https://github.com/zhaozhengcoder/Spider/tree/master/spider_hu
反爬蟲最基本的策略：
爬蟲策略：
這兩個都是在http協議的報文段的檢查，同樣爬蟲端可以很方便的設置這些欄位的值，來欺騙伺服器。
反爬蟲進階策略：
1.像知乎一樣，在登錄的表單裡面放入一個隱藏欄位，裡面會有一個隨機數，每次都不一樣，這樣除非你的爬蟲腳本能夠解析這個隨機數，否則下次爬的時候就不行了。
2.記錄訪問的ip，統計訪問次數，如果次數太高，可以認為這個ip有問題。
爬蟲進階策略：
1.像這篇文章提到的，爬蟲也可以先解析一下隱藏欄位的值，然後再進行模擬登錄。
2.爬蟲可以使用ip代理池的方式，來避免被發現。同時，也可以爬一會休息一會的方式來降低頻率。另外，伺服器根據ip訪問次數來進行反爬，再ipv6沒有全面普及的時代，這個策略會很容易造成誤傷。（這個是我個人的理解）。
通過Cookie限制進行反爬蟲：
和Headers校驗的反爬蟲機制類似，當用戶向目標網站發送請求時，會再請求數據中攜帶Cookie，網站通過校驗請求信息是否存在Cookie，以及校驗Cookie的值來判定發起訪問請求的到底是真實的用戶還是爬蟲，第一次打開網頁會生成一個隨機cookie，如果再次打開網頁這個Cookie不存在，那麼再次設置，第三次打開仍然不存在，這就非常有可能是爬蟲在工作了。
反爬蟲進進階策略：
1.數據投毒，伺服器在自己的頁面上放置很多隱藏的url，這些url存在於html文件文件裡面，但是通過css或者js使他們不會被顯示在用戶看到的頁面上面。（確保用戶點擊不到）。那麼，爬蟲在爬取網頁的時候，很用可能取訪問這個url，伺服器可以100%的認為這是爬蟲乾的，然後可以返回給他一些錯誤的數據，或者是拒絕響應。
爬蟲進進階策略：
1.各個網站雖然需要反爬蟲，但是不能夠把網路，谷歌這樣的搜索引擎的爬蟲給幹了（幹了的話，你的網站在網路都說搜不到！）。這樣爬蟲應該就可以冒充是網路的爬蟲去爬。（但是ip也許可能被識破，因為你的ip並不是網路的ip）
反爬蟲進進進階策略：
給個驗證碼，讓你輸入以後才能登錄，登錄之後，才能訪問。
爬蟲進進進階策略：
圖像識別，機器學習，識別驗證碼。不過這個應該比較難，或者說成本比較高。
參考資料：
廖雪峰的python教程
靜覓的python教程
requests庫官方文檔
segmentfault上面有一個人的關於知乎爬蟲的博客，找不到鏈接了
F. python 爬蟲要不要用框架
由於項目需求收集並使用過一些爬蟲相關庫，做過一些對比分析。以下是我接觸過的一些庫：
Beautiful Soup。名氣大，整合了一些常用爬蟲需求。缺點：不能載入JS。
Scrapy。看起來很強大的爬蟲框架，可以滿足簡單的頁面爬取（比如可以明確獲知url pattern的情況）。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。
mechanize。優點：可以載入JS。缺點：文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
selenium。這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。
cola。一個分布式爬蟲框架。項目整體設計有點糟，模塊間耦合度較高，不過值得借鑒。
以下是我的一些實踐經驗：
對於簡單的需求，比如有固定pattern的信息，怎麼搞都是可以的。
對於較為復雜的需求，比如爬取動態頁面、涉及狀態轉換、涉及反爬蟲機制、涉及高並發，這種情況下是很難找到一個契合需求的庫的，很多東西只能自己寫。
至於題主提到的：
還有，採用現有的Python爬蟲框架，相比與直接使用內置庫，優勢在哪？因為Python本身寫爬蟲已經很簡單了。
third party library可以做到built-in library做不到或者做起來很困難的事情，僅此而已。還有就是，爬蟲簡不簡單，完全取決於需求，跟Python是沒什麼關系的。
G. 如何使用python解決網站的反爬蟲
1、從用戶請求的Headers反爬蟲是最常見的反爬蟲策略。
偽裝header。很多網站都會對Headers的User-Agent進行檢測，還有一部分網站會對Referer進行檢測（一些資源網站的防盜鏈就是檢測Referer）。如果遇到了這類反爬蟲機制，可以直接在爬蟲中添加Headers，將瀏覽器的User-Agent復制到爬蟲的Headers中；或者將Referer值修改為目標網站域名[評論：往往容易被忽略，通過對請求的抓包分析，確定referer，在程序中模擬訪問請求頭中添加]。對於檢測Headers的反爬蟲，在爬蟲中修改或者添加Headers就能很好的繞過。
2、基於用戶行為反爬蟲
還有一部分網站是通過檢測用戶行為，例如同一IP短時間內多次訪問同一頁面，或者同一賬戶短時間內多次進行相同操作。[這種防爬，需要有足夠多的ip來應對]
（1）、大多數網站都是前一種情況，對於這種情況，使用IP代理就可以解決。可以專門寫一個爬蟲，爬取網上公開的代理ip，檢測後全部保存起來。有了大量代理ip後可以每請求幾次更換一個ip，這在requests或者urllib中很容易做到，這樣就能很容易的繞過第一種反爬蟲。
編寫爬蟲代理：
步驟：
1.參數是一個字典{'類型'：'代理ip：埠號'}
proxy_support=urllib.request.ProxyHandler({})
2.定製、創建一個opener
opener=urllib.request.build_opener(proxy_support)
3a.安裝opener
urllib.request.install_opener(opener)
3b.調用opener
opener.open(url)
用大量代理隨機請求目標網站，應對反爬蟲
H. Python有哪些常見的，好用的爬蟲框架
網路爬蟲的抓取策略有很多種，按照系統結構和實現技術，大致可以分為以下幾種：通用網路爬蟲（GeneralPurposeWebCrawler）、聚焦網路爬蟲（FocusedWebCrawler）、增量式網路爬蟲（IncrementalWebCrawler）、深層網路爬蟲（DeepWebCrawler）。
增量式網路爬蟲是指對已下載網頁採取增量式更新和只爬行新產生的或者已經發生變化網頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面。
一般網路爬蟲的爬行范圍和數量很大，爬行速度和存儲空間要求很高，爬行頁面的順序也比較低。同時，由於需要刷新的頁面太多，通常採用並行工作，但刷新一頁需要很長時間。
聚焦網路爬蟲是指選擇性地爬行與預定義主題相關的網路爬蟲。與普通網路爬蟲相比，聚焦爬蟲只需爬行與主題相關的網頁，大大節省了硬體和網路資源，保存的網頁也因數量少而更新快，還能很好地滿足一些特定人群對特定領域信息的需求。
DeepWeb爬蟲，也就是深層網頁爬蟲，在深層網頁容量是表層網頁的數百倍，是互聯網上最大、發展最快的新信息資源。
I. 學了python爬蟲還能幹什麼
數據分析
一般我們用爬蟲爬到了大量的數據之後，我們需要處理數據用來分析，不然爬蟲白爬了，我們最終的目的就是分析數據，在這方面 關於數據分析的庫也是非常的豐富的，各種圖形分析圖等 都可以做出來。也是非常的方便，其中諸如Seaborn這樣的可視化庫，能夠僅僅使用一兩行就對數據進行繪圖，而利用Pandas和numpy、scipy則可以簡單地對大量數據進行篩選、回歸等計算。而後續復雜計算中，對接機器學習相關演算法，或者提供Web訪問介面，或是實現遠程調用介面，都非常簡單。
J. Python有哪些常見的，好用的爬蟲框架
目前實現爬蟲技術的編程環境有很多種，Java、Python、C++等都可以用來寫爬蟲。但很多人選擇Python來寫爬蟲，原因是Python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，Python也是數據挖掘和分析的好能手。那麼，今天IPIDEA就帶大家來了解Python爬蟲一般用什麼框架比較好。
Beautiful Soup：整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能載入JS。
selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。Selenium是自動化測試工具，它支持各種瀏覽器，包括 Chrome，Safari，Firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 Selenium 的插件，可以方便地實現Web界面的測試. Selenium支持瀏覽器驅動。Selenium支持多種語言開發，比如 Java，C，Ruby等等，PhantomJS 用來渲染解析JS，Selenium 用來驅動以及與Python的對接，Python進行後期的處理。
Scrapy：Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders)，對智能處理爬取數據提供了內置支持。
Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。
cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。
PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI。採用Python語言編寫，分布式架構，支持多種資料庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器以及結果查看器。Python腳本控制，可以用任何你喜歡的html解析包。