㈠ 學python最想要提升的是哪些地方
1.學習 Python 包並實現基本的爬蟲過程
大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下。當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化。
2.了解非結構化數據的存儲
爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。當然你可能發現爬回來的數據並不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更干凈的數據。
3.學習scrapy，搭建工程化爬蟲
掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備Python爬蟲工程師的思維了。
4.學習資料庫知識，應對大規模數據存儲與提取
Python客棧送紅包、紙質書
爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。因為這里要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。
5.掌握各種技巧，應對特殊網站的反爬措施
當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。
6.分布式爬蟲，實現大規模並發採集，提升效率
爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握Scrapy+ MongoDB + Redis 這三種工具。Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。
只要按照以上的Python爬蟲學習路線，一步步完成，即使是新手小白也能成為老司機，而且學下來會非常輕松順暢。所以新手在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目，直接開始操作。
其實學Python編程和練武功其實很相似，入門大致這樣幾步:找本靠譜的書,找個靠譜的師傅，找一個地方開始練習。
學語言也是這樣的：選一本通俗易懂的書，找一個好的視頻資料，然後自己裝一個IDE工具開始邊學邊寫。
7.給初學Python編程者的建議：
①信心。可能你看了視頻也沒在屏幕上做出點啥，都沒能把程序運行起來。但是要有自信，所有人都是這樣過來的。
②選擇適合自己的教程。有很早的書籍很經典，但是不是很適合你，很多書籍是我們學過一遍Python之後才會發揮很大作用。
③寫代碼，就是不斷地寫，練。這不用多說，學習什麼語言都是這樣。總看視頻，編不出東西。可以從書上的小案例開始寫，之後再寫完整的項目。
④除了學Python，計算機的基礎也要懂得很多，補一些英語知識也行。
⑤不但會寫，而且會看，看源碼是一個本領，調試代碼更是一個本領，就是解決問題的能力，挑錯。理解你自己的報錯信息，自己去解決。
⑥當你到達了一個水平，就多去看官方的文檔，在CSDN上面找下有關Python的博文或者群多去交流。
希望想學習Python的利用好現在的時間，管理好自己的學習時間，有效率地學習Python，Python這門語言可以做很多事情。
㈡ 請教一個問題，怎麼提高 python 爬蟲的爬取效率
多個爬蟲+隊列（ redis ）
協程與多進程並不沖突
消息隊列
使用大量的代理 ip
使用 requests.Session 復用連接應該能稍微快一點.
㈢ 請教一個問題，怎麼提高 python 爬蟲的爬取效率
很多爬蟲工作者都遇到過抓取非常慢的問題，尤其是需要採集大量數據的情況下。那麼如何提高爬蟲採集效率就十分關鍵，一塊了解如何提高爬蟲採集效率問題。
1.盡可能減少網站訪問次數
單次爬蟲的主要把時間消耗在網路請求等待響應上面，所以能減少網站訪問就減少網站訪問，既減少自身的工作量，也減輕網站的壓力，還降低被封的風險。
第一步要做的就是流程優化，盡量精簡流程，避免在多個頁面重復獲取。
隨後去重，同樣是十分重要的手段，一般根據url或者id進行唯一性判別，爬過的就不再繼續爬了。
2.分布式爬蟲
即便把各種法子都用盡了，單機單位時間內能爬的網頁數仍是有限的，面對大量的網頁頁面隊列，可計算的時間仍是很長，這種情況下就必須要用機器換時間了，這就是分布式爬蟲。
第一步，分布式並不是爬蟲的本質，也並不是必須的，對於互相獨立、不存在通信的任務就可手動對任務分割，隨後在多個機器上各自執行，減少每台機器的工作量，費時就會成倍減少。
例如有200W個網頁頁面待爬，可以用5台機器各自爬互不重復的40W個網頁頁面，相對來說單機費時就縮短了5倍。
可是如果存在著需要通信的狀況，例如一個變動的待爬隊列，每爬一次這個隊列就會發生變化，即便分割任務也就有交叉重復，因為各個機器在程序運行時的待爬隊列都不一樣了——這種情況下只能用分布式，一個Master存儲隊列，其他多個Slave各自來取，這樣共享一個隊列，取的情況下互斥也不會重復爬取。IPIDEA提供高匿穩定的IP同時更注重用戶隱私的保護，保障用戶的信息安全。含有240＋國家地區的ip，支持API批量使用，支持多線程高並發使用。
㈣ 如何優化 Python 爬蟲的速度
1、使用非同步提高並發
2、分布式爬蟲策略
3、優化爬蟲自身解析html的效率（正則匹配與bs4的選擇）
㈤ 如何自學Python爬蟲技術，花式賺錢
Python語言這兩年是越來越火了，它漸漸崛起也是有緣由的。
比如市場需求、入門簡單易學、支持多種語言……當然這些都是很官方的。
說白了，就是
寫個web服務，可以用python；
寫個伺服器腳本，可以用python；
寫個桌面客戶端，可以用python；
做機器學習數據挖掘，可以用python；
寫測試工具自動化腳本依舊可以用python……
Python語言是免費支持的！
既然那麼好，如何利用python進行有意義的行（zhuan）為（錢）呢？
今天，小編和大家一起學習python爬蟲技術呢？
一、老生常談-學習准備
學會提前准備是一切好的開始，學習語言更是如此。興趣是最好的老師，學習爬蟲技術，可以給自己定個目標，比如為了妹紙，爬取時尚網站的數據信息，打包給那個她······
基礎知識必須掌握
什麼是爬蟲？數據是從哪裡來的？這些基礎到不行的知識點，請自行搜索！你還得掌握：
·HTML，了解網頁的結構，內容等，幫助後續的數據爬取。
·Python
因為比較簡單，零基礎可以聽一些大牛的博客文章，或者聽別人是怎麼說
python玩轉自動化測試，這個點有基礎的同學，可以略過哈~
·TCP/IP協議，HTTP協議
了解在網路請求和網路傳輸上的基本原理，幫助今後寫爬蟲的時候理解爬蟲的邏輯。
二、爬取整個網站的構思
當用戶在瀏覽網頁時，會看圖片。
點擊網址看到的圖片，是用戶輸入網址-DNS伺服器-伺服器主機-伺服器請求-伺服器解析-發送瀏覽器HTML、JS、CSS-瀏覽器解析-解析圖片
爬蟲需要爬取，有HTML代碼構成的網頁，然後獲取圖片和文字！
三、環境配置
環境配置總是最重要的一個環境，做過測試的都知道。python也一樣，需要掌握幾款好用的IDE，我們來看看常用的幾個：
1、Notepad++，簡單，但是提示功能不強
2、PyCharm，用於一般IDE具備的功能，比如，調試、語法高亮、代碼跳轉、等等，同時可用於Django開發，支持Google App Engine，更酷的是，PyCharm支持IronPython！
好的開發工具是一切工作完成的前提。
㈥ 精通Python網路爬蟲之網路爬蟲學習路線
欲精通Python網路爬蟲，必先了解網路爬蟲學習路線，本篇經驗主要解決這個問題。部分內容參考自書籍《精通Python網路爬蟲》。
作者：韋瑋
轉載請註明出處
隨著大數據時代的到來，人們對數據資源的需求越來越多，而爬蟲是一種很好的自動採集數據的手段。
那麼，如何才能精通Python網路爬蟲呢？學習Python網路爬蟲的路線應該如何進行呢？在此為大傢具體進行介紹。
1、選擇一款合適的編程語言
事實上，Python、PHP、JAVA等常見的語言都可以用於編寫網路爬蟲，你首先需要選擇一款合適的編程語言，這些編程語言各有優勢，可以根據習慣進行選擇。在此筆者推薦使用Python進行爬蟲項目的編寫，其優點是：簡潔、掌握難度低。
2、掌握Python的一些基礎爬蟲模塊
當然，在進行這一步之前，你應當先掌握Python的一些簡單語法基礎，然後才可以使用Python語言進行爬蟲項目的開發。
在掌握了Python的語法基礎之後，你需要重點掌握一個Python的關於爬蟲開發的基礎模塊。這些模塊有很多可以供你選擇，比如urllib、requests等等，只需要精通一個基礎模塊即可，不必要都精通，因為都是大同小異的，在此推薦的是掌握urllib，當然你可以根據你的習慣進行選擇。
3、深入掌握一款合適的表達式
學會了如何爬取網頁內容之後，你還需要學會進行信息的提取。事實上，信息的提取你可以通過表達式進行實現，同樣，有很多表達式可以供你選擇使用，常見的有正則表達式、XPath表達式、BeautifulSoup等，這些表達式你沒有必要都精通，同樣，精通1-2個，其他的掌握即可，在此建議精通掌握正則表達式以及XPath表達式，其他的了解掌握即可。正則表達式可以處理的數據的范圍比較大，簡言之，就是能力比較強，XPath只能處理XML格式的數據，有些形式的數據不能處理，但XPath處理數據會比較快。
4、深入掌握抓包分析技術
事實上，很多網站都會做一些反爬措施，即不想讓你爬到他的數據。最常見的反爬手段就是對數據進行隱藏處理，這個時候，你就無法直接爬取相關的數據了。作為爬蟲方，如果需要在這種情況下獲取數據，那麼你需要對相應的數據進行抓包分析，然後再根據分析結果進行處理。一般推薦掌握的抓包分析工具是Fiddler，當然你也可以用其他的抓包分析工具，沒有特別的要求。
5、精通一款爬蟲框架
事實上，當你學習到這一步的時候，你已經入門了。
這個時候，你可能需要深入掌握一款爬蟲框架，因為採用框架開發爬蟲項目，效率會更加高，並且項目也會更加完善。
同樣，你可以有很多爬蟲框架進行選擇，比如Scrapy、pySpider等等，一樣的，你沒必要每一種框架都精通，只需要精通一種框架即可，其他框架都是大同小異的，當你深入精通一款框架的時候，其他的框架了解一下事實上你便能輕松使用，在此推薦掌握Scrapy框架，當然你可以根據習慣進行選擇。
6、掌握常見的反爬策略與反爬處理策略
反爬，是相對於網站方來說的，對方不想給你爬他站點的數據，所以進行了一些限制，這就是反爬。
反爬處理，是相對於爬蟲方來說的，在對方進行了反爬策略之後，你還想爬相應的數據，就需要有相應的攻克手段，這個時候，就需要進行反爬處理。
事實上，反爬以及反爬處理都有一些基本的套路，萬變不離其宗，這些後面作者會具體提到，感興趣的可以關注。
常見的反爬策略主要有：
IP限制
UA限制
Cookie限制
資源隨機化存儲
動態載入技術
……
對應的反爬處理手段主要有：
IP代理池技術
用戶代理池技術
Cookie保存與處理
自動觸發技術
抓包分析技術+自動觸發技術
……
這些大家在此先有一個基本的思路印象即可，後面都會具體通過實戰案例去介紹。
7、掌握PhantomJS、Selenium等工具的使用
有一些站點，通過常規的爬蟲很難去進行爬取，這個時候，你需要藉助一些工具模塊進行，比如PhantomJS、Selenium等，所以，你還需要掌握PhantomJS、Selenium等工具的常規使用方法。
8、掌握分布式爬蟲技術與數據去重技術
如果你已經學習或者研究到到了這里，那麼恭喜你，相信現在你爬任何網站都已經不是問題了，反爬對你來說也只是一道形同虛設的牆而已了。
但是，如果要爬取的資源非常非常多，靠一個單機爬蟲去跑，仍然無法達到你的目的，因為太慢了。
所以，這個時候，你還應當掌握一種技術，就是分布式爬蟲技術，分布式爬蟲的架構手段有很多，你可以依據真實的伺服器集群進行，也可以依據虛擬化的多台伺服器進行，你可以採用urllib+redis分布式架構手段，也可以採用Scrapy+redis架構手段，都沒關系，關鍵是，你可以將爬蟲任務部署到多台伺服器中就OK。
至於數據去重技術，簡單來說，目的就是要去除重復數據，如果數據量小，直接採用資料庫的數據約束進行實現，如果數據量很大，建議採用布隆過濾器實現數據去重即可，布隆過濾器的實現在Python中也是不難的。
以上是如果你想精通Python網路爬蟲的學習研究路線，按照這些步驟學習下去，可以讓你的爬蟲技術得到非常大的提升。
至於有些朋友問到，使用Windows系統還是Linux系統，其實，沒關系的，一般建議學習的時候使用Windows系統進行就行，比較考慮到大部分朋友對該系統比較數據，但是在實際運行爬蟲任務的時候，把爬蟲部署到Linux系統中運行，這樣效率比較高。由於Python的可移植性非常好，所以你在不同的平台中運行一個爬蟲，代碼基本上不用進行什麼修改，只需要學會部署到Linux中即可。所以，這也是為什麼說使用Windows系統還是Linux系統進行學習都沒多大影響的原因之一。
本篇文章主要是為那些想學習Python網路爬蟲，但是又不知道從何學起，怎麼學下去的朋友而寫的。希望通過本篇文章，可以讓你對Python網路爬蟲的研究路線有一個清晰的了解，這樣，本篇文章的目的就達到了，加油！
本文章由作者韋瑋原創，轉載請註明出處。
㈦ 請教一個問題，怎麼提高 python 爬蟲的爬取效率
考慮用多進程+分布在不同機房的集群。
理由如下：
如果單進程，則瓶頸多出在CPU上。
多進程的話可以高效利用CPU。但是其實多數情況是在網路，所以說更好的解決辦法是用多個機房的多台機器同時跑多進程的爬蟲，這樣減少網路阻塞。
實現的話，用scrapy+rq-queue然後用redis來作隊列就好。
用這個方法爬過douban的幾千萬個頁面
㈧ python基礎 爬蟲項目有哪些
我們上篇才講了面試中需要准備的內容，關於最後一點可能講的不是很詳細，小夥伴們很有對項目這塊很感興趣。畢竟所有的理論知識最後都是通過實踐檢驗的，如果能有拿得出手的項目，面試中會大大的加分。下面小編就來跟大講講python的爬蟲項目有哪些以及該學點什麼內容。
wesome-spider
這一項目收集了100多個爬蟲，默認使用了Python作為爬蟲語言。你既可以在這個項目中，找到爬取Bilibili視頻的爬蟲，也可以使用爬蟲，通過豆瓣評分和評價人數等各項數據，來挖掘那些隱藏的好書，甚至還可以用來爬取京東、鏈家、網盤等生活所需的數據。此外，這個項目還提供了一些很有意思的爬蟲，比如爬取神評論、妹子圖片、心靈毒雞湯等等，既有實用爬蟲，也有惡搞自嗨，滿足了大部分人實用爬蟲的需求。
Nyspider
Nyspider也非常厲害，如果你想獲得「信息」，它是一個不錯的選擇。在這個項目里，你既能獲取鏈家的房產信息，也可以批量爬取A股的股東信息，貓眼電影的票房數據、還可以爬取獵聘網的招聘信息、獲取融資數據等等，可謂是爬取數據，獲取信息的好手。
python-spider
這個項目是ID為Jack-Cherish的東北大學學生整理的python爬蟲資料，涵蓋了很多爬蟲實戰項目，如下載漫畫、答題輔助系統、搶票小助手等等等等。如果你已經學會了爬蟲，急切得像找一些項目練手，這里就可以滿足你的這一需求。當然，W3Cschool上也有很多爬蟲實戰項目，有需要的同學，也可以拿來作為練習使用。
以上的3個模塊基於GitHub中的部分內容，感興趣的小夥伴也可以了解下其他的模塊，畢竟GitHub使用也比較廣泛。更多Python學習推薦:PyThon學習網教學中心。
㈨ python爬蟲學不好怎麼辦
大牛與小白的差別，就是小白花費九牛二虎之力完成的項目，大牛舉手投足就能分分鍾搞定。那大牛到底牛×在哪兒？是他們掌握了更多的工具和技能包，借力出招。今天小澤就給大家整理8個Python庫及使用方法與場景，助你快速提高效率。（建議收藏）
在資料庫中即時保存數據：Dataset
當我們想要在不知道最終資料庫表長什麼樣的情況下，快速收集數據並保存到資料庫中的時候，Dataset 庫將是我們的最佳選擇。Dataset 庫有一個簡單但功能強大的 API，因此我們可以很容易的把數據保存下來，之後再進行整理。
Dataset 建立在 SQLAlchemy 之上，所以如果需要對它進行擴展，你會感到非常熟悉。使用 Django 內建的 inspectdb 管理命令可以很容易地把底層資料庫模型導入 Django 中，這使得和現有資料庫一同工作不會出現任何障礙。
從網頁抓取數據：Beautiful Soup
Beautiful Soup（一般寫作 BS4）庫使得從 HTML 網頁中提取信息變得非常簡單。當我們需要把非結構化或弱結構化的 HTML 轉換為結構化數據的時候，就需要使用 Beautiful Soup 。用它來處理 XML 數據也是一個很好的選擇，否則 XML 的可讀性或許會很差。
和 HTTP 內容打交道：Requests
當需要和 HTTP 內容打交道的時候，Requests 毫無疑問是最好的標准庫。當我們想要抓取 HTML 網頁或連接 API 的時候，都離不開 Requests 庫。同時，它也有很好的文檔。
編寫命令行工具：Click
當需要寫一個簡單的 Python 腳本作為命令行工具的時候，Click 是我最喜歡用的庫。它的 API 非常直觀，並且在實現時經過了深思熟慮，我們只需要記住很少的幾個模式。它的文檔也很優秀，這使得學習其高級特性更加容易。
對事物命名：Python Slugify
眾所周知，命名是一件困難的事情。Python Slugify 是一個非常有用的庫，它可以把一個標題或描述轉成一個帶有特性的唯一標識符。如果你正在做一個 Web 項目，並且你想要使用對搜索引擎優化友好SEO-friendly的鏈接，那麼，使用 Python Slugify 可以讓這件事變得很容易。