『壹』 python爬蟲：如何在一個月內學會爬取大規模數
爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。
對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。
1.學習 Python 包並實現基本的爬蟲過程
2.了解非結構化數據的存儲
3.學習scrapy，搭建工程化爬蟲
4.學習資料庫知識，應對大規模數據存儲與提取
5.掌握各種技巧，應對特殊網站的反爬措施
6.分布式爬蟲，實現大規模並發採集，提升效率
- -
學習 Python 包並實現基本的爬蟲過程
大部分Python爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。
Python爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了。
當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。
- -
了解非結構化數據的存儲
爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。
開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。
當然你可能發現爬回來的數據並不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更干凈的數據。
- -
學習 scrapy，搭建工程化的爬蟲
掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。
scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。
學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。
- -
學習資料庫基礎，應對大規模數據存儲
爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。
MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。
因為這里要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。
- -
掌握各種技巧，應對特殊網站的反爬措施
當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。
遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。
往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。
- -
分布式Python爬蟲，實現大規模並發採集
爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。
Scrapy 前面我們說過了，用於做基本的
『貳』 如何入門 Python 爬蟲
入門的話，我的經歷：
1.先用python寫一個爬取網頁源代碼的爬蟲（最先是爬取個人博客，會遇到亂碼問題當時困擾了很久）
2.後來寫了爬取網路圖片的程序，自動下載小說（我愛看小說-_-）（接觸正則表達式）
3.然後網路圖片他那種分頁模式，一般一頁只有20張左右的圖片，分析源代碼，完善爬取程序，不受到限制，一次可以下幾千張（圖片有的是原圖，有的是縮略圖）
4.後來發現程序卡頓，就添加了多線程。
5.然後模擬登陸一些不用驗證碼的網頁（我學校的oj），cookie登陸B站（本來想寫一個搶樓的腳本的，後來發現搶樓的被封號了-_-，就放棄了）
對於使用的庫，python2 與 python3 有點不同，我學的是python3
先用的是urllib.request，後來用requests（第三方庫），在後來接觸Scrapy(也是第三方庫)
現在因為事情多了，就把python放下了，准備寒假寫一些腳本，畢竟python不會有期末考試...
我的個人經歷，希望可以幫到你。
『叄』 如何用Python做爬蟲
1）首先你要明白爬蟲怎樣工作。
想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。
在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。
突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。
好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。
那麼在python里怎麼實現呢？
很簡單
import Queue
initial_page = "初始化頁"
url_queue = Queue.Queue()
seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進行直到海枯石爛
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中第一個的url
store(current_url) #把這個url代表的網頁存儲好
for next_url in extract_urls(current_url): #提取把這個url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
寫得已經很偽代碼了。
所有的爬蟲的backbone都在這里，下面分析一下為什麼爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。
2）效率
如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。
問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。
通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這里的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example
注意到這個特點，url如果被看過，那麼可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]
好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。
3）集群化抓取
爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了...
那麼，假設你現在有100台機器可以用，怎麼用python實現一個分布式的爬取演算法呢？
我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)
考慮如何用python實現：
在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。
代碼於是寫成
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()
initial_pages = "www.renmingribao.com"
while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub
4）展望及後處理
雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。
但是如果附加上你需要這些後續處理，比如
有效地存儲（資料庫應該怎樣安排）
有效地判重（這里指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）
有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛...
及時更新（預測這個網頁多久會更新一次）
如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，
「路漫漫其修遠兮,吾將上下而求索」。
所以，不要問怎麼入門，直接上路就好了：）
『肆』 如何入門 Python 爬蟲
「入門」是良好的動機，但是可能作用緩慢。如果你手裡或者腦子里有一個項目，那麼實踐起來你會被目標驅動，而不會像學習模塊一樣慢廳好耐慢學習。
另外如果說知識體系裡的每一個知識點是圖里的點，依賴關系是邊的話，那麼這個圖一定不是一個有向無環圖。因為學習A的經驗可以幫助你學習B。因此，你不需要學習怎麼樣「入門」，因為這樣的「入門襪簡」點根本不存在！你需要學習的是怎麼樣做一個比較大的東西，在這個過程中，你會很快地學會需要學會的東西的。當然，你可以爭論說需要先懂python，不然怎麼學會python做爬蟲呢？但是事實上，你完全可以在做這個爬蟲的過程中學習python :D看到前面很多答案都講的「術」——用什麼軟體怎麼爬，那我就講講「道」和「術」吧——爬蟲怎麼工作以及怎麼在python實現。
先長話短說總結一下。你需要學習：
基本的爬蟲工作原理
基本的http抓取工具，scrapy
Bloom Filter: Bloom
如果需要大規模網頁抓取，你需要學習分布式爬蟲的概念。其實沒那麼玄乎，你只要學會怎樣維護一個所有集群機器能夠有效分享的分布式隊列就好。最簡單的實現是python-rq: https: //github.com /nvie/rqrq和Scrapy的結合：darkrho/scrapy-redis · GitHub後續處理，網頁析取(grangier/python-goose · GitHub)，存儲(Mongodb)以下是短話長說。說說當初寫的一個集群爬下整個豆瓣的經驗吧。
1）首先你要明白爬蟲怎樣工作
想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。
在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。
突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用扮春你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。
好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。
那麼在python里怎麼實現呢？很簡單：
Python
import Queue
initial_page = "http:/ /www. renminribao. com"url_queue = Queue.Queue()seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進行直到海枯石爛
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中第一個的urlstore(current_url) #把這個url代表的網頁存儲好for next_url in extract_urls(current_url): #提取把這個url里鏈向的urlif next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
import Queue
initial_page = "http:/ / www.renminribao .com"url_queue = Queue.Queue()seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進行直到海枯石爛
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中第一個的urlstore(current_url) #把這個url代表的網頁存儲好for next_url in extract_urls(current_url): #提取把這個url里鏈向的urlif next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
寫得已經很偽代碼了。
所有的爬蟲的backbone都在這里，下面分析一下為什麼爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。
2）效率
如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。
問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。
通常的判重做法是怎樣呢？Bloom Filter。簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這里的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example注意到這個特點，url如果被看過，那麼可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]
好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。
3）集群化抓取
爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了…那麼，假設你現在有100台機器可以用，怎麼用python實現一個分布式的爬取演算法呢？
我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)考慮如何用python實現：
在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。
代碼於是寫成：
Python
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()
initial_pages = "www. renmingribao .com"
while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()
initial_pages = "www. renmingribao .com"
while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub4）展望及後處理雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。
但是如果附加上你需要這些後續處理，比如
有效地存儲（資料庫應該怎樣安排）
有效地判重（這里指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛…及時更新（預測這個網頁多久會更新一次）如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，「路漫漫其修遠兮，吾將上下而求索」。
『伍』 python的問題
IDE選用這里推薦兩款常用的 IDE，可以按照自己的條件和場景來選擇。PyCharmPyCharm 是由 JetBrain 的人員製作的 IDE，該團隊負責最著名的 Java IDE，IntelliJ IDEA之一。PyCharm 的界面和功能對於那些有使用過其他 JetBrain 產品的人來說，是完美的。 此外，如果您喜歡 IPython 或 Anaconda 發行版，那麼 PyCharm 可以將其工具和庫（如NumPyMatplotlib）集成在一起，從而讓您可以使用數組查看器和互動式圖表。Thonny現在的開發工具太多了，而且每個開發工具都致力於做成最好用最智能的工具，所以功能越堆越多，越懟越智能。安裝這些開發工具比較燒腦，經常需要經過許多配置步驟。作為一個 Python 開發者來說，好多人光是這些配置都要弄半天。配置好之後，打開軟體，發現滿屏都是菜單、按鈕，無從下手，學習這些功能使用又是一大難題。這是一款對初學者特別友好的開發 IDE，它是由愛沙尼亞的 Tartu 大學開發，十分易於上手，還支持插件。如果你有編程基礎，會其他編程語言，那麼建議你用Pycharm。如果你是編程小白，或者零基礎上手，那麼建議你用Thonny。入門首先要學習Python基礎知識，直接上課程：Python 環境搭建Python 基礎語法Python 變數與數據類型Python 流程式控制制Python函數Python 模塊和包Python 數據結構--序列Python ListPython tupplePython 類與對象Python 字典Python 集合Python 函數的參數Python 高階函數Python 輸入輸出Python 錯誤和異常Python 之引用Python 之迭代器Python 之裝飾器Python NameSpace & ScopePython Standard Library 01Python Standard Library 02Python datetime 和 timePython 垃圾回收機制Python 到底是值傳遞還是引用傳遞Python 之對象的比較與拷貝進階通過上面基礎知識的學習，相信你已經知道Python是個什麼玩意了，對它也有一個初步的了解，對它的入門知識點也有些印象了。這時候你需要進階學習，在入門的基礎上更進一步。下面就從 Python 模塊、Python爬蟲基礎、Python Web開發、Python 資料庫操作、Python 數據分析及數據科學、Python IO及非同步、Python網路編程、Python圖像處理、Python 辦公、Python 機器學習、Python 可視化 這些Python的基礎大類來進行深入學習。Python 模塊Python os 模塊詳解Python shutil 模塊Python sys 模塊詳解Python queue 模塊詳解Python collections 模塊Python random 模塊Python logging 模塊詳解Python 枚舉Python json&picklepathlib 模塊Python calendar 模塊Python math 模塊Python decimal 模塊Python itertools 模塊Python statistics 模塊Python operator 模塊Python paramiko 模塊Python filecmp&difflib模塊初識 Python 多線程Python 多線程之 threading 模塊Python Queue 進階用法Python multiprocessing 模塊Python 線程池Python 多線程 EventPython爬蟲基礎爬蟲介紹Python 爬蟲之 urllib 包基本使用Python 用戶登錄 Flask-LoginPython Requests 庫的基本使用Python Requests 庫高級用法正則表達式XPath 和 lxml爬蟲利器 Beautiful Soup 之遍歷文檔PyQuery 詳解爬蟲利器 Beautiful Soup 之搜索文檔Selenium 環境配置Selenium詳解Python Scrapy 爬蟲框架及搭建Python Scrapy 項目實戰PySpider框架的使用Scrapy 模擬登陸Python 解析 XML爬取微信公眾號文章內容Python 爬取豆瓣電影 top 250Python newspaper 框架Python Web開發Web 開發 Flask 介紹Web開發 Jinja2模板引擎Flask 框架集成BootstrapWeb表單Flask數據持久化Web 開發 RESTfulPython Web開發 Django 簡介Python Django 模型概述與應用HTTP 入門Python Web 開發之 JWT 簡介Python Web開發 OAuth2.0 簡介OAuth2.0 客戶端實戰Flask 單元測試Web 開發 Django 管理工具Web 開發 Django 模板Flask 項目結構Python 資料庫操作Python 操作 Redis 資料庫介紹Python 操作 SQLitePython 操作 MongoDB 資料庫介紹Python 操作 MySQLPython SQLAlchemyPython 數據分析及數據科學數據分析之 Numpy 初步NumPy Ndarray 對象及數據類型NumPy 字元串操作NumPy 數學函數NumPy 統計函數NumPy 排序和篩選函數NumPy 位運算與算術函數數據分析之 pandas 初步NumPy 矩陣Numpy 中數組和矩陣的區別Python IO及非同步文件讀寫StringIO & BytesIOPython asyncioPython非同步之aiohttpPython網路編程TCP 編程UDP 編程Python圖像處理圖像庫 PIL（一）圖像庫 PIL（二）圖像庫 PIL 實例—驗證碼去噪Python 辦公Python 操作 ExcelPython 操作 WordPython 解析 PDFPython 操作 CSVPython 機器學習機器學習概覽第 112 天：機器學習演算法之蒙特卡洛Python XGBoost 演算法項目實戰三木板模型演算法項目實戰第116天：機器學習演算法之樸素貝葉斯理論機器學習演算法之 K 近鄰第120天：機器學習演算法之 K 均值聚類機器學習之決策樹Python 可視化Python matplotlib introctionPython Matplotlib 進階操作Seaborn-可視化統計關系Seaborn-可視化分類數據Seaborn-可視化數據集的分布實戰Python的知識點學完了之後，並不代表學完了。這只能代表你會Python了，並不能表示你可以去找工作、你可以去接單了。因為你還缺乏實戰練習，這個階段需要你能從一個實際需求中進行建模，然後用Python去實現模型，得到預期的結果。這里列一些貼近工作生活實際的小項目，每個項目都能讓你學習到如何進行需求建模，如何用代碼去實現，去解決實際的問題。解析網路網盤鏈接：幾行代碼，網盤鏈接提頭來見！揭露出軌女友：女友加班發自拍，男友用幾行代碼發現驚天秘密...爬取小程序：不能爬小程序，叫什麼會爬蟲解密當代女性胸圍：我半夜爬了嚴選的女性文胸數據，發現了驚天秘密製作簽名軟體：牛逼！用Python為她設計專屬簽名軟體！識別車牌：如何用 Python 識別車牌？追女神：用Python助女神發朋友圈下載知乎美女圖片：Python 抓取知乎幾千張小姐姐圖片是什麼體驗？炒股賺錢：一份代碼幫我賺了10萬寫小游戲：不到 150 行代碼寫一個 Python 版的貪吃蛇摳圖無煩惱：Python裝逼指南——五行代碼實現批量摳圖跟蹤房價數據：看我如何抓取最新房價數據跟女友惡作劇：女友電腦私存撕蔥帥照，我用python偷梁換柱...自動搶紅包：強大！用 60 行代碼自動搶微信紅包下載B站視頻：使用 Python 下載 B 站視頻更多精彩可以關注我的專欄：我是@無歡不散，看到這里的朋友請幫忙點個贊，也可以關注 @無歡不散 不迷路。
『陸』 python網頁爬蟲教程
現行環境下，大數據與人工智慧的重要依託還是龐大的數據和分析採集，類似於神譽淘寶 京東 網路 騰訊級別的企業 能夠通過數據可觀的用戶群體獲取需要的數據，而一般企業可能就沒有這種通過產品獲取數據的能力和條件，想從事這方面的工作，需掌握以下知識：
1. 學習Python基礎知識並實現基本的爬蟲過程
一般獲取數據的過程都是按照 發送請求-獲得頁面反饋-解析並且存儲數據 這三個流程來實現的。這個過程其實就是模擬了一個人工瀏覽網頁的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連接網謹唯站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
2.了解非結構化數據的存儲
爬蟲抓取的數據結構復雜 傳統的結構化資料庫可能並不是特別適合我們使用。我們前期推薦使用MongoDB 就可以。
3. 掌握一些常用的反爬蟲技巧
使用代理IP池、抓包、驗證碼的OCR處理等處理方式即可以解決大部分網站的反爬蟲策略。
4.了解分布式存儲
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具游晌段就可以了。
『柒』 Python爬蟲可以爬取什麼
Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：
如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。
利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：
知乎：爬取優質答案，為你篩選出各話題下最優質的內容。
淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。
安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。
拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。
雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。
爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。
對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。
1.學習 Python 包並實現基本的爬蟲過程
2.了解非結構化數據的存儲
3.學習scrapy，搭建工程化爬蟲
4.學習資料庫知識，應對大規模數據存儲與提取
5.掌握各種技巧，應對特殊網站的反爬措施
6.分布式爬蟲，實現大規模並發採集，提升效率
一
學習 Python 包並實現基本的爬蟲過程
大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了。
當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。
二
了解非結構化數據的存儲
爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。
開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。
當然你可能發現爬回來的數據並不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更干凈的數據。
三
學習 scrapy，搭建工程化的爬蟲
掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。
scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。
學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。
四
學習資料庫基礎，應對大規模數據存儲
爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。
MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。
因為這里要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。
五
掌握各種技巧，應對特殊網站的反爬措施
當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。
遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。
往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了.
六
分布式爬蟲，實現大規模並發採集
爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。
分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。
Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。
所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。
你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。
因為爬蟲這種技術，既不需要你系統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。
當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。
以上就是我的回答，希望對你有所幫助，望採納。
『捌』 有沒有易懂的 Python 多線程爬蟲代碼
Python 在程序並行化方面多少有些聲名狼藉。撇開技術上的問題，例如線程的實現和 GIL1，我覺得錯誤的教學指導才是主要問題。常見的經典 Python 多線程、多進程教程多顯得偏「重」。而且往往隔靴搔癢，沒有深入探討日常工作中最有用的內容。
傳統的例子
簡單搜索下「Python 多線程教程」，不難發現幾乎所有的教程都給出涉及類和隊列的例子：
#Example.py
'''
Standard Procer/Consumer Threading Pattern
'''
import time
import threading
import Queue
class Consumer(threading.Thread):
def __init__(self, queue):
threading.Thread.__init__(self)
self._queue = queue
def run(self):
while True:
# queue.get() blocks the current thread until
# an item is retrieved.
msg = self._queue.get()
# Checks if the current message is
# the "Poison Pill"
if isinstance(msg, str) and msg == 'quit':
# if so, exists the loop
break
# "Processes" (or in our case, prints) the queue item
print "I'm a thread, and I received %s!!" % msg
# Always be friendly!
print 'Bye byes!'
def Procer():
# Queue is used to share items between
# the threads.
queue = Queue.Queue()
# Create an instance of the worker
worker = Consumer(queue)
# start calls the internal run() method to
# kick off the thread
worker.start()
# variable to keep track of when we started
start_time = time.time()
# While under 5 seconds..
while time.time() - start_time < 5:
# "Proce" a piece of work and stick it in
# the queue for the Consumer to process
queue.put('something at %s' % time.time())
# Sleep a bit just to avoid an absurd number of messages
time.sleep(1)
# This the "poison pill" method of killing a thread.
queue.put('quit')
# wait for the thread to close down
worker.join()
if __name__ == '__main__':
Procer()
哈，看起來有些像 Java 不是嗎？
我並不是說使用生產者/消費者模型處理多線程/多進程任務是錯誤的（事實上，這一模型自有其用武之地）。只是，處理日常腳本任務時我們可以使用更有效率的模型。
問題在於…
首先，你需要一個樣板類；
其次，你需要一個隊列來傳遞對象；
而且，你還需要在通道兩端都構建相應的方法來協助其工作（如果需想要進行雙向通信或是保存結果還需要再引入一個隊列）。
worker 越多，問題越多
按照這一思路，你現在需要一個 worker 線程的線程池。下面是一篇 IBM 經典教程中的例子——在進行網頁檢索時通過多線程進行加速。
#Example2.py
'''
A more realistic thread pool example
'''
import time
import threading
import Queue
import urllib2
class Consumer(threading.Thread):
def __init__(self, queue):
threading.Thread.__init__(self)
self._queue = queue
def run(self):
while True:
content = self._queue.get()
if isinstance(content, str) and content == 'quit':
break
response = urllib2.urlopen(content)
print 'Bye byes!'
def Procer():
urls = [
'', ''
'', ''
# etc..
]
queue = Queue.Queue()
worker_threads = build_worker_pool(queue, 4)
start_time = time.time()
# Add the urls to process
for url in urls:
queue.put(url)
# Add the poison pillv
for worker in worker_threads:
queue.put('quit')
for worker in worker_threads:
worker.join()
print 'Done! Time taken: {}'.format(time.time() - start_time)
def build_worker_pool(queue, size):
workers = []
for _ in range(size):
worker = Consumer(queue)
worker.start()
workers.append(worker)
return workers
if __name__ == '__main__':
Procer()
這段代碼能正確的運行，但仔細看看我們需要做些什麼：構造不同的方法、追蹤一系列的線程，還有為了解決惱人的死鎖問題，我們需要進行一系列的 join 操作。這還只是開始……
至此我們回顧了經典的多線程教程，多少有些空洞不是嗎？樣板化而且易出錯，這樣事倍功半的風格顯然不那麼適合日常使用，好在我們還有更好的方法。
何不試試 map
map 這一小巧精緻的函數是簡捷實現 Python 程序並行化的關鍵。map 源於 Lisp 這類函數式編程語言。它可以通過一個序列實現兩個函數之間的映射。
urls = ['', '']
results = map(urllib2.urlopen, urls)
上面的這兩行代碼將 urls 這一序列中的每個元素作為參數傳遞到 urlopen 方法中，並將所有結果保存到 results 這一列表中。其結果大致相當於：
results = []
for url in urls:
results.append(urllib2.urlopen(url))
map 函數一手包辦了序列操作、參數傳遞和結果保存等一系列的操作。
為什麼這很重要呢？這是因為藉助正確的庫，map 可以輕松實現並行化操作。
在 Python 中有個兩個庫包含了 map 函數： multiprocessing 和它鮮為人知的子庫 multiprocessing.mmy.
這里多扯兩句： multiprocessing.mmy？ mltiprocessing 庫的線程版克隆？這是蝦米？即便在 multiprocessing 庫的官方文檔里關於這一子庫也只有一句相關描述。而這句描述譯成人話基本就是說:"嘛，有這么個東西，你知道就成."相信我，這個庫被嚴重低估了！
mmy 是 multiprocessing 模塊的完整克隆，唯一的不同在於 multiprocessing 作用於進程，而 mmy 模塊作用於線程（因此也包括了 Python 所有常見的多線程限制）。
所以替換使用這兩個庫異常容易。你可以針對 IO 密集型任務和 CPU 密集型任務來選擇不同的庫。2
動手嘗試
使用下面的兩行代碼來引用包含並行化 map 函數的庫：
from multiprocessing import Pool
from multiprocessing.mmy import Pool as ThreadPool
實例化 Pool 對象：
pool = ThreadPool()
這條簡單的語句替代了 example2.py 中 build_worker_pool 函數 7 行代碼的工作。它生成了一系列的 worker 線程並完成初始化工作、將它們儲存在變數中以方便訪問。
Pool 對象有一些參數，這里我所需要關注的只是它的第一個參數：processes. 這一參數用於設定線程池中的線程數。其默認值為當前機器 CPU 的核數。
一般來說，執行 CPU 密集型任務時，調用越多的核速度就越快。但是當處理網路密集型任務時，事情有有些難以預計了，通過實驗來確定線程池的大小才是明智的。
pool = ThreadPool(4) # Sets the pool size to 4
線程數過多時，切換線程所消耗的時間甚至會超過實際工作時間。對於不同的工作，通過嘗試來找到線程池大小的最優值是個不錯的主意。
創建好 Pool 對象後，並行化的程序便呼之欲出了。我們來看看改寫後的 example2.py
import urllib2
from multiprocessing.mmy import Pool as ThreadPool
urls = [
# etc..
]
# Make the Pool of workers
pool = ThreadPool(4)
# Open the urls in their own threads
# and return the results
results = pool.map(urllib2.urlopen, urls)
#close the pool and wait for the work to finish
pool.close()
pool.join()
實際起作用的代碼只有 4 行，其中只有一行是關鍵的。map 函數輕而易舉的取代了前文中超過 40 行的例子。為了更有趣一些，我統計了不同方法、不同線程池大小的耗時情況。
# results = []
# for url in urls:
# result = urllib2.urlopen(url)
# results.append(result)
# # ------- VERSUS ------- #
# # ------- 4 Pool ------- #
# pool = ThreadPool(4)
# results = pool.map(urllib2.urlopen, urls)
# # ------- 8 Pool ------- #
# pool = ThreadPool(8)
# results = pool.map(urllib2.urlopen, urls)
# # ------- 13 Pool ------- #
# pool = ThreadPool(13)
# results = pool.map(urllib2.urlopen, urls)
結果：
# Single thread: 14.4 Seconds
# 4 Pool: 3.1 Seconds
# 8 Pool: 1.4 Seconds
# 13 Pool: 1.3 Seconds
很棒的結果不是嗎？這一結果也說明了為什麼要通過實驗來確定線程池的大小。在我的機器上當線程池大小大於 9 帶來的收益就十分有限了。
另一個真實的例子
生成上千張圖片的縮略圖
這是一個 CPU 密集型的任務，並且十分適合進行並行化。
基礎單進程版本
import os
import PIL
from multiprocessing import Pool
from PIL import Image
SIZE = (75,75)
SAVE_DIRECTORY = 'thumbs'
def get_image_paths(folder):
return (os.path.join(folder, f)
for f in os.listdir(folder)
if 'jpeg' in f)
def create_thumbnail(filename):
im = Image.open(filename)
im.thumbnail(SIZE, Image.ANTIALIAS)
base, fname = os.path.split(filename)
save_path = os.path.join(base, SAVE_DIRECTORY, fname)
im.save(save_path)
if __name__ == '__main__':
folder = os.path.abspath(
'11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840')
os.mkdir(os.path.join(folder, SAVE_DIRECTORY))
images = get_image_paths(folder)
for image in images:
create_thumbnail(Image)
上邊這段代碼的主要工作就是將遍歷傳入的文件夾中的圖片文件，一一生成縮略圖，並將這些縮略圖保存到特定文件夾中。
這我的機器上，用這一程序處理 6000 張圖片需要花費 27.9 秒。
如果我們使用 map 函數來代替 for 循環：
import os
import PIL
from multiprocessing import Pool
from PIL import Image
SIZE = (75,75)
SAVE_DIRECTORY = 'thumbs'
def get_image_paths(folder):
return (os.path.join(folder, f)
for f in os.listdir(folder)
if 'jpeg' in f)
def create_thumbnail(filename):
im = Image.open(filename)
im.thumbnail(SIZE, Image.ANTIALIAS)
base, fname = os.path.split(filename)
save_path = os.path.join(base, SAVE_DIRECTORY, fname)
im.save(save_path)
if __name__ == '__main__':
folder = os.path.abspath(
'11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840')
os.mkdir(os.path.join(folder, SAVE_DIRECTORY))
images = get_image_paths(folder)
pool = Pool()
pool.map(creat_thumbnail, images)
pool.close()
pool.join()
5.6 秒！
雖然只改動了幾行代碼，我們卻明顯提高了程序的執行速度。在生產環境中，我們可以為 CPU 密集型任務和 IO 密集型任務分別選擇多進程和多線程庫來進一步提高執行速度——這也是解決死鎖問題的良方。此外，由於 map 函數並不支持手動線程管理，反而使得相關的 debug 工作也變得異常簡單。
到這里，我們就實現了（基本）通過一行 Python 實現並行化。
『玖』 Python 隊列queue與多線程組合（生產者+消費者模式）
在線程世界⾥，⽣產者就是⽣產數據的線程，消費者就是消費數據的線程。在多線程開發當中，如果⽣產者處理速度很快，⽽消費者處理速度很慢，那麼⽣產者就必須等待消費者處理完，才能繼續⽣產數據。同樣的道理，如果消費者的處理能⼒⼤於⽣產者，那麼消費者就必須等待⽣產者。為了解決這個問題於是引⼊了⽣產者和消費者模式。
⽣產者消費者模式是通過⼀個容器來解決⽣產者和消費者的強耦合問題。⽣產者和消費者彼此之間不直接通訊，⽽通過阻塞隊列來進⾏通訊，所以⽣產者⽣產完數據之後不⽤等待消費者處理，直接扔給阻塞隊列，消費者不找⽣產者要數據，⽽是唯租直接從阻塞隊列⾥取，阻塞隊列就相當於⼀個緩沖區，平衡了⽣產者和消費者的處理能⼒。
比如，對於同時爬取多個網頁的多線程爬蟲，在某一時刻你可能無法保證他們在處理不同的網站，在某些時刻他們極有可能在處理相同的網站，這豈不浪費？為了解決這個問題，可以將不同網頁的url放在queue中，然後多個線程來讀取queue中的url進行解析處理，而queue只允許一次出一個，出一個少一個。相同網站上不同網頁的url通常有某種規律，比如某個欄位的數字加1，這種情況完全可以用這種模式，「生產者程序」負責根據規律把完整的url製作出來，再塞進queue裡面（如果queue滿了，則等待）；「消費者程序（網頁解析程序）」從queue的後面答團挨個取出url進行解析（如果queue裡面是空的，則等待），即使是多線程也能保證每個線程得到的是不同的url。這個過程中，生產者和消費彼此互不幹涉。
下面以實例說明如何將queue與多線程相結合形成所謂的「 生產者+消費者 」模式，同時解決 多線程如何退出 的問題（注意下例中是「一個生產者+多個消費者」的形式，多生產者+多消費者的模式可在此基礎上進一步實現）：
上述程序的過程如下圖：
注意 ：
（1）上述程序中生產者插入queue的時間間隔為0.1s，而消費者的取出時間間隔為2s，顯然消費速度不如生產速度，一開始queue是空的，一段時間後queue就變滿了，輸出結果正說明了這一點。如果將兩個時間調換，則結果相反，queue永遠不會滿，甚至只有1個值，因為只要進去就被消費了。
（2）消費者程序是通過「while」來推動不斷執行的，何時結束？上例中通過在queue中增加None的形式告訴消費者，生產者已經結束了，消費者也可以結束了。但消費者有多個，到底由哪個消費者得到None？為解決這個問題，上例中在消費者中先判斷當前取出的是不是None，如果是，則先在queue里插入一個None，然後再break當前這個消費者線程，最後的結果是所有的消費者線程都退出了，但queue中還剩下None沒有被取出。因此在程序的後面增加了一個for循環來挨個把queue中的元素取出，否則最後的q.join()將永遠阻塞，程序無法往下執行。
（3）程序中每一個q.get()後面都跟有一個q.task_done()，其作用指舉兆是從queue中取出一個元素就給q.join()發送一個信息，否則q.join()將永遠處於阻塞狀態，直到所有queue元素都被取出。
多線程「生產者-消費者」模式一般性結構圖
『拾』 python 新浪微博爬蟲，求助
0x00. 起因
因為參加學校大學生創新競賽，研究有關微博博文表達的情緒，需要大量微博博文，而網上無論是國內的某度、csdn，還是國外谷歌、gayhub、codeproject等都找不到想要的程序，沒辦法只能自己寫一個程序了。
ps.在爬盟找到類似的程序，但是是windows下的，並且閉源，而且最終爬取保存的文件用notepad++打開有很多奇怪的問題，所以放棄了。
0x01. 基礎知識
本程序由Python寫成，所以基本的python知識是必須的。另外，如果你有一定的計算機網路基礎，在前期准備時會有少走很多彎路。
對於爬蟲，需要明確幾點：
1. 對爬取對象分類，可以分為以下幾種：第一種是不需要登錄的，比如博主以前練手時爬的中國天氣網，這種網頁爬取難度較低，建議爬蟲新手爬這類網頁；第二種是需要登錄的，如豆瓣、新浪微博，這些網頁爬取難度較高；第三種獨立於前兩種，你想要的信息一般是動態刷新的，如AJAX或內嵌資源，這種爬蟲難度最大，博主也沒研究過，在此不細舉（據同學說淘寶的商品評論就屬於這類）。
2. 如果同一個數據源有多種形式（比如電腦版、手機版、客戶端等），優先選取較為「純凈的」展現。比如新浪微博，有網頁版，也有手機版，而且手機版可以用電腦瀏覽器訪問，這時我優先選手機版新浪微博。
3. 爬蟲一般是將網頁下載到本地，再通過某些方式提取出感興趣的信息。也就是說，爬取網頁只完成了一半，你還要將你感興趣的信息從下載下來的html文件中提取出來。這時就需要一些xml的知識了，在這個項目中，博主用的是XPath提取信息，另外可以使用XQuery等等其他技術，詳情請訪問w3cschool。
4. 爬蟲應該盡量模仿人類，現在網站反爬機制已經比較發達，從驗證碼到禁IP，爬蟲技術和反爬技術可謂不斷博弈。
0x02. 開始
決定了爬蟲的目標之後，首先應該訪問目標網頁，明確目標網頁屬於上述幾種爬蟲的哪種，另外，記錄為了得到感興趣的信息你需要進行的步驟，如是否需要登錄，如果需要登錄，是否需要驗證碼；你要進行哪些操作才能獲得希望得到的信息，是否需要提交某些表單；你希望得到的信息所在頁面的url有什麼規律等等。
以下博文以博主項目為例，該項目爬取特定新浪微博用戶從注冊至今的所有微博博文和根據關鍵詞爬取100頁微博博文（大約1000條）。
0x03. 收集必要信息
首先訪問目標網頁，發現需要登錄，進入登錄頁面如下新浪微博手機版登錄頁面
注意url後半段有很多形如」%xx」的轉義字元，本文後面將會講到。
從這個頁面可以看到，登錄新浪微博手機版需要填寫賬號、密碼和驗證碼。
這個驗證碼是近期（本文創作於2016.3.11）才需要提供的，如果不需要提供驗證碼的話，將有兩種方法進行登錄。
第一種是填寫賬號密碼之後執行js模擬點擊「登錄」按鈕，博主之前寫過一個Java爬蟲就是利用這個方法，但是現在找不到工程了，在此不再贅述。
第二種需要一定HTTP基礎，提交包含所需信息的HTTP POST請求。我們需要Wireshark 工具來抓取登錄微博時我們發出和接收的數據包。如下圖我抓取了在登錄時發出和接收的數據包Wireshark抓取結果1
在搜索欄提供搜索條件」http」可得到所有http協議數據包，右側info顯示該數據包的縮略信息。圖中藍色一行是POST請求，並且info中有」login」，可以初步判斷這個請求是登錄時發出的第一個數據包，並且這個180.149.153.4應該是新浪微博手機版登錄認證的伺服器IP地址，此時我們並沒有任何的cookie。
在序號為30是數據包中有一個從該IP發出的HTTP數據包，裡面有四個Set-Cookie欄位，這些cookie將是我們爬蟲的基礎。
Wireshark抓取結果2
早在新浪微博伺服器反爬機制升級之前，登錄是不需要驗證碼的，通過提交POST請求，可以拿到這些cookie，在項目源碼中的TestCookie.py中有示例代碼。
ps.如果沒有wireshark或者不想這么麻煩的話，可以用瀏覽器的開發者工具，以chrome為例，在登錄前打開開發者工具，轉到Network，登錄，可以看到發出和接收的數據，登錄完成後可以看到cookies，如下圖chrome開發者工具
接下來訪問所需頁面，查看頁面url是否有某種規律。由於本項目目標之一是獲取某用戶的全部微博，所以直接訪問該用戶的微博頁面，以央視新聞 為例。
央視新聞1
圖為央視新聞微博第一頁，觀察該頁面的url可以發現，新浪微博手機版的微博頁面url組成是 「weibo.cn/(displayID)?page=(pagenum)」 。這將成為我們爬蟲拼接url的依據。
接下來查看網頁源碼，找到我們希望得到的信息的位置。打開瀏覽器開發者工具，直接定位某條微博，可以發現它的位置，如下所示。
xpath
觀察html代碼發現，所有的微博都在<div>標簽里，並且這個標簽里有兩個屬性，其中class屬性為」c」，和一個唯一的id屬性值。得到這個信息有助於將所需信息提取出來。
另外，還有一些需要特別注意的因素
* 微博分為原創微博和轉發微博
* 按照發布時間至當前時間的差距，在頁面上有」MM分鍾前」、」今天HH:MM」、」mm月dd日 HH:MM」、」yyyy-mm-dd HH:MM:SS」等多種顯示時間的方式* 手機版新浪微博一個頁面大約顯示10條微博，所以要注意對總共頁數進行記錄以上幾點都是細節，在爬蟲和提取的時候需要仔細考慮。
0x04. 編碼
1.爬取用戶微博
本項目開發語言是Python 2.7，項目中用了一些第三方庫，第三方庫可以用pip的方法添加。
既然程序自動登錄的想法被驗證碼擋住了，想要訪問特定用戶微博頁面，只能使用者提供cookies了。
首先用到的是Python的request模塊，它提供了帶cookies的url請求。
import request
print request.get(url, cookies=cookies).content使用這段代碼就可以列印帶cookies的url請求頁面結果。
首先取得該用戶微博頁面數，通過檢查網頁源碼，查找到表示頁數的元素，通過XPath等技術提取出頁數。
頁數
項目使用lxml模塊對html進行XPath提取。
首先導入lxml模塊，在項目里只用到了etree，所以from lxml import etree
然後利用下面的方法返回頁數
def getpagenum(self):
url = self.geturl(pagenum=1)
html = requests.get(url, cookies=self.cook).content # Visit the first page to get the page number.
selector = etree.HTML(html)
pagenum = selector.xpath('//input[@name="mp"]/@value')[0]
return int(pagenum)
接下來就是不斷地拼接url->訪問url->下載網頁。
需要注意的是，由於新浪反爬機制的存在，同一cookies訪問頁面過於「頻繁」的話會進入類似於「冷卻期」，即返回一個無用頁面，通過分析該無用頁面發現，這個頁面在特定的地方會出現特定的信息，通過XPath技術來檢查這個特定地方是否出現了特定信息即可判斷該頁面是否對我們有用。
def ispageneeded(html):
selector = etree.HTML(html)
try:
title = selector.xpath('//title')[0]
except:
return False
return title.text != '微博廣場' and title.text != '微博'
如果出現了無用頁面，只需簡單地重新訪問即可，但是通過後期的實驗發現，如果長期處於過頻訪問，返回的頁面將全是無用頁面，程序也將陷入死循環。為了避免程序陷入死循環，博主設置了嘗試次數閾值trycount，超過這個閾值之後方法自動返回。
下面代碼片展示了單線程爬蟲的方法。
def startcrawling(self, startpage=1, trycount=20):
attempt = 0
try:
os.mkdir(sys.path[0] + '/Weibo_raw/' + self.wanted)except Exception, e:
print str(e)
isdone = False
while not isdone and attempt < trycount:
try:
pagenum = self.getpagenum()
isdone = True
except Exception, e:
attempt += 1
if attempt == trycount:
return False
i = startpage
while i <= pagenum:
attempt = 0
isneeded = False
html = ''
while not isneeded and attempt < trycount:
html = self.getpage(self.geturl(i))
isneeded = self.ispageneeded(html)
if not isneeded:
attempt += 1
if attempt == trycount:
return False
self.savehtml(sys.path[0] + '/Weibo_raw/' + self.wanted + '/' + str(i) + '.txt', html)print str(i) + '/' + str(pagenum - 1)
i += 1
return True
考慮到程序的時間效率，在寫好單線程爬蟲之後，博主也寫了多線程爬蟲版本，基本思想是將微博頁數除以線程數，如一個微博用戶有100頁微博，程序開10個線程，那麼每個線程只負責10個頁面的爬取，其他基本思想跟單線程類似，只需仔細處理邊界值即可，在此不再贅述，感興趣的同學可以直接看代碼。另外，由於多線程的效率比較高，並發量特別大，所以伺服器很容易就返回無效頁面，此時trycount的設置就顯得更重要了。博主在寫這篇微博的時候，用一個新的cookies，多線程爬取現場測試了一下爬取北京郵電大學的微博，3976條微博全部爬取成功並提取博文，用時僅15s，實際可能跟cookies的新舊程度和網路環境有關，命令行設置如下，命令行意義在項目網址里有說明python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20爬取的工作以上基本介紹結束，接下來就是爬蟲的第二部分，解析了。由於項目中提供了多線程爬取方法，而多線程一般是無序的，但微博博文是依靠時間排序的，所以項目採用了一種折衷的辦法，將下載完成的頁面保存在本地文件系統，每個頁面以其頁號為文件名，待爬取的工作結束後，再遍歷文件夾內所有文件並解析。
通過前面的觀察，我們已經了解到微博博文存在的標簽有什麼特點了，利用XPath技術，將這個頁面里所有有這個特點的標簽全部提取出來已經不是難事了。
在這再次提醒，微博分為轉發微博和原創微博、時間表示方式。另外，由於我們的研究課題僅對微博文本感興趣，所以配圖不考慮。
def startparsing(self, parsingtime=datetime.datetime.now()):
basepath = sys.path[0] + '/Weibo_raw/' + self.uidfor filename in os.listdir(basepath):
if filename.startswith('.'):
continue
path = basepath + '/' + filename
f = open(path, 'r')
html = f.read()
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
weibo = Weibo()
weibo.id = item.xpath('./@id')[0]
cmt = item.xpath('./div/span[@class="cmt"]')if len(cmt) != 0:
weibo.isrepost = True
weibo.content = cmt[0].text
else:
weibo.isrepost = False
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
weibo.content += ctt.text
for a in ctt.xpath('./a'):
if a.text is not None:
weibo.content += a.text
if a.tail is not None:
weibo.content += a.tail
if len(cmt) != 0:
reason = cmt[1].text.split(u'\xa0')
if len(reason) != 1:
weibo.repostreason = reason[0]
ct = item.xpath('./div/span[@class="ct"]')[0]
time = ct.text.split(u'\xa0')[0]
weibo.time = self.gettime(self, time, parsingtime)self.weibos.append(weibo.__dict__)
f.close()
方法傳遞的參數parsingtime的設置初衷是，開發前期爬取和解析可能不是同時進行的（並不是嚴格的「同時」），微博時間顯示是基於訪問時間的，比如爬取時間是10:00，這時爬取到一條微博顯示是5分鍾前發布的，但如果解析時間是10:30，那麼解析時間將錯誤，所以應該講解析時間設置為10:00。到後期爬蟲基本開發完畢，爬取工作和解析工作開始時間差距降低，時間差將是爬取過程時長，基本可以忽略。
解析結果保存在一個列表裡，最後將這個列表以json格式保存到文件系統里，刪除過渡文件夾，完成。
def save(self):
f = open(sys.path[0] + '/Weibo_parsed/' + self.uid + '.txt', 'w')jsonstr = json.mps(self.weibos, indent=4, ensure_ascii=False)f.write(jsonstr)
f.close()
2.爬取關鍵詞
同樣的，收集必要的信息。在微博手機版搜索頁面敲入」python」，觀察url，研究其規律。雖然第一頁並無規律，但是第二頁我們發現了規律，而且這個規律可以返回應用於第一頁第一頁
第二頁
應用後第一頁
觀察url可以發現，對於關鍵詞的搜索，url中的變數只有keyword和page（事實上，hideSearchFrame對我們的搜索結果和爬蟲都沒有影響），所以在代碼中我們就可以對這兩個變數進行控制。
另外，如果關鍵詞是中文，那麼url就需要對中文字元進行轉換，如我們在搜索框敲入」開心」並搜索，發現url如下顯示搜索開心
但復制出來卻為
http://weibo.cn/search/mblog?hideSearchFrame=&keyword=%E5%BC%80%E5%BF%83&page=1幸好，python的urllib庫有qoute方法處理中文轉換的功能（如果是英文則不做轉換），所以在拼接url前使用這個方法處理一下參數。
另外，考慮到關鍵詞搜索屬於數據收集階段使用的方法，所以在此只提供單線程下載網頁，如有多線程需要，大家可以按照多線程爬取用戶微博的方法自己改寫。最後，對下載下來的網頁進行提取並保存（我知道這樣的模塊設計有點奇怪，打算重(xin)構(qing)時(hao)時再改，就先這樣吧）。
def keywordcrawling(self, keyword):
realkeyword = urllib.quote(keyword) # Handle the keyword in Chinese.
try:
os.mkdir(sys.path[0] + '/keywords')
except Exception, e:
print str(e)
weibos = []
try:
highpoints = re.compile(u'[\U00010000-\U0010ffff]') # Handle emoji, but it seems doesn't work.
except re.error:
highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')pagenum = 0
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=1' % realkeyword)isneeded = self.ispageneeded(html)
if isneeded:
selector = etree.HTML(html)
try:
pagenum = int(selector.xpath('//input[@name="mp"]/@value')[0])except:
pagenum = 1
for i in range(1, pagenum + 1):
try:
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=%s' % (realkeyword, str(i)))isneeded = self.ispageneeded(html)
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
cmt = item.xpath('./div/span[@class="cmt"]')if (len(cmt)) == 0:
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
text = etree.tostring(ctt, method='text', encoding="unicode")tail = ctt.tail
if text.endswith(tail):
index = -len(tail)
text = text[1:index]
text = highpoints.sub(u'\u25FD', text) # Emoji handling, seems doesn't work.
weibotext = text
weibos.append(weibotext)
print str(i) + '/' + str(pagenum)
except Exception, e:
print str(e)
f = open(sys.path[0] + '/keywords/' + keyword + '.txt', 'w')try:
f.write(json.mps(weibos,indent=4,ensure_ascii=False))except Exception,ex:
print str(ex)
finally:
f.close()
博主之前從未寫過任何爬蟲程序，為了獲取新浪微博博文，博主先後寫了3個不同的爬蟲程序，有Python，有Java，爬蟲不能用了是很正常的，不要氣餒，爬蟲程序和反爬機制一直都在不斷博弈中，道高一尺魔高一丈。
另. 轉載請告知博主，如果覺得博主帥的話就可以不用告知了