爬蟲源碼大全集

A. python網頁解析庫：用requests-html爬取網頁

Python 中可以進行網頁解析的庫有很多，常見的有 BeautifulSoup 和 lxml 等。在網上玩爬蟲的文章通常都是介紹 BeautifulSoup 這個庫，我平常也是常用這個庫，最近用 Xpath 用得比較多，使用 BeautifulSoup 就不大習慣，很久之前就知道 Reitz 大神出了一個叫 Requests-HTML 的庫，一直沒有興趣看，這回可算歹著機會用一下了。

使用 pip install requests-html 安裝，上手和 Reitz 的其他庫一樣，輕松簡單：

這個庫是在 requests 庫上實現的，r 得到的結果是 Response 對象下面的一個子類，多個一個 html 的屬性。所以 requests 庫的響應對象可以進行什麼操作，這個 r 也都可以。如果需要解析網頁，直接獲取響應對象的 html 屬性：

不得不膜拜 Reitz 大神太會組裝技術了。實際上 HTMLSession 是繼承自 requests.Session 這個核心類，然後將 requests.Session 類里的 requests 方法改寫，返回自己的一個 HTMLResponse 對象，這個類又是繼承自 requests.Response,只是多加了一個 _from_response 的方法來構造實例：

之後在 HTMLResponse 里定義屬性方法 html，就可以通過 html 屬性訪問了,實現也就是組裝 PyQuery 來干。核心的解析類也大多是使用 PyQuery 和 lxml 來做解析，簡化了名稱，挺討巧的。

元素定位可以選擇兩種方式：

方法名非常簡單，符合 Python 優雅的風格，這里不妨對這兩種方式簡單的說明：

定位到元素以後勢必要獲取元素裡面的內容和屬性相關數據，獲取文本：

獲取元素的屬性：

還可以通過模式來匹配對應的內容：

這個功能看起來比較雞肋，可以深入研究優化一下，說不定能在 github 上混個提交。

除了一些基礎操作，這個庫還提供了一些人性化的操作。比如一鍵獲取網頁的所有超鏈接，這對於整站爬蟲應該是個福音，URL 管理比較方便：

內容頁面通常都是分頁的，一次抓取不了太多，這個庫可以獲取分頁信息：

結果如下：

通過迭代器實現了智能發現分頁，這個迭代器裡面會用一個叫 _next 的方法，貼一段源碼感受下：

通過查找 a 標簽裡面是否含有指定的文本來判斷是不是有下一頁，通常我們的下一頁都會通過 下一頁 或者 載入更多 來引導，他就是利用這個標志來進行判斷。默認的以列表形式存在全局： ['next','more','older'] 。我個人認為這種方式非常不靈活，幾乎沒有擴展性。 感興趣的可以往 github 上提交代碼優化。

也許是考慮到了現在 js 的一些非同步載入，這個庫支持 js 運行時，官方說明如下：

使用非常簡單，直接調用以下方法：

第一次使用的時候會下載 Chromium，不過國內你懂的，自己想辦法去下吧，就不要等它自己下載了。render 函數可以使用 js 腳本來操作頁面，滾動操作單獨做了參數。這對於上拉載入等新式頁面是非常友好的。

B. 求《自己動手寫網路爬蟲(修訂版)》全文免費下載百度網盤資源,謝謝~

《自己動手寫網路爬蟲(修訂版) 》網路網盤pdf最新全集下載:
鏈接: https://pan..com/s/1zsVIGi0y6tWLohjyVfelSg

C. python怎麼看源碼進行網路爬蟲

在我們日常上網瀏覽網頁的時候，經常會看到一些好看的圖片，我們就希望把這些圖片保存下載，或者用戶用來做桌面壁紙，或者用來做設計的素材。
我們最常規的做法就是通過滑鼠右鍵，選擇另存為。但有些圖片滑鼠右鍵的時候並沒有另存為選項，還有辦法就通過就是通過截圖工具截取下來，但這樣就降低圖片的清晰度。好吧～！其實你很厲害的，右鍵查看頁面源代碼。
我們可以通過python 來實現這樣一個簡單的爬蟲功能，把我們想要的代碼爬取到本地。下面就看看如何使用python來實現這樣一個功能。

一，獲取整個頁面數據

首先我們可以先獲取要下載圖片的整個頁面信息。
getjpg.py

#coding=utf-8
import urllib

def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html

html = getHtml("http://tieba..com/p/2738151262")

print html

Urllib 模塊提供了讀取web頁面數據的介面，我們可以像讀取本地文件一樣讀取www和ftp上的數據。首先，我們定義了一個getHtml()函數:
urllib.urlopen()方法用於打開一個URL地址。
read()方法用於讀取URL上的數據，向getHtml()函數傳遞一個網址，並把整個頁面下載下來。執行程序就會把整個網頁列印輸出。

二，篩選頁面中想要的數據

Python 提供了非常強大的正則表達式，我們需要先要了解一點python 正則表達式的知識才行。
http://www.cnblogs.com/fnng/archive/2013/05/20/3089816.html

假如我們網路貼吧找到了幾張漂亮的壁紙，通過到前段查看工具。找到了圖片的地址，如：src=」https://gss0..com/70cFfyinKgQFm2e88IuM_a/forum......jpg」pic_ext=」jpeg」

修改代碼如下：

import re
import urllib

def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html

def getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
return imglist

html = getHtml("http://tieba..com/p/2460150866")
print getImg(html)

我們又創建了getImg()函數，用於在獲取的整個頁面中篩選需要的圖片連接。re模塊主要包含了正則表達式：
re.compile() 可以把正則表達式編譯成一個正則表達式對象.
re.findall() 方法讀取html 中包含 imgre（正則表達式）的數據。
運行腳本將得到整個頁面中包含圖片的URL地址。

三，將頁面篩選的數據保存到本地

把篩選的圖片地址通過for循環遍歷並保存到本地，代碼如下：

#coding=utf-8
import urllib
import re

def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html

def getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
x = 0
for imgurl in imglist:
urllib.urlretrieve(imgurl,'%s.jpg' % x)
x+=1

html = getHtml("http://tieba..com/p/2460150866")

print getImg(html)

這里的核心是用到了urllib.urlretrieve()方法，直接將遠程數據下載到本地。
通過一個for循環對獲取的圖片連接進行遍歷，為了使圖片的文件名看上去更規范，對其進行重命名，命名規則通過x變數加1。保存的位置默認為程序的存放目錄。
程序運行完成，將在目錄下看到下載到本地的文件。

D. Python爬蟲如何寫

先檢查是否有API

API是網站官方提供的數據介面，如果通過調用API採集數據，則相當於在網站允許的范圍內採集，這樣既不會有道德法律風險，也沒有網站故意設置的障礙；不過調用API介面的訪問則處於網站的控制中，網站可以用來收費，可以用來限制訪問上限等。整體來看，如果數據採集的需求並不是很獨特，那麼有API則應優先採用調用API的方式。

數據結構分析和數據存儲

爬蟲需求要十分清晰，具體表現為需要哪些欄位，這些欄位可以是網頁上現有的，也可以是根據網頁上現有的欄位進一步計算的，這些欄位如何構建表，多張表如何連接等。值得一提的是，確定欄位環節，不要只看少量的網頁，因為單個網頁可以缺少別的同類網頁的欄位，這既有可能是由於網站的問題，也可能是用戶行為的差異，只有多觀察一些網頁才能綜合抽象出具有普適性的關鍵欄位——這並不是幾分鍾看幾個網頁就可以決定的簡單事情，如果遇上了那種臃腫、混亂的網站，可能坑非常多。

對於大規模爬蟲，除了本身要採集的數據外，其他重要的中間數據（比如頁面Id或者url）也建議存儲下來，這樣可以不必每次重新爬取id。

資料庫並沒有固定的選擇，本質仍是將Python里的數據寫到庫里，可以選擇關系型資料庫MySQL等，也可以選擇非關系型資料庫MongoDB等；對於普通的結構化數據一般存在關系型資料庫即可。sqlalchemy是一個成熟好用的資料庫連接框架，其引擎可與Pandas配套使用，把數據處理和數據存儲連接起來，一氣呵成。

數據流分析

對於要批量爬取的網頁，往上一層，看它的入口在哪裡；這個是根據採集范圍來確定入口，比如若只想爬一個地區的數據，那從該地區的主頁切入即可；但若想爬全國數據，則應更往上一層，從全國的入口切入。一般的網站網頁都以樹狀結構為主，找到切入點作為根節點一層層往裡進入即可。

值得注意的一點是，一般網站都不會直接把全量的數據做成列表給你一頁頁往下翻直到遍歷完數據，比如鏈家上面很清楚地寫著有24587套二手房，但是它只給100頁，每頁30個，如果直接這么切入只能訪問3000個，遠遠低於真實數據量；因此先切片，再整合的數據思維可以獲得更大的數據量。顯然100頁是系統設定，只要超過300個就只顯示100頁，因此可以通過其他的篩選條件不斷細分，只到篩選結果小於等於300頁就表示該條件下沒有缺漏；最後把各種條件下的篩選結果集合在一起，就能夠盡可能地還原真實數據量。

明確了大規模爬蟲的數據流動機制，下一步就是針對單個網頁進行解析，然後把這個模式復制到整體。對於單個網頁，採用抓包工具可以查看它的請求方式，是get還是post，有沒有提交表單，欲採集的數據是寫入源代碼里還是通過AJAX調用JSON數據。

同樣的道理，不能只看一個頁面，要觀察多個頁面，因為批量爬蟲要弄清這些大量頁面url以及參數的規律，以便可以自動構造；有的網站的url以及關鍵參數是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構造，這種情況下要批量爬蟲，要麼找到它加密的js代碼，在爬蟲代碼上加入從明文到密碼的加密過程；要麼採用下文所述的模擬瀏覽器的方式。

數據採集

之前用R做爬蟲，不要笑，R的確可以做爬蟲工作；但在爬蟲方面，Python顯然優勢更明顯，受眾更廣，這得益於其成熟的爬蟲框架，以及其他的在計算機系統上更好的性能。scrapy是一個成熟的爬蟲框架，直接往裡套用就好，比較適合新手學習；requests是一個比原生的urllib包更簡潔強大的包，適合作定製化的爬蟲功能。requests主要提供一個基本訪問功能，把網頁的源代碼給download下來。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數，就可以正常訪問，status_code為200，並成功得到網頁源代碼；但是也有某些反爬蟲較為嚴格的網站，這么直接訪問會被禁止；或者說status為200也不會返回正常的網頁源碼，而是要求寫驗證碼的js腳本等。

下載到了源碼之後，如果數據就在源碼中，這種情況是最簡單的，這就表示已經成功獲取到了數據，剩下的無非就是數據提取、清洗、入庫。但若網頁上有，然而源代碼里沒有的，就表示數據寫在其他地方，一般而言是通過AJAX非同步載入JSON數據，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。

解析工具

源碼下載後，就是解析數據了，常用的有兩種方法，一種是用BeautifulSoup對樹狀HTML進行解析，另一種是通過正則表達式從文本中抽取數據。

BeautifulSoup比較簡單，支持Xpath和CSSSelector兩種途徑，而且像Chrome這類瀏覽器一般都已經把各個結點的Xpath或者CSSSelector標記好了，直接復制即可。以CSSSelector為例，可以選擇tag、id、class等多種方式進行定位選擇，如果有id建議選id，因為根據HTML語法，一個id只能綁定一個標簽。

正則表達式很強大，但構造起來有點復雜，需要專門去學習。因為下載下來的源碼格式就是字元串，所以正則表達式可以大顯身手，而且處理速度很快。

對於HTML結構固定，即同樣的欄位處tag、id和class名稱都相同，採用BeautifulSoup解析是一種簡單高效的方案，但有的網站混亂，同樣的數據在不同頁面間HTML結構不同，這種情況下BeautifulSoup就不太好使；如果數據本身格式固定，則用正則表達式更方便。比如以下的例子，這兩個都是深圳地區某個地方的經度，但一個頁面的class是long，一個頁面的class是longitude，根據class來選擇就沒辦法同時滿足2個，但只要注意到深圳地區的經度都是介於113到114之間的浮點數，就可以通過正則表達式"11[3-4].\d+"來使兩個都滿足。

數據整理

一般而言，爬下來的原始數據都不是清潔的，所以在入庫前要先整理；由於大部分都是字元串，所以主要也就是字元串的處理方式了。

字元串自帶的方法可以滿足大部分簡單的處理需求，比如strip可以去掉首尾不需要的字元或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然後截取一部分。

如果字元串處理的需求太復雜以致常規的字元串處理方法不好解決，那就要請出正則表達式這個大殺器。

Pandas是Python中常用的數據處理模塊，雖然作為一個從R轉過來的人一直覺得這個模仿R的包實在是太難用了。Pandas不僅可以進行向量化處理、篩選、分組、計算，還能夠整合成DataFrame，將採集的數據整合成一張表，呈現最終的存儲效果。

寫入資料庫

如果只是中小規模的爬蟲，可以把最後的爬蟲結果匯合成一張表，最後導出成一張表格以便後續使用；但對於表數量多、單張表容量大的大規模爬蟲，再導出成一堆零散的表就不合適了，肯定還是要放在資料庫中，既方便存儲，也方便進一步整理。

寫入資料庫有兩種方法，一種是通過Pandas的DataFrame自帶的to_sql方法，好處是自動建表，對於對表結構沒有嚴格要求的情況下可以採用這種方式，不過值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報錯，雖然這個認為不太合理；另一種是利用資料庫引擎來執行SQL語句，這種情況下要先自己建表，雖然多了一步，但是表結構完全是自己控制之下。Pandas與SQL都可以用來建表、整理數據，結合起來使用效率更高。

E. python 爬蟲代碼 有了爬蟲代碼怎麼運行

• 打開python爬蟲代碼的源碼目錄，通常開始文件為，init.py,start.py,app.py尋找有沒有類似的python文件,如果沒有，請看源碼的readme文件，裡面會有說明，若以上都沒有，你可能需要python方面的知識，自己去看源碼，找到入口方法並運行

• 找到入口文件後，在當前目錄打開控制台，輸入python

  正常情況下會出現下圖的提示，若沒有，請檢查當前pc的python環境是否有被正確安裝

  

• 最後，運行入口文件,輸入python ***.py(入口文件),運行爬蟲

F. python爬蟲入門教程全集

鏈接：

課程簡介

畢業不知如何就業？工作效率低經常挨罵？很多次想學編程都沒有學會？

Python 實戰：四周實現爬蟲系統，無需編程基礎，二十八天掌握一項謀生技能。

帶你學到如何從網上批量獲得幾十萬數據，如何處理海量大數據，數據可視化及網站製作。

課程目錄

開始之前，魔力手冊 for 實戰學員預習

第一周：學會爬取網頁信息

第二周：學會爬取大規模數據

第三周：數據統計與分析

第四周：搭建 Django 數據可視化網站

......

G. Java源碼 實現網路爬蟲

//Java爬蟲demo

importjava.io.File;
importjava.net.URL;
importjava.net.URLConnection;
importjava.nio.file.Files;
importjava.nio.file.Paths;
importjava.util.Scanner;
importjava.util.UUID;
importjava.util.regex.Matcher;
importjava.util.regex.Pattern;

publicclassDownMM{
publicstaticvoidmain(String[]args)throwsException{
//out為輸出的路徑,注意要以\結尾
Stringout="D:\JSP\pic\java\";
try{
Filef=newFile(out);
if(!f.exists()){
f.mkdirs();
}
}catch(Exceptione){
System.out.println("no");
}

Stringurl="http://www.mzitu.com/share/comment-page-";
Patternreg=Pattern.compile("<imgsrc="(.*?)"");
for(intj=0,i=1;i<=10;i++){
URLuu=newURL(url+i);
URLConnectionconn=uu.openConnection();
conn.setRequestProperty("User-Agent","Mozilla/5.0(WindowsNT6.3;WOW64;Trident/7.0;rv:11.0)likeGecko");
Scannersc=newScanner(conn.getInputStream());
Matcherm=reg.matcher(sc.useDelimiter("\A").next());
while(m.find()){
Files.(newURL(m.group(1)).openStream(),Paths.get(out+UUID.randomUUID()+".jpg"));
System.out.println("已下載:"+j++);
}
}
}
}

H. 10分鍾入門爬蟲-小說網站爬取

三月份到四月初花了很長的時間看了一本小說—《明朝那些事兒》，幾乎一整個月的時間都在看，越看越入迷，這就是小說的魅力吧。

故事從朱元璋的乞討要飯開始，經過不斷地殘酷戰爭，擊敗各種對手，建立了明朝；再到後來燕王朱棣起兵造反，接著戚繼光抗擊倭寇；後來又有明朝出現了最有名的內閣首輔大臣—張居正，大刀闊斧地進行改革，明朝進入鼎盛時期；最後清朝入關，明朝還是敗在了崇禎的手上，准確的說是：註定會敗在他的手上。正如文中寫到的那樣：

書講述的不僅僅是歷史， 權利、希望、痛苦、氣節、孤獨、殘暴、邪惡、忍耐、堅持、真理、忠誠 ……在書中樣樣都有。在書的最後，作者寫了一首詩，摘錄在這里：

本文介紹的如何使用Python爬取一個網站上關於這本書的部分章節。

網站首頁： https://www.kanunu8.com/

爬取主鏈接： https://www.kanunu8.com/files/chinese/201102/1777.html

1、章節標題

2、章節正文內容

以第一章為例：我們點擊「第一章 童年」可以進入第一章的正文部分。

看看最終爬取到的數據。在 本地目錄 下生成的一個文件夾：《明朝那些事兒》下面就有我們爬取到的33個章節的內容，包含前言和引子部分。

在本次爬蟲中使用到的相關庫

分析一下網頁的規律

發現了規律：每個章節的頁面都有自己的URL後綴加以區分。看下網頁源碼找出URL地址：

上面已經發現了每個章節的URL地址的後綴

正則寫的不太好，地址還需要切片一次

首頁源碼返回內容解析的結果：

切片之後的有效URL地址：

I. 求《Python爬蟲開發與項目實戰》全文免費下載百度網盤資源,謝謝~

《Python爬蟲開發與項目實戰》網路網盤pdf最新全集下載:
鏈接：https://pan..com/s/19EBPJyIqsf42K2PjHi-WGw