python爬蟲新浪_如何入門 Python 爬蟲

① 如何用python爬蟲抓取網頁內容

首先,你要安裝requests和BeautifulSoup4,然後執行如下代碼.

importrequests
frombs4importBeautifulSoup

iurl='http://news.sina.com.cn/c/nd/2017-08-03/doc-ifyitapp0128744.shtml'

res=requests.get(iurl)

res.encoding='utf-8'

#print(len(res.text))

soup=BeautifulSoup(res.text,'html.parser')

#標題
H1=soup.select('#artibodyTitle')[0].text

#來源
time_source=soup.select('.time-source')[0].text


#來源
origin=soup.select('#artibodyp')[0].text.strip()

#原標題
oriTitle=soup.select('#artibodyp')[1].text.strip()

#內容
raw_content=soup.select('#artibodyp')[2:19]
content=[]
forparagraphinraw_content:
content.append(paragraph.text.strip())
'@'.join(content)
#責任編輯
ae=soup.select('.article-editor')[0].text

這樣就可以了

② 如何用Python做爬蟲

1）首先你要明白爬蟲怎樣工作。

想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。

在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。

突然你發現，在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。

好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。

那麼在python里怎麼實現呢？
很簡單

import Queue

initial_page = "初始化頁"

url_queue = Queue.Queue()
seen = set()

seen.insert(initial_page)
url_queue.put(initial_page)

while(True): #一直進行直到海枯石爛
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中第一個的url
store(current_url) #把這個url代表的網頁存儲好
for next_url in extract_urls(current_url): #提取把這個url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break

寫得已經很偽代碼了。

所有的爬蟲的backbone都在這里，下面分析一下為什麼爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。

2）效率
如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。

問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。

通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這里的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example

注意到這個特點，url如果被看過，那麼可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]

好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。

3）集群化抓取
爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了...

那麼，假設你現在有100台機器可以用，怎麼用python實現一個分布式的爬取演算法呢？

我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)

考慮如何用python實現：
在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。

代碼於是寫成

#slave.py

current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)

store(current_url);
send_to_master(to_send)

#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()

initial_pages = "www.renmingribao.com"

while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)

好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及後處理
雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。

但是如果附加上你需要這些後續處理，比如

有效地存儲（資料庫應該怎樣安排）

有效地判重（這里指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）

有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛...

及時更新（預測這個網頁多久會更新一次）

如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，
「路漫漫其修遠兮,吾將上下而求索」。

所以，不要問怎麼入門，直接上路就好了：）

③ python 新浪微博爬蟲，求助

0x00. 起因
因為參加學校大學生創新競賽，研究有關微博博文表達的情緒，需要大量微博博文，而網上無論是國內的某度、csdn，還是國外谷歌、gayhub、codeproject等都找不到想要的程序，沒辦法只能自己寫一個程序了。
ps.在爬盟找到類似的程序，但是是windows下的，並且閉源，而且最終爬取保存的文件用notepad++打開有很多奇怪的問題，所以放棄了。
0x01. 基礎知識
本程序由Python寫成，所以基本的python知識是必須的。另外，如果你有一定的計算機網路基礎，在前期准備時會有少走很多彎路。
對於爬蟲，需要明確幾點：
1. 對爬取對象分類，可以分為以下幾種：第一種是不需要登錄的，比如博主以前練手時爬的中國天氣網，這種網頁爬取難度較低，建議爬蟲新手爬這類網頁；第二種是需要登錄的，如豆瓣、新浪微博，這些網頁爬取難度較高；第三種獨立於前兩種，你想要的信息一般是動態刷新的，如AJAX或內嵌資源，這種爬蟲難度最大，博主也沒研究過，在此不細舉（據同學說淘寶的商品評論就屬於這類）。
2. 如果同一個數據源有多種形式（比如電腦版、手機版、客戶端等），優先選取較為「純凈的」展現。比如新浪微博，有網頁版，也有手機版，而且手機版可以用電腦瀏覽器訪問，這時我優先選手機版新浪微博。
3. 爬蟲一般是將網頁下載到本地，再通過某些方式提取出感興趣的信息。也就是說，爬取網頁只完成了一半，你還要將你感興趣的信息從下載下來的html文件中提取出來。這時就需要一些xml的知識了，在這個項目中，博主用的是XPath提取信息，另外可以使用XQuery等等其他技術，詳情請訪問w3cschool。
4. 爬蟲應該盡量模仿人類，現在網站反爬機制已經比較發達，從驗證碼到禁IP，爬蟲技術和反爬技術可謂不斷博弈。
0x02. 開始
決定了爬蟲的目標之後，首先應該訪問目標網頁，明確目標網頁屬於上述幾種爬蟲的哪種，另外，記錄為了得到感興趣的信息你需要進行的步驟，如是否需要登錄，如果需要登錄，是否需要驗證碼；你要進行哪些操作才能獲得希望得到的信息，是否需要提交某些表單；你希望得到的信息所在頁面的url有什麼規律等等。
以下博文以博主項目為例，該項目爬取特定新浪微博用戶從注冊至今的所有微博博文和根據關鍵詞爬取100頁微博博文（大約1000條）。
0x03. 收集必要信息
首先訪問目標網頁，發現需要登錄，進入登錄頁面如下新浪微博手機版登錄頁面
注意url後半段有很多形如」%xx」的轉義字元，本文後面將會講到。
從這個頁面可以看到，登錄新浪微博手機版需要填寫賬號、密碼和驗證碼。
這個驗證碼是近期（本文創作於2016.3.11）才需要提供的，如果不需要提供驗證碼的話，將有兩種方法進行登錄。
第一種是填寫賬號密碼之後執行js模擬點擊「登錄」按鈕，博主之前寫過一個Java爬蟲就是利用這個方法，但是現在找不到工程了，在此不再贅述。
第二種需要一定HTTP基礎，提交包含所需信息的HTTP POST請求。我們需要Wireshark 工具來抓取登錄微博時我們發出和接收的數據包。如下圖我抓取了在登錄時發出和接收的數據包Wireshark抓取結果1
在搜索欄提供搜索條件」http」可得到所有http協議數據包，右側info顯示該數據包的縮略信息。圖中藍色一行是POST請求，並且info中有」login」，可以初步判斷這個請求是登錄時發出的第一個數據包，並且這個180.149.153.4應該是新浪微博手機版登錄認證的伺服器IP地址，此時我們並沒有任何的cookie。
在序號為30是數據包中有一個從該IP發出的HTTP數據包，裡面有四個Set-Cookie欄位，這些cookie將是我們爬蟲的基礎。
Wireshark抓取結果2
早在新浪微博伺服器反爬機制升級之前，登錄是不需要驗證碼的，通過提交POST請求，可以拿到這些cookie，在項目源碼中的TestCookie.py中有示例代碼。
ps.如果沒有wireshark或者不想這么麻煩的話，可以用瀏覽器的開發者工具，以chrome為例，在登錄前打開開發者工具，轉到Network，登錄，可以看到發出和接收的數據，登錄完成後可以看到cookies，如下圖chrome開發者工具
接下來訪問所需頁面，查看頁面url是否有某種規律。由於本項目目標之一是獲取某用戶的全部微博，所以直接訪問該用戶的微博頁面，以央視新聞為例。
央視新聞1
圖為央視新聞微博第一頁，觀察該頁面的url可以發現，新浪微博手機版的微博頁面url組成是「weibo.cn/(displayID)?page=(pagenum)」。這將成為我們爬蟲拼接url的依據。
接下來查看網頁源碼，找到我們希望得到的信息的位置。打開瀏覽器開發者工具，直接定位某條微博，可以發現它的位置，如下所示。
xpath
觀察html代碼發現，所有的微博都在<div>標簽里，並且這個標簽里有兩個屬性，其中class屬性為」c」，和一個唯一的id屬性值。得到這個信息有助於將所需信息提取出來。
另外，還有一些需要特別注意的因素
* 微博分為原創微博和轉發微博
* 按照發布時間至當前時間的差距，在頁面上有」MM分鍾前」、」今天HH:MM」、」mm月dd日 HH:MM」、」yyyy-mm-dd HH:MM:SS」等多種顯示時間的方式* 手機版新浪微博一個頁面大約顯示10條微博，所以要注意對總共頁數進行記錄以上幾點都是細節，在爬蟲和提取的時候需要仔細考慮。
0x04. 編碼
1.爬取用戶微博
本項目開發語言是Python 2.7，項目中用了一些第三方庫，第三方庫可以用pip的方法添加。
既然程序自動登錄的想法被驗證碼擋住了，想要訪問特定用戶微博頁面，只能使用者提供cookies了。
首先用到的是Python的request模塊，它提供了帶cookies的url請求。
import request
print request.get(url, cookies=cookies).content使用這段代碼就可以列印帶cookies的url請求頁面結果。
首先取得該用戶微博頁面數，通過檢查網頁源碼，查找到表示頁數的元素，通過XPath等技術提取出頁數。
頁數
項目使用lxml模塊對html進行XPath提取。
首先導入lxml模塊，在項目里只用到了etree，所以from lxml import etree
然後利用下面的方法返回頁數
def getpagenum(self):
url = self.geturl(pagenum=1)
html = requests.get(url, cookies=self.cook).content # Visit the first page to get the page number.
selector = etree.HTML(html)
pagenum = selector.xpath('//input[@name="mp"]/@value')[0]
return int(pagenum)
接下來就是不斷地拼接url->訪問url->下載網頁。
需要注意的是，由於新浪反爬機制的存在，同一cookies訪問頁面過於「頻繁」的話會進入類似於「冷卻期」，即返回一個無用頁面，通過分析該無用頁面發現，這個頁面在特定的地方會出現特定的信息，通過XPath技術來檢查這個特定地方是否出現了特定信息即可判斷該頁面是否對我們有用。
def ispageneeded(html):
selector = etree.HTML(html)
try:
title = selector.xpath('//title')[0]
except:
return False
return title.text != '微博廣場' and title.text != '微博'
如果出現了無用頁面，只需簡單地重新訪問即可，但是通過後期的實驗發現，如果長期處於過頻訪問，返回的頁面將全是無用頁面，程序也將陷入死循環。為了避免程序陷入死循環，博主設置了嘗試次數閾值trycount，超過這個閾值之後方法自動返回。
下面代碼片展示了單線程爬蟲的方法。
def startcrawling(self, startpage=1, trycount=20):
attempt = 0
try:
os.mkdir(sys.path[0] + '/Weibo_raw/' + self.wanted)except Exception, e:
print str(e)
isdone = False
while not isdone and attempt < trycount:
try:
pagenum = self.getpagenum()
isdone = True
except Exception, e:
attempt += 1
if attempt == trycount:
return False
i = startpage
while i <= pagenum:
attempt = 0
isneeded = False
html = ''
while not isneeded and attempt < trycount:
html = self.getpage(self.geturl(i))
isneeded = self.ispageneeded(html)
if not isneeded:
attempt += 1
if attempt == trycount:
return False
self.savehtml(sys.path[0] + '/Weibo_raw/' + self.wanted + '/' + str(i) + '.txt', html)print str(i) + '/' + str(pagenum - 1)
i += 1
return True
考慮到程序的時間效率，在寫好單線程爬蟲之後，博主也寫了多線程爬蟲版本，基本思想是將微博頁數除以線程數，如一個微博用戶有100頁微博，程序開10個線程，那麼每個線程只負責10個頁面的爬取，其他基本思想跟單線程類似，只需仔細處理邊界值即可，在此不再贅述，感興趣的同學可以直接看代碼。另外，由於多線程的效率比較高，並發量特別大，所以伺服器很容易就返回無效頁面，此時trycount的設置就顯得更重要了。博主在寫這篇微博的時候，用一個新的cookies，多線程爬取現場測試了一下爬取北京郵電大學的微博，3976條微博全部爬取成功並提取博文，用時僅15s，實際可能跟cookies的新舊程度和網路環境有關，命令行設置如下，命令行意義在項目網址里有說明python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20爬取的工作以上基本介紹結束，接下來就是爬蟲的第二部分，解析了。由於項目中提供了多線程爬取方法，而多線程一般是無序的，但微博博文是依靠時間排序的，所以項目採用了一種折衷的辦法，將下載完成的頁面保存在本地文件系統，每個頁面以其頁號為文件名，待爬取的工作結束後，再遍歷文件夾內所有文件並解析。
通過前面的觀察，我們已經了解到微博博文存在的標簽有什麼特點了，利用XPath技術，將這個頁面里所有有這個特點的標簽全部提取出來已經不是難事了。
在這再次提醒，微博分為轉發微博和原創微博、時間表示方式。另外，由於我們的研究課題僅對微博文本感興趣，所以配圖不考慮。
def startparsing(self, parsingtime=datetime.datetime.now()):
basepath = sys.path[0] + '/Weibo_raw/' + self.uidfor filename in os.listdir(basepath):
if filename.startswith('.'):
continue
path = basepath + '/' + filename
f = open(path, 'r')
html = f.read()
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
weibo = Weibo()
weibo.id = item.xpath('./@id')[0]
cmt = item.xpath('./div/span[@class="cmt"]')if len(cmt) != 0:
weibo.isrepost = True
weibo.content = cmt[0].text
else:
weibo.isrepost = False
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
weibo.content += ctt.text
for a in ctt.xpath('./a'):
if a.text is not None:
weibo.content += a.text
if a.tail is not None:
weibo.content += a.tail
if len(cmt) != 0:
reason = cmt[1].text.split(u'\xa0')
if len(reason) != 1:
weibo.repostreason = reason[0]
ct = item.xpath('./div/span[@class="ct"]')[0]
time = ct.text.split(u'\xa0')[0]
weibo.time = self.gettime(self, time, parsingtime)self.weibos.append(weibo.__dict__)
f.close()
方法傳遞的參數parsingtime的設置初衷是，開發前期爬取和解析可能不是同時進行的（並不是嚴格的「同時」），微博時間顯示是基於訪問時間的，比如爬取時間是10:00，這時爬取到一條微博顯示是5分鍾前發布的，但如果解析時間是10:30，那麼解析時間將錯誤，所以應該講解析時間設置為10:00。到後期爬蟲基本開發完畢，爬取工作和解析工作開始時間差距降低，時間差將是爬取過程時長，基本可以忽略。
解析結果保存在一個列表裡，最後將這個列表以json格式保存到文件系統里，刪除過渡文件夾，完成。
def save(self):
f = open(sys.path[0] + '/Weibo_parsed/' + self.uid + '.txt', 'w')jsonstr = json.mps(self.weibos, indent=4, ensure_ascii=False)f.write(jsonstr)
f.close()
2.爬取關鍵詞
同樣的，收集必要的信息。在微博手機版搜索頁面敲入」python」，觀察url，研究其規律。雖然第一頁並無規律，但是第二頁我們發現了規律，而且這個規律可以返回應用於第一頁第一頁
第二頁
應用後第一頁
觀察url可以發現，對於關鍵詞的搜索，url中的變數只有keyword和page（事實上，hideSearchFrame對我們的搜索結果和爬蟲都沒有影響），所以在代碼中我們就可以對這兩個變數進行控制。
另外，如果關鍵詞是中文，那麼url就需要對中文字元進行轉換，如我們在搜索框敲入」開心」並搜索，發現url如下顯示搜索開心
但復制出來卻為
http://weibo.cn/search/mblog?hideSearchFrame=&keyword=%E5%BC%80%E5%BF%83&page=1幸好，python的urllib庫有qoute方法處理中文轉換的功能（如果是英文則不做轉換），所以在拼接url前使用這個方法處理一下參數。
另外，考慮到關鍵詞搜索屬於數據收集階段使用的方法，所以在此只提供單線程下載網頁，如有多線程需要，大家可以按照多線程爬取用戶微博的方法自己改寫。最後，對下載下來的網頁進行提取並保存（我知道這樣的模塊設計有點奇怪，打算重(xin)構(qing)時(hao)時再改，就先這樣吧）。
def keywordcrawling(self, keyword):
realkeyword = urllib.quote(keyword) # Handle the keyword in Chinese.
try:
os.mkdir(sys.path[0] + '/keywords')
except Exception, e:
print str(e)
weibos = []
try:
highpoints = re.compile(u'[\U00010000-\U0010ffff]') # Handle emoji, but it seems doesn't work.
except re.error:
highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')pagenum = 0
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=1' % realkeyword)isneeded = self.ispageneeded(html)
if isneeded:
selector = etree.HTML(html)
try:
pagenum = int(selector.xpath('//input[@name="mp"]/@value')[0])except:
pagenum = 1
for i in range(1, pagenum + 1):
try:
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=%s' % (realkeyword, str(i)))isneeded = self.ispageneeded(html)
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
cmt = item.xpath('./div/span[@class="cmt"]')if (len(cmt)) == 0:
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
text = etree.tostring(ctt, method='text', encoding="unicode")tail = ctt.tail
if text.endswith(tail):
index = -len(tail)
text = text[1:index]
text = highpoints.sub(u'\u25FD', text) # Emoji handling, seems doesn't work.
weibotext = text
weibos.append(weibotext)
print str(i) + '/' + str(pagenum)
except Exception, e:
print str(e)
f = open(sys.path[0] + '/keywords/' + keyword + '.txt', 'w')try:
f.write(json.mps(weibos,indent=4,ensure_ascii=False))except Exception,ex:
print str(ex)
finally:
f.close()
博主之前從未寫過任何爬蟲程序，為了獲取新浪微博博文，博主先後寫了3個不同的爬蟲程序，有Python，有Java，爬蟲不能用了是很正常的，不要氣餒，爬蟲程序和反爬機制一直都在不斷博弈中，道高一尺魔高一丈。
另. 轉載請告知博主，如果覺得博主帥的話就可以不用告知了

④ 如何通過python調用新浪微博的API來爬取數據

1：安裝python(這個不多說啦)
2：下載新浪微博SDK的python包，解壓為weibopy目錄

3：申請AppKey，

流程：

1：通過oAuth認證
按我的理解簡化如下：
用戶在新浪微博給的頁面輸入賬號密碼，然後微博給應用一個PIN碼，這樣應用通過PIN碼才有許可權訪問該用戶的信息，而應用在整個過程中是接觸不到密碼的，所以用戶覺得很安全，後果很滿意
2：獲得認證之後，就可以使用微博SDK提供的API獲得信息啦
3：如果想設計web或者客戶端應用的話，那就繼續加個GUI好啦(未完成)

代碼：

#!/usr/bin/python

import webbrowser

from weibopy.auth import OAuthHandler
from weibopy.api import API

AppKey = '2525355147'
AppSecret = ''

my_auth = OAuthHandler(AppKey , AppSecret)
webbrowser.open(my_auth.get_authorization_url())
verifier = raw_input('PIN: ').strip()
my_auth.get_access_token(verifier)

my_api = API(my_auth)
for comment in my_api.mentions():
object = comment
id = object.__getattribute__("id")
text = object.__getattribute__("text")
print str(id) + " : " + text

⑤ python的爬蟲是什麼意思

Python爬蟲即使用Python程序開發的網路爬蟲（網頁蜘蛛，網路機器人），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。其實通俗的講就是通過程序去獲取 web 頁面上自己想要的數據，也就是自動抓取數據。網路爬蟲（英語：web crawler），也叫網路蜘蛛（spider），是一種用來自動瀏覽萬維網的網路機器人。其目的一般為編纂網路索引。
網路搜索引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面保存下來，以便搜索引擎事後生成索引供用戶搜索。
爬蟲訪問網站的過程會消耗目標系統資源。不少網路系統並不默許爬蟲工作。因此在訪問大量頁面時，爬蟲需要考慮到規劃、負載，還需要講「禮貌」。不願意被爬蟲訪問、被爬蟲主人知曉的公開站點可以使用robots.txt文件之類的方法避免訪問。這個文件可以要求機器人只對網站的一部分進行索引，或完全不作處理。
互聯網上的頁面極多，即使是最大的爬蟲系統也無法做出完整的索引。因此在公元2000年之前的萬維網出現初期，搜索引擎經常找不到多少相關結果。現在的搜索引擎在這方面已經進步很多，能夠即刻給出高質量結果。
爬蟲還可以驗證超鏈接和HTML代碼，用於網路抓取。
Python 爬蟲
Python 爬蟲架構
Python 爬蟲架構主要由五個部分組成，分別是調度器、URL 管理器、網頁下載器、網頁解析器、應用程序（爬取的有價值數據）。
調度器：相當於一台電腦的 CPU，主要負責調度 URL 管理器、下載器、解析器之間的協調工作。
URL 管理器：包括待爬取的 URL 地址和已爬取的 URL 地址，防止重復抓取 URL 和循環抓取 URL，實現 URL 管理器主要用三種方式，通過內存、資料庫、緩存資料庫來實現。
網頁下載器：通過傳入一個 URL 地址來下載網頁，將網頁轉換成一個字元串，網頁下載器有 urlpb2（Python 官方基礎模塊）包括需要登錄、代理、和 cookie，requests(第三方包)
網頁解析器：將一個網頁字元串進行解析，可以按照我們的要求來提取出我們有用的信息，也可以根據 DOM 樹的解析方式來解析。網頁解析器有正則表達式（直觀，將網頁轉成字元串通過模糊匹配的方式來提取有價值的信息，當文檔比較復雜的時候，該方法提取數據的時候就會非常的困難）、html.parser（Python 自帶的）、beautifulsoup（第三方插件，可以使用 Python 自帶的 html.parser 進行解析，也可以使用 lxml 進行解析，相對於其他幾種來說要強大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 樹的方式進行解析的。
應用程序：就是從網頁中提取的有用數據組成的一個應用。
爬蟲可以做什麼？
你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數據，只要你能通過瀏覽器訪問的數據都可以通過爬蟲獲取。
爬蟲的本質是什麼？
模擬瀏覽器打開網頁，獲取網頁中我們想要的那部分數據
瀏覽器打開網頁的過程：
當你在瀏覽器中輸入地址後，經過 DNS 伺服器找到伺服器主機，向伺服器發送一個請求，伺服器經過解析後發送給用戶瀏覽器結果，包括 html,js,css 等文件內容，瀏覽器解析出來最後呈現給用戶在瀏覽器上看到的結果
所以用戶看到的瀏覽器的結果就是由 HTML 代碼構成的，我們爬蟲就是為了獲取這些內容，通過分析和過濾 html 代碼，從中獲取我們想要資源。
相關推薦：《Python教程》以上就是小編分享的關於python的爬蟲是什麼意思的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！

⑥ 如何入門 Python 爬蟲

「入門」是良好的動機，但是可能作用緩慢。如果你手裡或者腦子里有一個項目，那麼實踐起來你會被目標驅動，而不會像學習模塊一樣慢慢學習。

如果你想要入門Python爬蟲，你需要做很多准備。首先是熟悉python編程；其次是了解HTML；

還要了解網路爬蟲的基本原理；最後是學習使用python爬蟲庫。

如果你不懂python，那麼需要先學習python這門非常easy的語言。編程語言基礎語法無非是數據類型、數據結構、運算符、邏輯結構、函數、文件IO、錯誤處理這些，學起來會顯枯燥但並不難。

剛開始入門爬蟲，你甚至不需要去學習python的類、多線程、模塊之類的略難內容。找一個面向初學者的教材或者網路教程，花個十幾天功夫，就能對python基礎有個三四分的認識了。

網路爬蟲的含義：

網路爬蟲，其實也可以叫做網路數據採集更容易理解。就是通過編程向網路伺服器請求數據（HTML表單），然後解析HTML，提取出自己想要的數據。

這會涉及到資料庫、網路伺服器、HTTP協議、HTML、數據科學、網路安全、圖像處理等非常多的內容。但對於初學者而言，並不需要掌握這么多。

⑦ 怎樣用python爬新浪微博大V所有數據

我是個微博重度用戶，工作學習之餘喜歡刷刷timeline看看有什麼新鮮事發生，也因此認識了不少高質量的原創大V，有分享技術資料的，比如好東西傳送門；有時不時給你一點人生經驗的，比如石康；有高產的段子手，比如銀教授；有黃圖黃段子小能手，比如阿良哥哥木木蘿希木初犬餅…

好吧，我承認，爬黃圖黃段子才是我的真實目的，前三個是掩人耳目的…（捂臉，跑開）

另外說點題外話，我一開始想使用Sina Weibo API來獲取微博內容，但後來發現新浪微博的API限制實在太多，大家感受一下：

iTerm

小問題：在我的測試中，有的時候會出現圖片下載失敗的問題，具體原因還不是很清楚，可能是網速問題，因為我宿舍的網速實在太不穩定了，當然也有可能是別的問題，所以在程序根目錄下面，我還生成了一個userid_imageurls的文本文件，裡面存儲了爬取的所有圖片的下載鏈接，如果出現大片的圖片下載失敗，可以將該鏈接群一股腦導進迅雷等下載工具進行下載。

另外，我的系統是OSX EI Capitan10.11.2，Python的版本是2.7，依賴庫用sudo pip install XXXX就可以安裝，具體配置問題可以自行stackoverflow，這里就不展開講了。

下面我就給出實現代碼（嚴肅臉）

Python

#-*-coding:utf8-*-

import re

import string

import sys

import os

import urllib

import urllib2

from bs4 import BeautifulSoup

import requests

from lxml import etree

reload(sys)

sys.setdefaultencoding('utf-8')

if(len(sys.argv) >=2):

user_id = (int)(sys.argv[1])

else:

user_id = (int)(raw_input(u"請輸入user_id: "))

cookie = {"Cookie": "#your cookie"}

url = 'd?filter=1&page=1'%user_id

html = requests.get(url, cookies = cookie).content

selector = etree.HTML(html)

pageNum = (int)(selector.xpath('//input[@name="mp"]')[0].attrib['value'])

result = ""

urllist_set = set()

word_count = 1

image_count = 1

print u'爬蟲准備就緒...'

for page in range(1,pageNum+1):

#獲取lxml頁面

url = 'hu/%d?filter=1&page=%d'%(user_id,page)

lxml = requests.get(url, cookies = cookie).content

#文字爬取

selector = etree.HTML(lxml)

content = selector.xpath('//span[@class="ctt"]')

for each in content:

text = each.xpath('string(.)')

if word_count >= 4:

text = "%d :"%(word_count-3) +text+" "

else :

text = text+" "

result = result + text

word_count += 1

#圖片爬取

soup = BeautifulSoup(lxml, "lxml")

urllist = soup.find_all('a',href=re.compile(r'^mblog/oripic',re.I))

first = 0

for imgurl in urllist:

urllist_set.add(requests.get(imgurl['href'], cookies = cookie).url)

image_count +=1

fo = open("/Users/Personals/%s"%user_id, "wb")

fo.write(result)

word_path=os.getcwd()+'/%d'%user_id

print u'文字微博爬取完畢'

link = ""

fo2 = open("/Users/Personals/%s_imageurls"%user_id, "wb")

for eachlink in urllist_set:

link = link + eachlink +" "

fo2.write(link)

print u'圖片鏈接爬取完畢'

if not urllist_set:

print u'該頁面中不存在圖片'

else:

#下載圖片,保存在當前目錄的pythonimg文件夾下

image_path=os.getcwd()+'/weibo_image'

if os.path.exists(image_path) is False:

os.mkdir(image_path)

x=1

for imgurl in urllist_set:

temp= image_path + '/%s.jpg' % x

print u'正在下載第%s張圖片' % x

try:

urllib.urlretrieve(urllib2.urlopen(imgurl).geturl(),temp)

except:

print u"該圖片下載失敗:%s"%imgurl

x+=1

print u'原創微博爬取完畢，共%d條，保存路徑%s'%(word_count-4,word_path)

print u'微博圖片爬取完畢，共%d張，保存路徑%s'%(image_count-1,image_path)

導航:首頁 > 編程語言 > python爬蟲新浪

python爬蟲新浪

與python爬蟲新浪相關的資料