python爬蟲新浪博客_python 新浪微博爬蟲求助

A. 現在python微博爬蟲可以爬到用戶注冊地址嗎

現在python微博爬蟲不可租知族以爬到用戶注冊地址。爬蟲要實現的是爬取某個用戶的關注和粉絲的弊弊用戶公開基猛豎本信息，包括用戶昵稱、id、性別、所在地和其粉絲數量。

B. Python編程培訓北京的哪裡好，學出來可以做什麼，看起來程序員厲害的不行

現在學python的人很多，如果只給一個理由的話，一句話：寫起來快、看起來明白。

你要非要問它可以干什麼。作為通用性的語言基本上什麼都能幹，除了一些對性能要求很高的場合。比較常見的領域是：web伺服器、科學計算、應用內嵌腳本、系統管理（程度由高到低）。

就這個事情而言簡單說說我的看法吧。

首先，我覺得趕時髦沒有任何的問題（話說Python現在算時髦么，都快20年了。時髦的應該是go、hack之類的吧）。作為一個職業程序員，追趕技術的潮流本來就是很正常的事。有了什麼新的工具、語言、理論。先拿來玩一玩，了解一下他的特性。這叫技術儲備。一個東西之所以能流行起來必然有它的特點在里邊。有的時候學些東西僅僅就是 have a fun 而已。每次都當你有需求的時候再學永遠都會落後一拍，而且無法站在一個高度去選擇。
舉個例子：比如你現在要寫個手機游戲，現在有Unity、cocos2d、cocos2d－x、cocos2d－x lua 及其他引擎可供選擇。如果你從來都沒有用過這幾個東西你怎麼選擇？肯定是上網看一堆良莠不齊的博客，問問同事、學長之類的，最後憑感覺選一個就開始寫。如果你只會其中一個呢？你肯定會毫不猶豫的使用你會的那個。問題在於，有的時候不同的技術方案有不同的局限性，弄不好這就是定時炸彈啊。如果這些你都用過，即使不是非常的精通。你也可以根據自己的團隊組成、工期、人員招聘的難度、游戲類型等等來選擇最合適的工具。等到有需求的時候根本不會有那麼時間來讓你每個都學一遍的。

其次，最為一個程序員，開拓視野很重要。多嘗試幾門語言沒有任何壞處。學習其他的語言有助於你跳出自己之前的局限來看問題。語言限制了你的表達，也限制了你思考問題的方式。多了解一些不同的編程範式，有助於你加深對編程語言的了解。沒有什麼壞處。只是蜷縮在自己熟悉的東西里永遠無法提高。

最後，我覺得你的心態有很大的問題。為什麼這么說呢？如果很多人不斷的對我說：「自己會python，python有多麼多麼高級牛掰厲害。」我的第一反應是：「我擦，真的么？這么吊的東西我居然沒用過。回去玩玩看，到底好不好用。」而不是說：「擦，又TM給老子裝逼，會python了不起么？」如果你真正渴求的是知識or技術，你根本不會在意誰在什麼地方用什麼語氣說的。你在意的只會是知識本身。

想系統學習python，以下是python的一整套課程體系，可以根據體系來學習，事半功倍。

馬哥2019教學大綱全面升級，核心技術從「薪」出發

python自動化+Python全棧+爬蟲+Ai=全能Python開發-項目實戰式教學

階段一：Python基礎及語法

課程內容
Linux基本安裝、使用、配置和生產開發環境配置
Python語言概述及發展，搭建Python多系統開發環境
Python內置數據結構、類型、字元及編碼，流程式控制制
列表和元組，集合和字典精講、文件操作、目錄操作、序列化
裝飾器、迭代器、描述器、內建函數，模塊化、動態模塊載入
面向對象和三要素、單雙鏈表實現，運算符重載，魔術方法原理
Python的包管理，打包工具，打包、分發、安裝過程
異常的概念和捕獲、包管理、常用模塊和庫使用，插件化開發
並發與並行、同步與非同步、線程、進程、隊列、IO模型
實戰操練：用項目管理git管理代碼和持續集成開發
實戰操練：用Python開發小應用程序

階段二：Python網路編程及後台開發

課程內容
同步IO、非同步IO和IO多路復用詳解
C/S開發和Socket編程，TCP伺服器端和客戶端開發
TCP、UDP網路編程、非同步編程、協程開發
Socketserver模塊中類的繼承，創建伺服器的開發
演算法：冒泡排序、選擇排序、插入排序、堆排序、樹、圖
Mysql安裝使用，數據類型、DDL語句建庫建表
資料庫庫、表設計思路及資料庫開發
使用pymysql驅動，創建ORM，CRUD操作和事務
連接池實現和Python結合的後台開發
key-Value模型與存儲體系介紹，多種nosql資料庫
實戰操練：開發基於C/S架構的web伺服器

階段三：前端開發及全棧可視化

課程內容
Html、Css、bootstrap入門到精通
瀏覽器引擎，同步、非同步網頁技術，前端開發技術解析
ES6常量變數、注釋、數據類型、let和var
ES6函數及作用域、高階函數、箭頭函數、匿名函數
JS對象模型，字面式聲明對象創建，舊式類定義
React比vue技術對比及優劣勢解析
React框架介紹，組件、核心實戰和應用
HTML5瀏覽器端多種持久化技術和store.js使用
螞蟻金服React企業級組件ant design開發
React狀態管理庫Mobx應用，axios非同步HTTP庫使用
無狀態組件、高階組件、柯里化、裝飾器、帶參裝飾器
實戰：Todolist業務功能開發及可視化

階段四：Web框架及項目實戰

課程內容
web框架Django、Flask、tornado對比
從零開始實現類Flask框架、實現路由、視圖等
實現類Flask、正則匹配、webbob庫解析、字元串解析等
實現類Flask框架高級路由分組、字典訪問屬性化等
實現Django開發環境搭建、ORM與資料庫開發
實現Django模板語言、應用創建、模型構建
實現Django開發流程、創建應用、注冊應用等
RESTful介面開發、React組件、MySQL讀寫分離等
前後端分離模式MySQL分庫分表、Nginx+uWSGI部署
實戰：實現多人博客系統項目，採用BS架構實現
實戰：分類和標簽、轉發、搜索、點擊量、點贊等特效

階段五：Python運維自動化開發

課程內容
Devops自動化運維技術框架體系、應用布局
任務調度系統設計，zerorpc及RPC通信實現，Agent封裝與實現
mschele通信消息設計和介面API
企業級CMDB系統，虛擬表實現，DDL設計與實現
實戰：開源堡壘機jumpserver架構、安全審計、管理
自動化流程平台：流程模板定義、執行引擎實現、手動與自動流程
分布式監控系統設計與實現思路
全面講解Git版本控制、腳本自動化管理、Git分支合並
實戰：基於生產環境持續集成案例Jenkins+gitlab+maven
Python實現執行環境構建及代碼測試示例

階段六:分布式爬蟲及數據挖掘

課程內容
爬蟲知識體系與相關工具和數據挖掘結合分析
urllib3、requests、lxml等模塊企業級使用
requests 模塊模擬登錄網站，驗證，注冊
Scrapy框架與Scrapy-Redis，實現分布式爬蟲
Selenium模塊、PhantomJS模塊，實現瀏覽器爬取數據
selenium實現動態網頁的數據抓取、常見的反爬措施
實戰：Python 實現新浪微博模擬登陸，並進行數據分析
實戰：爬取淘寶、京東、唯品會等電商網站商品
實戰：某乎評價抓取和好評人群及價值信息挖掘
實戰：提取豆瓣電影信息，分析豆瓣中最新電影的影評

階段七：人工智慧及機器學習

課程內容
人工智慧介紹及numpy、pandas學習、matplotlib學習
機器學習基礎理論、線性回歸演算法、邏輯回歸演算法
KNN演算法、決策樹演算法、K-MEANS演算法、神經網路背景概述
單層感知器介紹、單層感知器程序、單層感知器-異或問題
線性神經網，Delta學習規則、線性神經網路解決異或問題
BP神經網路介紹、BP演算法推導、BP神經網路-異或問題
sklearn-神經網路-手寫數字識別項目
Google神經網路演示平台介紹
Tensorflow安裝、Tensorlfow基礎知識：圖，變數
Tensorflow線、非線性回歸及數據分析建模
實戰：中國大陸房價預測
實戰：汽車車牌識別及人臉識別

階段八：高薪簡歷製作和面試技巧

課程內容
以python工程師運維日常工作內容全面介紹工作場景和崗位職責
從簡歷格式，技能描述，項目案例，個人優勢360°打造精緻個人簡歷
國內4大招聘網站簡歷上傳，投遞，工作崗位篩選和黃金崗位識別技巧
簡歷投遞時間節點，簡歷郵件標題，開場白書寫規范和技巧
全面講解技術面試和人事面試的側重點以及面試回答方向和方法
從著裝、自我介紹、職業發展、薪資談判等全方面培養面試綜合能力
講解薪資和股票期權抉擇，以及未來技術發展趨勢，和就業公司選擇
按照企業面試官標准，進行一對一的技術面試和人事面試指導
畢業後可加入價值12800元的馬哥往期智囊團和高端人脈圈
終身享受高端獨家業內高薪就業機會推薦

C. 怎樣用python爬新浪微博大V所有數據

我是個微博重度用戶，工作學習之餘喜歡刷刷timeline看看有什麼新鮮事發生，也因此認識了不少高質量的原創大V，有分享技術資料的，比如好東西傳送門；有時不時給你一點人生經驗的，比如石康；有高產的段子手，比如銀教授；有黃圖黃段子小能手，比如阿良哥哥木木蘿希木初犬餅…

好吧，我承認，爬黃圖黃段子才是我的真實目的，前三個是掩人耳目的…（捂臉，跑開）

另外說點題外話，我一開始想使用Sina Weibo API來獲取微博內容，但後來發現新浪微博的API限制實在太多，大家感受一下：

iTerm

小問題：在我的測試中，有的時候會出現圖片下載失敗的問題，具體原因還不是很清楚，可能是網速問題，因為我宿舍的網速實在太不穩定了，當然也有可能是別的問題，所以在程序根目錄下面，我還生成了一個userid_imageurls的文本文件，裡面存儲了爬取的所有圖片的下載鏈接，如果出現大片的圖片下載失敗，可以將該鏈接群一股腦導進迅雷等下載工具進行下載。

另外，我的系統是OSX EI Capitan10.11.2，Python的版本是2.7，依賴庫用sudo pip install XXXX就可以安裝，具體配置問題可以自行stackoverflow，這里就不展開講了。

下面我就給出實現代碼（嚴肅臉）

Python

#-*-coding:utf8-*-

import re

import string

import sys

import os

import urllib

import urllib2

from bs4 import BeautifulSoup

import requests

from lxml import etree

reload(sys)

sys.setdefaultencoding('utf-8')

if(len(sys.argv) >=2):

user_id = (int)(sys.argv[1])

else:

user_id = (int)(raw_input(u"請輸入user_id: "))

cookie = {"Cookie": "#your cookie"}

url = 'd?filter=1&page=1'%user_id

html = requests.get(url, cookies = cookie).content

selector = etree.HTML(html)

pageNum = (int)(selector.xpath('//input[@name="mp"]')[0].attrib['value'])

result = ""

urllist_set = set()

word_count = 1

image_count = 1

print u'爬蟲准備就緒...'

for page in range(1,pageNum+1):

#獲取lxml頁面

url = 'hu/%d?filter=1&page=%d'%(user_id,page)

lxml = requests.get(url, cookies = cookie).content

#文字爬取

selector = etree.HTML(lxml)

content = selector.xpath('//span[@class="ctt"]')

for each in content:

text = each.xpath('string(.)')

if word_count >= 4:

text = "%d :"%(word_count-3) +text+" "

else :

text = text+" "

result = result + text

word_count += 1

#圖片爬取

soup = BeautifulSoup(lxml, "lxml")

urllist = soup.find_all('a',href=re.compile(r'^mblog/oripic',re.I))

first = 0

for imgurl in urllist:

urllist_set.add(requests.get(imgurl['href'], cookies = cookie).url)

image_count +=1

fo = open("/Users/Personals/%s"%user_id, "wb")

fo.write(result)

word_path=os.getcwd()+'/%d'%user_id

print u'文字微博爬取完畢'

link = ""

fo2 = open("/Users/Personals/%s_imageurls"%user_id, "wb")

for eachlink in urllist_set:

link = link + eachlink +" "

fo2.write(link)

print u'圖片鏈接爬取完畢'

if not urllist_set:

print u'該頁面中不存在圖片'

else:

#下載圖片,保存在當前目錄的pythonimg文件夾下

image_path=os.getcwd()+'/weibo_image'

if os.path.exists(image_path) is False:

os.mkdir(image_path)

x=1

for imgurl in urllist_set:

temp= image_path + '/%s.jpg' % x

print u'正在下載第%s張圖片' % x

try:

urllib.urlretrieve(urllib2.urlopen(imgurl).geturl(),temp)

except:

print u"該圖片下載失敗:%s"%imgurl

x+=1

print u'原創微博爬取完畢，共%d條，保存路徑%s'%(word_count-4,word_path)

print u'微博圖片爬取完畢，共%d張，保存路徑%s'%(image_count-1,image_path)

D. 如何使用Python編寫簡單的微博爬蟲

py2.x 學一下urllib，urllib2，xpath，正則表達式，bs4的基礎知識就可以了。
網上有很多爬蟲視頻，可以去各個學習網站搜索下。
http://blog.csdn.net/Jason2031/article/details/48698829

E. 如何用Python爬蟲抓取網頁內容

首先,你要安裝requests和BeautifulSoup4,然後執行如下代碼.

importrequests
frombs4importBeautifulSoup

iurl='http://news.sina.com.cn/c/nd/2017-08-03/doc-ifyitapp0128744.shtml'

res=requests.get(iurl)

res.encoding='utf-8'

#print(len(res.text))

soup=BeautifulSoup(res.text,'html.parser')

#標題
H1=soup.select('#artibodyTitle')[0].text

#來源
time_source=soup.select('.time-source')[0].text


#來源
origin=soup.select('#artibodyp')[0].text.strip()

#原標題
oriTitle=soup.select('#artibodyp')[1].text.strip()

#內容
raw_content=soup.select('#artibodyp')[2:19]
content=[]
forparagraphinraw_content:
content.append(paragraph.text.strip())
'@'.join(content)
#責任編輯
ae=soup.select('.article-editor')[0].text

這樣就可以了

F. python 新浪微博爬蟲，求助

0x00. 起因
因為參加學校大學生創新競賽，研究有關微博博文表達的情緒，需要大量微博博文，而網上無論是國內的某度、csdn，還是國外谷歌、gayhub、codeproject等都找不到想要的程序，沒辦法只能自己寫一個程序了。
ps.在爬盟找到類似的程序，但是是windows下的，並且閉源，而且最終爬取保存的文件用notepad++打開有很多奇怪的問題，所以放棄了。
0x01. 基礎知識
本程序由Python寫成，所以基本的python知識是必須的。另外，如果你有一定的計算機網路基礎，在前期准備時會有少走很多彎路。
對於爬蟲，需要明確幾點：
1. 對爬取對象分類，可以分為以下幾種：第一種是不需要登錄的，比如博主以前練手時爬的中國天氣網，這種網頁爬取難度較低，建議爬蟲新手爬這類網頁；第二種是需要登錄的，如豆瓣、新浪微博，這些網頁爬取難度較高；第三種獨立於前兩種，你想要的信息一般是動態刷新的，如AJAX或內嵌資源，這種爬蟲難度最大，博主也沒研究過，在此不細舉（據同學說淘寶的商品評論就屬於這類）。
2. 如果同一個數據源有多種形式（比如電腦版、手機版、客戶端等），優先選取較為「純凈的」展現。比如新浪微博，有網頁版，也有手機版，而且手機版可以用電腦瀏覽器訪問，這時我優先選手機版新浪微博。
3. 爬蟲一般是將網頁下載到本地，再通過某些方式提取出感興趣的信息。也就是說，爬取網頁只完成了一半，你還要將你感興趣的信息從下載下來的html文件中提取出來。這時就需要一些xml的知識了，在這個項目中，博主用的是XPath提取信息，另外可以使用XQuery等等其他技術，詳情請訪問w3cschool。
4. 爬蟲應該盡量模仿人類，現在網站反爬機制已經比較發達，從驗證碼到禁IP，爬蟲技術和反爬技術可謂不斷博弈。
0x02. 開始
決定了爬蟲的目標之後，首先應該訪問目標網頁，明確目標網頁屬於上述幾種爬蟲的哪種，另外，記錄為了得到感興趣的信息你需要進行的步驟，如是否需要登錄，如果需要登錄，是否需要驗證碼；你要進行哪些操作才能獲得希望得到的信息，是否需要提交某些表單；你希望得到的信息所在頁面的url有什麼規律等等。
以下博文以博主項目為例，該項目爬取特定新浪微博用戶從注冊至今的所有微博博文和根據關鍵詞爬取100頁微博博文（大約1000條）。
0x03. 收集必要信息
首先訪問目標網頁，發現需要登錄，進入登錄頁面如下新浪微博手機版登錄頁面
注意url後半段有很多形如」%xx」的轉義字元，本文後面將會講到。
從這個頁面可以看到，登錄新浪微博手機版需要填寫賬號、密碼和驗證碼。
這個驗證碼是近期（本文創作於2016.3.11）才需要提供的，如果不需要提供驗證碼的話，將有兩種方法進行登錄。
第一種是填寫賬號密碼之後執行js模擬點擊「登錄」按鈕，博主之前寫過一個Java爬蟲就是利用這個方法，但是現在找不到工程了，在此不再贅述。
第二種需要一定HTTP基礎，提交包含所需信息的HTTP POST請求。我們需要Wireshark 工具來抓取登錄微博時我們發出和接收的數據包。如下圖我抓取了在登錄時發出和接收的數據包Wireshark抓取結果1
在搜索欄提供搜索條件」http」可得到所有http協議數據包，右側info顯示該數據包的縮略信息。圖中藍色一行是POST請求，並且info中有」login」，可以初步判斷這個請求是登錄時發出的第一個數據包，並且這個180.149.153.4應該是新浪微博手機版登錄認證的伺服器IP地址，此時我們並沒有任何的cookie。
在序號為30是數據包中有一個從該IP發出的HTTP數據包，裡面有四個Set-Cookie欄位，這些cookie將是我們爬蟲的基礎。
Wireshark抓取結果2
早在新浪微博伺服器反爬機制升級之前，登錄是不需要驗證碼的，通過提交POST請求，可以拿到這些cookie，在項目源碼中的TestCookie.py中有示例代碼。
ps.如果沒有wireshark或者不想這么麻煩的話，可以用瀏覽器的開發者工具，以chrome為例，在登錄前打開開發者工具，轉到Network，登錄，可以看到發出和接收的數據，登錄完成後可以看到cookies，如下圖chrome開發者工具
接下來訪問所需頁面，查看頁面url是否有某種規律。由於本項目目標之一是獲取某用戶的全部微博，所以直接訪問該用戶的微博頁面，以央視新聞為例。
央視新聞1
圖為央視新聞微博第一頁，觀察該頁面的url可以發現，新浪微博手機版的微博頁面url組成是「weibo.cn/(displayID)?page=(pagenum)」。這將成為我們爬蟲拼接url的依據。
接下來查看網頁源碼，找到我們希望得到的信息的位置。打開瀏覽器開發者工具，直接定位某條微博，可以發現它的位置，如下所示。
xpath
觀察html代碼發現，所有的微博都在<div>標簽里，並且這個標簽里有兩個屬性，其中class屬性為」c」，和一個唯一的id屬性值。得到這個信息有助於將所需信息提取出來。
另外，還有一些需要特別注意的因素
* 微博分為原創微博和轉發微博
* 按照發布時間至當前時間的差距，在頁面上有」MM分鍾前」、」今天HH:MM」、」mm月dd日 HH:MM」、」yyyy-mm-dd HH:MM:SS」等多種顯示時間的方式* 手機版新浪微博一個頁面大約顯示10條微博，所以要注意對總共頁數進行記錄以上幾點都是細節，在爬蟲和提取的時候需要仔細考慮。
0x04. 編碼
1.爬取用戶微博
本項目開發語言是Python 2.7，項目中用了一些第三方庫，第三方庫可以用pip的方法添加。
既然程序自動登錄的想法被驗證碼擋住了，想要訪問特定用戶微博頁面，只能使用者提供cookies了。
首先用到的是Python的request模塊，它提供了帶cookies的url請求。
import request
print request.get(url, cookies=cookies).content使用這段代碼就可以列印帶cookies的url請求頁面結果。
首先取得該用戶微博頁面數，通過檢查網頁源碼，查找到表示頁數的元素，通過XPath等技術提取出頁數。
頁數
項目使用lxml模塊對html進行XPath提取。
首先導入lxml模塊，在項目里只用到了etree，所以from lxml import etree
然後利用下面的方法返回頁數
def getpagenum(self):
url = self.geturl(pagenum=1)
html = requests.get(url, cookies=self.cook).content # Visit the first page to get the page number.
selector = etree.HTML(html)
pagenum = selector.xpath('//input[@name="mp"]/@value')[0]
return int(pagenum)
接下來就是不斷地拼接url->訪問url->下載網頁。
需要注意的是，由於新浪反爬機制的存在，同一cookies訪問頁面過於「頻繁」的話會進入類似於「冷卻期」，即返回一個無用頁面，通過分析該無用頁面發現，這個頁面在特定的地方會出現特定的信息，通過XPath技術來檢查這個特定地方是否出現了特定信息即可判斷該頁面是否對我們有用。
def ispageneeded(html):
selector = etree.HTML(html)
try:
title = selector.xpath('//title')[0]
except:
return False
return title.text != '微博廣場' and title.text != '微博'
如果出現了無用頁面，只需簡單地重新訪問即可，但是通過後期的實驗發現，如果長期處於過頻訪問，返回的頁面將全是無用頁面，程序也將陷入死循環。為了避免程序陷入死循環，博主設置了嘗試次數閾值trycount，超過這個閾值之後方法自動返回。
下面代碼片展示了單線程爬蟲的方法。
def startcrawling(self, startpage=1, trycount=20):
attempt = 0
try:
os.mkdir(sys.path[0] + '/Weibo_raw/' + self.wanted)except Exception, e:
print str(e)
isdone = False
while not isdone and attempt < trycount:
try:
pagenum = self.getpagenum()
isdone = True
except Exception, e:
attempt += 1
if attempt == trycount:
return False
i = startpage
while i <= pagenum:
attempt = 0
isneeded = False
html = ''
while not isneeded and attempt < trycount:
html = self.getpage(self.geturl(i))
isneeded = self.ispageneeded(html)
if not isneeded:
attempt += 1
if attempt == trycount:
return False
self.savehtml(sys.path[0] + '/Weibo_raw/' + self.wanted + '/' + str(i) + '.txt', html)print str(i) + '/' + str(pagenum - 1)
i += 1
return True
考慮到程序的時間效率，在寫好單線程爬蟲之後，博主也寫了多線程爬蟲版本，基本思想是將微博頁數除以線程數，如一個微博用戶有100頁微博，程序開10個線程，那麼每個線程只負責10個頁面的爬取，其他基本思想跟單線程類似，只需仔細處理邊界值即可，在此不再贅述，感興趣的同學可以直接看代碼。另外，由於多線程的效率比較高，並發量特別大，所以伺服器很容易就返回無效頁面，此時trycount的設置就顯得更重要了。博主在寫這篇微博的時候，用一個新的cookies，多線程爬取現場測試了一下爬取北京郵電大學的微博，3976條微博全部爬取成功並提取博文，用時僅15s，實際可能跟cookies的新舊程度和網路環境有關，命令行設置如下，命令行意義在項目網址里有說明python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20爬取的工作以上基本介紹結束，接下來就是爬蟲的第二部分，解析了。由於項目中提供了多線程爬取方法，而多線程一般是無序的，但微博博文是依靠時間排序的，所以項目採用了一種折衷的辦法，將下載完成的頁面保存在本地文件系統，每個頁面以其頁號為文件名，待爬取的工作結束後，再遍歷文件夾內所有文件並解析。
通過前面的觀察，我們已經了解到微博博文存在的標簽有什麼特點了，利用XPath技術，將這個頁面里所有有這個特點的標簽全部提取出來已經不是難事了。
在這再次提醒，微博分為轉發微博和原創微博、時間表示方式。另外，由於我們的研究課題僅對微博文本感興趣，所以配圖不考慮。
def startparsing(self, parsingtime=datetime.datetime.now()):
basepath = sys.path[0] + '/Weibo_raw/' + self.uidfor filename in os.listdir(basepath):
if filename.startswith('.'):
continue
path = basepath + '/' + filename
f = open(path, 'r')
html = f.read()
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
weibo = Weibo()
weibo.id = item.xpath('./@id')[0]
cmt = item.xpath('./div/span[@class="cmt"]')if len(cmt) != 0:
weibo.isrepost = True
weibo.content = cmt[0].text
else:
weibo.isrepost = False
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
weibo.content += ctt.text
for a in ctt.xpath('./a'):
if a.text is not None:
weibo.content += a.text
if a.tail is not None:
weibo.content += a.tail
if len(cmt) != 0:
reason = cmt[1].text.split(u'\xa0')
if len(reason) != 1:
weibo.repostreason = reason[0]
ct = item.xpath('./div/span[@class="ct"]')[0]
time = ct.text.split(u'\xa0')[0]
weibo.time = self.gettime(self, time, parsingtime)self.weibos.append(weibo.__dict__)
f.close()
方法傳遞的參數parsingtime的設置初衷是，開發前期爬取和解析可能不是同時進行的（並不是嚴格的「同時」），微博時間顯示是基於訪問時間的，比如爬取時間是10:00，這時爬取到一條微博顯示是5分鍾前發布的，但如果解析時間是10:30，那麼解析時間將錯誤，所以應該講解析時間設置為10:00。到後期爬蟲基本開發完畢，爬取工作和解析工作開始時間差距降低，時間差將是爬取過程時長，基本可以忽略。
解析結果保存在一個列表裡，最後將這個列表以json格式保存到文件系統里，刪除過渡文件夾，完成。
def save(self):
f = open(sys.path[0] + '/Weibo_parsed/' + self.uid + '.txt', 'w')jsonstr = json.mps(self.weibos, indent=4, ensure_ascii=False)f.write(jsonstr)
f.close()
2.爬取關鍵詞
同樣的，收集必要的信息。在微博手機版搜索頁面敲入」python」，觀察url，研究其規律。雖然第一頁並無規律，但是第二頁我們發現了規律，而且這個規律可以返回應用於第一頁第一頁
第二頁
應用後第一頁
觀察url可以發現，對於關鍵詞的搜索，url中的變數只有keyword和page（事實上，hideSearchFrame對我們的搜索結果和爬蟲都沒有影響），所以在代碼中我們就可以對這兩個變數進行控制。
另外，如果關鍵詞是中文，那麼url就需要對中文字元進行轉換，如我們在搜索框敲入」開心」並搜索，發現url如下顯示搜索開心
但復制出來卻為
http://weibo.cn/search/mblog?hideSearchFrame=&keyword=%E5%BC%80%E5%BF%83&page=1幸好，python的urllib庫有qoute方法處理中文轉換的功能（如果是英文則不做轉換），所以在拼接url前使用這個方法處理一下參數。
另外，考慮到關鍵詞搜索屬於數據收集階段使用的方法，所以在此只提供單線程下載網頁，如有多線程需要，大家可以按照多線程爬取用戶微博的方法自己改寫。最後，對下載下來的網頁進行提取並保存（我知道這樣的模塊設計有點奇怪，打算重(xin)構(qing)時(hao)時再改，就先這樣吧）。
def keywordcrawling(self, keyword):
realkeyword = urllib.quote(keyword) # Handle the keyword in Chinese.
try:
os.mkdir(sys.path[0] + '/keywords')
except Exception, e:
print str(e)
weibos = []
try:
highpoints = re.compile(u'[\U00010000-\U0010ffff]') # Handle emoji, but it seems doesn't work.
except re.error:
highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')pagenum = 0
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=1' % realkeyword)isneeded = self.ispageneeded(html)
if isneeded:
selector = etree.HTML(html)
try:
pagenum = int(selector.xpath('//input[@name="mp"]/@value')[0])except:
pagenum = 1
for i in range(1, pagenum + 1):
try:
isneeded = False
while not isneeded:
html = self.getpage('http://weibo.cn/search/mblog?keyword=%s&page=%s' % (realkeyword, str(i)))isneeded = self.ispageneeded(html)
selector = etree.HTML(html)
weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:
cmt = item.xpath('./div/span[@class="cmt"]')if (len(cmt)) == 0:
ctt = item.xpath('./div/span[@class="ctt"]')[0]
if ctt.text is not None:
text = etree.tostring(ctt, method='text', encoding="unicode")tail = ctt.tail
if text.endswith(tail):
index = -len(tail)
text = text[1:index]
text = highpoints.sub(u'\u25FD', text) # Emoji handling, seems doesn't work.
weibotext = text
weibos.append(weibotext)
print str(i) + '/' + str(pagenum)
except Exception, e:
print str(e)
f = open(sys.path[0] + '/keywords/' + keyword + '.txt', 'w')try:
f.write(json.mps(weibos,indent=4,ensure_ascii=False))except Exception,ex:
print str(ex)
finally:
f.close()
博主之前從未寫過任何爬蟲程序，為了獲取新浪微博博文，博主先後寫了3個不同的爬蟲程序，有Python，有Java，爬蟲不能用了是很正常的，不要氣餒，爬蟲程序和反爬機制一直都在不斷博弈中，道高一尺魔高一丈。
另. 轉載請告知博主，如果覺得博主帥的話就可以不用告知了

G. API編程抓取新浪微博、大眾點評等方面的數據，編寫一套工具，抓取一類數據，用python語言編寫爬蟲

這個不難實現
但是你如果要可持續的話
這個幾乎是不可能實現的

鬼知道人家網頁什麼時候更新
所以這個自己做起來不會難
更新了自己可以隨時維護

H. 如何通過python調用新浪微博的API來爬取數據

1：安裝python(這個不多說啦)
2：下載新浪微博SDK的python包，解壓為weibopy目錄

3：申請AppKey，

流程：

1：通過oAuth認證
按我的理解簡化如下：
用戶在新浪微博給的頁面輸入賬號密碼，然後微博給應用一個PIN碼，這樣應用通過PIN碼才有許可權訪問該用戶的信息，而應用在整個過程中是接觸不到密碼的，所以用戶覺得很安全，後果很滿意
2：獲得認證之後，就可以使用微博SDK提供的API獲得信息啦
3：如果想設計web或者客戶端應用的話，那就繼續加個GUI好啦(未完成)

代碼：

#!/usr/bin/python

import webbrowser

from weibopy.auth import OAuthHandler
from weibopy.api import API

AppKey = '2525355147'
AppSecret = ''

my_auth = OAuthHandler(AppKey , AppSecret)
webbrowser.open(my_auth.get_authorization_url())
verifier = raw_input('PIN: ').strip()
my_auth.get_access_token(verifier)

my_api = API(my_auth)
for comment in my_api.mentions():
object = comment
id = object.__getattribute__("id")
text = object.__getattribute__("text")
print str(id) + " : " + text

I. 如何用python實現爬取微博相冊所有圖片

三種方案:
1.直接用Python的requests庫直接爬取，不過這個需要手動做的事情就比較多了，基本上就看你的Python功力了
2.使用scrapy爬蟲框架，這個框架如果不熟悉的話只能自己先去了解下這個框架怎麼用
3.使用自動測試框架selemium模擬登錄操作，及圖片爬取，這個對於大多數會點Python編碼的人來說是最好的選擇了，他比較直觀的能看到怎麼去獲取數據
每種方案的前提都是你必須有一定基礎的編碼能力才行，不是隨便一個人就能用的

導航:首頁 > 編程語言 > python爬蟲新浪博客

python爬蟲新浪博客

與python爬蟲新浪博客相關的資料