python爬蟲爬取微信

A. python爬蟲去哪接單

接單平台有很多，可以到下面幾個去看看，
1、碼市
2、程序員客棧
3、豬八戒

B. python怎麼抓取微信閱

抓取微信公眾號的文章

一.思路分析

目前所知曉的能夠抓取的方法有：

1、微信APP中微信公眾號文章鏈接的直接抓取（http://mp.weixin.qq.com/s?__biz=MjM5MzU4ODk2MA==&mid=2735446906&idx=1&sn=&scene=0#rd）

2、通過微信合作方搜狗搜索引擎（http://weixin.sogou.com/），發送相應請求來間接抓取

第1種方法中，這種鏈接不太好獲取，而且他的規律不是特別清晰。

因此本文採用的是方法2----通過給 weixin.sogou.com 發送即時請求來實時解析抓取數據並保存到本地。

二.爬取過程

1、首先在搜狗的微信搜索頁面測試一下，這樣能夠讓我們的思路更加清晰

在搜索引擎上使用微信公眾號英文名進行「搜公眾號」操作（因為公眾號英文名是公眾號唯一的，而中文名可能會有重復，同時公眾號名字一定要完全正確，不然可能搜到很多東西，這樣我們可以減少數據的篩選工作，只要找到這個唯一英文名對應的那條數據即可），即發送請求到'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_= ' % 'python'，並從頁面中解析出搜索結果公眾號對應的主頁跳轉鏈接。

2.獲取主頁入口內容

使用request , urllib,urllib2,或者直接使用webdriver+phantomjs等都可以

這里使用的是request.get()的方法獲取入口網頁內容

[python]view plain

• #爬蟲偽裝頭部設置

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT6.3;WOW64;rv:51.0)Gecko/20100101Firefox/51.0'}

• #設置操作超時時長

• self.timeout=5

• #爬蟲模擬在一個request.session中完成

• self.s=requests.Session()




[python]view plain

• #搜索入口地址，以公眾為關鍵字搜索該公眾號

• defget_search_result_by_keywords(self):

• self.log('搜索地址為：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

3.獲取公眾號地址

從獲取到的網頁內容中，得到公眾號主頁地址， 這一步驟有很多方法， beautifulsoup、webdriver，直接使用正則，pyquery等都可以

這里使用的是pyquery的方法來查找公眾號主頁入口地址

[python]view plain

• #獲得公眾號主頁地址

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通過pyquery的方式處理網頁內容，類似用beautifulsoup，但是pyquery和jQuery的方法類似，找到公眾號主頁地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

4.獲取公眾號主頁的文章列表

首先需要載入公眾號主頁，這里用的是phantomjs+webdriver, 因為這個主頁的內容需要JS 渲染載入，採用之前的方法只能獲得靜態的網頁內容

[python]view plain

• #使用webdriver載入公眾號主頁內容，主要是js渲染的部分

• defget_selenium_js_html(self,url):

• browser=webdriver.PhantomJS()

• browser.get(url)

• time.sleep(3)

• #執行js得到整個頁面內容

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

得到主頁內容之後，獲取文章列表，這個文章列表中有我們需要的內容

[python]view plain

• #獲取公眾號文章內容

• defparse_wx_articles_by_html(self,selenium_html):

• doc=pq(selenium_html)

• print'開始查找內容msg'

• returndoc('div[class="weui_media_boxappmsg"]')

• #有的公眾號僅僅有10篇文章，有的可能多一點

• #returndoc('div[class="weui_msg_card"]')#公眾號只有10篇文章文章的

5.解析每一個文章列表，獲取我們需要的信息

6.處理對應的內容

包括文章名字，地址，簡介，發表時間等

7.保存文章內容

以html的格式保存到本地

同時將上一步驟的內容保存成excel 的格式

8.保存json數據

這樣，每一步拆分完，爬取公眾號的文章就不是特別難了。

三、源碼

第一版源碼如下：

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

• importsys

• reload(sys)

• sys.setdefaultencoding('utf-8')

• fromurllibimportquote

• frompyqueryimportPyQueryaspq

• fromseleniumimportwebdriver

• importrequests

• importtime

• importre

• importjson

• importos

• classweixin_spider:

• def__init__(self,kw):

• '構造函數'

• self.kw=kw

• #搜狐微信搜索鏈接

• #self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_='%quote(self.kw)

• self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_='%quote(self.kw)

• #爬蟲偽裝

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64;rv:47.0)Gecko/20100101Firephp/0refox/47.0FirePHP/0.7.4.1'}

• #操作超時時長

• self.timeout=5

• self.s=requests.Session()

• defget_search_result_by_kw(self):

• self.log('搜索地址為：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• '根據返回sougou_search_html，從中獲取公眾號主頁鏈接'

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通過pyquery的方式處理網頁內容，類似用beautifulsoup，但是pyquery和jQuery的方法類似，找到公眾號主頁地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

• defget_selenium_js_html(self,wx_url):

• '執行js渲染內容，並返回渲染後的html內容'

• browser=webdriver.PhantomJS()

• browser.get(wx_url)

• time.sleep(3)

• #執行js得到整個dom

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

• defparse_wx_articles_by_html(self,selenium_html):

• '從selenium_html中解析出微信公眾號文章'

• doc=pq(selenium_html)

• returndoc('div[class="weui_msg_card"]')

• defswitch_arctiles_to_list(self,articles):

• '把articles轉換成數據字典'

• articles_list=[]

• i=1

• ifarticles:

• forarticleinarticles.items():

• self.log(u'開始整合(%d/%d)'%(i,len(articles)))

• articles_list.append(self.parse_one_article(article))

• i+=1

• #break

• returnarticles_list

• defparse_one_article(self,article):

• '解析單篇文章'

• article_dict={}

• article=article('.weui_media_box[id]')

• title=article('h4[class="weui_media_title"]').text()

• self.log('標題是：%s'%title)

• url='http://mp.weixin.qq.com'+article('h4[class="weui_media_title"]').attr('hrefs')

• self.log('地址為：%s'%url)

• summary=article('.weui_media_desc').text()

• self.log('文章簡述：%s'%summary)

• date=article('.weui_media_extra_info').text()

• self.log('發表時間為：%s'%date)

• pic=self.parse_cover_pic(article)

• content=self.parse_content_by_url(url).html()

• contentfiletitle=self.kw+'/'+title+'_'+date+'.html'

• self.save_content_file(contentfiletitle,content)

• return{

• 'title':title,

• 'url':url,

• 'summary':summary,

• 'date':date,

• 'pic':pic,

• 'content':content

• }

• defparse_cover_pic(self,article):

• '解析文章封面圖片'

• pic=article('.weui_media_hd').attr('style')

• p=re.compile(r'background-image:url(.∗?)')

• rs=p.findall(pic)

• self.log('封面圖片是：%s'%rs[0]iflen(rs)>0else'')

• returnrs[0]iflen(rs)>0else''

• defparse_content_by_url(self,url):

• '獲取文章詳情內容'

• page_html=self.get_selenium_js_html(url)

• returnpq(page_html)('#js_content')

• defsave_content_file(self,title,content):

• '頁面內容寫入文件'

• withopen(title,'w')asf:

• f.write(content)

• defsave_file(self,content):

• '數據寫入文件'

• withopen(self.kw+'/'+self.kw+'.txt','w')asf:

• f.write(content)

• deflog(self,msg):

• '自定義log函數'

• printu'%s:%s'%(time.strftime('%Y-%m-%d%H:%M:%S'),msg)

• defneed_verify(self,selenium_html):

• '有時候對方會封鎖ip，這里做一下判斷，檢測html中是否包含id=verify_change的標簽，有的話，代表被重定向了，提醒過一陣子重試'

• returnpq(selenium_html)('#verify_change').text()!=''

• defcreate_dir(self):

• '創建文件夾'

• ifnotos.path.exists(self.kw):

• os.makedirs(self.kw)

• defrun(self):

• '爬蟲入口函數'

• #Step0：創建公眾號命名的文件夾

• self.create_dir()

• #Step1：GET請求到搜狗微信引擎，以微信公眾號英文名稱作為查詢關鍵字

• self.log(u'開始獲取，微信公眾號英文名為：%s'%self.kw)

• self.log(u'開始調用sougou搜索引擎')

• sougou_search_html=self.get_search_result_by_kw()

• #Step2：從搜索結果頁中解析出公眾號主頁鏈接

• self.log(u'獲取sougou_search_html成功，開始抓取公眾號對應的主頁wx_url')

• wx_url=self.get_wx_url_by_sougou_search_html(sougou_search_html)

• self.log(u'獲取wx_url成功，%s'%wx_url)

• #Step3：Selenium+PhantomJs獲取js非同步載入渲染後的html

• self.log(u'開始調用selenium渲染html')

• selenium_html=self.get_selenium_js_html(wx_url)

• #Step4:檢測目標網站是否進行了封鎖

• ifself.need_verify(selenium_html):

• self.log(u'爬蟲被目標網站封鎖，請稍後再試')

• else:

• #Step5:使用PyQuery，從Step3獲取的html中解析出公眾號文章列表的數據

• self.log(u'調用selenium渲染html完成，開始解析公眾號文章')

• articles=self.parse_wx_articles_by_html(selenium_html)

• self.log(u'抓取到微信文章%d篇'%len(articles))

• #Step6:把微信文章數據封裝成字典的list

• self.log(u'開始整合微信文章數據為字典')

• articles_list=self.switch_arctiles_to_list(articles)

• #Step7:把Step5的字典list轉換為Json

• self.log(u'整合完成，開始轉換為json')

• data_json=json.mps(articles_list)

• #Step8:寫文件

• self.log(u'轉換為json完成，開始保存json數據到文件')

• self.save_file(data_json)

• self.log(u'保存完成，程序結束')

• #main

• if__name__=='__main__':

• gongzhonghao=raw_input(u'輸入要爬取的公眾號')

• ifnotgongzhonghao:

• gongzhonghao='python6359'

• weixin_spider(gongzhonghao).run()

第二版代碼：

對代碼進行了一些優化和整改，主要：

1.增加了excel存貯

2.對獲取文章內容規則進行修改

3.豐富了注釋

本程序已知缺陷： 如果公眾號的文章內容包括視視頻，可能會報錯。

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

C. python爬蟲怎麼做

D. python網路爬蟲可以幹啥

Python爬蟲開發工程師,從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然後通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那麼網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。

網路爬蟲(又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。爬蟲就是自動遍歷一個網站的網頁，並把內容都下載下來

E. 如何利用爬蟲爬微信公眾號的內容

過程很繁瑣，步驟如下：

1、寫按鍵精靈腳本，在手機上自動點擊公號文章列表頁，也就是「查看歷史消息」；

2、使用fiddler代理劫持手機端的訪問，將網址轉發到本地用php寫的網頁；

3、在php網頁上將接收到的網址備份到資料庫；

4、用python從資料庫取出網址，然後進行正常的爬取。

如果只是想爬取文章內容，似乎並沒有訪問頻率限制，但如果想抓取閱讀數、點贊數，超過一定頻率後，返回就會變為空值，我設定的時間間隔為10秒，可以正常抓取，這種頻率下，一個小時只能抓取360條，已經沒什麼實際意義了。

微信公眾號數據儲存

1、騰訊不對你在本服務中相關數據的刪除或儲存失敗負責。

2、騰訊有權根據實際情況自行決定單個用戶在本服務中數據的最長儲存期限，並在伺服器上為其分配數據最大存儲空間等。你可根據自己的需要自行備份本服務中的相關數據。

3、如果你停止使用本服務或服務被終止或取消，騰訊可以從伺服器上永久地刪除你的數據。服務停止、終止或取消後，騰訊沒有義務向你返還任何數據。

F. 4種Python爬蟲（3. 微信小程序，如，超級猩猩）

目錄:
1. PC網頁爬蟲
2. H5網頁爬蟲
3. 微信小程序爬蟲
4. 手機APP爬蟲

爬取超級猩猩的課表，該平台僅提供了微信小程序這一個途徑，前面兩種針對html網槐舉頁的爬取方式都不再適用。

採用抓包分析是我們制定方案的第一步。

我用的Mac電腦，fiddler只有一個簡化版，所以另找了Charles這個類似的軟體。啟動Charles的代理，在手機WIFI中設置好對應的代理就可以開抓了。但是，抓到的https包的內容都是亂碼，咋辦？

Charles中提供了ssl證書，在手機端安裝證書即可。推薦使用iPhone，直接安裝描述文件即可。Android手機必須使用吵配系統版本在7.0以下的才行，7.0以上還需要反編譯什麼的，太麻煩了。

很容易的定位到了超級猩猩微信小程序載入課表的後台介面。拿這個URL在瀏覽器里訪問試試，直接返回了json結果！超級猩猩很友好！

提取對應的鉛碰碧URL，放到瀏覽器中驗證，也可以支持返回json包，剩下就是分析一下這個json的數據結構，按照需要的方式導出了。

直接通過介面的爬取效率非常高，幾秒鍾就拉取了全國各個門店的排課，相當舒心。（下圖的錄屏沒有進行加速）

最後一個挑戰就是對只有Android/iOS的APP端應用數據的爬取。請看下一章

請點擊： <下一頁>