python抓取qq空間圖片

A. python 怎樣模擬qq空間登陸

用urllib2
例如：
url = 'http://i.qq.com/'
data = {'name': 'username','password': '123456'}
post_data = urllib.urlencode(data)
req = urllib2.Request(url, post_data)
response = urllib2.urlopen(req)
page_content = response.read()

這個data這里是隨便寫的， 你自己用抓包工具看看是qq空間是什麼樣子的。

B. Python怎麼爬取網頁中被隱藏的內容

界面上能看到嗎，能看塵敬到就不是hidden。
通常輪兄爬蟲的一大困難是html是臘兄襲由js渲染，並不是簡單的發請求就可以獲得肉眼看到的內容。
解決方法：用selenium等模擬用戶操作。

C. python怎麼抓取微信閱

抓取微信公眾號的文章

一.思路分析

目前所知曉的能夠抓取的方法有：

1、微信APP中微信公眾號文章鏈接的直接抓取（http://mp.weixin.qq.com/s?__biz=MjM5MzU4ODk2MA==&mid=2735446906&idx=1&sn=&scene=0#rd）

2、通過微信合作方搜狗搜索引擎（http://weixin.sogou.com/），發送相應請求來間接抓取

第1種方法中，這種鏈接不太好獲取，而且他的規律不是特別清晰。

因此本文採用的是方法2----通過給 weixin.sogou.com 發送即時請求來實時解析抓取數據並保存到本地。

二.爬取過程

1、首先在搜狗的微信搜索頁面測試一下，這樣能夠讓我們的思路更加清晰

在搜索引擎上使用微信公眾號英文名進行「搜公眾號」操作（因為公眾號英文名是公眾號唯一的，而中文名可能會有重復，同時公眾號名字一定要完全正確，不然可能搜到很多東西，這樣我們可以減少數據的篩選工作，只要找到這個唯一英文名對應的那條數據即可），即發送請求到'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_= ' % 'python'，並從頁面中解析出搜索結果公眾號對應的主頁跳轉鏈接。

2.獲取主頁入口內容

使用request , urllib,urllib2,或者直接使用webdriver+phantomjs等都可以

這里使用的是request.get()的方法獲取入口網頁內容

[python]view plain

• #爬蟲偽裝頭部設置

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT6.3;WOW64;rv:51.0)Gecko/20100101Firefox/51.0'}

• #設置操作超時時長

• self.timeout=5

• #爬蟲模擬在一個request.session中完成

• self.s=requests.Session()




[python]view plain

• #搜索入口地址，以公眾為關鍵字搜索該公眾號

• defget_search_result_by_keywords(self):

• self.log('搜索地址為：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

3.獲取公眾號地址

從獲取到的網頁內容中，得到公眾號主頁地址， 這一步驟有很多方法， beautifulsoup、webdriver，直接使用正則，pyquery等都可以

這里使用的是pyquery的方法來查找公眾號主頁入口地址

[python]view plain

• #獲得公眾號主頁地址

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通過pyquery的方式處理網頁內容，類似用beautifulsoup，但是pyquery和jQuery的方法類似，找到公眾號主頁地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

4.獲取公眾號主頁的文章列表

首先需要載入公眾號主頁，這里用的是phantomjs+webdriver, 因為這個主頁的內容需要JS 渲染載入，採用之前的方法只能獲得靜態的網頁內容

[python]view plain

• #使用webdriver載入公眾號主頁內容，主要是js渲染的部分

• defget_selenium_js_html(self,url):

• browser=webdriver.PhantomJS()

• browser.get(url)

• time.sleep(3)

• #執行js得到整個頁面內容

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

得到主頁內容之後，獲取文章列表，這個文章列表中有我們需要的內容

[python]view plain

• #獲取公眾號文章內容

• defparse_wx_articles_by_html(self,selenium_html):

• doc=pq(selenium_html)

• print'開始查找內容msg'

• returndoc('div[class="weui_media_boxappmsg"]')

• #有的公眾號僅僅有10篇文章，有的可能多一點

• #returndoc('div[class="weui_msg_card"]')#公眾號只有10篇文章文章的

5.解析每一個文章列表，獲取我們需要的信息

6.處理對應的內容

包括文章名字，地址，簡介，發表時間等

7.保存文章內容

以html的格式保存到本地

同時將上一步驟的內容保存成excel 的格式

8.保存json數據

這樣，每一步拆分完，爬取公眾號的文章就不是特別難了。

三、源碼

第一版源碼如下：

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

• importsys

• reload(sys)

• sys.setdefaultencoding('utf-8')

• fromurllibimportquote

• frompyqueryimportPyQueryaspq

• fromseleniumimportwebdriver

• importrequests

• importtime

• importre

• importjson

• importos

• classweixin_spider:

• def__init__(self,kw):

• '構造函數'

• self.kw=kw

• #搜狐微信搜索鏈接

• #self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_='%quote(self.kw)

• self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_='%quote(self.kw)

• #爬蟲偽裝

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64;rv:47.0)Gecko/20100101FirePHP/0refox/47.0FirePHP/0.7.4.1'}

• #操作超時時長

• self.timeout=5

• self.s=requests.Session()

• defget_search_result_by_kw(self):

• self.log('搜索地址為：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• '根據返回sougou_search_html，從中獲取公眾號主頁鏈接'

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通過pyquery的方式處理網頁內容，類似用beautifulsoup，但是pyquery和jQuery的方法類似，找到公眾號主頁地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

• defget_selenium_js_html(self,wx_url):

• '執行js渲染內容，並返回渲染後的html內容'

• browser=webdriver.PhantomJS()

• browser.get(wx_url)

• time.sleep(3)

• #執行js得到整個dom

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

• defparse_wx_articles_by_html(self,selenium_html):

• '從selenium_html中解析出微信公眾號文章'

• doc=pq(selenium_html)

• returndoc('div[class="weui_msg_card"]')

• defswitch_arctiles_to_list(self,articles):

• '把articles轉換成數據字典'

• articles_list=[]

• i=1

• ifarticles:

• forarticleinarticles.items():

• self.log(u'開始整合(%d/%d)'%(i,len(articles)))

• articles_list.append(self.parse_one_article(article))

• i+=1

• #break

• returnarticles_list

• defparse_one_article(self,article):

• '解析單篇文章'

• article_dict={}

• article=article('.weui_media_box[id]')

• title=article('h4[class="weui_media_title"]').text()

• self.log('標題是：%s'%title)

• url='http://mp.weixin.qq.com'+article('h4[class="weui_media_title"]').attr('hrefs')

• self.log('地址為：%s'%url)

• summary=article('.weui_media_desc').text()

• self.log('文章簡述：%s'%summary)

• date=article('.weui_media_extra_info').text()

• self.log('發表時間為：%s'%date)

• pic=self.parse_cover_pic(article)

• content=self.parse_content_by_url(url).html()

• contentfiletitle=self.kw+'/'+title+'_'+date+'.html'

• self.save_content_file(contentfiletitle,content)

• return{

• 'title':title,

• 'url':url,

• 'summary':summary,

• 'date':date,

• 'pic':pic,

• 'content':content

• }

• defparse_cover_pic(self,article):

• '解析文章封面圖片'

• pic=article('.weui_media_hd').attr('style')

• p=re.compile(r'background-image:url(.∗?)')

• rs=p.findall(pic)

• self.log('封面圖片是：%s'%rs[0]iflen(rs)>0else'')

• returnrs[0]iflen(rs)>0else''

• defparse_content_by_url(self,url):

• '獲取文章詳情內容'

• page_html=self.get_selenium_js_html(url)

• returnpq(page_html)('#js_content')

• defsave_content_file(self,title,content):

• '頁面內容寫入文件'

• withopen(title,'w')asf:

• f.write(content)

• defsave_file(self,content):

• '數據寫入文件'

• withopen(self.kw+'/'+self.kw+'.txt','w')asf:

• f.write(content)

• deflog(self,msg):

• '自定義log函數'

• printu'%s:%s'%(time.strftime('%Y-%m-%d%H:%M:%S'),msg)

• defneed_verify(self,selenium_html):

• '有時候對方會封鎖ip，這里做一下判斷，檢測html中是否包含id=verify_change的標簽，有的話，代表被重定向了，提醒過一陣子重試'

• returnpq(selenium_html)('#verify_change').text()!=''

• defcreate_dir(self):

• '創建文件夾'

• ifnotos.path.exists(self.kw):

• os.makedirs(self.kw)

• defrun(self):

• '爬蟲入口函數'

• #Step0：創建公眾號命名的文件夾

• self.create_dir()

• #Step1：GET請求到搜狗微信引擎，以微信公眾號英文名稱作為查詢關鍵字

• self.log(u'開始獲取，微信公眾號英文名為：%s'%self.kw)

• self.log(u'開始調用sougou搜索引擎')

• sougou_search_html=self.get_search_result_by_kw()

• #Step2：從搜索結果頁中解析出公眾號主頁鏈接

• self.log(u'獲取sougou_search_html成功，開始抓取公眾號對應的主頁wx_url')

• wx_url=self.get_wx_url_by_sougou_search_html(sougou_search_html)

• self.log(u'獲取wx_url成功，%s'%wx_url)

• #Step3：Selenium+PhantomJs獲取js非同步載入渲染後的html

• self.log(u'開始調用selenium渲染html')

• selenium_html=self.get_selenium_js_html(wx_url)

• #Step4:檢測目標網站是否進行了封鎖

• ifself.need_verify(selenium_html):

• self.log(u'爬蟲被目標網站封鎖，請稍後再試')

• else:

• #Step5:使用PyQuery，從Step3獲取的html中解析出公眾號文章列表的數據

• self.log(u'調用selenium渲染html完成，開始解析公眾號文章')

• articles=self.parse_wx_articles_by_html(selenium_html)

• self.log(u'抓取到微信文章%d篇'%len(articles))

• #Step6:把微信文章數據封裝成字典的list

• self.log(u'開始整合微信文章數據為字典')

• articles_list=self.switch_arctiles_to_list(articles)

• #Step7:把Step5的字典list轉換為Json

• self.log(u'整合完成，開始轉換為json')

• data_json=json.mps(articles_list)

• #Step8:寫文件

• self.log(u'轉換為json完成，開始保存json數據到文件')

• self.save_file(data_json)

• self.log(u'保存完成，程序結束')

• #main

• if__name__=='__main__':

• gongzhonghao=raw_input(u'輸入要爬取的公眾號')

• ifnotgongzhonghao:

• gongzhonghao='python6359'

• weixin_spider(gongzhonghao).run()

第二版代碼：

對代碼進行了一些優化和整改，主要：

1.增加了excel存貯

2.對獲取文章內容規則進行修改

3.豐富了注釋

本程序已知缺陷： 如果公眾號的文章內容包括視視頻，可能會報錯。

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

D. 如何用Python爬取數據

方法/步驟

• 在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。

  

• 7

  這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。

E. python爬蟲怎麼登陸qq空間

要看QQ空間是不是開放訪問的，帶賬號、密碼綁定的用戶去做。

F. python爬圖片報錯 [Errno 13] Permission denied: 'D:\\python\\test2'

python爬圖片報錯 [Errno 13] Permission denied: 'D:\python\test2'，是代碼輸入錯誤造成的，解決方法如下：

1、首先在網頁上抓取圖片時open函數有時會報錯，如圖。