urllib2python安裝

1. python2.7 怎樣集成 urllib2

python最惡心的地方就在於它的版本和配置了，特別是安裝第三方包的時候經常會出現莫名其妙的錯誤，又不懂。

所以只能不斷的切來切去的。

今天學習python爬蟲，其中Python2.7使用了urllib和urllib2，python3的urllib結合了py2.7的兩部分。但是電腦不知為什麼又安裝不了py3的urllib，好煩。出現下面的錯誤。

python2.7和python3主要是模塊的位置變化地方較多。

其中python2.7的urllib和urllib2的區別一下：

• urllib2可以接受一個Request類的實例來設置URL請求的headers，urllib僅可以接受URL。這意味著，你不可以通過urllib模塊偽裝你的User Agent字元串等（偽裝瀏覽器）。

• urllib提供urlencode方法用來GET查詢字元串的產生，而urllib2沒有。這是為何urllib常和urllib2一起使用的原因。

• urllib2模塊比較優勢的地方是urlliburllib2.urlopen可以接受Request對象作為參數，從而可以控制HTTP Request的header部。

• 但是urllib.urlretrieve函數以及urllib.quote等一系列quote和unquote功能沒有被加入urllib2中，因此有時也需要urllib的輔助。

2. 如何用Python爬取數據

方法/步驟

• 在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。

  

• 7

  這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。

3. 如何入門 Python 爬蟲

個人覺得：
新手學習python爬取網頁先用下面4個庫就夠了：（第4個是實在搞不定用的，當然某些特殊情況它也可能搞不定）

1. 打開網頁，下載文件：urllib
2. 解析網頁：BeautifulSoup，熟悉JQuery的可以用Pyquery
3. 使用Requests來提交各種類型的請求，支持重定向，cookies等。
4. 使用Selenium，模擬瀏覽器提交類似用戶的操作，處理js動態產生的網頁

這幾個庫有它們各自的功能。配合起來就可以完成爬取各種網頁並分析的功能。具體的用法可以查他們的官網手冊(上面有鏈接)。

做事情是要有驅動的，如果你沒什麼特別想抓取的，新手學習可以從這個闖關網站開始
，目前更新到第五關，闖過前四關，你應該就掌握了這些庫的基本操作。

實在闖不過去，再到這里看題解吧，第四關會用到並行編程。（串列編程完成第四關會很費時間哦），第四，五關只出了題，還沒發布題解。。。

學完這些基礎，再去學習scrapy這個強大的爬蟲框架會更順些。這里有它的中文介紹。

這是我在知乎的回答，直接轉過來有些鏈接沒有生效，可以到這里看原版，http://www.hu.com/question/20899988/answer/59131676

4. python 爬蟲時，urllib2.HTTPError:HTTP Error 502：Bad Gateway是什麼原因怎麼解決

可能是那個網站阻止了這類的訪問，只要在請求中加上偽裝成瀏覽器的header就可以了，比如：

headers={
'User-Agent':'Mozilla/5.0(Windows;U;WindowsNT6.1;en-US;rv:1.9.1.6)Gecko/20091201Firefox/3.5.6'
}
req=urllib2.Request(
url="http://www.qiushike.com/imgrank"
,
headers=headers
)
myResponse=urllib2.urlopen(req)