python爬取網頁頭部

『壹』 用python爬取網站的時候，其中head中是什麼內容

網站的一些信息，比如標題，關鍵詞，描述，版本，網站logo等

『貳』 python3爬取網頁，報錯AttributeError: 'NoneType' object has no attribute 'xpath'

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
data = requests.get(url,headers=headers).text
加一個頭部就行了

『叄』 python 怎樣爬去網頁的內容

用python爬取網頁信息的話，需要學習幾個模塊，urllib，urllib2，urllib3，requests，httplib等等模塊，還要學習re模塊（也就是正則表達式）。根據不同的場景使用不同的模塊來高效快速的解決問題。

最開始我建議你還是從最簡單的urllib模塊學起，比如爬新浪首頁（聲明：本代碼只做學術研究，絕無攻擊用意）：

這樣就把新浪首頁的源代碼爬取到了，這是整個網頁信息，如果你要提取你覺得有用的信息得學會使用字元串方法或者正則表達式了。

平時多看看網上的文章和教程，很快就能學會的。

補充一點：以上使用的環境是python2，在python3中，已經把urllib，urllib2，urllib3整合為一個包，而不再有這幾個單詞為名字的模塊。

『肆』 怎樣用python爬取網頁

#coding=utf-8
importurllib
importre

#網路貼吧網址:https://tieba..com/index.html
#根據URL獲取網頁HTML內容
defgetHtmlContent(url):
page=urllib.urlopen(url)
returnpage.read()

#從HTML中解析出所有jpg的圖片的URL
#從HTML中jpg格式為<img...src="xxx.jpg"width='''>
defgetJPGs(html):
#解析jpg圖片URL的正則表達式
jpgReg=re.compile(r'<img.+?src="(.+?.jpg)"')
#解析出jpg的URL列表
jpgs=re.findall(jpgReg,html)
returnjpgs

#用圖片url下載圖片並保存成制定文件名
defdownloadJPG(imgUrl,fileName):
urllib.urlretrieve(imgUrl,fileName)

#批量下載圖片,默認保存到當前目錄下
defbatchDownloadJPGs(imgUrls,path='../'):#path='./'
#給圖片重命名
count=1
forurlinimgUrls:
downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))
print"下載圖片第:",count,"張"
count+=1

#封裝:從網路貼吧網頁下載圖片
defdownload(url):
html=getHtmlContent(url)
jpgs=getJPGs(html)
batchDownloadJPGs(jpgs)

defmain():
url="http://www.meituba.com/dongman/"
download(url)

if__name__=='__main__':
main()

『伍』 Python網頁解析庫：用requests-html爬取網頁

Python 中可以進行網頁解析的庫有很多，常見的有 BeautifulSoup 和 lxml 等。在網上玩爬蟲的文章通常都是介紹 BeautifulSoup 這個庫，我平常也是常用這個庫，最近用 Xpath 用得比較多，使用 BeautifulSoup 就不大習慣，很久之前就知道 Reitz 大神出了一個叫 Requests-HTML 的庫，一直沒有興趣看，這回可算歹著機會用一下了。

使用 pip install requests-html 安裝，上手和 Reitz 的其他庫一樣，輕松簡單：

這個庫是在 requests 庫上實現的，r 得到的結果是 Response 對象下面的一個子類，多個一個 html 的屬性。所以 requests 庫的響應對象可以進行什麼操作，這個 r 也都可以。如果需要解析網頁，直接獲取響應對象的 html 屬性：

不得不膜拜 Reitz 大神太會組裝技術了。實際上 HTMLSession 是繼承自 requests.Session 這個核心類，然後將 requests.Session 類里的 requests 方法改寫，返回自己的一個 HTMLResponse 對象，這個類又是繼承自 requests.Response,只是多加了一個 _from_response 的方法來構造實例：

之後在 HTMLResponse 里定義屬性方法 html，就可以通過 html 屬性訪問了,實現也就是組裝 PyQuery 來干。核心的解析類也大多是使用 PyQuery 和 lxml 來做解析，簡化了名稱，挺討巧的。

元素定位可以選擇兩種方式：

方法名非常簡單，符合 Python 優雅的風格，這里不妨對這兩種方式簡單的說明：

定位到元素以後勢必要獲取元素裡面的內容和屬性相關數據，獲取文本：

獲取元素的屬性：

還可以通過模式來匹配對應的內容：

這個功能看起來比較雞肋，可以深入研究優化一下，說不定能在 github 上混個提交。

除了一些基礎操作，這個庫還提供了一些人性化的操作。比如一鍵獲取網頁的所有超鏈接，這對於整站爬蟲應該是個福音，URL 管理比較方便：

內容頁面通常都是分頁的，一次抓取不了太多，這個庫可以獲取分頁信息：

結果如下：

通過迭代器實現了智能發現分頁，這個迭代器裡面會用一個叫 _next 的方法，貼一段源碼感受下：

通過查找 a 標簽裡面是否含有指定的文本來判斷是不是有下一頁，通常我們的下一頁都會通過 下一頁 或者 載入更多 來引導，他就是利用這個標志來進行判斷。默認的以列表形式存在全局： ['next','more','older'] 。我個人認為這種方式非常不靈活，幾乎沒有擴展性。 感興趣的可以往 github 上提交代碼優化。

也許是考慮到了現在 js 的一些非同步載入，這個庫支持 js 運行時，官方說明如下：

使用非常簡單，直接調用以下方法：

第一次使用的時候會下載 Chromium，不過國內你懂的，自己想辦法去下吧，就不要等它自己下載了。render 函數可以使用 js 腳本來操作頁面，滾動操作單獨做了參數。這對於上拉載入等新式頁面是非常友好的。

『陸』 如何用 python 爬取簡單網頁

測試環境：Windows10+Python3.5.2

打開命令提示符(管理員)，輸入pip3 install requests安裝requests模塊

importrequests,re
#獲取網頁
r=requests.get('http://www.bilibili.com')
#正則表達式獲取標題
res=re.search(r'<title>([^<]*)</title>',r.text)
print(res.group(1))
>>>嗶哩嗶哩彈幕視頻網-(゜-゜)つロ乾杯~-bilibili

『柒』 python爬取headers中general的request url

python內有一個cookielib的包，可以獲取cookie。第一次訪問都是不帶cookie的~~
下面是利用firebug進行測試：
由於之前訪問過，所以在瀏覽器上存有該網站的cookie，將其清除。

此時再次訪問就是真正意義上的第一次訪問，此時再進行訪問，抓包如下：

網站在對第一次訪問的請求中會返回set-cookie，瀏覽器會將set-cookie進行存儲，以後再進行訪問時就會帶上cookie值。so～第一次訪問請求頭是沒有cookie的，如果你的有，那就是你之前訪問過，cookie值一直保留在瀏覽器內。

『捌』 request庫用python3怎麼偽裝header爬取知乎

可以嘗試安裝一個簡單實用的庫：fake-useragent

網址鏈接：https://pypi.python.org/pypi/fake-useragent

下載後，在命令行裡面輸入：pip install fake-useragent就可以了

嘗試輸入下面代碼：

from fake_useragent import UserAgent
ua = UserAgent()
#ie瀏覽器的user agent
print(ua.ie)

『玖』 零基礎學python（1）——爬取房天下網站信息

一、認識網頁

       網頁分為三個部分：HTML(結構）、CSS（樣式）、JavaScript（功能）。

二、爬取網站信息入門

1、Soup = BeautifulSoup (html, 'lxml')，使用beautifulsoup來解析網頁。

2、使用 CSS selector來復制網頁元素的位置。

三、爬取房天下網站信息 

1、導入requests和beautifulsoup

2、定義函數spider_ftx，把所需要爬取的信息都定義出來

3、調用函數spider_ftx

4、翻頁爬取二手房信息

     由於每頁最多隻能顯示40條信息，觀察每一頁網址的變化規律，寫一個循環調用的語句，把全部100頁的信息全都爬取下來。

四、小結:

     目前只能爬取到網站的100頁信息，網站為了反爬，設置了可瀏覽的頁面量100。要想爬取網站的所有信息，可以通過分類去獲取，但是如何用python實現呢，請看下集。

『拾』 如何利用python爬取網頁內容

利用python爬取網頁內容需要用scrapy（爬蟲框架），但是很簡單，就三步

1. 定義item類
   

2. 開發spider類

3. 開發pipeline

想學習更深的爬蟲，可以用《瘋狂python講義》