python爬蟲請求翻頁

⑴ python爬蟲，javascript:__doPostBack()實現翻頁，怎樣爬取各頁的內容

可以檢查下network，但能否通過介面爬，通過介面參數控制分頁，方便的話可以把要爬取的網站說下，我在幫你分析具體辦法

⑵ 知乎的python爬蟲，如何處理『翻頁』這個問題

建議你用瀏覽器調試模式，看看整個過程是怎麼交互的，然後再模擬這個過程。
Chrome的調試模式可以記錄整個時間段的收發包內容

⑶ PYTHON爬蟲的分頁問題

分頁，頁面中會有特定的代碼，因為每篇文章的長度不同，要檢查代碼中自動分為幾頁，然後再跟進去抓取下一頁。

⑷ 如何用python實現爬蟲抓取網頁時自動翻頁

看了你這個網站，下一頁每次都不一樣，每一頁的鏈接也不一樣，這種你靠分析肯定是不行的，因為你永遠都不知道會出來什麼內容，建議你用八爪魚採集器，這是目前最好用的網頁數據採集利器，解決這種問題很輕松的。

⑸ python爬蟲怎麼爬到翻頁的內容

首先要弄清楚你獲取第一頁方式是什麼，post還是get，參數是什麼，比如找到其中一個參數是page:1。那麼就可以通過修改參數為page:2來爬取下一頁了。

可能通過谷歌的「檢查」來獲取具體的請求頭和請求參數等。

⑹ 使用python爬蟲時，遇到多頁，需要翻頁，下一頁時怎麼處理

例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一頁的鏈接', callback=self.parse)
yield req
注意：使用yield時不要用return語句。

⑺ 如何在scrapy框架下，用python實現爬蟲自動跳轉頁面來抓去網頁內容

Scrapy是一個用Python寫的Crawler Framework，簡單輕巧，並且非常方便。Scrapy使用Twisted這個非同步網路庫來處理網路通信，架構清晰，並且包含了各種中間件介面，可以靈活地完成各種需求。Scrapy整體架構如下圖所示：

根據架構圖介紹一下Scrapy中的各大組件及其功能：

Scrapy引擎（Engine）：負責控制數據流在系統的所有組建中流動，並在相應動作發生觸發事件。
調度器（Scheler）：從引擎接收Request並將它們入隊，以便之後引擎請求request時提供給引擎。
下載器（Downloader）：負責獲取頁面數據並提供給引擎，而後提供給Spider。
Spider：Scrapy用戶編寫用於分析Response並提取Item（即獲取到的Item）或額外跟進的URL的類。每個Spider負責處理一個特定（或一些網站）。
Item Pipeline：負責處理被Spider提取出來的Item。典型的處理有清理驗證及持久化（例如存儲到資料庫中，這部分後面會介紹存儲到MySQL中，其他的資料庫類似）。
下載器中間件（Downloader middlewares）：是在引擎即下載器之間的特定鉤子（special hook），處理Downloader傳遞給引擎的Response。其提供了一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能（後面會介紹配置一些中間並激活，用以應對反爬蟲）。
Spider中間件（Spider middlewares）：是在引擎及Spider之間的特定鉤子（special hook），處理Spider的輸入（response）和輸出（Items即Requests）。其提供了一個簡便的機制，通過插入自定義的代碼來擴展Scrapy功能。

⑻ Python爬蟲怎麼獲取下一頁的URL和網頁內容

用瀏覽器調試工具，如firebug，查看點擊下一頁時的http請求，再用python模擬就行了。

⑼ 如何在scrapy框架下，用python實現爬蟲自動跳轉頁面來抓去網頁內容

（1）一種是像我之前爬蟲新京報網的新聞，下一頁的url可以通過審查元素獲得，第一頁的網址是http://www.bjnews.com.cn/news/list-43-page-1.html
在第一頁的時候，下一頁按鈕的審查元素是

我們通過獲取next_pages = response.xpath('//div[@id="page"]/a[@class="next"]/@href').extract()[0]
,便可以得到下一頁的url,next_page = "http://www.bjnews.com.cn" + next_pages,

這一部分的完整代碼為：

page_link=set() #保存下一頁頁面url

content_link=set() #保存頁面內所有可獲得的url

rules={'page':LinkExtractor(allow=(r'^http://www.bjnews.com.cn/\w+/2016/\d{2}/\d{2}/\d{6}.html
))}

start_urls={'http://www.bjnews.com.cn/news/list-43-page-1.html'}

def parse(self, response):

#爬取一個頁面內的所有url鏈接

    for link in self.rules['page'].extract_links(response):

        if link.url not in self.content_link:

            self.page_link.add(link.url)

            yield scrapy.Request(link.url, callback=self.parse_item)

#自動獲取下一頁的url

    next_pages = response.xpath('//div[@id="page"]/a[@class="next"]/@href').extract()[0]

    if next_pages:

        next_page = "http://www.bjnews.com.cn" + next_pages

        self.page_link.add(next_page)

        yield scrapy.Request(next_page, callback=self.parse)

(2)第二種情況，就是在下一頁的審查元素中沒有提供url鏈接，需要自己分析，在這里依然舉個例子，比如搜狐新聞http://news.sohu.com/guojixinwen.shtml，該頁中下一頁按鈕的審查元素是：

我們不能通過href來直接過得下一頁的url,需要自己手動獲得，那現在我們來分析

第二頁的url:http://news.sohu.com/guojixinwen_5230.shtml,第三頁的http://news.sohu.com/guojixinwen_5229.shtml，最後一頁的http://news.sohu.com/guojixinwen_5132.shtml，由此可以分析出這一共100頁的url，是http://news.sohu.com/guoneixinwen_"+i+".shtml",其中i是從5230到5132倒序排列的，也就是說通過for循環，就可以獲得這100頁的所有url,完整代碼如下：在這里給大家加一個新的方法的使用start_request,該方法就是子定義start_urls，把所有自定義的url放到page_link中，self.make_requests_from_url方法會自動獲取裡面的請求

⑽ 利用Python爬取數據翻頁時，一共100頁，我只想要5頁的數據，用什麼代碼停止翻頁呢

1、首先分析頁面源代碼中翻頁處的特徵，按規則取下一頁地址適合頁面地址不連續時，可通過正則表達式實現，如果頁面地址為連續的，則直接按連續的地址獲取數據。
2、按以上特徵獲取後面地址，通過urllib.request.urlopen(url)得到首頁面的數據。可以通過正則表達式獲取數據，也可按特徵字元串定來取到數據。
3、如為規則網地址方式，可以使用線程來提高效率。