Ⅰ 如何使用python實現爬蟲代理IP池
第一步:找IP資源
IP資源並不豐富,換句話說是供不應求的,因此一般是使用動態IP。
免費方法,直接在網路上找,在搜索引擎中一搜索特別多能夠提供IP資源的網站,進行採集即可。
付費方法,通過購買芝麻ip上的IP資源,並進行提取,搭建IP池。
Ⅱ python爬蟲爬取豆瓣影評返回403怎麼辦,代理IP和cookie都設置了
如果只是爬取影評的話,沒必要登錄。返回的304是你的cookie用的是舊的。去掉cookie,正常抓取就可以了。