Ⅰ 如何使用python实现爬虫代理IP池
第一步:找IP资源
IP资源并不丰富,换句话说是供不应求的,因此一般是使用动态IP。
免费方法,直接在网络上找,在搜索引擎中一搜索特别多能够提供IP资源的网站,进行采集即可。
付费方法,通过购买芝麻ip上的IP资源,并进行提取,搭建IP池。
Ⅱ python爬虫爬取豆瓣影评返回403怎么办,代理IP和cookie都设置了
如果只是爬取影评的话,没必要登录。返回的304是你的cookie用的是旧的。去掉cookie,正常抓取就可以了。