‘壹’ 在用spyder学python爬虫,发现有些网站的一些东西用审查元素查的到,但是打开源代码没有
有js渲染咯,我一般处理这种情况是看post能不能解决,不能解决就用虚拟浏览器,我的教程:
无界面mechanicalsoup:http://www.cnblogs.com/TTyb/p/6039411.html
无界面RoboBrowser_test:http://www.cnblogs.com/TTyb/p/6033620.html
有界面selenium:http://www.cnblogs.com/TTyb/p/5842015.html
无界面的快,但是封装得好用吧,如果是py2就可以用mechanize玩,py3我用selenium,有界面加载慢,可以用firebox无图插件加快加载时间,具体问题具体分析,你看着搞吧