‘壹’ 如何用python实现网络爬虫
挺简单的，我尝试过，就三步，用爬虫框架scrapy
定义item类
开发spider类（是核心）
开发pipeline
看一看 疯狂python讲义 这本书，对学习python挺有帮助的
‘贰’ python网络爬虫具体是怎样的
举一个例子来类比一下，在每日的新冠核酸排查时，发现了几个阳性人员（种子地址），这时候会对每个阳性人员接触的人员（地址内容）进行排查，对排查出的阳性人员再进行上面的接触人员排查，层层排查，直到排查出所有阳悉拦性人员。
python网络爬虫跟上面的例子很相似，
首先一批种子地址开始，将这些种子地址加入待处理的任务队列；任务处理者从上面的任务队列中取出一个地址，取出后需要将这个地址从任贺扰务队列中移除，同时还要加到已处理地址字典中去，访问地址获取数据；处理上面获取的数据，比如可能是一个网页，网页中又可能存在多个地址，比如一个页面中又很多链接地址，将这些地址如果不在已处理的地址字典的话，就加入到待处理的任务队列。同时提取获取到的数据中的有禅陆旦用部分存储下来；周而复始地执行上面2,3步操作，直到待处理地址队列处理完，或者获取了到了足够数量的数据等结束条件。最后对采集到的有用数据就可以进行清洗，转化处理，作为爬虫的最后数据输出。