㈠ python爬虫怎么做
大到各类搜索引擎，小到日常数据采集，都离不开网络爬虫。爬虫的基本原理很简单，遍历网络中网页，抓取感兴趣的数据内容。这篇文章会从零开始介绍如何编写一个网络爬虫抓取数据做告宏，然后会一步步逐渐完善爬虫的抓取功能。
工具安装
我们需要安装python，python的requests和BeautifulSoup库。我们用Requests库用抓取网页的内容，使用BeautifulSoup库来从网页中提取数据。
安装python
运行pipinstallrequests
运行pipinstallBeautifulSoup
抓取网页
完成必要工具安装后，我们正式开始编写我们的爬虫。我们的第一个任务是要抓取所有豆瓣上的图书信息。我们以/subject/26986954/为例，首先看看开如何抓取网页的内容。
使用python的requests提供的get()方法我们可以非常简单的获取的指定网页的内纯册容,代码如下：
提取内容
抓取到网页的内容后，我们要做的就是提取出我们想要的内容。在我们的第一个例子中，我们只需要提取书名。首先我们导入BeautifulSoup库，使用BeautifulSoup我们可以非常简单的提取网页的特定内容。
连续抓取网页
到目前为止，我们已经可以抓取单个网页的内容了，现在让我们看看如何抓取整个网站的内容。我们知道网页之间是通过超链接互相连接在一起的，通过链接我们可以访问整个网络。所以我们可以从每个页面提取出包含指向其它网页的链接，然后重复的对新链接进行抓取。
通过以上几步我们就可以写出一个最原始的爬虫。在理解了爬虫原理的基础上，我们可以进一步对爬虫进行完善。
写过一个系列关于爬虫的文章：/i6567289381185389064/。感兴趣的可以前往查看。
Python基本环境的搭建，爬虫的基本原理以及爬虫的原型
Python爬虫入门(第1部分)
如何使用BeautifulSoup对网页内容进行提取
Python爬虫入门(第2部分)
爬虫运行时数据的存储数据，以SQLite和MySQL作为示例
Python爬虫入门(第3部分)
使用seleniumwebdriver对动态网页进行抓取
Python爬虫入门(第4部分)
讨论了如何处理网站的反爬虫策略
Python爬友如虫入门(第5部分)
对Python的Scrapy爬虫框架做了介绍，并简单的演示了如何在Scrapy下进行开发
Python爬虫入门(第6部分)
㈡ 从零开始学python爬虫（八）：selenium提取数据和其他使用方法
知识点：
知识点：了解 driver对象的常用属性和方法
注意：最新版本的selenium已经取消了这种格式，取而代之的是：
你要先导入：
然后再：
知识点：掌握 driver对象定位标签元素获取标签对象的方法
代码实现，如下，获取腾讯新闻首页的新闻标签的内容。
知识点：掌握 元素对象的操作方法
参考代码示例：
知识点：掌握 selenium控制标签页的切换
知识点：掌握 selenium控制frame标签的切换
知识点：掌握 利用selenium获取cookie的方法
知识点：掌握 selenium控制浏览器执行js代码的方法
知识点：掌握 手动实现页面等待
知识点：掌握 selenium开启无界面模式
知识点：了解 selenium使用代理ip
知识点：了解 selenium替换user-agent
㈢ Python爬虫实战（3）selenium完成瀑布流数据爬取
爬取时间：2021/01/27
系统环境：Windows 10
所用工具：Jupyter NotebookPython 3.0
涉及的库：selenium
蛋肥想法： 借助selenium，实现对“查看更多”的自动点击，目标是获取2020年的文章相关数据。
蛋肥想法： 36氪的数据很满足强迫症，没有空格换行，只需筛选出2020年的数据保存。
蛋肥想法： 此次重点是学习selenium，所以只简单做一下数据可视化。