python爬水文历史数据

A. python爬虫数据提取

理论上可以，实际要看目标网页的情况，反爬虫机制、js动态刷新抓取都是比较头疼的。
当然如果不考虑效率，selenium 之类的网页自动化方式，通常都可以实现。

B. 如何一个月入门Python爬虫，轻松爬取大规模数据

链接：https://pan..com/s/1wMgTx-M-Ea9y1IYn-UTZaA

课程简介

毕业不知如何就业？工作效率低经常挨骂？很多次想学编程都没有学会？

Python 实战：四周实现爬虫系统，无需编程基础，二十八天掌握一项谋生技能。

带你学到如何从网上批量获得几十万数据，如何处理海量大数据，数据可视化及网站制作。

课程目录

开始之前，魔力手册 for 实战学员预习

第一周：学会爬取网页信息

第二周：学会爬取大规模数据

第三周：数据统计与分析

第四周：搭建 Django 数据可视化网站

......

C. Python爬虫实战（3）selenium完成瀑布流数据爬取

爬取时间：2021/01/27
系统环境：Windows 10
所用工具：Jupyter NotebookPython 3.0
涉及的库：selenium

蛋肥想法： 借助selenium，实现对“查看更多”的自动点击，目标是获取2020年的文章相关数据。

蛋肥想法： 36氪的数据很满足强迫症，没有空格换行，只需筛选出2020年的数据保存。

蛋肥想法： 此次重点是学习selenium，所以只简单做一下数据可视化。

D. 如何用Python爬取数据

方法/步骤

• 在做爬取数据之前，你需要下载安装两个东西，一个是urllib,另外一个是python-docx。

  

• 7

  这个爬下来的是源代码，如果还需要筛选的话需要自己去添加各种正则表达式。

E. Python爬虫常用的几种数据提取方式

数据解析方式
- 正则
- xpath
- bs4
数据解析的原理：
标签的定位
提取标签中存储的文本数据或者标签属性中存储的数据

F. python爬取大量数据(百万级)

当用python爬取大量网页获取想要的数据时，最重要的问题是爬虫中断问题，python这种脚本语言，一中断

进程就会退出，怎么在中断后继续上次爬取的任务就至关重要了。这里就重点剖析这个中断问题。

第一个问题: 简单点的用动态代理池就能解决，在爬取大量数据的时候，为了速度不受影响，建议使用一些缓

存的中间件将有效的代理 ip 缓存起来，并定时更新。这里推荐 github 这个仓库

https://github.com/jhao104/proxy_pool ， 它会做ip有效性验证并将 ip 放入 redis ，不过实现过于复杂

了，还用到了 db ，个人觉得最好自己修改一下。困难点的就是它会使用别的请求来进行判断当前的ip是否

是爬虫，当我们过于聚焦我们的爬虫请求而忽略了其他的请求时，可能就会被服务器判定为爬虫，进而这个ip

会被列入黑名单，而且你换了ip一样也会卡死在这里。这种方式呢，简单点就用 selenium + chrome 一个一个

去爬，不过速度太慢了。还是自己去分析吧，也不会过复杂的。

第二个问题： 网络连接超时是大概率会遇到的问题，有可能是在爬取的时候本地网络波动，也有可能是爬

取的服务端对ip做了限制，在爬取到了一定量级的时候做一些延迟的操作，使得一些通用的 http 库超时

（ urllib ）。不过如果是服务端动的手脚一般延迟不会太高，我们只需要人为的设置一个高一点的

timeout 即可（30 秒），最好在爬取开始的时候就对我们要用的爬取库进行一层封装，通用起来才好改

动。

第三个问题: 在解析大量静态页面的时候，有些静态页面的解析规则不一样，所以我们就必须得做好断点

续爬的准备了（ PS : 如果简单的忽略错误可能会导致大量数据的丢失，这就不明智了）。那么在调试的过

程中断点续爬有个解决方案，就是生产者和消费者分离，生产者就是产生待爬 url 的爬虫，消费者就是爬取

最终数据的爬虫。最终解析数据就是消费者爬虫了。他们通过消息中间件连接，生产者往消息中间件发送待

爬取的目标信息，消费者从里面取就行了，还间接的实现了个分布式爬取功能。由于现在的消费中间件都有

ack 机制，一个消费者爬取链接失败会导致消息消费失败，进而分配给其他消费者消费。所以消息丢失的

概率极低。不过这里还有个 tips ， 消费者的消费超时时间不能太长，会导致消息释放不及时。还有要开启

消息中间价的数据持久化功能，不然消息产生过多而消费不及时会撑爆机器内存。那样就得不偿失了。

第四个问题： 这种情况只能 try except catch 住了，不好解决，如果单独分析的话会耗费点时间。但在

大部分数据 （99%） 都正常的情况下就这条不正常抛弃就行了。主要有了第三个问题的解决方案再出现这

种偶尔中断的问就方便多了。

希望能帮到各位。

G. 从零开始学python爬虫（八）：selenium提取数据和其他使用方法

知识点：

知识点：了解 driver对象的常用属性和方法

注意：最新版本的selenium已经取消了这种格式，取而代之的是：

你要先导入：

然后再：

知识点：掌握 driver对象定位标签元素获取标签对象的方法

代码实现，如下，获取腾讯新闻首页的新闻标签的内容。

知识点：掌握 元素对象的操作方法

参考代码示例：

知识点：掌握 selenium控制标签页的切换

知识点：掌握 selenium控制frame标签的切换

知识点：掌握 利用selenium获取cookie的方法

知识点：掌握 selenium控制浏览器执行js代码的方法

知识点：掌握 手动实现页面等待

知识点：掌握 selenium开启无界面模式

知识点：了解 selenium使用代理ip

知识点：了解 selenium替换user-agent

H. python如何解析爬取的数据

用json方法转成字典

I. vic大尺度陆面水文模型的输出数据怎样用python处理

不用必须在别的python语言里面调用python了，而能够直接在shell上跟其它处理程序直接连接。

J. 我想用python爬虫爬取数据，但是数据格式不是很懂，谁能给我说说怎么爬取

这已经是一个json格式的文本了，直接把文本请求下来转换成json就行了，就会变成python里dict和list嵌套的结构