python爬水文歷史數據

A. python爬蟲數據提取

理論上可以，實際要看目標網頁的情況，反爬蟲機制、js動態刷新抓取都是比較頭疼的。
當然如果不考慮效率，selenium 之類的網頁自動化方式，通常都可以實現。

B. 如何一個月入門Python爬蟲，輕松爬取大規模數據

鏈接：https://pan..com/s/1wMgTx-M-Ea9y1IYn-UTZaA

課程簡介

畢業不知如何就業？工作效率低經常挨罵？很多次想學編程都沒有學會？

Python 實戰：四周實現爬蟲系統，無需編程基礎，二十八天掌握一項謀生技能。

帶你學到如何從網上批量獲得幾十萬數據，如何處理海量大數據，數據可視化及網站製作。

課程目錄

開始之前，魔力手冊 for 實戰學員預習

第一周：學會爬取網頁信息

第二周：學會爬取大規模數據

第三周：數據統計與分析

第四周：搭建 Django 數據可視化網站

......

C. Python爬蟲實戰（3）selenium完成瀑布流數據爬取

爬取時間：2021/01/27
系統環境：Windows 10
所用工具：Jupyter NotebookPython 3.0
涉及的庫：selenium

蛋肥想法： 藉助selenium，實現對「查看更多」的自動點擊，目標是獲取2020年的文章相關數據。

蛋肥想法： 36氪的數據很滿足強迫症，沒有空格換行，只需篩選出2020年的數據保存。

蛋肥想法： 此次重點是學習selenium，所以只簡單做一下數據可視化。

D. 如何用Python爬取數據

方法/步驟

• 在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。

  

• 7

  這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。

E. Python爬蟲常用的幾種數據提取方式

數據解析方式
- 正則
- xpath
- bs4
數據解析的原理：
標簽的定位
提取標簽中存儲的文本數據或者標簽屬性中存儲的數據

F. python爬取大量數據(百萬級)

當用python爬取大量網頁獲取想要的數據時，最重要的問題是爬蟲中斷問題，python這種腳本語言，一中斷

進程就會退出，怎麼在中斷後繼續上次爬取的任務就至關重要了。這里就重點剖析這個中斷問題。

第一個問題: 簡單點的用動態代理池就能解決，在爬取大量數據的時候，為了速度不受影響，建議使用一些緩

存的中間件將有效的代理 ip 緩存起來，並定時更新。這里推薦 github 這個倉庫

https://github.com/jhao104/proxy_pool ， 它會做ip有效性驗證並將 ip 放入 redis ，不過實現過於復雜

了，還用到了 db ，個人覺得最好自己修改一下。困難點的就是它會使用別的請求來進行判斷當前的ip是否

是爬蟲，當我們過於聚焦我們的爬蟲請求而忽略了其他的請求時，可能就會被伺服器判定為爬蟲，進而這個ip

會被列入黑名單，而且你換了ip一樣也會卡死在這里。這種方式呢，簡單點就用 selenium + chrome 一個一個

去爬，不過速度太慢了。還是自己去分析吧，也不會過復雜的。

第二個問題： 網路連接超時是大概率會遇到的問題，有可能是在爬取的時候本地網路波動，也有可能是爬

取的服務端對ip做了限制，在爬取到了一定量級的時候做一些延遲的操作，使得一些通用的 http 庫超時

（ urllib ）。不過如果是服務端動的手腳一般延遲不會太高，我們只需要人為的設置一個高一點的

timeout 即可（30 秒），最好在爬取開始的時候就對我們要用的爬取庫進行一層封裝，通用起來才好改

動。

第三個問題: 在解析大量靜態頁面的時候，有些靜態頁面的解析規則不一樣，所以我們就必須得做好斷點

續爬的准備了（ PS : 如果簡單的忽略錯誤可能會導致大量數據的丟失，這就不明智了）。那麼在調試的過

程中斷點續爬有個解決方案，就是生產者和消費者分離，生產者就是產生待爬 url 的爬蟲，消費者就是爬取

最終數據的爬蟲。最終解析數據就是消費者爬蟲了。他們通過消息中間件連接，生產者往消息中間件發送待

爬取的目標信息，消費者從裡面取就行了，還間接的實現了個分布式爬取功能。由於現在的消費中間件都有

ack 機制，一個消費者爬取鏈接失敗會導致消息消費失敗，進而分配給其他消費者消費。所以消息丟失的

概率極低。不過這里還有個 tips ， 消費者的消費超時時間不能太長，會導致消息釋放不及時。還有要開啟

消息中間價的數據持久化功能，不然消息產生過多而消費不及時會撐爆機器內存。那樣就得不償失了。

第四個問題： 這種情況只能 try except catch 住了，不好解決，如果單獨分析的話會耗費點時間。但在

大部分數據 （99%） 都正常的情況下就這條不正常拋棄就行了。主要有了第三個問題的解決方案再出現這

種偶爾中斷的問就方便多了。

希望能幫到各位。

G. 從零開始學python爬蟲（八）：selenium提取數據和其他使用方法

知識點：

知識點：了解 driver對象的常用屬性和方法

注意：最新版本的selenium已經取消了這種格式，取而代之的是：

你要先導入：

然後再：

知識點：掌握 driver對象定位標簽元素獲取標簽對象的方法

代碼實現，如下，獲取騰訊新聞首頁的新聞標簽的內容。

知識點：掌握 元素對象的操作方法

參考代碼示例：

知識點：掌握 selenium控制標簽頁的切換

知識點：掌握 selenium控制frame標簽的切換

知識點：掌握 利用selenium獲取cookie的方法

知識點：掌握 selenium控制瀏覽器執行js代碼的方法

知識點：掌握 手動實現頁面等待

知識點：掌握 selenium開啟無界面模式

知識點：了解 selenium使用代理ip

知識點：了解 selenium替換user-agent

H. python如何解析爬取的數據

用json方法轉成字典

I. vic大尺度陸面水文模型的輸出數據怎樣用python處理

不用必須在別的python語言裡面調用python了，而能夠直接在shell上跟其它處理程序直接連接。

J. 我想用python爬蟲爬取數據，但是數據格式不是很懂，誰能給我說說怎麼爬取

這已經是一個json格式的文本了，直接把文本請求下來轉換成json就行了，就會變成python里dict和list嵌套的結構