⑴ 如何通過網路爬蟲獲取網站數據
這里以python為例，簡單介紹一下如何通過python網路爬蟲獲取網站數據，主要分為靜態網頁數據的爬埋山差取和動態網頁數據的爬取，實驗環境win10+python3.6+pycharm5.0，主要內容如下：
靜態網頁數據
這里的數據都嵌套在網頁源碼中，所以直接requests網頁源碼進行解析就行，下面我簡單介紹一下，這里以爬取糗事網路上的數據為例：
1.首先，打開原網頁，如下，這里假設要爬取的欄位包括昵稱、內容、好笑數和評論數：
接著查看網頁源碼，如下，可以看的出來，所有的數據都嵌套在網頁中：
2.然後針對以上網頁結構，我們就可以直接編寫爬蟲代碼，解析網頁並提取出我們需要的數據了，測試代碼如下，非常簡單，主要用到requests+BeautifulSoup組合，其中requests用於獲取網頁源碼，BeautifulSoup用於解析網頁提取數據：
點擊運行這個程序，效果如下，已經成功爬取了到我們需要的數據：
動態網頁數據
這里的數據都沒有在網頁源碼中（所以直接請求頁面是獲取不到任何數據的），大部分情況下都是存儲在一唯唯個json文件中，只有在網頁更新的時候，才會載入數據，下面我簡單介紹一下這種方式，這里以爬取人人貸上面的數據為例：
1.首先，打開原網頁，如下，這里假設要爬取的數據包括年利率，借款標題，期限，金額和進度：
接著按F12調出開發者工具，依次點擊「Network」->「XHR」，F5刷新頁面，就可以找打動態載入的json文件，如下，也就是我們需要爬彎皮取的數據：
2.然後就是根據這個json文件編寫對應代碼解析出我們需要的欄位信息，測試代碼如下，也非常簡單，主要用到requests+json組合，其中requests用於請求json文件，json用於解析json文件提取數據：
點擊運行這個程序，效果如下，已經成功爬取到我們需要的數據：
至此，我們就完成了利用python網路爬蟲來獲取網站數據。總的來說，整個過程非常簡單，python內置了許多網路爬蟲包和框架（scrapy等），可以快速獲取網站數據，非常適合初學者學習和掌握，只要你有一定的爬蟲基礎，熟悉一下上面的流程和代碼，很快就能掌握的，當然，你也可以使用現成的爬蟲軟體，像八爪魚、後羿等也都可以，網上也有相關教程和資料，非常豐富，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言進行補充。
⑵ 八爪魚採集器可以下載網站整站的源碼和資料庫嗎
下載你沒有許可權登錄的網站源碼和資料庫，除非滲透入侵進去才能做到。互聯網上流傳的合法工具。沒有任何一個工具可以做到，包括八爪魚。
不過可以使用整站下載工具，可以把HTML代碼和樣式圖片下載下來。作為離線瀏覽和樣式學習還是有工具的。如：iis7整站下載
⑶ 10分鍾入門爬蟲-小說網站爬取
三月份到四月初花了很長的時間看了一本小說—《明朝那些事兒》，幾乎一整個月的時間都在看，越看越入迷，這就是小說的魅力吧。
故事從朱元璋的乞討要飯開始，經過不斷地殘酷戰爭，擊敗各種對手，建立了明朝；再到後來燕王朱棣起兵造反，接著戚繼光抗擊倭寇；後來又有明朝出現了最有名的內閣首輔大臣—張居正，大刀闊斧地進行改革，明朝進入鼎盛時期；最後清朝入關，明朝還是敗在了崇禎的手上，准確的說是：註定會敗在他的手上。正如文中寫到的那樣：
書講述的不僅僅是歷史， 權利、希望、痛苦、氣節、孤獨、殘暴、邪惡、忍耐、堅持、真理、忠誠 ……在書中樣樣都有。在書的最後，作者寫了一首詩，摘錄在這里：
本文介紹的如何使用Python爬取一個網站上關於這本書的部分章節。
網站首頁： https://www.kanunu8.com/
爬取主鏈接： https://www.kanunu8.com/files/chinese/201102/1777.html
1、章節標題
2、章節正文內容
以第一章為例：我們點擊「第一章 童年」可以進入第一章的正文部分。
看看最終爬取到的數據。在 本地目錄 下生成的一個文件夾：《明朝那些事兒》下面就有我們爬取到的33個章節的內容，包含前言和引子部分。
在本次爬蟲中使用到的相關庫
分析一下網頁的規律
發現了規律：每個章節的頁面都有自己的URL後綴加以區分。看下網頁源碼找出URL地址：
上面已經發現了每個章節的URL地址的後綴
正則寫的不太好，地址還需要切片一次
首頁源碼返回內容解析的結果：
切片之後的有效URL地址：