python爬蟲抓取電子書

A. 豆瓣讀書數據分析-python

豆瓣讀書數據分析-python

（思路來自課程老師綠樹）剛剛學完python數據分析的課程，決定做一個有關python數據分析的小項目，思來想去，還是決定分析豆瓣的數據，因為豆瓣是python寫成的。用python爬蟲抓取數據較為方便，比一般網站少很多頁面bug問題，而且豆瓣上的數據量大概在million這個量級，算是算太大的，但也不小。正好手裡有一份跑出的大概300多萬的數據，直接開始分析。

首先導入數據，將數據賦給一個dataframe，取名為douban

douban=pd.read_table("douban.dat",sep="::",names=["user","book","rate"])

看一下這個數據的描述 

總共3648104行，其他的諸如平均數，中位數的值，是豆瓣書籍的鏈接後綴，並無實際意義。

然後關於豆瓣讀書用戶

user_count=douban.groupby('user').count()

user_count=user_count.sort('book',ascending=False)

、我們發現共有38萬多讀者，計數最多的一位eastwolf東狼，真的很厲害，一共寫了4000多的書評。不過我們不排除這是個機器人或者公眾號，因為4000度書評，就算一天看一本書，也要寫11年，而豆瓣創建才不過11年。有點假，不過這個問題我們暫且不談，僅從數據來看，第一名最愛讀書的書霸，就是eastwolf了，大家鼓掌。

然後我們再來看一下書籍的信息

看一下描述

最受歡迎的書有2071個書評，平均每本書大概有45個書評。

看一下具體情況

我們挑出書評最多的10本，找到圖片，就是以下這10本書

可以發現由於不同出版社不同翻譯的問題，10本書實際是4本，豆瓣果然是文藝青年聚集地，《小王子》《追風箏的人》《活著》幾乎就是文藝青年必備了。 

  豆瓣做為文藝青年聚集地，本身用戶屬於素質較高的群體。裡面分很多小組，讀書，電影，音樂，算是給大家找志同道合之友的好地方。關於讀書這個方面，在大家都很愛讀書的基礎上，我們可以用戶進行聚類分析。依靠的根據是對書籍的打分，這樣來計算不同用戶之間的距離。因為讀的書目越相似，對同一本書打分結果越接近，說明價值觀越相同，找出這樣的相似者，就能給用戶推薦一下潛在的『同志』，算是給豆瓣增加一個社交功能了。

  首先我們把用戶信息和書本信息結合，因為考慮到大部分書籍用戶之間交集為空，而且我的電腦的處理能力有限，所以截取了用戶和書籍的前100進行分析，這樣得到一個新的dataframe

然後我們建立鄰近性矩陣

ubrcore=doubancore.pivot('user','book','rate') 

即使在取前100的條件下，依然大部分是空白，為了能夠計算，我們把空白處替換成0.

ubrcore1=ubrcore.fillna(value=0)

然後對要進行距離計算，由於本身對書本的打分在1到5之間，純粹的大小差距並不大，所以我們更多的考慮在方向上的差異，所以用餘弦距離來反應不同用戶之間的差異性。

 構建公式，並將計算結果給userdistdf這個dataframe

Userdistdf結果如下

最像用戶的就是他自己，餘弦距離都是1。其他人只能是部分相像，果然人生得一知己難啊。不過知己找不到，我們可以給用戶找10個部分相像的『同志』

構建函數

試一下

Bingo，成功!!!!

這樣，我們可以為用戶qdmimi19810920找到了10個志同道合的『同志』了。

B. 《Python爬蟲開發與項目實戰》epub下載在線閱讀全文，求百度網盤雲資源

《Python爬蟲開發與項目實戰》（范傳輝）電子書網盤下載免費在線閱讀

鏈接：https://pan..com/s/15Hh0iUAOT5AK4tfuGkbDIw

書名：Python爬蟲開發與項目實戰

豆瓣評分：7.0

作者:范傳輝
出版社:機械工業出版社
出版年:2017-6
頁數:423

內容簡介

隨著大數據時代到來，網路信息量也變得更多更大，基於傳統搜索引擎的局限性，網路爬蟲應運而生，本書從基本的爬蟲原理開始講解，通過介紹Pthyon編程語言和Web前端基礎知識引領讀者入門，之後介紹動態爬蟲原理以及Scrapy爬蟲框架，最後介紹大規模數據下分布式爬蟲的設計以及PySpider爬蟲框架等。

主要特點：

l 由淺入深，從Python和Web前端基礎開始講起，逐步加深難度，層層遞進。

l 內容詳實，從靜態網站到動態網站，從單機爬蟲到分布式爬蟲，既包含基礎知識點，又講解了關鍵問題和難點分析，方便讀者完成進階。

l 實用性強，本書共有9個爬蟲項目，以系統的實戰項目為驅動，由淺及深地講解爬蟲開發中所需的知識和技能。

難點詳析，對js加密的分析、反爬蟲措施的突破、去重方案的設計、分布式爬蟲的開發進行了細致的講解。

作者簡介

范傳輝，資深網蟲，Python開發者，參與開發了多項網路應用，在實際開發中積累了豐富的實戰經驗,並善於總結，貢獻了多篇技術文章廣受好評。研究興趣是網路安全、爬蟲技術、數據分析、驅動開發等技術。

C. 《精通 Python爬蟲框架 Scrapy》txt下載在線閱讀全文,求百度網盤雲資源

《精通Python爬蟲框架Scrapy》（[美]迪米特里奧斯 考奇斯-勞卡斯）電子書網盤下載免費在線閱讀

鏈接:

書名：《精通Python爬蟲框架Scrapy》

作者：[美]迪米特里奧斯 考奇斯-勞卡斯

譯者：李斌

豆瓣評分：5.9

出版社：人民郵電出版社

出版年份：2018-2-1

頁數：239

內容簡介：Scrapy是使用Python開發的一個快速、高層次的屏幕抓取和Web抓取框架，用於抓Web站點並從頁面中提取結構化的數據。《精通Python爬蟲框架Scrapy》以Scrapy 1.0版本為基礎，講解了Scrapy的基礎知識，以及如何使用Python和三方API提取、整理數據，以滿足自己的需求。

本書共11章，其內容涵蓋了Scrapy基礎知識，理解HTML和XPath，安裝Scrapy並爬取一個網站，使用爬蟲填充資料庫並輸出到移動應用中，爬蟲的強大功能，將爬蟲部署到Scrapinghub雲伺服器，Scrapy的配置與管理，Scrapy編程，管道秘訣，理解Scrapy性能，使用Scrapyd與實時分析進行分布式爬取。本書附錄還提供了各種軟體的安裝與故障排除等內容。

本書適合軟體開發人員、數據科學家，以及對自然語言處理和機器學習感興趣的人閱讀。

作者簡介：作者:[美]迪米特里奧斯 考奇斯-勞卡斯（Dimitrios Kouzis-Loukas） 譯者:李斌

Dimitrios Kouzis-Loukas作為一位軟體開發人員，已經擁有超過15年的經驗。同時，他還使用自己掌握的知識和技能，向廣大讀者講授如何編寫軟體。

他學習並掌握了多門學科，包括數學、物理學以及微電子學。他對這些學科的透徹理解，提高了自身的標准，而不只是「實用的解決方案」。他知道真正的解決方案應當是像物理學規律一樣確定，像ECC內存一樣健壯，像數學一樣通用。

Dimitrios目前正在使用新的數據中心技術開發低延遲、高可用的分布式系統。他是語言無關論者，不過對Python、C++和Java略有偏好。他對開源軟硬體有著堅定的信念，他希望他的貢獻能夠造福於各個社區和全人類。

關於譯者

李斌，畢業於北京科技大學計算機科學與技術專業，獲得碩士學位。曾任職於阿里巴巴，當前供職於凡普金科，負責應用安全工作。熱愛Python編程和Web安全，希望以更加智能和自動化的方式提升網路安全。

D. Python 爬蟲的入門教程有哪些值得推薦的

Python 爬蟲的入門教程有很多值得推薦的，以下是一些比較受歡迎和推薦的教程：

1.《精通 Python 網路爬蟲》：這本書是一本入門級的 Python 爬蟲教程，適合初學者學習。

• Python3 網路爬蟲實戰：這是一個在線教程，詳細介紹了 Python 爬蟲的基礎知識，包括爬蟲的原理、如何使用 Python 爬取網頁、如何使用正則表達式和 XPath 解析網頁等。

• Python 爬蟲指南：這是一個在線教程，通過幾個簡單的例子來介紹 Python 爬蟲的基礎知識。

• 網路爬蟲實戰：這是一個在線課程，通過幾個實際案例來介紹 Python 爬蟲的基礎知識和進階技巧。

• Python 爬蟲實戰：這是一個在線課程，通過幾個實際案例來介紹 Python 爬蟲的基礎知識和進階技巧。

以上是一些比較受歡迎和推薦的 Python 爬蟲入門教程，你可以根據自己的需求和學習進度選擇適合自己的教程。

bilibili上也有一些視頻教程。

E. 4.python爬蟲之新建 scrapy 爬蟲項目(抓取和保存)

1.win10 下 win + r 打開cmd 切換新項目的目錄
2.新建scrapy項目的命令:

可以利用pycharm 打開項目文件夾編輯項目
3.items.py
聲明爬取的欄位

4.新建scrapy 爬蟲

用命令 scrapy genspider doubanmovie "movie.douban.com" 創建爬蟲。

5.運行爬蟲

5.1 創建運行腳本
(一)、在 scrapy.cfg 同級目錄下創建 pycharm 調試腳本 run.py，避免每次運行爬蟲輸入密碼,內容如下：

6.修改robottxt協議
修改 settings 中的 ROBOTSTXT_OBEY = True 參數為 False,因為默認為 True，就是要遵守 robots.txt 的規則， robots.txt 是遵循 Robot協議 的一個文件，它保存在網站的伺服器中，它的作用是，告訴搜索引擎爬蟲，本網站哪些目錄下的網頁不希望你進行爬取收錄。在 Scrapy 啟動後，會在第一時間訪問網站的 robots.txt 文件，然後決定該網站的爬取范圍。查看 robots.txt 可以直接網址後接 robots.txt 即可。

一般構建爬蟲系統，建議自己編寫Item Pipeline,就可以在open(path)選擇自己的保存路徑
參考: # scrapy爬蟲事件以及數據保存為txt,json,mysql

7.1保存為json格式時出現亂碼的解決方式:
scrapy抓取豆瓣書籍保存json文件亂碼問題
中文默認是Unicode,如:

\u5317\u4eac\u5927\u5b66
在setting文件settings.py中設置：

就可以解決了
第二種解決辦法
或在cmd中傳入 -s FEED_EXPORT_ENCODING='utf-8'

參考: https://www.cnblogs.com/tinghai8/p/9700300.html

F. 《用Python寫網路爬蟲》pdf下載在線閱讀，求百度網盤雲資源

《用Python寫網路爬蟲》（[澳]理查德 勞森）電子書網盤下載免費在線閱讀

鏈接：

書名：用Python寫網路爬蟲

作者：[澳]理查德 勞森

譯者：李斌

豆瓣評分：7.2

出版社：人民郵電出版社

出版年份：2016-8-1

頁數：157

內容簡介：

作為一種便捷地收集網上信息並從中抽取出可用信息的方式，網路爬蟲技術變得越來越有用。使用Python這樣的簡單編程語言，你可以使用少量編程技能就可以爬取復雜的網站。

《用Python寫網路爬蟲》作為使用Python來爬取網路數據的傑出指南，講解了從靜態頁面爬取數據的方法以及使用緩存來管理伺服器負載的方法。此外，本書還介紹了如何使用AJAX URL和Firebug擴展來爬取數據，以及有關爬取技術的更多真相，比如使用瀏覽器渲染、管理cookie、通過提交表單從受驗證碼保護的復雜網站中抽取數據等。本書使用Scrapy創建了一個高級網路爬蟲，並對一些真實的網站進行了爬取。

《用Python寫網路爬蟲》介紹了如下內容：

通過跟蹤鏈接來爬取網站；

使用lxml從頁面中抽取數據；

構建線程爬蟲來並行爬取頁面；

將下載的內容進行緩存，以降低帶寬消耗；

解析依賴於JavaScript的網站；

與表單和會話進行交互；

解決受保護頁面的驗證碼問題；

對AJAX調用進行逆向工程；

使用Scrapy創建高級爬蟲。

本書讀者對象

本書是為想要構建可靠的數據爬取解決方案的開發人員寫作的，本書假定讀者具有一定的Python編程經驗。當然，具備其他編程語言開發經驗的讀者也可以閱讀本書，並理解書中涉及的概念和原理。

作者簡介：

Richard Lawson來自澳大利亞，畢業於墨爾本大學計算機科學專業。畢業後，他創辦了一家專注於網路爬蟲的公司，為超過50個國家的業務提供遠程工作。他精通於世界語，可以使用漢語和韓語對話，並且積極投身於開源軟體。他目前在牛津大學攻讀研究生學位，並利用業余時間研發自主無人機。

G. 什麼是爬蟲

爬蟲通俗來說就是抓取網頁數據，比如說大家都喜歡的圖片呀、小視頻呀，還有電子書、文字評論、商品詳情等等。

只要網頁上有的，都可以通過爬蟲爬取下來。

一般而言，python爬蟲需要以下幾步：

找到需要爬取內容的網頁URL

打開該網頁的檢查頁面（即查看HTML代碼，按F12快捷鍵即可進入）

在HTML代碼中找到你要提取的數據

寫python代碼進行網頁請求、解析

存儲數據

當然會python是前提，對於小白來說自學也不是件容易的事，需要花相當的時間去適應python的語法邏輯，而且要堅持親手敲代碼，不斷練習。

如果對自己沒有自信，也可以考慮看編程課程，跟著老師的節奏去學習，能比較快地掌握python語法體系，也能得到充分的案例練習。

H. python多線程爬蟲爬取頂點小說內容（BeautifulSoup+urllib）

之前寫過python爬取起點中文網小說，多線程則是先把爬取的章節鏈接存到一個列表裡，然後寫一個函數get_text每次調用這個函數就傳一個章節鏈接，那麼就需要調用n次該函數來獲取n章的內容，所以可以用for循環創建n個線程，線程的target就是get_text，參數就是章節的url。

隨便點開的，辣眼睛哈哈哈

個人感覺用了多線程之後速度並沒有很大的提升，速度大致是20個txt文件/分鍾，是否有單個機器上繼續提升爬取速度的方法？

下一步打算搞點能被封ip的爬取行為，然後學學分布式爬蟲。加油~

I. python爬蟲有什麼用

爬蟲通俗來說就是抓取網頁數據，比如說大家都喜歡的圖片、小視頻呀，還有電子書、文字評論、商品詳情等等。

J. python中網路爬蟲怎麼爬小說

異界之我是帝王

作者： 魔法人

簡介：

盤古因沉迷於網路游戲，進而創造出高模擬虛擬游戲世界.主人公在進入游戲世界後開始了他的升級之旅。所經之地，驚險連連，奇魔怪獸，鬼怪道仙。在一次次的磨練中，主人公的戰鬥力與日俱增，他究竟能否成為游戲世 .