python爬虫抓取电子书

A. 豆瓣读书数据分析-python

豆瓣读书数据分析-python

（思路来自课程老师绿树）刚刚学完python数据分析的课程，决定做一个有关python数据分析的小项目，思来想去，还是决定分析豆瓣的数据，因为豆瓣是python写成的。用python爬虫抓取数据较为方便，比一般网站少很多页面bug问题，而且豆瓣上的数据量大概在million这个量级，算是算太大的，但也不小。正好手里有一份跑出的大概300多万的数据，直接开始分析。

首先导入数据，将数据赋给一个dataframe，取名为douban

douban=pd.read_table("douban.dat",sep="::",names=["user","book","rate"])

看一下这个数据的描述 

总共3648104行，其他的诸如平均数，中位数的值，是豆瓣书籍的链接后缀，并无实际意义。

然后关于豆瓣读书用户

user_count=douban.groupby('user').count()

user_count=user_count.sort('book',ascending=False)

、我们发现共有38万多读者，计数最多的一位eastwolf东狼，真的很厉害，一共写了4000多的书评。不过我们不排除这是个机器人或者公众号，因为4000度书评，就算一天看一本书，也要写11年，而豆瓣创建才不过11年。有点假，不过这个问题我们暂且不谈，仅从数据来看，第一名最爱读书的书霸，就是eastwolf了，大家鼓掌。

然后我们再来看一下书籍的信息

看一下描述

最受欢迎的书有2071个书评，平均每本书大概有45个书评。

看一下具体情况

我们挑出书评最多的10本，找到图片，就是以下这10本书

可以发现由于不同出版社不同翻译的问题，10本书实际是4本，豆瓣果然是文艺青年聚集地，《小王子》《追风筝的人》《活着》几乎就是文艺青年必备了。 

  豆瓣做为文艺青年聚集地，本身用户属于素质较高的群体。里面分很多小组，读书，电影，音乐，算是给大家找志同道合之友的好地方。关于读书这个方面，在大家都很爱读书的基础上，我们可以用户进行聚类分析。依靠的根据是对书籍的打分，这样来计算不同用户之间的距离。因为读的书目越相似，对同一本书打分结果越接近，说明价值观越相同，找出这样的相似者，就能给用户推荐一下潜在的‘同志’，算是给豆瓣增加一个社交功能了。

  首先我们把用户信息和书本信息结合，因为考虑到大部分书籍用户之间交集为空，而且我的电脑的处理能力有限，所以截取了用户和书籍的前100进行分析，这样得到一个新的dataframe

然后我们建立邻近性矩阵

ubrcore=doubancore.pivot('user','book','rate') 

即使在取前100的条件下，依然大部分是空白，为了能够计算，我们把空白处替换成0.

ubrcore1=ubrcore.fillna(value=0)

然后对要进行距离计算，由于本身对书本的打分在1到5之间，纯粹的大小差距并不大，所以我们更多的考虑在方向上的差异，所以用余弦距离来反应不同用户之间的差异性。

 构建公式，并将计算结果给userdistdf这个dataframe

Userdistdf结果如下

最像用户的就是他自己，余弦距离都是1。其他人只能是部分相像，果然人生得一知己难啊。不过知己找不到，我们可以给用户找10个部分相像的‘同志’

构建函数

试一下

Bingo，成功!!!!

这样，我们可以为用户qdmimi19810920找到了10个志同道合的‘同志’了。

B. 《Python爬虫开发与项目实战》epub下载在线阅读全文，求百度网盘云资源

《Python爬虫开发与项目实战》（范传辉）电子书网盘下载免费在线阅读

链接：https://pan..com/s/15Hh0iUAOT5AK4tfuGkbDIw

书名：Python爬虫开发与项目实战

豆瓣评分：7.0

作者:范传辉
出版社:机械工业出版社
出版年:2017-6
页数:423

内容简介

随着大数据时代到来，网络信息量也变得更多更大，基于传统搜索引擎的局限性，网络爬虫应运而生，本书从基本的爬虫原理开始讲解，通过介绍Pthyon编程语言和Web前端基础知识引领读者入门，之后介绍动态爬虫原理以及Scrapy爬虫框架，最后介绍大规模数据下分布式爬虫的设计以及PySpider爬虫框架等。

主要特点：

l 由浅入深，从Python和Web前端基础开始讲起，逐步加深难度，层层递进。

l 内容详实，从静态网站到动态网站，从单机爬虫到分布式爬虫，既包含基础知识点，又讲解了关键问题和难点分析，方便读者完成进阶。

l 实用性强，本书共有9个爬虫项目，以系统的实战项目为驱动，由浅及深地讲解爬虫开发中所需的知识和技能。

难点详析，对js加密的分析、反爬虫措施的突破、去重方案的设计、分布式爬虫的开发进行了细致的讲解。

作者简介

范传辉，资深网虫，Python开发者，参与开发了多项网络应用，在实际开发中积累了丰富的实战经验,并善于总结，贡献了多篇技术文章广受好评。研究兴趣是网络安全、爬虫技术、数据分析、驱动开发等技术。

C. 《精通 Python爬虫框架 Scrapy》txt下载在线阅读全文,求百度网盘云资源

《精通Python爬虫框架Scrapy》（[美]迪米特里奥斯 考奇斯-劳卡斯）电子书网盘下载免费在线阅读

链接:

书名：《精通Python爬虫框架Scrapy》

作者：[美]迪米特里奥斯 考奇斯-劳卡斯

译者：李斌

豆瓣评分：5.9

出版社：人民邮电出版社

出版年份：2018-2-1

页数：239

内容简介：Scrapy是使用Python开发的一个快速、高层次的屏幕抓取和Web抓取框架，用于抓Web站点并从页面中提取结构化的数据。《精通Python爬虫框架Scrapy》以Scrapy 1.0版本为基础，讲解了Scrapy的基础知识，以及如何使用Python和三方API提取、整理数据，以满足自己的需求。

本书共11章，其内容涵盖了Scrapy基础知识，理解HTML和XPath，安装Scrapy并爬取一个网站，使用爬虫填充数据库并输出到移动应用中，爬虫的强大功能，将爬虫部署到Scrapinghub云服务器，Scrapy的配置与管理，Scrapy编程，管道秘诀，理解Scrapy性能，使用Scrapyd与实时分析进行分布式爬取。本书附录还提供了各种软件的安装与故障排除等内容。

本书适合软件开发人员、数据科学家，以及对自然语言处理和机器学习感兴趣的人阅读。

作者简介：作者:[美]迪米特里奥斯 考奇斯-劳卡斯（Dimitrios Kouzis-Loukas） 译者:李斌

Dimitrios Kouzis-Loukas作为一位软件开发人员，已经拥有超过15年的经验。同时，他还使用自己掌握的知识和技能，向广大读者讲授如何编写软件。

他学习并掌握了多门学科，包括数学、物理学以及微电子学。他对这些学科的透彻理解，提高了自身的标准，而不只是“实用的解决方案”。他知道真正的解决方案应当是像物理学规律一样确定，像ECC内存一样健壮，像数学一样通用。

Dimitrios目前正在使用新的数据中心技术开发低延迟、高可用的分布式系统。他是语言无关论者，不过对Python、C++和Java略有偏好。他对开源软硬件有着坚定的信念，他希望他的贡献能够造福于各个社区和全人类。

关于译者

李斌，毕业于北京科技大学计算机科学与技术专业，获得硕士学位。曾任职于阿里巴巴，当前供职于凡普金科，负责应用安全工作。热爱Python编程和Web安全，希望以更加智能和自动化的方式提升网络安全。

D. Python 爬虫的入门教程有哪些值得推荐的

Python 爬虫的入门教程有很多值得推荐的，以下是一些比较受欢迎和推荐的教程：

1.《精通 Python 网络爬虫》：这本书是一本入门级的 Python 爬虫教程，适合初学者学习。

• Python3 网络爬虫实战：这是一个在线教程，详细介绍了 Python 爬虫的基础知识，包括爬虫的原理、如何使用 Python 爬取网页、如何使用正则表达式和 XPath 解析网页等。

• Python 爬虫指南：这是一个在线教程，通过几个简单的例子来介绍 Python 爬虫的基础知识。

• 网络爬虫实战：这是一个在线课程，通过几个实际案例来介绍 Python 爬虫的基础知识和进阶技巧。

• Python 爬虫实战：这是一个在线课程，通过几个实际案例来介绍 Python 爬虫的基础知识和进阶技巧。

以上是一些比较受欢迎和推荐的 Python 爬虫入门教程，你可以根据自己的需求和学习进度选择适合自己的教程。

bilibili上也有一些视频教程。

E. 4.python爬虫之新建 scrapy 爬虫项目(抓取和保存)

1.win10 下 win + r 打开cmd 切换新项目的目录
2.新建scrapy项目的命令:

可以利用pycharm 打开项目文件夹编辑项目
3.items.py
声明爬取的字段

4.新建scrapy 爬虫

用命令 scrapy genspider doubanmovie "movie.douban.com" 创建爬虫。

5.运行爬虫

5.1 创建运行脚本
(一)、在 scrapy.cfg 同级目录下创建 pycharm 调试脚本 run.py，避免每次运行爬虫输入密码,内容如下：

6.修改robottxt协议
修改 settings 中的 ROBOTSTXT_OBEY = True 参数为 False,因为默认为 True，就是要遵守 robots.txt 的规则， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望你进行爬取收录。在 Scrapy 启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。查看 robots.txt 可以直接网址后接 robots.txt 即可。

一般构建爬虫系统，建议自己编写Item Pipeline,就可以在open(path)选择自己的保存路径
参考: # scrapy爬虫事件以及数据保存为txt,json,mysql

7.1保存为json格式时出现乱码的解决方式:
scrapy抓取豆瓣书籍保存json文件乱码问题
中文默认是Unicode,如:

\u5317\u4eac\u5927\u5b66
在setting文件settings.py中设置：

就可以解决了
第二种解决办法
或在cmd中传入 -s FEED_EXPORT_ENCODING='utf-8'

参考: https://www.cnblogs.com/tinghai8/p/9700300.html

F. 《用Python写网络爬虫》pdf下载在线阅读，求百度网盘云资源

《用Python写网络爬虫》（[澳]理乍得 劳森）电子书网盘下载免费在线阅读

链接：

书名：用Python写网络爬虫

作者：[澳]理乍得 劳森

译者：李斌

豆瓣评分：7.2

出版社：人民邮电出版社

出版年份：2016-8-1

页数：157

内容简介：

作为一种便捷地收集网上信息并从中抽取出可用信息的方式，网络爬虫技术变得越来越有用。使用Python这样的简单编程语言，你可以使用少量编程技能就可以爬取复杂的网站。

《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南，讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫，并对一些真实的网站进行了爬取。

《用Python写网络爬虫》介绍了如下内容：

通过跟踪链接来爬取网站；

使用lxml从页面中抽取数据；

构建线程爬虫来并行爬取页面；

将下载的内容进行缓存，以降低带宽消耗；

解析依赖于JavaScript的网站；

与表单和会话进行交互；

解决受保护页面的验证码问题；

对AJAX调用进行逆向工程；

使用Scrapy创建高级爬虫。

本书读者对象

本书是为想要构建可靠的数据爬取解决方案的开发人员写作的，本书假定读者具有一定的Python编程经验。当然，具备其他编程语言开发经验的读者也可以阅读本书，并理解书中涉及的概念和原理。

作者简介：

Richard Lawson来自澳大利亚，毕业于墨尔本大学计算机科学专业。毕业后，他创办了一家专注于网络爬虫的公司，为超过50个国家的业务提供远程工作。他精通于世界语，可以使用汉语和韩语对话，并且积极投身于开源软件。他目前在牛津大学攻读研究生学位，并利用业余时间研发自主无人机。

G. 什么是爬虫

爬虫通俗来说就是抓取网页数据，比如说大家都喜欢的图片呀、小视频呀，还有电子书、文字评论、商品详情等等。

只要网页上有的，都可以通过爬虫爬取下来。

一般而言，python爬虫需要以下几步：

找到需要爬取内容的网页URL

打开该网页的检查页面（即查看HTML代码，按F12快捷键即可进入）

在HTML代码中找到你要提取的数据

写python代码进行网页请求、解析

存储数据

当然会python是前提，对于小白来说自学也不是件容易的事，需要花相当的时间去适应python的语法逻辑，而且要坚持亲手敲代码，不断练习。

如果对自己没有自信，也可以考虑看编程课程，跟着老师的节奏去学习，能比较快地掌握python语法体系，也能得到充分的案例练习。

H. python多线程爬虫爬取顶点小说内容（BeautifulSoup+urllib）

之前写过python爬取起点中文网小说，多线程则是先把爬取的章节链接存到一个列表里，然后写一个函数get_text每次调用这个函数就传一个章节链接，那么就需要调用n次该函数来获取n章的内容，所以可以用for循环创建n个线程，线程的target就是get_text，参数就是章节的url。

随便点开的，辣眼睛哈哈哈

个人感觉用了多线程之后速度并没有很大的提升，速度大致是20个txt文件/分钟，是否有单个机器上继续提升爬取速度的方法？

下一步打算搞点能被封ip的爬取行为，然后学学分布式爬虫。加油~

I. python爬虫有什么用

爬虫通俗来说就是抓取网页数据，比如说大家都喜欢的图片、小视频呀，还有电子书、文字评论、商品详情等等。

J. python中网络爬虫怎么爬小说

异界之我是帝王

作者： 魔法人

简介：

盘古因沉迷于网络游戏，进而创造出高仿真虚拟游戏世界.主人公在进入游戏世界后开始了他的升级之旅。所经之地，惊险连连，奇魔怪兽，鬼怪道仙。在一次次的磨练中，主人公的战斗力与日俱增，他究竟能否成为游戏世 .