⑴ 如何通过网络爬虫获取网站数据
这里以python为例，简单介绍一下如何通过python网络爬虫获取网站数据，主要分为静态网页数据的爬埋山差取和动态网页数据的爬取，实验环境win10+python3.6+pycharm5.0，主要内容如下：
静态网页数据
这里的数据都嵌套在网页源码中，所以直接requests网页源码进行解析就行，下面我简单介绍一下，这里以爬取糗事网络上的数据为例：
1.首先，打开原网页，如下，这里假设要爬取的字段包括昵称、内容、好笑数和评论数：
接着查看网页源码，如下，可以看的出来，所有的数据都嵌套在网页中：
2.然后针对以上网页结构，我们就可以直接编写爬虫代码，解析网页并提取出我们需要的数据了，测试代码如下，非常简单，主要用到requests+BeautifulSoup组合，其中requests用于获取网页源码，BeautifulSoup用于解析网页提取数据：
点击运行这个程序，效果如下，已经成功爬取了到我们需要的数据：
动态网页数据
这里的数据都没有在网页源码中（所以直接请求页面是获取不到任何数据的），大部分情况下都是存储在一唯唯个json文件中，只有在网页更新的时候，才会加载数据，下面我简单介绍一下这种方式，这里以爬取人人贷上面的数据为例：
1.首先，打开原网页，如下，这里假设要爬取的数据包括年利率，借款标题，期限，金额和进度：
接着按F12调出开发者工具，依次点击“Network”->“XHR”，F5刷新页面，就可以找打动态加载的json文件，如下，也就是我们需要爬弯皮取的数据：
2.然后就是根据这个json文件编写对应代码解析出我们需要的字段信息，测试代码如下，也非常简单，主要用到requests+json组合，其中requests用于请求json文件，json用于解析json文件提取数据：
点击运行这个程序，效果如下，已经成功爬取到我们需要的数据：
至此，我们就完成了利用python网络爬虫来获取网站数据。总的来说，整个过程非常简单，python内置了许多网络爬虫包和框架（scrapy等），可以快速获取网站数据，非常适合初学者学习和掌握，只要你有一定的爬虫基础，熟悉一下上面的流程和代码，很快就能掌握的，当然，你也可以使用现成的爬虫软件，像八爪鱼、后羿等也都可以，网上也有相关教程和资料，非常丰富，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。
⑵ 八爪鱼采集器可以下载网站整站的源码和数据库吗
下载你没有权限登录的网站源码和数据库，除非渗透入侵进去才能做到。互联网上流传的合法工具。没有任何一个工具可以做到，包括八爪鱼。
不过可以使用整站下载工具，可以把HTML代码和样式图片下载下来。作为离线浏览和样式学习还是有工具的。如：iis7整站下载
⑶ 10分钟入门爬虫-小说网站爬取
三月份到四月初花了很长的时间看了一本小说—《明朝那些事儿》，几乎一整个月的时间都在看，越看越入迷，这就是小说的魅力吧。
故事从朱元璋的乞讨要饭开始，经过不断地残酷战争，击败各种对手，建立了明朝；再到后来燕王朱棣起兵造反，接着戚继光抗击倭寇；后来又有明朝出现了最有名的内阁首辅大臣—张居正，大刀阔斧地进行改革，明朝进入鼎盛时期；最后清朝入关，明朝还是败在了崇祯的手上，准确的说是：注定会败在他的手上。正如文中写到的那样：
书讲述的不仅仅是历史， 权利、希望、痛苦、气节、孤独、残暴、邪恶、忍耐、坚持、真理、忠诚 ……在书中样样都有。在书的最后，作者写了一首诗，摘录在这里：
本文介绍的如何使用Python爬取一个网站上关于这本书的部分章节。
网站首页： https://www.kanunu8.com/
爬取主链接： https://www.kanunu8.com/files/chinese/201102/1777.html
1、章节标题
2、章节正文内容
以第一章为例：我们点击“第一章 童年”可以进入第一章的正文部分。
看看最终爬取到的数据。在 本地目录 下生成的一个文件夹：《明朝那些事儿》下面就有我们爬取到的33个章节的内容，包含前言和引子部分。
在本次爬虫中使用到的相关库
分析一下网页的规律
发现了规律：每个章节的页面都有自己的URL后缀加以区分。看下网页源码找出URL地址：
上面已经发现了每个章节的URL地址的后缀
正则写的不太好，地址还需要切片一次
首页源码返回内容解析的结果：
切片之后的有效URL地址：