java视频爬虫

‘壹’ 怎么用java代码爬取网页中视频的源地址，不

第一种方式：1、用HttpClient模拟请求html 获取html源码；2、用jsoup方法抓取解析网页数据
第二种方式：1、用HttpClient模拟请求html 获取html源码；2、用正则抓取解析网页数据
有很多种方式能够获取html源码，源码获取到了数据解析就很容易了。你可以网络一下有很多

‘贰’ java语言采集一个页面的视频的播放地址（随便哪个网站都行）

你说的是爬虫吧，如果只是播放地址的话，你选个网站

代码也很简单，不过要引用几个jar包，你如果想详细了解可以追问

‘叁’ java jsoup 爬虫 怎么防止重复爬取

正好最近在学习这方面的内容。

两种思路：

1. 可以将当前爬取的url存在一个list中作登记，在下一次开始爬子链接的时候进行比对，如果已经存在在list中则跳过，如果不存在那么继续爬

2. 可以将所有的url网络先遍历一遍存在list中，然后根据list而不是再次访问子链接url进行爬取，在url存入list的过程中进行查重处理

顺便为了方便控制。建议设置爬取深度，在一定深度内进行爬取。

‘肆’ 为什么很少人讨论或者使用java爬虫

1、爬虫的经济价值在哪里？只有经济价值存在的情况下，才有必要去开发这样一个爬虫。但不幸的是，现在的很多场合下，爬虫没有太大价值。仅有：比价，数据统计，搜索引擎，信贷爬虫等有限的几个场合在用，而这几个场合基本被大公司垄断了。所以现在很少有人写爬虫了。
2、写个爬虫的难度有多大？一上午，仅此而已。所以没什么难度，顶多设置一下userAgent,设置一下refer，弄个调用顺序先获得cookie，设置个延时什么的。换成金钱看，估价大概价值三四百块吧，用不了多钱。
3、爬虫能用多久？很久很久，只要被爬的系统不升级，那么就能一直用下去，换话说：写一个爬虫，用半年是很常见的事情。很常见就意味着没什么太大意思，不受人关注

‘伍’ python网络爬虫和java爬虫有什么区别

爬虫目前主要开发语言为java、Python、c++
对于一般的信息采集需要，各种语言差别不大。
c、c++
搜索引擎无一例外使用C\C++ 开发爬虫，猜想搜索引擎爬虫采集的网站数量巨大，对页面的解析要求不高，部分支持javascript
python
网络功能强大，模拟登陆、解析javascript，短处是网页解析
python写起程序来真的很便捷，着名的python爬虫有scrapy等
java
java有很多解析器，对网页的解析支持很好，缺点是网络部分
java开源爬虫非常多，着名的如 nutch 国内有webmagic
java优秀的解析器有htmlparser、jsoup
对于一般性的需求无论java还是python都可以胜任。
如需要模拟登陆、对抗防采集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择java。