‘壹’ java写网络爬虫，如何爬取在同一个网页中，但是已经被隐藏的div（需要点击显示更多）
这种是用js实现的。所以后面的内容实际上是动态生成的，网络爬虫抓取的是静态页面。
至于解决办法，网上有几种：
一种是使用自动化测试工具去做，比如selenium，可以模拟点击等操作，但是这个其实和爬虫还是有很大区别的。
二是利用特定的类库在后端调用js，python的倒是有，但是java的我就不清楚了。
三是自己找到相关的页面的js代码，分析出来相关的请求url，直接调新的url就行了，但是一般的js都是加密压缩的，但是你可以试试。
‘贰’ python网络爬虫和java爬虫有什么区别
爬虫目前主要开发语言为java、Python、c++
对于一般的信息采集需要，各种语言差别不大。
c、c++
搜索引擎无一例外使用C\C++ 开发爬虫，猜想搜索引擎爬虫采集的网站数量巨大，对页面的解析要求不高，部分支持javascript
python
网络功能强大，模拟登陆、解析javascript，短处是网页解析
python写起程序来真的很便捷，着名的python爬虫有scrapy等
java
java有很多解析器，对网页的解析支持很好，缺点是网络部分
java开源爬虫非常多，着名的如 nutch 国内有webmagic
java优秀的解析器有htmlparser、jsoup
对于一般性的需求无论java还是python都可以胜任。
如需要模拟登陆、对抗防采集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择java。
‘叁’ Python与爬虫有什么关系
爬虫一般是指网络资源的抓取，因为python的脚本特性，python易于配置，对字符的处理也非常灵活，加上python有丰富的网络抓取模块，所以两者经常联系在一起。 简单的用python自己的urllib库也可以;用python写一个搜索引擎，而搜索引擎就是一个复杂的爬虫。从这里你就了解了什么是Python爬虫，是基于Python编程而创造出来的一种网络资源的抓取方式，Python并不是爬虫。
Python为什么适合些爬虫?
1)抓取网页本身的接口
相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁;相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择)
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
2)网页抓取后的处理
抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Life is short， u need python.
‘肆’ java web 可以使用python爬虫吗
可以，不过怎么使用你可以去CSDN论坛问问
‘伍’ 比较分析基于java和python的爬虫框架，要详细的~
我只知道python的爬虫框架，scrapy 下载一个scrapy模块，结合lxml可以很快实现抓取，非常方便。可以多线程，自由的设定处理方式，抓取间隔，头信息等。。
‘陆’ java和Python哪个适合写爬虫
当然是Python，一般我们都口语化说Python爬虫，爬虫工程师都是用python语言。
Python独特的优势是写爬虫的关键。1)跨平台，对Linux和windows都有不错的支持;2)科学计算、数值拟合：Numpy、Scipy;3)可视化：2d：Matplotlib, 3d: Mayavi2;4)复杂网络：Networkx、scrapy爬虫;5)交互式终端、网站的快速开发。
用Python爬取信息的方法有三种：
1、正则表达式。实现步骤分为五步：1)在tomcat服务器端部署一个html网页;2)使用URL与网页建立联系;3)获取输入流，用于读取网页中的内容;4)建立正则规则;5)将提取到的数据放到集合中。
2、BeautifulSoup。
Beautiful Soup支持各种html解析器，包括python自带的标准库，还有其他的许多第三方库模块。其中一个是lxml parser。借助网页的结构和属性等特性来解析网页的工具，有了它我们不用再去写一些复杂的正则，只需要简单的几条语句就可以完成网页中某个元素的提取。
3、Lxml。Lxml是Python的一个解析库，支持HTML和XML的解析，支持xpath解析方式，而且解析效率非常高。Lxml主要解决三个问题：1)有一个XML文件，如何解析;2)解析后，如果查找、定位某个标签;3)定位后如何操作标签，比如访问属性、文本内容等。
当网页结构简单并且想要避免额外依赖(不需要安装库)，使用正则表达式更为合适。当需要爬取数据量较少时，使用较慢的BeautifulSoup也可以的。当数据量大时，需要追求效益时，Lxml时最好选择。
爬虫是一个比较容易上手的技术，也许你看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，并不是1*n这么简单，因此很多企业都在高薪招聘Python精英人才。
‘柒’ java和python哪个适合写爬虫
python相对比较适合写爬虫，因为它很多都是写好的函数，直接调用即可。
‘捌’ 怎么样使用Python的Scrapy爬虫框架
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下：
上面说的爬虫，基本可以分3类：
1.分布式爬虫：Nutch
2.JAVA单机爬虫：Crawler4j、WebMagic、WebCollector
3. 非JAVA单机爬虫：scrapy
第一类:分布式爬虫
爬虫使用分布式，主要是解决两个问题：
1)海量URL管理
2)网速
现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：
1)Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。
2)Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。
3)Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。而且Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text文本)。
4)用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。
5)很多人说Nutch2有gora，可以持久化数据到avro文件、hbase、mysql等。很多人其实理解错了，这里说的持久化数据，是指将URL信息（URL管理所需要的数据）存放到avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说，URL信息存在哪里无所谓。
6)Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。如果想用hbase配合nutch（大多数人用nutch2就是为了用hbase)，只能使用0.90版本左右的hbase，相应的就要将hadoop版本降到hadoop 0.2左右。而且nutch2的官方教程比较有误导作用，Nutch2的教程有两个，分别是Nutch1.x和Nutch2.x，这个Nutch2.x官网上写的是可以支持到hbase 0.94。但是实际上，这个Nutch2.x的意思是Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。
所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。有些团队就喜欢跟风，非要选择Nutch来开发精抽取的爬虫，其实是冲着Nutch的名气（Nutch作者是Doug Cutting），当然最后的结果往往是项目延期完成。
如果你是要做搜索引擎，Nutch1.x是一个非常好的选择。Nutch1.x和solr或者es配合，就可以构成一套非常强大的搜索引擎了。如果非要用Nutch2的话，建议等到Nutch2.3发布再看。目前的Nutch2是一个非常不稳定的版本。
‘玖’ 网站爬虫有哪些，python语言和java语言
常见语言都可以实现爬虫JavaPythonRuby等等。
一般用python挺多的，都是使用Scrapy。python的爬虫框架，scrapy下载一个scrapy模块，结合lxml可以很快实现抓取，非常方便。可以多线程，自由的设定处理方式，抓取间隔，头信息等。
‘拾’ 是java爬虫还是python
当然是python爬虫喽！