❶ java爬虫怎么用啊
把String url="http://www..com",换成String url="http://www.sina.com"就是改成新浪网的域名了，说白了就是改个网址就行，其他的看不懂没关系，不用改直接systemout 输出看结果就行了
❷ java爬虫一段话里的部分字符乱码解决
1. 网络爬虫乱码的原因。
源网页的编码与抓取后的编码转换不一致。如果源网页是gbk编码的字节流，程序在我们抓取后直接用utf-8编码输出到存储文件，这必然会造成乱码，即当源网页编码与程序抓取后直接处理编码一致时，就不会出现乱码，然后统一字符编码后也就不会出现乱码。注意区分源网络代码A，程序B直接使用的代码，统一转换字符的代码C。
2. 是网页的服务器端代码。
B.捕获的数据原本是字节数组，由A编码，只有B=A才能保证不会出现乱码；否则，当字符集不兼容时，就会出现乱码字符。这一步常用于测试。
c、统一转码是指在获得网页的原始编码A后进行统一编码，主要是将每个网页的数据统一成一种编码，往往首选字符集较大的utf-8。
每个网页都有自己的代码，比如gbk，utf-8，iso8859-1，日本jp系统代码，西欧，俄语等等。爬行时，所有类型的代码都将被扩展。有的爬虫只是简单的识别网页，然后统一编码，有的则直接按照utf-8统一处理，不需要判断源网页，显然会造成乱码。
3. 乱码的解决方案。
根据原因找到解决办法很简单。
1) 确定源网页的代码a。
代码a通常位于网页的三个位置，即httpheader的内容、网页的元字符集和网页标题中的文档定义。获取源网页代码时，依次判断这三部分数据，从头到尾优先级相同。
理论上这是对的，但是国内有些网站不符合标准。比如写出来的gbk其实是utf-8，有的写出来是utf-8，其实是gbk。当然这是几个网站，但是确实存在。因此，在确定网页编码时，应该对这种特殊情况给予特殊处理，如中文检查、默认编码等策略。
在另一种情况下，如果以上三种都没有编码信息，一般使用第三方的网页编码智能识别工具，如cpdetector。原理是通过统计字节数组的特性来计算实际编码，有一定的准确率，但是我发现在实践中准确率还是很有限的。
但是综合以上三种编码确认方法后，中文乱码的问题几乎可以完全解决。在我的基于nutch1.6的网络爬虫系统中，经过统计，编码准确率可以达到99.99%，这也证明了上述方法和策略的可行性。
2) 程序通过代码b还原源网页数据。
显然，这里的B应该等于a，在java中，如果源网页的字节数组是source_byte_array，就会转换成stringstr=newstring(source_byte_array，B)。即这些字节数组对应的字符被正确编码显示在内存中，此时打印结果正常。此步骤通常用于调试或控制台输出测试。
3) 统一转码。
网络爬虫系统中有很多数据源。如果无法使用数据，它将被转换为其原始数据，如果这样做是浪费的。所以一般爬虫系统要对抓取的结果进行统一编码，做到一致，使用方便。此时，在(2)的基础上，可以进行统一的编码转换，在java中的实现如下。
源网页的字节数组是source_byte_array。
转换为普通字符串:stringnormal_source_str=newstring(source_byte_array，c)。这时候可以直接用javaapi存储，但是字符串往往不直接写。因为一般爬虫存储是将多个源网页存储在一个文件中，所以要记录字节偏移量，所以下一步。 再将得到的str转换为统一的编码C格式的字节数组,则byte[] new_byte_array=normal_source_str.getBytes(C)即可，此时即可用java io api将数组写入文件，并记录相应的字节数组偏移量等，待真正使用时，直接io读取即可。
爬虫过程不仅会存在乱码问题，还会存在网站爬取涉及法律、IP受限，爬取行为受限等等问题，这个时候就需要不断去解决这些问题。
❸ java 网络爬虫怎么实现
以爬取豆瓣《红海行动》的所有评论为例，目标是爬取所有评论以及发表评论的用户名。
getHtml()类，首先是URL url1=new URL(url);模拟在网页输入网址，接着 URLConnection uc=url1.openConnection();模拟敲回车键打开该网址页面，后面的看注释应该能看懂了。bf.readLine()是依次每行读取页面的源码，
/**
* 下载HTML页面源码
* @author yangjianxin
* @return string @author yangjianxin
* @time 2018-03-09
*/
public static String getHtml(String url,String encoding) {
StringBuffer sb=new StringBuffer();
BufferedReader bf = null;
InputStreamReader isr = null;
try {
//创建网络连接
URL url1=new URL(url);
//打开网络
URLConnection uc=url1.openConnection();
uc.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
//建立文件输入流
isr=new InputStreamReader(uc.getInputStream(),encoding);
//高效率读取
bf=new BufferedReader(isr);
//下载页面源码
String temp=null;
while((temp=bf.readLine())!=null) {
sb.append(temp+"\n");
}
//System.out.println(sb.toString());
} catch (MalformedURLException e) {
System.out.println("网页打开失败，请重新输入网址。");
e.printStackTrace();
}catch (IOException e) {
System.out.println("网页打开失败,请检查网络。");
e.printStackTrace();
}finally {
if(bf!=null) {try {
bf.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
if(isr!=null) {
try {
isr.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}
return sb.toString();
}
getGoalDate()类，Document document=Jsoup.parse(html)，运用Jsoup.parse()解析网页源码，接着就是开始确定自己需要爬取的东西在网页里的位置，这需要我们对html有点了解，能看、读懂网页标签，可以看出当前页面的所有评论都在id为"content"的大盒子里，每条评论都在class名为"main review-item"的小盒子里， for(Element el:elments)是指对象el在当前页面循环去小盒子"main review-item"查找我们要爬取的东西，也就是用户名和评论， String name=el.getElementsByClass("name").text()中的“name”可以在当前盒子里查找到用户名，用.text()将它赋予给变量name，同理评论也是这样抓取，如果不用将它存入磁盘，则可以后面那段文件操作删除，只打印就行
❹ 鎴戠幇鍦ㄦ兂阃氲繃java缂栧啓镄勭绣缁灭埇铏鎶揿彇锛屾柊娴鏂伴椈缃戦〉涓婄殑璇勮璇烽梾鎭ㄧ幇鍦ㄨВ鍐充简钖
瀵逛竴绉嶆寚瀹氱殑椤甸溃锛岃缮涓岖畻澶闅剧殑銆 HttpURLConnection 锘烘湰鍙浠ャ