❶ java爬虫抓取指定数据
根据java网络编程相关的内容，使用jdk提供的相关类可以得到url对应网页的html页面代码。
针对得到的html代码，通过使用正则表达式即可得到我们想要的内容。
比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。
从网页上爬取图片的流程和爬取内容的流程基本相同，但是爬取图片的步骤会多一步。
需要先用img标签的正则表达式匹配获取到img标签，再用src属性的正则表达式获取这个img标签中的src属性的图片url，然后再通过缓冲输入流对象读取到这个图片url的图片信息，配合文件输出流将读到的图片信息写入到本地即可。
❷ 如何使用Java抓取网页上指定部分的内容
1. 你可以选择用Java代码来找到整个网页的html代码，如下
(注意在处理网页方面的内容时，需要导入htmlparser包来支持)
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.HtmlPage;
import org.htmlparser.Parser;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.util.NodeList;
public class htmlmover {
public static void main(String[] args){
NodeList rt= getNodeList("http://forex.hexun.com/rmbhl/");
System.out.println(rt.toHtml());
}
public static NodeList getNodeList(String url){
Parser parser = null;
HtmlPage visitor = null;
try {
parser = new Parser(url);
parser.setEncoding("GBK");
visitor = new HtmlPage(parser);
parser.visitAllNodesWith(visitor);
} catch (ParserException e) {
e.printStackTrace();
}
NodeList nodeList = visitor.getBody();
return nodeList;
}
}
以上代码，public static NodeList getNodeList(String url) 为主体
传入需要分析网页的 url(String类型)，返回值是网页Html节点List(Nodelist类型)
这个方法我没有什么要说的，刚开始的时候没看懂（没接触过），后来用了几次也懂点皮毛了
注意： parser.setEncoding("GBK"); 可能你的工程编码格式是UTF-8,有错误的话需要改动
运行该程序
2.通过浏览器工具直接查看 IE是按F12 （刚开始没发现这个方法，于是傻乎乎地找上面的代码）
分析你所获得的html代码让人眼花缭乱，不要紧，找到自己需要趴取的内容，找到它上下文有特征的节点
<!--中行牌价 开始-->
<div id="sw01_con1">
<table width="655" border="0" cellspacing="0" cellpadding="0" class="hgtab">
<thead>
<tr>
<th width="85" align="center" class="th_l">交易币种</th>
<th width="80" align="center">交易单位</th>
<th width="130" align="center">现价(人民币)</th>
<th width="80" align="center">卖出价</th>
<th width="100" align="center">现汇买入价</th>
<th width="95" align="center">现钞买入价</th>
</tr>
</thead>
<tbody>
<tr align="center">
<td> 英镑</td>
<td>100</td>
<td>992.7</td>
<td>1001.24</td>
<td>993.26</td>
<td class="no">962.6</td>
</tr>
<tr align="center" bgcolor="#f2f3f4">
<td> 港币</td>
<td>100</td>
<td>81.54</td>
<td>82.13</td>
<td>81.81</td>
<td class="no">81.16</td>
</tr>
<tr align="center">
<td> 美元</td>
<td>100</td>
<td>635.49</td>
<td>639.35</td>
<td>636.8</td>
<td class="no">631.69</td>
</tr>
<tr align="center" bgcolor="#f2f3f4">
<td> 瑞士法郎</td>
<td>100</td>
<td>710.89</td>
<td>707.78</td>
<td>702.14</td>
<td class="no">680.46</td>
</tr>
<tr align="center">
<td> 新加坡元</td>
<td>100</td>
<td>492.45</td>
<td>490.17</td>
<td>486.27</td>
<td class="no">471.25</td>
</tr>
<tr align="center" bgcolor="#f2f3f4">
<td> 瑞典克朗</td>
<td>100</td>
<td>93.66</td>
<td>93.79</td>
<td>93.04</td>
<td class="no">90.17</td>
</tr>
<tr align="center">
<td> 丹麦克朗</td>
<td>100</td>
<td>116.43</td>
<td>115.59</td>
<td>114.67</td>
<td class="no">111.13</td>
</tr>
<tr align="center" bgcolor="#f2f3f4">
<td> 挪威克朗</td>
<td>100</td>
<td>110.01</td>
<td>109.6</td>
<td>108.73</td>
<td class="no">105.37</td>
</tr>
<!--{2011-10-01 23:16:00}-->
</tbody>
</table>
</div>
<!--中行牌价 结束-->
大家可以看到这是一段很有规律，书写非常规范的Html代码（这只是第一部分，中行牌价，可以想象，接下来还会有并列的 相似的3部分）
大家想截取这些节点中的数据
以下代码仍需导入htmlparser Java支持包
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class Currencyrate {
public static void main(String[] args){
String url="http://forex.hexun.com/rmbhl/";
ArrayList<String> rt= getNodeList(url);
for (int i = 0; i < rt.size(); i++){
System.out.println(rt.get(i));
}
}
public static ArrayList<String> getNodeList(String url){
final ArrayList<String> result=new ArrayList<String>();
Parser parser = null;
NodeList nodeList=null;
try {
parser = new Parser(url);
parser.setEncoding("GBK");
nodeList = parser.parse(
new NodeFilter(){
@Override
public boolean accept(Node node){
Node need=node;
if(getStringsByRegex(node.getText())){
for(int i=0;i<6;i++){
result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();
}
return true;
}
return false;
}
}
);
}catch (ParserException e) {
e.printStackTrace();
}
return result;
}
public static boolean getStringsByRegex(String txt) {
String regex="td class=\"no\"";
Pattern p = Pattern.compile(regex);
Matcher m = p.matcher(txt);
if (m.find()){
return true;
}
return false;
}
}
废话不多说，
public static ArrayList<String> getNodeList(String url) 主要方法
parser.setEncoding("GBK"); 需要注意，代码编码格式
nodeList = parser.parse(
new NodeFilter(){
@Override
public boolean accept(Node node){
}
｝
);
nodelist是html节点的列表，现在使用NodeFilter ( 节点过滤器 )实例， 重载NodeFilter类中的accept()方法
在parser这个Parser类访问整个html页面的时候，每遇到一个html节点，就会访问这个
accept()方法，返回True的话就会将这个节点 放进nodelist中，否则就不会将这个节点放进去。这个就是NodeFilter功能。
代码段一获取整个html页面时候 parser.visitAllNodesWith(visitor); 就是获取所有节点
所以现在我们要趴取网页上的内容，只要告诉accept()这个方法，哪些节点要放进nodelist去，即 遇到哪些节点需要返回true。
于是
public boolean accept(Node node){
Node need=node;
if(getStringsByRegex(node.getText())){
for(int i=0;i<6;i++){
result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();
}
return true;
}
return false;
}
Parser类在遇到节点，就把这个节点拿过去问accept()，于是accept()方法分析，如果满足getStringsByRegex(node.getText())就要了
接下来分析getStringsByRegex()，只剩下最后一步了，大家坚持啊！
String regex="td class=\"no\"";
Pattern p = Pattern.compile(regex);
Matcher m = p.matcher(txt);
if (m.find()){
return true;
}
return false;
}
大家可以发现我们索要的每一段都是
<tr align="center">
<td> 英镑</td>
<td>100</td>
<td>992.7</td>
<td>1001.24</td>
<td>993.26</td>
<td class="no">962.6</td>
</tr>
所以只要找到<td class="no">这个节点就行了，我们用正则表达式去比较
String regex="td class=\"no\""; 这个是比较标准（正则表达式 td class=”no” 其中两个引号需要作为转义字符来表示 成\“ ）
变量txt是我们传过去的需要比较的节点的node.getText()，如果符合的话m.find就是true,于是getStringsByRegex()返回true，说明这个节点就是我们所需要的哪些节点，于是
for(int i=0;i<6;i++){
result.add(need.toPlainTextString()); need=need.getPreviousSibling().getPreviousSibling();
}
每一段html，6个为一组，先是962.6，然后是993.26，1001.24，992.7，100，英镑分别被add进result这个ArrayList<String>中去，返回，这个ArrayList装的就是我们需要抓取的数据
大家可以把我们所获得的String数据数出来试试看，是不是我们需要的顺序，main()函数获得ArrayList<String>，就可以显示到我们所需要的Java widget上去了
❸ Java网络爬虫怎么实现
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。x0dx0a传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。对于垂直搜索来说，聚焦爬虫，即有针对性地爬取特定主题网页的爬虫，更为适合。x0dx0ax0dx0a以下是一个使用java实现的简单爬虫核心代码：x0dx0apublic void crawl() throws Throwable { x0dx0a while (continueCrawling()) { x0dx0a CrawlerUrl url = getNextUrl(); //获取待爬取队列中的下一个URL x0dx0a if (url != null) { x0dx0a printCrawlInfo(); x0dx0a String content = getContent(url); //获取URL的文本信息 x0dx0a x0dx0a //聚焦爬虫只爬取与主题内容相关的网页，这里采用正则匹配简单处理 x0dx0a if (isContentRelevant(content, this.regexpSearchPattern)) { x0dx0a saveContent(url, content); //保存网页至本地 x0dx0a x0dx0a //获取网页内容中的链接，并放入待爬取队列中 x0dx0a Collection urlStrings = extractUrls(content, url); x0dx0a addUrlsToUrlQueue(url, urlStrings); x0dx0a } else { x0dx0a System.out.println(url + " is not relevant ignoring ..."); x0dx0a } x0dx0a x0dx0a //延时防止被对方屏蔽 x0dx0a Thread.sleep(this.delayBetweenUrls); x0dx0a } x0dx0a } x0dx0a closeOutputStream(); x0dx0a}x0dx0aprivate CrawlerUrl getNextUrl() throws Throwable { x0dx0a CrawlerUrl nextUrl = null; x0dx0a while ((nextUrl == null) && (!urlQueue.isEmpty())) { x0dx0a CrawlerUrl crawlerUrl = this.urlQueue.remove(); x0dx0a //doWeHavePermissionToVisit：是否有权限访问该URL，友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取 x0dx0a //isUrlAlreadyVisited：URL是否访问过，大型的搜索引擎往往采用BloomFilter进行排重，这里简单使用HashMap x0dx0a //isDepthAcceptable：是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱（自动生成一些无效链接使爬虫陷入死循环），采用深度限制加以避免 x0dx0a if (doWeHavePermissionToVisit(crawlerUrl) x0dx0a && (!isUrlAlreadyVisited(crawlerUrl)) x0dx0a && isDepthAcceptable(crawlerUrl)) { x0dx0a nextUrl = crawlerUrl; x0dx0a // System.out.println("Next url to be visited is " + nextUrl); x0dx0a } x0dx0a } x0dx0a return nextUrl; x0dx0a}x0dx0aprivate String getContent(CrawlerUrl url) throws Throwable { x0dx0a //HttpClient4.1的调用与之前的方式不同 x0dx0a HttpClient client = new DefaultHttpClient(); x0dx0a HttpGet httpGet = new HttpGet(url.getUrlString()); x0dx0a StringBuffer strBuf = new StringBuffer(); x0dx0a HttpResponse response = client.execute(httpGet); x0dx0a if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) { x0dx0a HttpEntity entity = response.getEntity(); x0dx0a if (entity != null) { x0dx0a BufferedReader reader = new BufferedReader( x0dx0a new InputStreamReader(entity.getContent(), "UTF-8")); x0dx0a String line = null; x0dx0a if (entity.getContentLength() > 0) { x0dx0a strBuf = new StringBuffer((int) entity.getContentLength()); x0dx0a while ((line = reader.readLine()) != null) { x0dx0a strBuf.append(line); x0dx0a } x0dx0a } x0dx0a } x0dx0a if (entity != null) { x0dx0a nsumeContent(); x0dx0a } x0dx0a } x0dx0a //将url标记为已访问 x0dx0a markUrlAsVisited(url); x0dx0a return strBuf.toString(); x0dx0a}x0dx0apublic static boolean isContentRelevant(String content, x0dx0aPattern regexpPattern) { x0dx0a boolean retValue = false; x0dx0a if (content != null) { x0dx0a //是否符合正则表达式的条件 x0dx0a Matcher m = regexpPattern.matcher(content.toLowerCase()); x0dx0a retValue = m.find(); x0dx0a } x0dx0a return retValue; x0dx0a}x0dx0apublic List extractUrls(String text, CrawlerUrl crawlerUrl) { x0dx0a Map urlMap = new HashMap(); x0dx0a extractHttpUrls(urlMap, text); x0dx0a extractRelativeUrls(urlMap, text, crawlerUrl); x0dx0a return new ArrayList(urlMap.keySet()); x0dx0a} x0dx0aprivate void extractHttpUrls(Map urlMap, String text) { x0dx0a Matcher m = (text); x0dx0a while (m.find()) { x0dx0a String url = m.group(); x0dx0a String[] terms = url.split("a href=\""); x0dx0a for (String term : terms) { x0dx0a // System.out.println("Term = " + term); x0dx0a if (term.startsWith("http")) { x0dx0a int index = term.indexOf("\""); x0dx0a if (index > 0) { x0dx0a term = term.substring(0, index); x0dx0a } x0dx0a urlMap.put(term, term); x0dx0a System.out.println("Hyperlink: " + term); x0dx0a } x0dx0a } x0dx0a } x0dx0a} x0dx0aprivate void extractRelativeUrls(Map urlMap, String text, x0dx0a CrawlerUrl crawlerUrl) { x0dx0a Matcher m = relativeRegexp.matcher(text); x0dx0a URL textURL = crawlerUrl.getURL(); x0dx0a String host = textURL.getHost(); x0dx0a while (m.find()) { x0dx0a String url = m.group(); x0dx0a String[] terms = url.split("a href=\""); x0dx0a for (String term : terms) { x0dx0a if (term.startsWith("/")) { x0dx0a int index = term.indexOf("\""); x0dx0a if (index > 0) { x0dx0a term = term.substring(0, index); x0dx0a } x0dx0a String s = //" + host + term; x0dx0a urlMap.put(s, s); x0dx0a System.out.println("Relative url: " + s); x0dx0a } x0dx0a } x0dx0a } x0dx0a x0dx0a}x0dx0apublic static void main(String[] args) { x0dx0a try { x0dx0a String url = ""; x0dx0a Queue urlQueue = new LinkedList(); x0dx0a String regexp = "java"; x0dx0a urlQueue.add(new CrawlerUrl(url, 0)); x0dx0a NaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L, x0dx0a regexp); x0dx0a // boolean allowCrawl = crawler.areWeAllowedToVisit(url); x0dx0a // System.out.println("Allowed to crawl: " + url + " " + x0dx0a // allowCrawl); x0dx0a crawler.crawl(); x0dx0a } catch (Throwable t) { x0dx0a System.out.println(t.toString()); x0dx0a t.printStackTrace(); x0dx0a } x0dx0a}
❹ 关于java新闻网站的算法
（一）算法伦理的研究
1.算法内涵界定。算法源于数学，但现代算法又远远不止于传统数学的计算范畴。算法多被理解为是计算机用于解决问题的程序或步骤，是现代人工智能系统的运行支柱。《计算主义：一种新的世界观》(李建会等，2012)中将算法定义为能行的方法，在外界的常识性理解中所谓算法就是能感受到的一套运算规则，这个规则的特点在于运算时间的有限性、计算步骤的有穷性、输入结果的确切性,它是机械步骤或能行可算计程序。该定义点明了算法应具备的两个基本属性—或侍李—有限性与有穷性。《用计算的观点看世界》(郦全民，2016)则从信息传播的角度解读算法，认为算法实质上是信息处理方法。
2.算法伦理研究
伦理关乎道德价值真理及其判断。存在于自然界、社会中的人，其行为应遵循一定的伦理道德规范。伦理的效应要导向善。伦理道德关注对个体存在的尊重、个体的自由、公平正义以及组织团体的延续与发展等问题。在一定程度上可以说，当今的人类社会已经不能脱离智能算法系统而运行了。
算法无时无处不在对世界产生影响，因而算法也会必然的触碰到伦理道德。和鸿鹏（2017）已指出，算法系统在人类社会生活中的广泛应用，会陷入诸多如人类面临且无法回避的伦理两难选择困境之中。而当算法与伦理发生关联时，学界一般认为会引出职业伦理和技术伦理两种伦理问题。
职业伦理主要与算法系统的开发者有关，指开发者是带有个性价值观、伦理道德观去研发算法系统的行为体，因而算法系统一开始便会掺杂着设计人主观性的伦理道德观。设计者出于何种目的开发某算法系统、面对不同问题设计者持有的伦理道德态度，这些衫迟都会在算法系统的运行中得到体现。
技术伦理是算法系统在一定意义上可称之为一种科学技术，这种技术自身及其运作结果都会负载着伦理价值。其实在一些情况下，职业伦理与技术伦理之间并没有很明确的界别，关于这一点，刘则渊跟王国豫已做过论述。
本文将主要从技术伦理的角度对算法关涉伦理这一问题尝试做深入研究。
（二）网络新闻传播的算法伦理研究
算法与技术的融合不断英语于网络新闻传播领域中，从数据新闻到机器写作，从算法推送到舆情到分析，国内新闻传媒领域的机器新闻和相关研究逐渐发展，金兼斌在《机器新闻写作:一场正在发生的革命》(2014)，作者较早的将眼光聚焦于基于算法的新闻内容生产和编辑。认为在自动化新闻生产大发展的前提下，诸如新闻生产或分发中劳动密集型的基础性工作与环节都将被技术取代。张超、钟新在《从比特到人工智能:数字新闻生产的算法转向》(2017)认为算法正在从比特形式走向人工智能阶段，这种转向使得数字新闻与传统新闻的边界进一步明晰，促使数字新闻生产也产生了变革。胡万鹏在《智能算法推荐的伦理风险及防范策略》中总结了从算法推送方面：针对新闻的价值观所受到的负面影响；以及新闻的公共性、客观性和真实性受到的削弱进行分析；从受众方面：将具体对信息茧房现象以及受众的知情权和被遗忘权展开探讨；从社会影响方面,则针对社会群体、社会公共领域和社会文化所受到的消极影响展开论述。
根据以上文献的梳理可以看出，国内目前对网络新闻传播的算法伦理研究主要集中在新闻业态算法伦理失范的相关问题，因为与其他失范问题相比，这是比较容易发现的。但目前关于网络新闻传播的算法伦理的国内研究还存在不足：国内算谈棚法伦理和网络新闻传播算法伦理的研究还是在起步阶段，比较成熟的系统性研究还未出现；关于算法开发人员和平台的责任机制的研究都比较薄弱，总上所述，算法推送新闻的伦理问题研究是有必要继续加强的。
2.新闻推荐算法的兴起、发展与原理
2.1新闻推荐算法的兴起
随着计算机技术的信息处理的维度越来越高，信息处理的能力不断提升，算法技术可以从大数据中筛选出用户最关心最感兴趣的信息，改变了原有的新闻信息传播方式，重塑了新的媒介生态和传播格局。
但反过来看，在人人都能生产信息的背景下，信息的生产、传播和反馈的速度都是呈几何倍数增长，用户面对的信息越来越多。由于设备的局限性和信息海量，用户无法集中注意力看自己感兴趣的内容，也无法及时抓取对自己有用的信息，于是出现了“注意力经济”。美国经济学家迈克尔·戈德海伯（1997）认为，当今社会是一个信息极大丰富甚至泛滥的社会，而互联网的出现，加快了这一进程，信息非但不是稀缺资源，相反是过剩的。相对于过剩的信息，只有一种资源是稀缺的，那就是人们的注意力。换句话说，信息不能够一味追求量，还要有价值，价值就在于用户对信息的注意力，谁获得了用户的注意力就可以有市场的发展空间，通过“贩卖”用户的注意力能够使新媒体聚合平台获得利润，维持发展。再加上现在生活节奏越来越快，人们对信息获取的量和效率要求提高，不想把时间浪费在自己不感兴趣的信息，从而用户获取信息的“个性化”特征变得明显起来。
基于此背景下，算法推送新闻的传播机制应运而生，用户不需要特意搜索自己需要的信息，而是海量的信息会自行“找到”用户，为用户节省搜索时间之余，又能做到真正为用户提供有用的信息。
2.2新闻推荐算法的发展现状
算法推荐是依据用户数据为用户推荐特定领域的信息，根据受众使用反馈不断修正并完善推荐方案。目前主要有两类新闻机构使用算法推送，其一是新型的互联网新闻聚合类平台，国内主要是以今日头条和一点资讯等算法类平台为代表，在我国新闻客户端市场上拥有极高的占有率。张一鸣创建今日头条是依靠大数据和算法为用户推荐信息，提供连接人与信息的服务，算法会以关键词等元素判断用户的兴趣爱好，从全网抓取内容实现个性化推荐。国外则是以Facebook、Instagram等平台为代表，这些APP都是通过算法挖掘用户的数据，以用户个性化需求为导向对用户进行新闻推送。另一种则是专业新闻生产的传统媒体，为积极应对新闻市场的竞争和提高技术水平而转型到新闻全媒体平台，如国内的“人民日报”等，国外利用算法推送向用户推送新闻的传统媒体则有美国的美联社、华盛顿邮报和英国的BBC等,他们利用算法监督受众的数量还有阅读行为，使他们的新闻报道能够更加受受众的喜欢，增加用户的粘性。
2.2新闻推荐算法的原理
2.2.1新闻推荐算法的基本要素
算法推送有三个基本要素，分别是用户、内容和算法。用户是算法推送系统的服务对象，对用户的理解和认知越是透彻，内容分法的准确性和有效性就越准确。内容是算法推送系统的基本生产资料，对多种形式内通的分析、组织、储存和分发都需要科学的手段与方法。算法是算法推送技术上的支持，也是最核心的。系统中大量用户与海量的信息是无法自行匹配的，需要推送算法把用户和内容连接起来，在用户和内容之间发挥桥梁作用，高效把合适的内容推荐给合适的用户。
2.2.2新闻推荐算法的基本原理
算法推送的出现需要具备两个条件：足够的信息源和精确的算法框架。其中，算法的内容生产源与信息分发最终效果密切相关：是否有足够多的信息可供抓取与信息是否有足够的品质令用户满意都将对信息的传播效果产生影响。与此同时，分发环节也在向前追溯，改变着整个传播的生态。目前，国内新闻传播领域所使用的算法推送主要有三大类——协同过滤推送、基于内容推送和关联规则推送。
协同过滤推送分为基于用户的协同过滤和基于模型的协同过滤。前者主要考虑的是用户和用户之间的相似度，只要找出相似用户喜欢的新闻文章类别，并预测目标用户对该文章的喜欢程度，就可以将其他文章推荐给用户；后者和前者是类似的，区别在此时转向找到文章和文章之间的相似度，只有找到了目标用户对某类文章的喜爱程度，那么我们就可以对相似度高的类似文章进行预测，将喜爱程度相当的相似文章推荐给用户。因此，前者利用用户历史数据在整个用户数据库中寻找相似的推送文章进行推荐，后者通过用户历史数据构造预测模型，再通过模型进行预测并推送。
基于内容的推送即根据用户历史进行文本信息特征抽取、过滤，生成模型，向用户推荐与历史项目内容相似的信息。它的优点之一就是解决了协同过滤中数据稀少时无法准确判断分发的问题。但如果长期只根据用户历史数据推荐信息，会造成过度个性化，容易形成“信息茧房”。
关联规则推送就是基于用户历史数据挖掘用户数据背后的关联，以分析用户的潜在需求，向用户推荐其可能感兴趣的信息。基于该算法的信息推荐流程主要分为两个步骤，第一步是根据当前用户阅读过的感兴趣的内容，通过规则推导出用户还没有阅读过的可能感兴趣的内容；第二是根据规则的重要程度，对内容排序并展现给用户。关联规则推送的效果依赖规则的数量和质量，但随着规则数量的增多，对系统的要求也会提高。
2.2.3算法推送的实现流程
在信息过载的时代，同一个新闻选题有很多同质化的报道，因此分发前需要对新闻内容进行消重，消重后的新闻内容便等待推送，此时的推送有三个类别：启动推送、扩大推送和限制推送。
3.“今日头条”新闻推荐算法分析
“今日头条”是国内一款资讯类的媒体聚合平台，每天有超过1.2亿人使用。从“你关心的，才是头条！”到如今的“信息创造价值！”，产品slogan的变化也意味着今日头条正逐渐摆脱以往单一、粗暴的流量思维，而开始注重人与信息的连接，在促进信息高效、精准传播的同时注重正确的价值引导。
在2018年初，“今日头条”的资深算法架构师曹欢欢博士在一场分享交流会上公开了其算法运行原理。在他的叙述中，非常详细地介绍了“今日头条”的算法推荐系统概述以及算法推荐系统的操作原理。
3.1.1-1曹欢欢博士的今日头条算法建模
上图用数学形式化的方法去描述“今日头条”的算法推送，实际上就是一个能够得出用户对内容满意程度的函数：即y为用户对内容的满意度，Xi,Xc,Xu分别是今日头条公开的算法推送的三个维度：Xi是用户，包括用户的性别、年龄、职业和兴趣标签，还有其他算法模型刻画的隐形用户偏好等；Xc是环境，这也是移动互联网时代新闻推送的特点，由于用户随时随地在不停移动，移动终端也在移动，用户在不同的工作场合、旅行等场景信息推送偏好也会不同；Xu是内容，今日头条本身就是信息聚合类平台，平台上涵盖各种不同形式的内容。本章将以该函数为基础，逐一分析今日头条的推荐算法。
3.1推荐维度之一：内容分析
内容分析原指第二次世界大战期间，传播学家拉斯韦尔等研究学家组织了“战士通讯研究”的工作，以德国公开出版的战时报纸为分析研究对象，弄清报纸内容本质性的事实和趋势，揭示隐含的隐性情报内容，获取了许多军情机密情报并且对事态发展作出情报预测。在“今日头条”中，内容分析则是对文章、视频内容提取关键要素，通过对文本、视频标题关键字进行语义识别，给内容进行分类。“今日头条”的推送系统是典型的层次化文本分类算法，来帮助每篇新闻找到合适的分类，比如：第一大分类是政治、科技、财经、娱乐、体育等，体育类可以下分篮球、足球、网球等，足球又可以下分中国足球和国际足球，中国足球最后下分为甲、中超、国家队等。这一步是对文章进行对这个工作主要目的是对文章进行分类，方便以后对客户推荐。
想要内容分析实现效果，则需要海量的内容信息给算法系统提供有效的筛选和分类。“今日头条”既然是依赖于算法推送新闻，那它背后的数据库必然是强大的，“网页蜘蛛”和“头条号”就是支撑今日头条平台消息来源的重要渠道，其消息来源极其丰富，何时何地有何新鲜事，都能高效率抓取信息。
第一个消息来源的渠道是“网页蜘蛛”，“网页蜘蛛”又叫网页爬虫，头条使用的就是搜索引擎爬虫叫“Bytespider”。它能按照一定的规则，自动爬行抓取互联网的信息或脚本，就像蜘蛛通过蛛网进行捕食，当发现新的信息资源，蜘蛛会立刻出动抓取信息内容并将其收入自己的数据库中。和微信的垂直搜索不同，Bytespider是能够抓取全网内容的全新搜索引擎，因此“今日头条”的搜索引擎功能很全面，搜索的资源很广，资源包容性极高。
Bytespider信息抓取的基本流程如下：首先是网页抓取。Bytespider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。第二步是处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括消除重复网页、判断网页类型、分析超链接、计算网页的重要度、丰富度等。第三步提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页，为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。
3.2推荐维度之二：用户分析
用户分析通过提取用户的有效数据，如用户经常浏览的文字类型、经常搜索的关键字、注册时登记信息的内容等，算法系统可以将每个用户的浏览记录、浏览时间、留言、评论和转发等行为进行关键字提取，最终形成用户画像，以便之后对用户进行文章和视频的精准推送。举个例子，给喜欢阅读“体育”的用户标上“体育”标签；给喜欢“娱乐”的用户标上“娱乐”的标签，这一步的作用是给用户的兴趣进行建模，包括用户对文章和视频的全局热度、分类热度，主题热度，以及关键词热度等。热度信息在大的推荐系统能够解决新闻冷启动问题，帮助新闻实现推送。
用户分析还具有协同特征，它可以在部分程度上帮助解决所谓算法越推越窄的问题。协同特征也就是“联想式”的推送方法，并非只考虑用户已有历史，而是通过用户行为分析不同用户间相似性，比如点击相似、兴趣分类相似、主题相似、兴趣词相似，甚至向量相似，从而扩展模型的探索能力。根据用户之间计算数据的相似程度，把用户细化分类成为不同的目标群体，再向目标群体集中的推送其感兴趣的新闻内容
内容分析和用户分析是相辅相成的，如果没有分析的文本标签，无法得到用户兴趣标签，没有用户的兴趣标签就无法给用户定位实现精准推送。
3.3推荐维度之三：环境分析
环境分析就是根据文章的时效性和接近性推送给相应的用户，比如获取用户当前所在位置是否在旅游区，这个可以通过获取用户的实时位置来实现。还会不断与用户之前经常出现的所在地进行对比等方式确认当前状态，分析出用户是在常住地区还是在旅行。这时若系统检测到用户正在泰山及周边游玩，则可能会相应推送泰山的相关文章、周边的交通新闻和天气信息等等。
通过上面三个推荐维度可以作为数据基础，分析当前用户处于什么环境，结合用户画像以及文章的内容分类来推荐，尽量做到推送的内容都是用户所感兴趣的。算法系统还会通过内容分类、分析抽取，把文本相似度高的文章，包括新闻主题、内容相似的文章进行消重，解决推送重复的问题，进一步对目标用户进行精确且不重复的内容推荐。最后过滤质量低俗色情的内容，以免造成平台会有负面倾向。
3.4“今日头条”新闻推荐算法的价值取向
3.4.1“用户为上”
“今日头条”的算法推送是站在用户的立场上的，以满足用户个性化和推送的精准性，“今日头条”也重新衡量了新闻价值标准：以用户为上，用户对新闻内容和阅读方式的满意度便是平台推送新闻的价值宗旨。传统媒体时代，只有报纸和电视，有什么受众就得看什么，而如今“今日头条”根据用户兴趣去进行推送。算法推送平台用户范围广，很多用户热衷关注负面，也有许多用户都有窥视欲和好奇心，喜欢无聊八卦和无聊新闻，而且在好奇心作用下用户都有从众心理。这使得生产者过度去迎合受众，只要是用户喜欢看就可以发表在“今日头条”上。
3.4.2“算法主导”
“今日头条”更注重技术分发，生产者是用户，受众者也是用户，这样一来内容监管和分发就很困难。算法推送机制根据用户爱好进行推送，这样生产的内容快、也无疑会加速内容配送效率。在算法推送模型中，用户点击频率、阅读时间、点赞评论以及转发在算法时代都是可以进行量化的目标。在这样情况下生产的内容，想要获得较大点击率和推送率，需要标题才能吸引用户，因为用户在平台一眼能看到的就是标题和配图。标题和配图决定用户是否会打开你的内容，这导致许多内容生产者在编辑新闻标题时陷入标题党的怪圈，还有导致低俗内容的呈现，以制造冲突制造悬念贴标签等方式引用户点击，意图把自己的文章做成爆文。对于海量的信息内容，即使今日头条数据和智能推荐做的再好，目前来说也难以抵挡海量的垃圾信息。
4.算法推送新闻引发的伦理问题
在如今网络时代的传播思维中，“用户为上”、“算法主导”的新闻价值取向已经在算法聚合类平台成为了普遍，算法推送技术作为吸引用户的手段，搭建起一个充满诱导的媒介环境，以此增加用户对平台的粘性。算法推送技术在获取信息、传播速度等方面与以往相比有着跨时代的进步，但与此同时，由于算法推送技术的加入，衍生出新的伦理问题，并且日渐复杂化。
4.1算法推送引发的伦理问题
4.1.1算法推送过于机械化，没有思考能力
单向的算法推荐对用户来说经常会带来内容杂乱无章、信息量过大、信息价值低等问题。从逻辑讲，算法只是从关键字的检索匹配来完成统计推荐，但对新闻报道或文学作品具有艺术性、专业性的内容来说，是不能保证推送的质量的。算法方面，目前主要基于匹配检索与统计，大部分都是个人关注的信息类型和标签，难以达到较好的推送效果。一千个人眼里有一千个哈姆雷特，但是计算机只有只有一个。算法技术过于注重机械化的统计，只根据关键词来推荐用户，对我们中国具有博大精深的中国文字文化底蕴，推荐算法是远远不够的。整个新闻客户端显得像是一个菜市场，没有态度、没有风格，阅读感受单一化，呈现了碎片化的特点。新闻不只是让用户能够了解身边发生的新鲜事，还有宣传正面思想和传播正能量的作用，新闻应该还要给人们带来新的思考。让机器做出正确判断很简单，但是让机器综合心理学、社会学、乃至某细分领域内的规则做出判断还要正确地引导受众则很难，正如现在算法技术还不能完成一篇富有人文性、文学性和批判性的深度报道，它止步在了碎片式的、表层的传播范畴。
4.1.2容易引起“信息茧房”效应
“信息茧房”这一概念是凯斯.桑斯坦在《信息乌托邦》一书中提出的。意指受众在过度的信息自我选择之中，这样会降低接触外界其他信息的可能，从而将自己的生活桎梏于蚕茧一般的“蚕房”中的现象。人们的信息领域会习惯性被自己的兴趣引导，信息窄化带来了受众对信息接收的单一性，这种单一性的可能会使受众陷入循环，加重受众信息同质化。
4.1.3算法推送的“伪中立性”
客观和全面是新闻伦理的基本要求，新闻从业者必须从可好信息源来获取真实的信息，以客观的态度反应现实。我们惯常认为,互联网技术服务商是技术中立者,不需要承担约束大众媒体的社会责任，然而当信息把关人又新闻编辑转变为算法工程师，传统的媒介伦理似乎已经失效。算法具有商业倾向性，“中立性”是算法平台用以逃避媒体责任的理由，给大众媒介造成传播乱象，如此一来更像是一场算法平台“肆意妄为又不想负责”的诡辩。
算法平台的信息源是经过选择和过滤的，“头条号”的内容占“今日头条”整个信息系统的绝大部分，然而在“人人都可以做新闻人”的时代，头条号平台是一个开放的网络媒介环境，存在大量的偏见和错误的认知。无论是“今日头条”平台设立的算法规则，还是其他爬虫的抓取的关键词，算法系统的信息源很多是具有目的性的、有偏见和非客观的信息，所以信息源不能直接作用于用户。因此，筛选算法系统的信息源与传统的人工编辑相比较，范围极广且很难把关，若算法被恶意利用，那么使整个传播系统将会被轻易控制。
4.1.4算法推送里的“议程设置”
原议程设置功能揭示的重要内涵是：“受众对新闻的看法虽然被大众媒体议程设置功能所主导，但其更深刻的是议程设置给大众媒体新闻带来放大与延伸，从而使受众对新闻选择做出能动性修正，让受众在满足需求和媒介依赖中逐渐培养出的潜在认同感”。
推送算法技术在互联网平台的运用，使原来传统媒体主导的议程设置过程发生了变化，伴随着传播权的转移、公众参与度的提高和信息量剧增等原因导致议程设置功逐渐能减弱。过往传统新闻的内容是由编辑有选择地进行报道后再呈现在受众面前的，而个性化新闻推送是用户自己来选择看哪一方面的内容，而这一环节中，天然的技术赋权将传播权从传统媒体下放至平台的用户，使得受众和社会的连接无需依赖传统媒介，新闻媒体作为把关人的作用和议程设置功能都在减弱。
4.2算法新闻治理缺陷下的算法权利异化
算法作为人工智能的基石之一，是“一种有限、确定、有效并适合用计算机程序来实现的解决问题的方法,是计算机科学的基础”。近年来,伴随人工智能深度学习算法取得的重大突破和大数据时代的到来,人工智能的应用场景不断拓展，人工智能时代正逐渐从想象成为现实。借助于海量的大数据和具备强大计算能力的硬件设备,拥有深度学习算法的人工智能机器可以通过自主学习和强化训练来不断提升自身的能力,解决很多人类难以有效应对的治理难题。伴随人工能算法在国家和社会治理中重要性的日渐凸显,国家和社会对于算法的依赖也逐渐加深,一种新型的权力形态——算法权力也随之出现。
可以把算法权利分为四种：数据主权、算法设计权、研发的资本权和算法控制权。由于前三种权利都是单向的、算法开发者赋予算法的权利，是属于算法开发者的，与算法分发平台呈现的效果没有直接的影响，所以本文将着重论述算法控制权。
算法控制权是双向的，用户是算法技术数据行为的提供者，同时又是被算法技术控制的受害者。例如我们看到“今日头条”会通过推送算法来监管用户的发布和浏览行为，同时平台会通过算法决策系统来实现内容的发布去引导用户。算法控制权当然是一种天然技术赋予的权利，但算法控制权是在用户提供数据行为的情况下才得以实现的，因此算法控制权既存在内容生产权，同时有要尊重和保护算法相对人的义务。
正因为如此，算法技术被认为是一种双刃剑，一方面算法能够做出精准的行为预测，可以为管理者提供非常好的循环干预机制；对于公共行为主体来说，可以通过对大数据的应用来解决社会治理问题，对于私人主体来说可以借助数据来提供个性化和定制化的服务；另一方面，算法技术存在着诸如利益和风险不对称等问题，而且由于算法技术发展的超前性，新科技的创造者具备不对称的信息和技术优势，能够按照自身利益的需求来塑造在平台上的算法推送逻辑和社会系统，这带来了监管的不确定性。人们要通过集体行为去承担社会责任，通过这样的方式规制算法权利，可以让我们能够对算法分发系统的意义和价值得到更深刻的思考。
❺ 如何用java实现新闻采集
如果代码能力不是很好的话可以借助一些软件去抓取新闻的字段
把数据抓取下来以后可以选择存入数据库当中
需要去重的话，在Java的集合框架中就有HashSet和HashMap可以对数据去重
使用带Hash的集合时一定要注意，如果是存放自定义的对象一定要重写equals方法和HashCode方法
❻ java 对爬取到的N个新闻页面如何做统一解析，最终拿到新闻标题和内容，因为页面布局可能不一样
新闻页面不一样，那么布局就很可能不一样。你想统一处理，这个很难。
两种方案：
每个页面，外部传入标题，正文的xpath或者css path这样你根据传入的参数就可以动态抽取了，对于你来说就是统一处理，代码写起来简单。缺点就是上万个网站需要一一配置，很烦。
就是写一个新闻正文和标题自动抽取的算法，目前网上有不少这样的算法，有根据字数最多的一段内容来算的，有根据HTML标签来计算的等等，这样既不用外部手动配置，也不用你分开处理。缺点，既然是算法自动抽取，那么存在一个准确率的问题，没法保证100%正确，毕竟HTML的使用太灵活了，各种用法都有。