1. 百度算法
收录规则
要想有排名的前提下是收录，要向收录的前提下是有内容，所以很多网站内容太单一是很难被收录，但也有网站明显有内容就是不收录的，我是这样理解收录的。
抓取：网络收录一个网站或页面的前提是网站被网络抓取过，也就是网络的机器来过你的站点，来你站点的前提是有一个入口，网络的入口有三个，第一自己提交、第二SEO外链、第三浏览器。浏览器大家可能不是很明白，当你的网站刚刚建立后，没有人知道你的建站建立好了，自然网络也不会知道，唯一知道的就是你自己了，如果你使用网络浏览器打开你的网站，这也就意味着，网络浏览器已经知道了这个站点的存在，数据也就交给了网络搜索引擎，从而达到了抓取的效果。光抓取还是不够的，不一定所有的内容都会被网络收录，所以他们收录也是要判断内容标准。
识别：抓取了一个页面，肯定是有内容的，如果说没有内容是很难被收录的，什么是没有内容的页面呢，比如登录注册页面，这类页面是属于有内容没有意义的页面。直接会被列入到空白页面，想这类页面，我们的网站还是非常多的，比如：关于我们、联系我们之类的页面。
所以页面肯定得有内容，并且是可识别的内容，什么叫可识别的内容，就是文字内容，网络搜索引擎是机器在识别，当遇到视频、图片、flash的时候，他们不知道视频、图片里面展现的内容是什么，所以无法识别，所以前期最好还是以文字为主。
释放：最终才考虑到释放出来，如果释放出来后，这个时候你可以通过网络搜索你的URL，释放你的页面也是需要有条件的。
首先会判断你的页面站外推荐很多，这也就意味着这个页面是高质量的页面才会被站外推荐，容易被收录，其次是被站内推荐，这也意味着是这个页面是高质量页面才会被站内推荐。说白了，要向释放出来的内容，绝对是高质量的内容，除非发生了下面这种情况。
最容易被收录的内容绝对是互联网新闻源最多的内容，说白了就是抄袭者很多的内容是最容易被收录的。这个时候太多人不容易理解了，抄袭越多越容易被收录?
新闻内容是具有时效性的，当一篇新闻发布以后，马上就有很多媒体转载你的内容，而网络机器识别出来，很多新闻源有同样的内容，也就被列入了新闻的话题页面，从而这方面的内容收录也就非常简单了，不会等一天或几天后才收录，如果过几天才收录，这个新闻内容已经过时了，自然也就影响了网络的体验。
排名规则
参与排名的规则并没有想象中那么复杂，听到这位大哥分析了以后，自认为有一定的价值，其实无非就几个方面解决排名问题。
得分规则：得分规则是根据一个网站的总体信誉度，比如网站的原创度、网站的停留时间、网站的跳出率、网站的打开速度、网站图片的处理、网站代码的优化等综合判断，总体被称为得分规则。
点击规则：当你网站信誉度达到一个基础标准后，你网站会出现一些非常长尾的关键词，可能关键词排名并没有在首页，这个时候就是根据点击率的规则来计算排名的。如下图所示，当一个关键词展现量和点击率达到一个比例后，你的排名就会上前一个等级。而这个比例是根据用户的点击来计算的，并非网络定义的，比如搜索“翻墙”这个关键词，排名第二的网页比第一的点击率还高，自然排名第二的页面会会给他排名第一。
链接规则：当你的一篇文章被站外链接过多推荐，这意味着这篇文章价值非常大，不然对方不会推荐，另外也被站内推荐多次，这也意味着这篇文章价值非常大，所以链接的规则就非常简单的，但是由于网络绿萝算法一直在打击垃圾外链，所以在链接上，最好还是自然链接比较安全。
网络算法规则
本不相信网络的算法有那样的神奇，但是网络确针对这一系列的算法做出了公告与K站降权的举动，不得不让我仔细分析网络算法的原理，以下几个算法仅为我个人推测。
网络绿萝算法：我一直不相信网络绿萝算法竟然可以算出来你的链接是否购买的，但是实际网络却做到了，其中主要原理还是根据一个网站对另一个网站的链接判断，是否有反向链接、链接个数来进行判断。
网络石榴算法：石榴算法主要打击的对象为低质量页面，其中网络蜘蛛主要是根据网站html代码来抓取的，并且搜索引擎根据文章的标签(包含排版)、重复读来进行判断网站的质量。
网络星火计划：星火计划的原计划是为了打击抄袭者，其星火计划的原理非常简单了，也就是判断重复读来决定网站是否抄袭，同时网络蜘蛛也肯定了自己的抓取程序，目前正在往每一个网站时刻爬取靠拢。
2. 怎么使用python爬取百度网的数据
档案系统初期算是告一段落了，利用一点时间继续爬取POI。和领导聊聊，受益匪浅。之前我的想法是爬取一份poi数据，直接能用；而领导听了之后，觉得更好的方式是爬取多个渠道来源的POI数据，然后做一个数据比较融合（最终事情能不能成不好说，但是经过这么一回，细节技术上有所提高，宏观把控整体项目流程能力有所长进，更重要的是通过和能人交流，以更高的眼界更宏观的看待数据、应用以及问题，这就是成长）。 我之前采用的方式，可以满足需求，但是POI数据获取效率差一些（虽然已经很快，但是相比本文这种还是慢一些）、数据现势性不好，高德数据和网络数据虽然是两套，但是仅仅是坐标不同（所以显然还是一套）。所以，我加一种方式来爬取网络poi。
一 调研： 网络API提供了一个叫Place API获取poi的接口，有个城市内检索 实例为
ce/v2/search?query=银行&page_size=10&page_num=0&scope=1®ion=北京&output=json&ak={您的密钥}
它返回的是个json类型数据，一个区域最大返回数为400，每页最大返回数为20。显然一个城市内不管什么类别的poi，不可能只有400个，会遗漏数据，故舍去
还有一个矩形区域检索，实例为
u.com/place/v2/search?query=美食&page_size=10&page_num=0&scope=1&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥}只要区域划分得当，这个可以使用
二 要解决的问题
1 区域划分
网上有人通过递归写代码的方式来划分，这样划分有问题，第一，划分的区域不能完全对应一个城市的市区；第二，算法设计比较麻烦。解决办法，后面详细说。
2 类别问题
网络API的接口必须要指定query的类别，那么如果类别指定不准，或者类别不全，根本无法完成爬取一个城市所有poi的任务。解决办法，说实话，这个问题在我做这件事情的时候，
十分棘手，不过我最终找到了这个网页
/index.php?title=lbscloud/poitags，一切都不是问题了
三 整体流程
1 区域划分，2km*2km的区域基本可以满足需求，获取每个区域的对角坐标（经纬度），逐行写入一个txt文本里
2 爬虫程序编写 读取1中的txt文本，逐行循环；调用网络API接口，爬取json；将爬取的数据存入数据库中； 每个类别跑一次程序
3 爬下的POI数据处理 poi显示，投影坐标转换，与地图叠加
后文将详细介绍流程
3. 百度搜索引擎的算法是怎样的
衡量网页质量的维度
网络搜索引擎在衡量网页质量时，会从以下三个维度综合考虑给出一个质量打分。下面会一一介绍这些影响网页质量判断的维度特征：
• 内容质量
• 浏览体验
• 可访问性
一个访问流畅，内容质量高且浏览体验好的网页具有较高的质量；反之，任何一个维度出现问题，都会影响网页的整体质量。下面我们具体介绍下这三个维度。
衡量网页质量的维度——内容质量
网页主体内容是网页的价值所在，是满足用户需求的前提基础。网络搜索引擎评价网页内容质量主要看其主体内容的好坏，以及主体内容是否可以让用户满意。 不同类型网页的主体内容不同，网络搜索引擎判断不同网页的内容价值时，需要关注的点也有区别，如：
• 首页：导航链接和推荐内容是否清晰、有效。
• 文章页：能否提供清晰完整的内容，图文并茂更佳。
• 商品页：是否提供了完整真实的商品信息和有效的购买入口。
• 问答页：是否提供了有参考价值的答案。
• 下载页：是否提供下载入口，是否有权限限制，资源是否有效。
• 文档页：是否可供用户阅读，是否有权限限制。
• 搜索结果页：搜索出来的结果是否与标题相关。
网络搜索引擎考量网页内容质量的维度非常多，最为重要的是：成本；内容完整；信息真实有效以及安全。下面我们通过举例来感受一下网络搜索引擎是如何对网页的内容质量进行分类的，请站长对比自己站点的页面，站在搜索引擎和用户的角度为自己打分：
1、内容质量好：
网络搜索引擎认为内容质量好的网页，花费了较多时间和精力编辑，倾注了编者的经验和专业知识；内容清晰、完整且丰富；资源有效且优质；信息真实有效；安全无毒；不含任何作弊行为和意图，对用户有较强的正收益。对这部分网页，网络搜索引擎会提高其展现在用户面前的机率。例如：
• 专业医疗机构发布的内容丰富的医疗专题页面；
• 资深工程师发布的完整解决某个技术问题的专业文章；
• 专业视频网站上，播放清晰流畅的正版电影或影视全集页面；
• 知名B2C网站上，一个完整有效的商品购买页；
• 权威新闻站原创或经过编辑整理的热点新闻报道；
• 经过网友认真编辑，内容丰富的词条；
• 问答网站内，回答的内容可以完美解决提问者的问题。
实例参考：
示例
内容质量
说明
case 3.1.1-1
好
专业医疗网站发布的丰富医疗专题页面
case 3.1.1-2
好
资深工程师发布的完整解决某个技术问题的专业文章
case 3.1.1-3
好
专业视频网站上，播放清晰流畅的正版影视全集页面
case 3.1.1-4
好
京东的一个完整有效的商品购买页
case 3.1.1-5
好
权威新闻站原创的热点新闻的报道
case 3.1.1-6
好
经过网友认真编辑，内容丰富的网络词条
case3.1.1-7
好
网络知道上，完美解决用户问题的问答页
2、内容质量中：
内容质量中等的网页往往能满足用户需求，但未花费较多时间和精力进行制作编辑，不能体现出编者的经验和专业知识；内容完整但并不丰富；资源有效但质量欠佳；信息虽真实有效但属采集得来；安全无毒；不含作弊行为和意图。在互联网中，中等质量网页其实是一个比较大的数量集合，种类面貌也繁杂多样，网络搜索引擎在评价这类网页时往往还要考虑其它非常多因素。在这里，我们仅部分举例来让各位感受一下：
• 论坛类网站里一个普通的帖子；
• 一个普通的问答网页；
• 没有进行任何编辑，直接转载其它网站的新闻；
• 无版权信息的普通电影播放页
• 采集知名小说网站的盗版小说页。
实例参考：
示例
内容质量
说明
case 3.1.2-1
中
网易直接转载了中国新闻网的一篇新闻。
case 3.1.2-2
中
文库上网友上传的“国庆放假安排”新闻
case 3.1.2-3
中
采集起点小说网的盗版小说站
case 3.1.2-4
中
网络贴吧里一个普通的帖子
3、内容质量差：
网络搜索引擎认为主体内容信息量较少，或无有效信息、信息失效过期的都属于内容质量差网页，对用户没有什么实质性的帮助，应该减少其展现的机会。同时，如果一个网站内该类网页的占比过大，也会影响网络搜索引擎对站点的评级，尤其是UGC网站、电商网站、黄页网站要尤其重视对过期、失效网页的管理。例如：
• 已下架的商品页，或已过期的团购页；
• 已过有效期的招聘、交易页面；
• 资源已失效，如视频已删除、软件下载后无法使用等。
4、没有内容质量可言：
没有内容质量可言的网页指那些制作成本很低，粗制滥造；从别处采集来的内容未经最起码的编辑整理即放置线上；挂木马等病毒；含有作弊行为或意图；完全不能满足用户需求，甚至含有欺骗内容的网页。例如：
• 内容空短，有很少量的内容，却不能支撑页面的主要意图；
• 问答页有问无答，或回答完全不能解决问题；
• 站内搜索结果页，但没有给出相关信息
除上述网页外，欺骗用户和搜索引擎的网页在无内容质量可言集合里占很高比例。网络搜索引擎对作弊网页的定义是：不以满足用户需求为目的，通过不正当手段欺骗用户和搜索引擎从而获利的网页。目前互联网上这部分网页还属少数，但作弊网页的价值是负向的，对用户的伤害非常大，对这类网页，搜索引擎持坚决打击态度。
衡量网页质量的维度——浏览体验
不同质量的网页带给用户的浏览体验会有很大差距，一个优质的网页给用户的浏览体验应该是正向的。用户希望看到干净、易阅读的网页，排版混乱、广告过多会影响用户对网页主体内容的获取。在网络搜索引擎网页质量体系中，用户对网页主体内容的获取成本与浏览体验呈反比，即获取成本越高，浏览体验越低。面对内容质量相近的网页，浏览体验佳者更容易获得更高的排位，而对于浏览体验差的网页，网络搜索引擎会视情况降低其展现的机率甚至拒绝收录。
影响用户浏览体验好坏的因素很多，目前网络搜索引擎主要从内容排版、广告影响两方面对网页进行考量：
内容排版：用户进入网页第一眼看到的就是内容排版，排版决定了用户对网页的第一印象，也决定了用户对内容获取的成本。
广告影响：网络搜索引擎理解网站的生存发展需要资金支持，对网页上放置正当广告持支持态度。网页应该以满足用户需求为主旨，最佳状态即“主体内容与广告一起满足用户需求，内容为主，广告为辅”，而不应让广告成为网页主体。
下面我们通过举例来感受一下网络搜索引擎是如何对网页的浏览体验进行分类的，站长可以据此对比检验自己站点的浏览体验如何：
1、浏览体验好：
页面布局合理，用户获取主体内容成本低，一般具有以下特征：
• 排版合理，版式美观，易于阅读和浏览；
• 用户需要的内容占据网页最重要位置；
• 能够通过页面标签或页面布局十分清楚地区分出哪些是广告；
• 广告不抢占主体内容位置，不阻碍用户对主要内容的获取；
实例参考：
示例
浏览体验
说明
case 3.2.1-1
好
招聘、房产等网站首页也有很多广告，但都是招聘相关的，浏览体验是ok的。
case 3.2.1-2
好
文章页，页面布局合理，无广告，排版好，结构合理
case 3.2.1-3
好
游戏首页，排版美观，布局合理，无广告，浏览体验优
2、浏览体验差：
页面布局和广告放置影响了用户对主体内容的获取，提高了用户获取信息的成本，令用户反感。包括但不仅限于以下情况：
• 正文内容不换行或不分段，用户阅读困难；
• 字体和背景颜色相近，内容辨别困难；
• 页面布局不合理，网页首屏看不到任何有价值的主体内容；
• 广告遮挡主体内容；或者在通用分辨率下，首屏都是广告，看不到主体内容；
• 弹窗广告过多；
• 影响阅读的浮动广告过多
• 点击链接时，出现预期之外的弹窗；
• 广告与内容混淆，不易区分；
衡量网页质量的维度——可访问性
用户希望快速地从搜索引擎获取到需要的信息，网络搜索引擎尽可能为用户提供能一次性直接获取所有信息的网页结果。网络搜索引擎认为不能直接获取到主体内容的网页对用户是不友好的，会视情况调整其展现机率。
网络搜索引擎会从正常打开、权限限制、有效性三方面判断网页的可访问性，对于可以正常访问的网页，可以参与正常排序；对于有权限限制的网页，再通过其它维度对其进行观察；对于失效网页，会降权其展现机制甚至从数据库中删除。
1、可正常访问的网页
无权限限制，能直接访问所有主体内容的网页。
2、有权限限制的网页
此类网页分为两种：打开权限和资源获取权限
1）打开权限：指打开网页都需要登录权限，没有权限完全无法看到具体内容，普通用户无法获取或获取成本很高，网络搜索引擎会降低其展现机率。不包括以登录为主要功能的网页。
2）资源获取权限：指获取网页主要内容，如文档、软件、视频等，需要权限或者需要安装插件才能获得完整内容。此时会分三种情况：
• 提供优质、正版内容的网站，由于内容建设成本很高，尽管查看全文或下载时需要权限或安装插件，但属于用户预期之内，网络搜索引擎也不认为权限行为对用户造成伤害，给予与正常可访问页面相同的对待。
• 对于一些非优质、非正版的资源，来自于用户转载甚至机器采集，本身成本较低，内容也不独特，用户获取资源还有权限限制——需要用户注册登录或者付费查看，网络搜索引擎会根据具体情况决定是否调整其展现。
• 还有一些视频、下载资源页，也许自身资源质量并不差，但需要安装非常冷门的插件才能正常访问，比如要求安装“xx大片播放器”，网络搜索引擎会怀疑其有恶意倾向。
实例参考：
示例
可访问性
说明
case 3.2-1
好
CNKI上的一篇论文，收费才能下载，但有版权，浏览体验好
case 3.2-2
好
优酷上一部新电影，需要付费才能观看，浏览体验好。
case 3.2-3
中
内容是来，但是需要登录才能看更多
case 3.2-4
差
入党申请书，本身就是转载的，网上到处都是，但这个页面仍然要求收费才能下载。
3、失效网页
往往指死链和主体资源失效的网页。网络搜索引擎认为这部分网页无法提供有价值信息，如果站点中此类网页过多，也会影响网络搜索引擎对其的收录和评级。建议站长对此类网页进行相应设置，并及时登录网络站长平台，使用死链提交工具告知网络搜索引擎。
失效网页包括但不仅限于：
• 404、403、503等网页；
• 程序代码报错网页；
• 打开后提示内容被删除，或因内容已不存在跳转到首页的网页；
• 被删除内容的论坛帖子，被删除的视频页面（多出现在UGC站点）
具体请参阅《网络搜索引擎网页质量白皮书》，望采纳！