‘壹’ 百度搜索引擎的算法是怎样的
衡量网页质量的维度
网络搜索引擎在衡量网页质量时，会从以下三个维度综合考虑给出一个质量打分。下面会一一介绍这些影响网页质量判断的维度特征：
• 内容质量
• 浏览体验
• 可访问性
一个访问流畅，内容质量高且浏览体验好的网页具有较高的质量；反之，任何一个维度出现问题，都会影响网页的整体质量。下面我们具体介绍下这三个维度。
衡量网页质量的维度——内容质量
网页主体内容是网页的价值所在，是满足用户需求的前提基础。网络搜索引擎评价网页内容质量主要看其主体内容的好坏，以及主体内容是否可以让用户满意。 不同类型网页的主体内容不同，网络搜索引擎判断不同网页的内容价值时，需要关注的点也有区别，如：
• 首页：导航链接和推荐内容是否清晰、有效。
• 文章页：能否提供清晰完整的内容，图文并茂更佳。
• 商品页：是否提供了完整真实的商品信息和有效的购买入口。
• 问答页：是否提供了有参考价值的答案。
• 下载页：是否提供下载入口，是否有权限限制，资源是否有效。
• 文档页：是否可供用户阅读，是否有权限限制。
• 搜索结果页：搜索出来的结果是否与标题相关。
网络搜索引擎考量网页内容质量的维度非常多，最为重要的是：成本；内容完整；信息真实有效以及安全。下面我们通过举例来感受一下网络搜索引擎是如何对网页的内容质量进行分类的，请站长对比自己站点的页面，站在搜索引擎和用户的角度为自己打分：
1、内容质量好：
网络搜索引擎认为内容质量好的网页，花费了较多时间和精力编辑，倾注了编者的经验和专业知识；内容清晰、完整且丰富；资源有效且优质；信息真实有效；安全无毒；不含任何作弊行为和意图，对用户有较强的正收益。对这部分网页，网络搜索引擎会提高其展现在用户面前的机率。例如：
• 专业医疗机构发布的内容丰富的医疗专题页面；
• 资深工程师发布的完整解决某个技术问题的专业文章；
• 专业视频网站上，播放清晰流畅的正版电影或影视全集页面；
• 知名B2C网站上，一个完整有效的商品购买页；
• 权威新闻站原创或经过编辑整理的热点新闻报道；
• 经过网友认真编辑，内容丰富的词条；
• 问答网站内，回答的内容可以完美解决提问者的问题。
实例参考：
示例
内容质量
说明
case 3.1.1-1
好
专业医疗网站发布的丰富医疗专题页面
case 3.1.1-2
好
资深工程师发布的完整解决某个技术问题的专业文章
case 3.1.1-3
好
专业视频网站上，播放清晰流畅的正版影视全集页面
case 3.1.1-4
好
京东的一个完整有效的商品购买页
case 3.1.1-5
好
权威新闻站原创的热点新闻的报道
case 3.1.1-6
好
经过网友认真编辑，内容丰富的网络词条
case3.1.1-7
好
网络知道上，完美解决用户问题的问答页
2、内容质量中：
内容质量中等的网页往往能满足用户需求，但未花费较多时间和精力进行制作编辑，不能体现出编者的经验和专业知识；内容完整但并不丰富；资源有效但质量欠佳；信息虽真实有效但属采集得来；安全无毒；不含作弊行为和意图。在互联网中，中等质量网页其实是一个比较大的数量集合，种类面貌也繁杂多样，网络搜索引擎在评价这类网页时往往还要考虑其它非常多因素。在这里，我们仅部分举例来让各位感受一下：
• 论坛类网站里一个普通的帖子；
• 一个普通的问答网页；
• 没有进行任何编辑，直接转载其它网站的新闻；
• 无版权信息的普通电影播放页
• 采集知名小说网站的盗版小说页。
实例参考：
示例
内容质量
说明
case 3.1.2-1
中
网易直接转载了中国新闻网的一篇新闻。
case 3.1.2-2
中
文库上网友上传的“国庆放假安排”新闻
case 3.1.2-3
中
采集起点小说网的盗版小说站
case 3.1.2-4
中
网络贴吧里一个普通的帖子
3、内容质量差：
网络搜索引擎认为主体内容信息量较少，或无有效信息、信息失效过期的都属于内容质量差网页，对用户没有什么实质性的帮助，应该减少其展现的机会。同时，如果一个网站内该类网页的占比过大，也会影响网络搜索引擎对站点的评级，尤其是UGC网站、电商网站、黄页网站要尤其重视对过期、失效网页的管理。例如：
• 已下架的商品页，或已过期的团购页；
• 已过有效期的招聘、交易页面；
• 资源已失效，如视频已删除、软件下载后无法使用等。
4、没有内容质量可言：
没有内容质量可言的网页指那些制作成本很低，粗制滥造；从别处采集来的内容未经最起码的编辑整理即放置线上；挂木马等病毒；含有作弊行为或意图；完全不能满足用户需求，甚至含有欺骗内容的网页。例如：
• 内容空短，有很少量的内容，却不能支撑页面的主要意图；
• 问答页有问无答，或回答完全不能解决问题；
• 站内搜索结果页，但没有给出相关信息
除上述网页外，欺骗用户和搜索引擎的网页在无内容质量可言集合里占很高比例。网络搜索引擎对作弊网页的定义是：不以满足用户需求为目的，通过不正当手段欺骗用户和搜索引擎从而获利的网页。目前互联网上这部分网页还属少数，但作弊网页的价值是负向的，对用户的伤害非常大，对这类网页，搜索引擎持坚决打击态度。
衡量网页质量的维度——浏览体验
不同质量的网页带给用户的浏览体验会有很大差距，一个优质的网页给用户的浏览体验应该是正向的。用户希望看到干净、易阅读的网页，排版混乱、广告过多会影响用户对网页主体内容的获取。在网络搜索引擎网页质量体系中，用户对网页主体内容的获取成本与浏览体验呈反比，即获取成本越高，浏览体验越低。面对内容质量相近的网页，浏览体验佳者更容易获得更高的排位，而对于浏览体验差的网页，网络搜索引擎会视情况降低其展现的机率甚至拒绝收录。
影响用户浏览体验好坏的因素很多，目前网络搜索引擎主要从内容排版、广告影响两方面对网页进行考量：
内容排版：用户进入网页第一眼看到的就是内容排版，排版决定了用户对网页的第一印象，也决定了用户对内容获取的成本。
广告影响：网络搜索引擎理解网站的生存发展需要资金支持，对网页上放置正当广告持支持态度。网页应该以满足用户需求为主旨，最佳状态即“主体内容与广告一起满足用户需求，内容为主，广告为辅”，而不应让广告成为网页主体。
下面我们通过举例来感受一下网络搜索引擎是如何对网页的浏览体验进行分类的，站长可以据此对比检验自己站点的浏览体验如何：
1、浏览体验好：
页面布局合理，用户获取主体内容成本低，一般具有以下特征：
• 排版合理，版式美观，易于阅读和浏览；
• 用户需要的内容占据网页最重要位置；
• 能够通过页面标签或页面布局十分清楚地区分出哪些是广告；
• 广告不抢占主体内容位置，不阻碍用户对主要内容的获取；
实例参考：
示例
浏览体验
说明
case 3.2.1-1
好
招聘、房产等网站首页也有很多广告，但都是招聘相关的，浏览体验是ok的。
case 3.2.1-2
好
文章页，页面布局合理，无广告，排版好，结构合理
case 3.2.1-3
好
游戏首页，排版美观，布局合理，无广告，浏览体验优
2、浏览体验差：
页面布局和广告放置影响了用户对主体内容的获取，提高了用户获取信息的成本，令用户反感。包括但不仅限于以下情况：
• 正文内容不换行或不分段，用户阅读困难；
• 字体和背景颜色相近，内容辨别困难；
• 页面布局不合理，网页首屏看不到任何有价值的主体内容；
• 广告遮挡主体内容；或者在通用分辨率下，首屏都是广告，看不到主体内容；
• 弹窗广告过多；
• 影响阅读的浮动广告过多
• 点击链接时，出现预期之外的弹窗；
• 广告与内容混淆，不易区分；
衡量网页质量的维度——可访问性
用户希望快速地从搜索引擎获取到需要的信息，网络搜索引擎尽可能为用户提供能一次性直接获取所有信息的网页结果。网络搜索引擎认为不能直接获取到主体内容的网页对用户是不友好的，会视情况调整其展现机率。
网络搜索引擎会从正常打开、权限限制、有效性三方面判断网页的可访问性，对于可以正常访问的网页，可以参与正常排序；对于有权限限制的网页，再通过其它维度对其进行观察；对于失效网页，会降权其展现机制甚至从数据库中删除。
1、可正常访问的网页
无权限限制，能直接访问所有主体内容的网页。
2、有权限限制的网页
此类网页分为两种：打开权限和资源获取权限
1）打开权限：指打开网页都需要登录权限，没有权限完全无法看到具体内容，普通用户无法获取或获取成本很高，网络搜索引擎会降低其展现机率。不包括以登录为主要功能的网页。
2）资源获取权限：指获取网页主要内容，如文档、软件、视频等，需要权限或者需要安装插件才能获得完整内容。此时会分三种情况：
• 提供优质、正版内容的网站，由于内容建设成本很高，尽管查看全文或下载时需要权限或安装插件，但属于用户预期之内，网络搜索引擎也不认为权限行为对用户造成伤害，给予与正常可访问页面相同的对待。
• 对于一些非优质、非正版的资源，来自于用户转载甚至机器采集，本身成本较低，内容也不独特，用户获取资源还有权限限制——需要用户注册登录或者付费查看，网络搜索引擎会根据具体情况决定是否调整其展现。
• 还有一些视频、下载资源页，也许自身资源质量并不差，但需要安装非常冷门的插件才能正常访问，比如要求安装“xx大片播放器”，网络搜索引擎会怀疑其有恶意倾向。
实例参考：
示例
可访问性
说明
case 3.2-1
好
CNKI上的一篇论文，收费才能下载，但有版权，浏览体验好
case 3.2-2
好
优酷上一部新电影，需要付费才能观看，浏览体验好。
case 3.2-3
中
内容是来，但是需要登录才能看更多
case 3.2-4
差
入党申请书，本身就是转载的，网上到处都是，但这个页面仍然要求收费才能下载。
3、失效网页
往往指死链和主体资源失效的网页。网络搜索引擎认为这部分网页无法提供有价值信息，如果站点中此类网页过多，也会影响网络搜索引擎对其的收录和评级。建议站长对此类网页进行相应设置，并及时登录网络站长平台，使用死链提交工具告知网络搜索引擎。
失效网页包括但不仅限于：
• 404、403、503等网页；
• 程序代码报错网页；
• 打开后提示内容被删除，或因内容已不存在跳转到首页的网页；
• 被删除内容的论坛帖子，被删除的视频页面（多出现在UGC站点）
具体请参阅《网络搜索引擎网页质量白皮书》，望采纳！
‘贰’ PHP为什么会被认为是草根语言
从PHP诞生之日起，PHP就开始在Web应用方面为广大的程序员服务。同时，作为针对Web开发量身定制的脚本语言，PHP一直秉承简单、开源的思想，这也使得PHP得以快速的发展，并且大力地推动Web2.0的出现与发展。但是，长期以来，PHPer(PHP Programmers)被认为是处于草根阶层的程序员，被认为是技术含量少，层次低的程序员。这点在国内尤其突出。
记得一个技术主管说过这样一个事情。他给一个程序员分配了PHP的开发任务，没想到那个程序员居然说：“我是学Java出身的，你让我去写 PHP，你这不是在贬低我吗？”。这件事情给我印象很深、触动也很大。虽然这不能代表大部分程序员的看法，但是这么认为的人应该不少。还有人说，现在如果是大型的政府项目，PHP是肯定不会被列入考虑的范围之内的。
那么为什么PHPer会被认为是草根阶层，是因为它很简单，人人都可以学会，所以没什么难度吗？我以前也是这么认为。PHP入门很快，处理文件，数据，远程连接，网络编程都非常方便，官方也有这样的说法：PHP学习的成本很低，所以你容易去使用它。这个想法也是普遍的，甚至大部分的PHPer 自己都这样认为。
说到这里，我想大家就会想到我为什么要写这些文字。因为一年多的PHP推广工作让我了解到许许多多的使用PHP的公司的大概情况。在这些过程中我慢慢体会到其中的根本原因。这里我说是根本原因虽然是个人的看法，但是我觉得事实就是如此。
那么为什么PHPer会被看成草根阶层，根本原因是PHPer所作的事情(通过代码实现)的绝大部分都是表现层的东西，这个熟悉PHP的人都知道。当然也会有PHP会说他用MVC结构编写的某某框架具备的如何如何的功能。但是这些还是表现层。所以只会处理表现层的程序员就被看成草根阶层了。事实上也是如此，因为这种情况下PHP确实很难构造大型的应用。
这就找到原因了，不是的。为什么PHPer总是在负责表现层的东西呢。答案是底层的数据处理(Web应用就是数据存储和查找)我们一般不去触及。好，那么说到这里有些人可能已经想到了，那不就是数据库吗？对，就是数据库。让PHPer一直当草根的元兇就是数据库。为什么？
PHPer对MySQL的依赖过大
因为目前流行的web架构中，前端是负载均衡系统，中间是web服务器，后面是数据库服务器。所以，大部分PHPer工作在Web服务器层面。因为数据库已经很好地为我们组织数据了。所以PHP中没有太多的算法，而且大家潜意识下也觉得不需要，更何况会影响性能。
这种情况下，PHPer就成为了数据库使用者，他总是在操作数据库。而不是在做程序。一个最简单的PHP脚本就是，连接数据库，把数据取出来，然后用命令输出到浏览器。整个过程不超过10行代码。给人的感觉就是太简单了。没有任何技术含量。为什么了，因为数据处理部分都已经被数据库做完了。尤其是MySQL的使用。MySQL是免费的，所以大多数程序员可以自由地使用它，另外MySQL的速度够快了，所以做个PHP应用程序非常的简单。这就相当于给你枪以后你觉得没有必要学习武功一样。当然，我不是说枪没有武功好。而是说，枪的出现，小孩都可以轻松便捷地杀人了。
我们再详细说说为什么是数据库。这里我说一个例子。我去过北京一家非常着名的网站，当时我们还有一个比较资深的PHP程序员在那说些系统架构的事情。我记得当时那个程序员问大家一个数据结构中的算法问题的时候，全场没有一个人能答得出来(包括我)。然后那个程序员就开始给大家讲些很基础的数据结构的东西了。让我一下子回想到大学时候学的数据结构课。而这些基础的数据排序、查找、传递的问题在其他高级语言(比如C)是非常普遍的。但是在PHP没有。PHPchina.com的论坛也有个板块叫PHP的数据结构和算法。这个板块的帖子也是寥寥无几。
说到这里，大家明白了吧？大部分PHPer仅仅处理表现层的东西，而在MySQL的便捷使用下，PHPer几乎不用触及任何数据结构与算法的情况下完成大部分开发任务，所以一个才有上面的，没有一个PHP程序员能够回答出那道数据结构的问题，换成是C等语言，情况可能就大不相同了。是PHPer草根，才让PHP显得草根。
仔细回想下，目前网络上大家讨论的最多的是两个方面的问题。一个是PHP的类的使用(处理过程的封装)，还有一个是开发框架问题。但是我们仔细分析的话，发现这些所谓的PHP中比较复杂的概念里面没有数据处理。为什么，有数据库。用一个Adodb或者PHP5的PDO就可以搞定了。真的搞定了吗？不是，这些无非是在连接数据库，没有数据处理。所以PHPer似乎就没有什么可以拿出台面上的东西。
再说一个具体的代码问题，无级分类。这个概念我想大家都不会陌生了吧。我见过两种处理方式。第一个是地道的PHPer的处理方式，也是目前比较流行的。就是用数据库来处理。而且字段很少，只需要加个父类的字段并加以判断就行了。而且这个方法很实用。效率也高。但是这个不是数据处理的范畴了，而是数据库的查找。
第二个是C程序员用PHP写出来的，他把所有的分类信息都从数据库取出来，然后用数据结构算法进行排列分布，然后输出。
这里我们不对这两种方式的效率进行对比，我想大家都有各自的想法。但是我想说明一个问题，就是这两种做法的本质的区别。PHPer习惯性地用数据库来处理，而且有很巧的处理方式，效率也很高。这种方式就是数据库查询。而第二种方法是比较有特点的。他认为数据库就是存放数据的地方，具体的逻辑处理还要靠自己的逻辑。
因此，结论是第二种方法的使用者觉得自己强些，因为数据的逻辑是他组织的。并且觉得PHPer的那种做法无非就是会查询数据库罢了。所以他认为PHPer是草根级的，只懂得操作数据库和排列页面(smarty搞搞那种)。
让数据库回归本职工作
说到这里，我想大家都已经回忆了不少自己平时用PHP做开发的经历了吧，是否发现大家确实都在操作数据库呢。
那么我们来讨论下这个问题。数据库不好吗？为什么我一直用数据库处理数据都没有问题。我要说的是数据库是有问题的，而且有很大的问题。当然这里我并不是说不能用数据库，也不是在贬低数据库的性能。而是，我们没有充分认识到数据库所起到的作用。
我的想法源起于这样一个事情，有一次一个网站的技术总监问我，为什么他们的网站那么慢，要怎么办。当时，我的MSN里Zend总部的工程师正好在线，我就问他PHP响应比较慢了，怎么办？他当时直接告诉我，是数据库问题。肯定是数据库没有优化设计好。所以，我没有给那个技术总监确切的答案了，因为他们的数据库设计我们是不能涉及的。所以就给了大概的数据库优化的建议。这样的事情屡次发生，我就开始怀疑，为什么Zend总部的工程师每次都跟我说是数据库的问题呢，难道我们不能从PHP层面来解决这个问题吗？答案是不能。因为PHP目前的运行速度已经是很快了，通过Zend的性能分析也能看到一个用户的点击，PHP的运行时间只有10%不到，那PHP在干吗？它在等。等数据库的查询结果。这个方面在目前的PHP产品中有了很大的提高，那就是 Caching和网页静态化两个方案。
Caching可能大家会比较陌生，但是网页静态化现在连PHP产品的用户都非常清楚了。速度快、容易被搜索到等等，好处不言而喻。开玩笑地说，现在网站的主页实现网页静态化只需要硬盘足够大。J至于Caching就比较复杂些，也是大多数PHPer感到头疼的地方。甚至于有些人会用C来实现。因为Caching中的数据有效期验证、查找、提取、更新等等都是比较难处理。当然，也有人会用数据库来处理 Caching问题。
所以，当访问量激增的时候，PHP架构的网站会出现的很多问题都因数据库而起。数据库的同步问题还不算什么。关键是数据库的响应速度会有指数级的降低。这个问题我在10月23号LAMP发布会的时候问过MySQL的副总裁。他当时也没有给我比较完美的答案(这也我的意料之中)，因为数据库总会有瓶颈的，除非是神仙数据库，哈哈!
这里有个题外话，LAMP大会的时候我跟Yahoo的一个技术高管聊的时候，我问他Yahoo在选择MySQL还是Oracle的时候是怎么考虑，他的答案令我非常惊讶。他说大部分的时候我们是会用MySQL的，因为它的性能已经达到我们的要求。但是什么时候我们会选用Oracle呢，就是当我们需要存储收费用户的数据的时候。我就问为什么，难道Oracle比MySQL稳定吗？他说，这个倒没有特别考虑。关键是如果使用Oracle的话，当出现问题的时候我们可以找到负责人，Oracle会负责事故的处理，但是如果用MySQL的话，我们找谁去?
所以，我们对数据库的看法应该纠正过来，就是说数据库不是万能的。如果有实力的话自己开发数据库。听说Google就是那样的。
那么我们怎么看待数据库呢？我个人的理解是数据库只是用来降低开发成本的手段。因为采用数据库以后我们不需要考虑数据的存储，尤其是排序和查找。但是这会带来什么问题呢？就是当业务膨胀的时候，数据库就成为瓶颈了。这个时候问题就会非常棘手。因为这个是底层的数据处理。牵一发而动全身。
所以我认为正确的观点是，数据库是一个数据备份机。怎么理解，我们只需要保证数据的存储有效性就行了。而这本来就是数据库的核心功能，只不过因为数据库的方便的排序等功能让大家把过多的处理都交给数据库来操作了。一个用户的点击PHP就把一大堆的任务交给数据库，然后把结果排列下给用户就完事了。这对数据库是不公平的。也是因此大家开始抱怨数据库的性能了。
针对这个观点，我们再举个例子，有一次我去拜访一个大型的网络公司(基本上国内只要上过互联网的都知道)，他们使用PHP很少，但是我了解到他们其它业务是怎么使用数据库。他们自豪地跟我介绍说他们在数据库的外围有个第二数据库(我这里起名叫第二数据库)。为什么叫第二数据库呢，原来它是一个缓存系统。那么开发工程师怎么去这个缓存系统获取数据呢？那个技术总监自豪地说，他们这个缓存系统有SQL查询语句。我当时很惊讶，但是后来想想确实需要这个。因为当你的缓存系统达到一定量级的时候从缓存获取数据都非常复杂，干脆写个SQL查询语句让缓存系统分析、处理并返回数据。而且他们告诉我，在他们那里，就算是用PHP的话也是让PHP去那个缓存系统读取数据。
所以说，如果你能处理好这样的问题的话，把数据存放在数据库，然后数据库只起到备份的作用。然后你用自己的中间层来处理分析数据，效果是90% 以上的用户不访问数据库。有人就会说了，这不就类似连接池的东西吗？是的，因为数据库的瓶颈是无法解决的，我们只能在Web服务器和数据库中间加个中间层来做缓冲。
可能大家会说了，切，这个我们早就知道了。那好，这里我要说的是它引发的两点思考：
第一，有些语言已经有连接池技术的基础上，那些程序员可以方便地使用连接池而构建大型应用。那么如果他们认为 PHPer只会是用数据库，那么我们是不是可以说他们只会是用连接池呢？连接池和数据库在这个概念上有何区别？
第二，当PHPer开始构建自己的缓存系统的时候，他是不是突破了PHPer只会是用数据库的层次？因为他参与了数据逻辑的处理工作。那么他还是草根吗？
最后，懂得独立思考的PHPer不是草根，什么事情都丢给数据库去做的才是。