『壹』 百度搜索引擎的演算法是怎樣的
衡量網頁質量的維度
網路搜索引擎在衡量網頁質量時，會從以下三個維度綜合考慮給出一個質量打分。下面會一一介紹這些影響網頁質量判斷的維度特徵：
• 內容質量
• 瀏覽體驗
• 可訪問性
一個訪問流暢，內容質量高且瀏覽體驗好的網頁具有較高的質量；反之，任何一個維度出現問題，都會影響網頁的整體質量。下面我們具體介紹下這三個維度。
衡量網頁質量的維度——內容質量
網頁主體內容是網頁的價值所在，是滿足用戶需求的前提基礎。網路搜索引擎評價網頁內容質量主要看其主體內容的好壞，以及主體內容是否可以讓用戶滿意。 不同類型網頁的主體內容不同，網路搜索引擎判斷不同網頁的內容價值時，需要關注的點也有區別，如：
• 首頁：導航鏈接和推薦內容是否清晰、有效。
• 文章頁：能否提供清晰完整的內容，圖文並茂更佳。
• 商品頁：是否提供了完整真實的商品信息和有效的購買入口。
• 問答頁：是否提供了有參考價值的答案。
• 下載頁：是否提供下載入口，是否有許可權限制，資源是否有效。
• 文檔頁：是否可供用戶閱讀，是否有許可權限制。
• 搜索結果頁：搜索出來的結果是否與標題相關。
網路搜索引擎考量網頁內容質量的維度非常多，最為重要的是：成本；內容完整；信息真實有效以及安全。下面我們通過舉例來感受一下網路搜索引擎是如何對網頁的內容質量進行分類的，請站長對比自己站點的頁面，站在搜索引擎和用戶的角度為自己打分：
1、內容質量好：
網路搜索引擎認為內容質量好的網頁，花費了較多時間和精力編輯，傾注了編者的經驗和專業知識；內容清晰、完整且豐富；資源有效且優質；信息真實有效；安全無毒；不含任何作弊行為和意圖，對用戶有較強的正收益。對這部分網頁，網路搜索引擎會提高其展現在用戶面前的機率。例如：
• 專業醫療機構發布的內容豐富的醫療專題頁面；
• 資深工程師發布的完整解決某個技術問題的專業文章；
• 專業視頻網站上，播放清晰流暢的正版電影或影視全集頁面；
• 知名B2C網站上，一個完整有效的商品購買頁；
• 權威新聞站原創或經過編輯整理的熱點新聞報道；
• 經過網友認真編輯，內容豐富的詞條；
• 問答網站內，回答的內容可以完美解決提問者的問題。
實例參考：
示例
內容質量
說明
case 3.1.1-1
好
專業醫療網站發布的豐富醫療專題頁面
case 3.1.1-2
好
資深工程師發布的完整解決某個技術問題的專業文章
case 3.1.1-3
好
專業視頻網站上，播放清晰流暢的正版影視全集頁面
case 3.1.1-4
好
京東的一個完整有效的商品購買頁
case 3.1.1-5
好
權威新聞站原創的熱點新聞的報道
case 3.1.1-6
好
經過網友認真編輯，內容豐富的網路詞條
case3.1.1-7
好
網路知道上，完美解決用戶問題的問答頁
2、內容質量中：
內容質量中等的網頁往往能滿足用戶需求，但未花費較多時間和精力進行製作編輯，不能體現出編者的經驗和專業知識；內容完整但並不豐富；資源有效但質量欠佳；信息雖真實有效但屬採集得來；安全無毒；不含作弊行為和意圖。在互聯網中，中等質量網頁其實是一個比較大的數量集合，種類面貌也繁雜多樣，網路搜索引擎在評價這類網頁時往往還要考慮其它非常多因素。在這里，我們僅部分舉例來讓各位感受一下：
• 論壇類網站里一個普通的帖子；
• 一個普通的問答網頁；
• 沒有進行任何編輯，直接轉載其它網站的新聞；
• 無版權信息的普通電影播放頁
• 採集知名小說網站的盜版小說頁。
實例參考：
示例
內容質量
說明
case 3.1.2-1
中
網易直接轉載了中國新聞網的一篇新聞。
case 3.1.2-2
中
文庫上網友上傳的「國慶放假安排」新聞
case 3.1.2-3
中
採集起點小說網的盜版小說站
case 3.1.2-4
中
網路貼吧里一個普通的帖子
3、內容質量差：
網路搜索引擎認為主體內容信息量較少，或無有效信息、信息失效過期的都屬於內容質量差網頁，對用戶沒有什麼實質性的幫助，應該減少其展現的機會。同時，如果一個網站內該類網頁的佔比過大，也會影響網路搜索引擎對站點的評級，尤其是UGC網站、電商網站、黃頁網站要尤其重視對過期、失效網頁的管理。例如：
• 已下架的商品頁，或已過期的團購頁；
• 已過有效期的招聘、交易頁面；
• 資源已失效，如視頻已刪除、軟體下載後無法使用等。
4、沒有內容質量可言：
沒有內容質量可言的網頁指那些製作成本很低，粗製濫造；從別處採集來的內容未經最起碼的編輯整理即放置線上；掛木馬等病毒；含有作弊行為或意圖；完全不能滿足用戶需求，甚至含有欺騙內容的網頁。例如：
• 內容空短，有很少量的內容，卻不能支撐頁面的主要意圖；
• 問答頁有問無答，或回答完全不能解決問題；
• 站內搜索結果頁，但沒有給出相關信息
除上述網頁外，欺騙用戶和搜索引擎的網頁在無內容質量可言集合里占很高比例。網路搜索引擎對作弊網頁的定義是：不以滿足用戶需求為目的，通過不正當手段欺騙用戶和搜索引擎從而獲利的網頁。目前互聯網上這部分網頁還屬少數，但作弊網頁的價值是負向的，對用戶的傷害非常大，對這類網頁，搜索引擎持堅決打擊態度。
衡量網頁質量的維度——瀏覽體驗
不同質量的網頁帶給用戶的瀏覽體驗會有很大差距，一個優質的網頁給用戶的瀏覽體驗應該是正向的。用戶希望看到干凈、易閱讀的網頁，排版混亂、廣告過多會影響用戶對網頁主體內容的獲取。在網路搜索引擎網頁質量體系中，用戶對網頁主體內容的獲取成本與瀏覽體驗呈反比，即獲取成本越高，瀏覽體驗越低。面對內容質量相近的網頁，瀏覽體驗佳者更容易獲得更高的排位，而對於瀏覽體驗差的網頁，網路搜索引擎會視情況降低其展現的機率甚至拒絕收錄。
影響用戶瀏覽體驗好壞的因素很多，目前網路搜索引擎主要從內容排版、廣告影響兩方面對網頁進行考量：
內容排版：用戶進入網頁第一眼看到的就是內容排版，排版決定了用戶對網頁的第一印象，也決定了用戶對內容獲取的成本。
廣告影響：網路搜索引擎理解網站的生存發展需要資金支持，對網頁上放置正當廣告持支持態度。網頁應該以滿足用戶需求為主旨，最佳狀態即「主體內容與廣告一起滿足用戶需求，內容為主，廣告為輔」，而不應讓廣告成為網頁主體。
下面我們通過舉例來感受一下網路搜索引擎是如何對網頁的瀏覽體驗進行分類的，站長可以據此對比檢驗自己站點的瀏覽體驗如何：
1、瀏覽體驗好：
頁面布局合理，用戶獲取主體內容成本低，一般具有以下特徵：
• 排版合理，版式美觀，易於閱讀和瀏覽；
• 用戶需要的內容占據網頁最重要位置；
• 能夠通過頁面標簽或頁面布局十分清楚地區分出哪些是廣告；
• 廣告不搶佔主體內容位置，不阻礙用戶對主要內容的獲取；
實例參考：
示例
瀏覽體驗
說明
case 3.2.1-1
好
招聘、房產等網站首頁也有很多廣告，但都是招聘相關的，瀏覽體驗是ok的。
case 3.2.1-2
好
文章頁，頁面布局合理，無廣告，排版好，結構合理
case 3.2.1-3
好
游戲首頁，排版美觀，布局合理，無廣告，瀏覽體驗優
2、瀏覽體驗差：
頁面布局和廣告放置影響了用戶對主體內容的獲取，提高了用戶獲取信息的成本，令用戶反感。包括但不僅限於以下情況：
• 正文內容不換行或不分段，用戶閱讀困難；
• 字體和背景顏色相近，內容辨別困難；
• 頁面布局不合理，網頁首屏看不到任何有價值的主體內容；
• 廣告遮擋主體內容；或者在通用解析度下，首屏都是廣告，看不到主體內容；
• 彈窗廣告過多；
• 影響閱讀的浮動廣告過多
• 點擊鏈接時，出現預期之外的彈窗；
• 廣告與內容混淆，不易區分；
衡量網頁質量的維度——可訪問性
用戶希望快速地從搜索引擎獲取到需要的信息，網路搜索引擎盡可能為用戶提供能一次性直接獲取所有信息的網頁結果。網路搜索引擎認為不能直接獲取到主體內容的網頁對用戶是不友好的，會視情況調整其展現機率。
網路搜索引擎會從正常打開、許可權限制、有效性三方面判斷網頁的可訪問性，對於可以正常訪問的網頁，可以參與正常排序；對於有許可權限制的網頁，再通過其它維度對其進行觀察；對於失效網頁，會降權其展現機制甚至從資料庫中刪除。
1、可正常訪問的網頁
無許可權限制，能直接訪問所有主體內容的網頁。
2、有許可權限制的網頁
此類網頁分為兩種：打開許可權和資源獲取許可權
1）打開許可權：指打開網頁都需要登錄許可權，沒有許可權完全無法看到具體內容，普通用戶無法獲取或獲取成本很高，網路搜索引擎會降低其展現機率。不包括以登錄為主要功能的網頁。
2）資源獲取許可權：指獲取網頁主要內容，如文檔、軟體、視頻等，需要許可權或者需要安裝插件才能獲得完整內容。此時會分三種情況：
• 提供優質、正版內容的網站，由於內容建設成本很高，盡管查看全文或下載時需要許可權或安裝插件，但屬於用戶預期之內，網路搜索引擎也不認為許可權行為對用戶造成傷害，給予與正常可訪問頁面相同的對待。
• 對於一些非優質、非正版的資源，來自於用戶轉載甚至機器採集，本身成本較低，內容也不獨特，用戶獲取資源還有許可權限制——需要用戶注冊登錄或者付費查看，網路搜索引擎會根據具體情況決定是否調整其展現。
• 還有一些視頻、下載資源頁，也許自身資源質量並不差，但需要安裝非常冷門的插件才能正常訪問，比如要求安裝「xx大片播放器」，網路搜索引擎會懷疑其有惡意傾向。
實例參考：
示例
可訪問性
說明
case 3.2-1
好
CNKI上的一篇論文，收費才能下載，但有版權，瀏覽體驗好
case 3.2-2
好
優酷上一部新電影，需要付費才能觀看，瀏覽體驗好。
case 3.2-3
中
內容是來，但是需要登錄才能看更多
case 3.2-4
差
入黨申請書，本身就是轉載的，網上到處都是，但這個頁面仍然要求收費才能下載。
3、失效網頁
往往指死鏈和主體資源失效的網頁。網路搜索引擎認為這部分網頁無法提供有價值信息，如果站點中此類網頁過多，也會影響網路搜索引擎對其的收錄和評級。建議站長對此類網頁進行相應設置，並及時登錄網路站長平台，使用死鏈提交工具告知網路搜索引擎。
失效網頁包括但不僅限於：
• 404、403、503等網頁；
• 程序代碼報錯網頁；
• 打開後提示內容被刪除，或因內容已不存在跳轉到首頁的網頁；
• 被刪除內容的論壇帖子，被刪除的視頻頁面（多出現在UGC站點）
具體請參閱《網路搜索引擎網頁質量白皮書》，望採納！
『貳』 PHP為什麼會被認為是草根語言
從PHP誕生之日起，PHP就開始在Web應用方面為廣大的程序員服務。同時，作為針對Web開發量身定製的腳本語言，PHP一直秉承簡單、開源的思想，這也使得PHP得以快速的發展，並且大力地推動Web2.0的出現與發展。但是，長期以來，PHPer(PHP Programmers)被認為是處於草根階層的程序員，被認為是技術含量少，層次低的程序員。這點在國內尤其突出。
記得一個技術主管說過這樣一個事情。他給一個程序員分配了PHP的開發任務，沒想到那個程序員居然說：「我是學Java出身的，你讓我去寫 PHP，你這不是在貶低我嗎？」。這件事情給我印象很深、觸動也很大。雖然這不能代表大部分程序員的看法，但是這么認為的人應該不少。還有人說，現在如果是大型的政府項目，PHP是肯定不會被列入考慮的范圍之內的。
那麼為什麼PHPer會被認為是草根階層，是因為它很簡單，人人都可以學會，所以沒什麼難度嗎？我以前也是這么認為。PHP入門很快，處理文件，數據，遠程連接，網路編程都非常方便，官方也有這樣的說法：PHP學習的成本很低，所以你容易去使用它。這個想法也是普遍的，甚至大部分的PHPer 自己都這樣認為。
說到這里，我想大家就會想到我為什麼要寫這些文字。因為一年多的PHP推廣工作讓我了解到許許多多的使用PHP的公司的大概情況。在這些過程中我慢慢體會到其中的根本原因。這里我說是根本原因雖然是個人的看法，但是我覺得事實就是如此。
那麼為什麼PHPer會被看成草根階層，根本原因是PHPer所作的事情(通過代碼實現)的絕大部分都是表現層的東西，這個熟悉PHP的人都知道。當然也會有PHP會說他用MVC結構編寫的某某框架具備的如何如何的功能。但是這些還是表現層。所以只會處理表現層的程序員就被看成草根階層了。事實上也是如此，因為這種情況下PHP確實很難構造大型的應用。
這就找到原因了，不是的。為什麼PHPer總是在負責表現層的東西呢。答案是底層的數據處理(Web應用就是數據存儲和查找)我們一般不去觸及。好，那麼說到這里有些人可能已經想到了，那不就是資料庫嗎？對，就是資料庫。讓PHPer一直當草根的元兇就是資料庫。為什麼？
PHPer對MySQL的依賴過大
因為目前流行的web架構中，前端是負載均衡系統，中間是web伺服器，後面是資料庫伺服器。所以，大部分PHPer工作在Web伺服器層面。因為資料庫已經很好地為我們組織數據了。所以PHP中沒有太多的演算法，而且大家潛意識下也覺得不需要，更何況會影響性能。
這種情況下，PHPer就成為了資料庫使用者，他總是在操作資料庫。而不是在做程序。一個最簡單的PHP腳本就是，連接資料庫，把數據取出來，然後用命令輸出到瀏覽器。整個過程不超過10行代碼。給人的感覺就是太簡單了。沒有任何技術含量。為什麼了，因為數據處理部分都已經被資料庫做完了。尤其是MySQL的使用。MySQL是免費的，所以大多數程序員可以自由地使用它，另外MySQL的速度夠快了，所以做個PHP應用程序非常的簡單。這就相當於給你槍以後你覺得沒有必要學習武功一樣。當然，我不是說槍沒有武功好。而是說，槍的出現，小孩都可以輕松便捷地殺人了。
我們再詳細說說為什麼是資料庫。這里我說一個例子。我去過北京一家非常著名的網站，當時我們還有一個比較資深的PHP程序員在那說些系統架構的事情。我記得當時那個程序員問大家一個數據結構中的演算法問題的時候，全場沒有一個人能答得出來(包括我)。然後那個程序員就開始給大家講些很基礎的數據結構的東西了。讓我一下子回想到大學時候學的數據結構課。而這些基礎的數據排序、查找、傳遞的問題在其他高級語言(比如C)是非常普遍的。但是在PHP沒有。PHPchina.com的論壇也有個板塊叫PHP的數據結構和演算法。這個板塊的帖子也是寥寥無幾。
說到這里，大家明白了吧？大部分PHPer僅僅處理表現層的東西，而在MySQL的便捷使用下，PHPer幾乎不用觸及任何數據結構與演算法的情況下完成大部分開發任務，所以一個才有上面的，沒有一個PHP程序員能夠回答出那道數據結構的問題，換成是C等語言，情況可能就大不相同了。是PHPer草根，才讓PHP顯得草根。
仔細回想下，目前網路上大家討論的最多的是兩個方面的問題。一個是PHP的類的使用(處理過程的封裝)，還有一個是開發框架問題。但是我們仔細分析的話，發現這些所謂的PHP中比較復雜的概念裡面沒有數據處理。為什麼，有資料庫。用一個Adodb或者PHP5的PDO就可以搞定了。真的搞定了嗎？不是，這些無非是在連接資料庫，沒有數據處理。所以PHPer似乎就沒有什麼可以拿出檯面上的東西。
再說一個具體的代碼問題，無級分類。這個概念我想大家都不會陌生了吧。我見過兩種處理方式。第一個是地道的PHPer的處理方式，也是目前比較流行的。就是用資料庫來處理。而且欄位很少，只需要加個父類的欄位並加以判斷就行了。而且這個方法很實用。效率也高。但是這個不是數據處理的范疇了，而是資料庫的查找。
第二個是C程序員用PHP寫出來的，他把所有的分類信息都從資料庫取出來，然後用數據結構演算法進行排列分布，然後輸出。
這里我們不對這兩種方式的效率進行對比，我想大家都有各自的想法。但是我想說明一個問題，就是這兩種做法的本質的區別。PHPer習慣性地用資料庫來處理，而且有很巧的處理方式，效率也很高。這種方式就是資料庫查詢。而第二種方法是比較有特點的。他認為資料庫就是存放數據的地方，具體的邏輯處理還要靠自己的邏輯。
因此，結論是第二種方法的使用者覺得自己強些，因為數據的邏輯是他組織的。並且覺得PHPer的那種做法無非就是會查詢資料庫罷了。所以他認為PHPer是草根級的，只懂得操作資料庫和排列頁面(smarty搞搞那種)。
讓資料庫回歸本職工作
說到這里，我想大家都已經回憶了不少自己平時用PHP做開發的經歷了吧，是否發現大家確實都在操作資料庫呢。
那麼我們來討論下這個問題。資料庫不好嗎？為什麼我一直用資料庫處理數據都沒有問題。我要說的是資料庫是有問題的，而且有很大的問題。當然這里我並不是說不能用資料庫，也不是在貶低資料庫的性能。而是，我們沒有充分認識到資料庫所起到的作用。
我的想法源起於這樣一個事情，有一次一個網站的技術總監問我，為什麼他們的網站那麼慢，要怎麼辦。當時，我的MSN里Zend總部的工程師正好在線，我就問他PHP響應比較慢了，怎麼辦？他當時直接告訴我，是資料庫問題。肯定是資料庫沒有優化設計好。所以，我沒有給那個技術總監確切的答案了，因為他們的資料庫設計我們是不能涉及的。所以就給了大概的資料庫優化的建議。這樣的事情屢次發生，我就開始懷疑，為什麼Zend總部的工程師每次都跟我說是資料庫的問題呢，難道我們不能從PHP層面來解決這個問題嗎？答案是不能。因為PHP目前的運行速度已經是很快了，通過Zend的性能分析也能看到一個用戶的點擊，PHP的運行時間只有10%不到，那PHP在干嗎？它在等。等資料庫的查詢結果。這個方面在目前的PHP產品中有了很大的提高，那就是 Caching和網頁靜態化兩個方案。
Caching可能大家會比較陌生，但是網頁靜態化現在連PHP產品的用戶都非常清楚了。速度快、容易被搜索到等等，好處不言而喻。開玩笑地說，現在網站的主頁實現網頁靜態化只需要硬碟足夠大。J至於Caching就比較復雜些，也是大多數PHPer感到頭疼的地方。甚至於有些人會用C來實現。因為Caching中的數據有效期驗證、查找、提取、更新等等都是比較難處理。當然，也有人會用資料庫來處理 Caching問題。
所以，當訪問量激增的時候，PHP架構的網站會出現的很多問題都因資料庫而起。資料庫的同步問題還不算什麼。關鍵是資料庫的響應速度會有指數級的降低。這個問題我在10月23號LAMP發布會的時候問過MySQL的副總裁。他當時也沒有給我比較完美的答案(這也我的意料之中)，因為資料庫總會有瓶頸的，除非是神仙資料庫，哈哈!
這里有個題外話，LAMP大會的時候我跟Yahoo的一個技術高管聊的時候，我問他Yahoo在選擇MySQL還是Oracle的時候是怎麼考慮，他的答案令我非常驚訝。他說大部分的時候我們是會用MySQL的，因為它的性能已經達到我們的要求。但是什麼時候我們會選用Oracle呢，就是當我們需要存儲收費用戶的數據的時候。我就問為什麼，難道Oracle比MySQL穩定嗎？他說，這個倒沒有特別考慮。關鍵是如果使用Oracle的話，當出現問題的時候我們可以找到負責人，Oracle會負責事故的處理，但是如果用MySQL的話，我們找誰去?
所以，我們對資料庫的看法應該糾正過來，就是說資料庫不是萬能的。如果有實力的話自己開發資料庫。聽說Google就是那樣的。
那麼我們怎麼看待資料庫呢？我個人的理解是資料庫只是用來降低開發成本的手段。因為採用資料庫以後我們不需要考慮數據的存儲，尤其是排序和查找。但是這會帶來什麼問題呢？就是當業務膨脹的時候，資料庫就成為瓶頸了。這個時候問題就會非常棘手。因為這個是底層的數據處理。牽一發而動全身。
所以我認為正確的觀點是，資料庫是一個數據備份機。怎麼理解，我們只需要保證數據的存儲有效性就行了。而這本來就是資料庫的核心功能，只不過因為資料庫的方便的排序等功能讓大家把過多的處理都交給資料庫來操作了。一個用戶的點擊PHP就把一大堆的任務交給資料庫，然後把結果排列下給用戶就完事了。這對資料庫是不公平的。也是因此大家開始抱怨資料庫的性能了。
針對這個觀點，我們再舉個例子，有一次我去拜訪一個大型的網路公司(基本上國內只要上過互聯網的都知道)，他們使用PHP很少，但是我了解到他們其它業務是怎麼使用資料庫。他們自豪地跟我介紹說他們在資料庫的外圍有個第二資料庫(我這里起名叫第二資料庫)。為什麼叫第二資料庫呢，原來它是一個緩存系統。那麼開發工程師怎麼去這個緩存系統獲取數據呢？那個技術總監自豪地說，他們這個緩存系統有SQL查詢語句。我當時很驚訝，但是後來想想確實需要這個。因為當你的緩存系統達到一定量級的時候從緩存獲取數據都非常復雜，乾脆寫個SQL查詢語句讓緩存系統分析、處理並返回數據。而且他們告訴我，在他們那裡，就算是用PHP的話也是讓PHP去那個緩存系統讀取數據。
所以說，如果你能處理好這樣的問題的話，把數據存放在資料庫，然後資料庫只起到備份的作用。然後你用自己的中間層來處理分析數據，效果是90% 以上的用戶不訪問資料庫。有人就會說了，這不就類似連接池的東西嗎？是的，因為資料庫的瓶頸是無法解決的，我們只能在Web伺服器和資料庫中間加個中間層來做緩沖。
可能大家會說了，切，這個我們早就知道了。那好，這里我要說的是它引發的兩點思考：
第一，有些語言已經有連接池技術的基礎上，那些程序員可以方便地使用連接池而構建大型應用。那麼如果他們認為 PHPer只會是用資料庫，那麼我們是不是可以說他們只會是用連接池呢？連接池和資料庫在這個概念上有何區別？
第二，當PHPer開始構建自己的緩存系統的時候，他是不是突破了PHPer只會是用資料庫的層次？因為他參與了數據邏輯的處理工作。那麼他還是草根嗎？
最後，懂得獨立思考的PHPer不是草根，什麼事情都丟給資料庫去做的才是。