1. 百度視頻的簡介在哪裡
網路視頻是網路旗下的視頻聚合平台，主要依託網路在視頻搜索、推薦、大數據等領域的核心技術，面向用戶推薦個性化的視頻內容。
百搜視頻是網路戰略投資、全力打造的視頻內容平台，依託龐大的用戶覆蓋和演算法、人工智慧、大數據等核心技術，通過百搜視頻官方網站、百搜視頻App等產品向網民提供個性化視頻內容服務，於2007年發布上線，已成為業界領先的中文視頻平台。
2. 短視頻系統及大數據推薦機制
三個商業維度決定了短視頻已經成為主流，分別為 網路流量趨勢，信息高效傳達，變現價值能力 。這三個方面的分別為平台，用戶，創作者滿足了各取所需的形態，這是實際價值的存在點。
網路流量趨勢顧名思義，則是網路平台的唯一KPI。網路平台擁有越多的活躍用戶就越證明該平台的成功，每一個網路巨頭無一例外都是利用自身的流量，獲取市場的廣告效益，所以平台只有擁有流量才會成為具有實際價值的平台。
信息高效傳達則是針對用戶而言，能夠在網路平台上獲取到自己需要的信息更高效的方式。無論是娛樂，財經，體育，知識，消費各方面的視頻內容都是對網路1.0時代以圖文為主的博客，新聞知識獲取渠道的升級。視頻的每一幀都可能涵蓋成百上千字的文字內容，在這個數據爆炸的時代，提高獲取內容成本是對用戶的一次體驗升級。
變現價值能力，這是對於創作者的努力創造優質內容的原動力。這三者的高效配合形成一個正向循環齒輪，這樣蛋糕就會越做越大。
我個人認為一個優秀的短視頻平台需要具備以下3個方面：
(1).視頻的實時性，熱點性，個性化推薦
(2).檢索提取干貨信息，作為更高效的搜索引擎
(3).有娛樂性，實用學習性，傳播性
2020年8月份科技部明確指出將基於數據分析的個性化服務推送服務技術列為限制出口名單，這必然會讓大家聯想到最近抖音海外版Tiktok的出售風波。因為推薦演算法一般是根據海量app用戶信息經過核心演算法服務進行建模計算出來的。這裡麵包含大量用戶隱私數據，核心演算法技術積累，所以在目前初步人工智慧時代，演算法的重要程度在日益加重。
說到推薦演算法則不得不說到機器學習，在抖音熱門推薦區推薦的視頻都是通過對每個用戶進行建模後根據權重進行個性化推送的，平台也會通過計算點贊概率影響排序順序，然後推薦給用戶。用數學來表示的話：
針對已知用戶，視頻和環境和未知行為，比如點擊去預測它產生的概率，這就是推薦演算法的核心。
(1).特徵X：用戶，視頻，環境
比如用戶年齡就可以作為特徵，根據不同年齡進行特定內容推送，越多的特徵可以幫助更好的幫助我們去給他們挑選感興趣的內容。更多的用戶特徵也可以從用戶的手機型號，來自哪裡，收藏內容標簽，觀看停留時間，興趣標簽；當然也可以從視頻內容獲取特徵信息，視頻標簽，用戶評論信息提取，視頻類別，視頻的平均點擊率，彈幕內容，評論量，轉發量；用戶在什麼樣的環境中看到的視頻，白天或者晚上，使用手機看到的還是電腦看到的。很多做推薦演算法的工程師會花很多時間用在製作一些特徵的工程，用機器去實現用戶的標簽或者視頻內容的理解，這部分是構成了推薦演算法很重要的一部分。等到我們的特徵准備完畢，就可以作為我們的輸入去送給我們的模型，也就是Fx函數。
(2).構建模型F（y|x）
目前主流市場上有2種模型，第一種是基於樹的模型，就比如說決策樹。在實際的推薦演算法工程里，這個決策樹模型可以製作得非常深，並且根據板塊門類的劃分也可能不止一顆樹，可能是很多樹構成，相關樹之間通過關聯主鍵進行連接，一起加權構成了一個決策樹的森林，它們會合在一起去做一個推薦演算法，模擬計算Fx函數。另一種模型是基於神經網路去做的一些數據的擬合。（模型見圖1）
第二種是基於人工神經網路（Artificial Neural Networks）簡稱連接模型（Connection Model），它是一種模仿動物神經網路行為的特徵，進行分布式並行星系處理的演算法數學模型。這種網路以考系統的復雜度，通過調整內部大量節點之間的相互關連的關系，從而達到處理信息的目的。神經網路是一種數據挖掘的方法，不僅可以使用與決策樹大體相同的方式預測類別或分類，而且還能更好的確定屬性之間的關聯強度（模型見圖2）。通常構建神經網路模型個人比較推薦RapidMiner，通過Excel或者DB導入各類不同屬性的分類數據，比如醫院里病人的血脂，體重，體溫等各類指標數據，然後進行流程連接並設置條件，最終得出神經網路數據結果。
(3).制定目標Y
需要預測的位置行為Y指的就是推薦權重，通過一系列數據計算得出這類視頻是否適合推薦給用戶觀看。
這也是很多短視頻平台，一直以綜合互動量為考核內容創作的最終指標。
機器學習演算法其實就是普通演算法的進化版。通過自動學習數據規律，讓你的程序變得更聰明些。這里舉一個生活中的案例說明這一點，某天你去買芒果，小販攤了滿滿一車芒果，你一個個選好，拿給小販稱重，然後論斤付錢。自然，你的目標是那些最甜最成熟的芒果，那怎麼選呢？你想起來，外婆說過，明黃色的比淡黃色的甜。你就設了條標准：只選明黃色的芒果。於是按顏色挑好、付錢、回家。
機器學習演算法其實就是普通演算法的進化版。通過自動學習數據規律，讓程序變得更聰明些。那麼如何讓程序變得更聰明一些喃？則需要利用演算法進行數據訓練並在過程中對數據預測結果集進行效驗。
根據數據類型的不同，對一個問題的建模有不同的方式。在機器學習或者人工智慧領域，人們首先會考慮演算法的學習方式。在機器學習領域，有幾種主要的學習方式。將演算法按照學習方式分類是一個不錯的想法，這樣可以讓人們在建模和演算法選擇的時候考慮能根據輸入數據來選擇最合適的演算法來獲得最好的結果。
在監督式學習下，輸入數據被稱為「訓練數據」，每組訓練數據有一個明確的標識或結果，如對防垃圾郵件系統中「垃圾郵件」「非垃圾郵件」，對手寫數字識別中的「1「，」2「，」3「，」4「等。在建立預測模型的時候，監督式學習建立一個學習過程，將預測結果與「訓練數據」的實際結果進行比較，不斷的調整預測模型，直到模型的預測結果達到一個預期的准確率。監督式學習的常見應用場景如分類問題和回歸問題。常見演算法有邏輯回歸（Logistic Regression）和反向傳遞神經網路（Back Propagation Neural Network）
在非監督式學習中，數據並不被特別標識，學習模型是為了推斷出數據的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。常見演算法包括Apriori演算法以及k-Means演算法。
在此學習方式下，輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。應用場景包括分類和回歸，演算法包括一些對常用監督式學習演算法的延伸，這些演算法首先試圖對未標識數據進行建模，在此基礎上再對標識的數據進行預測。如圖論推理演算法（Graph Inference）或者拉普拉斯支持向量機（Laplacian SVM.）等。
在這種學習模式下，輸入數據作為對模型的反饋，不像監督模型那樣，輸入數據僅僅是作為一個檢查模型對錯的方式，在強化學習下，輸入數據直接反饋到模型，模型必須對此立刻作出調整。常見的應用場景包括動態系統以及機器人控制等。常見演算法包括Q-Learning以及時間差學習（Temporal difference learning）
3. 推薦演算法簡介
寫在最前面：本文內容主要來自於書籍《推薦系統實踐》和《推薦系統與深度學習》。
推薦系統是目前互聯網世界最常見的智能產品形式。從電子商務、音樂視頻網站，到作為互聯網經濟支柱的在線廣告和新穎的在線應用推薦，到處都有推薦系統的身影。推薦演算法是推薦系統的核心，其本質是通過一定的方式將用戶和物品聯系起來，而不同的推薦系統利用了不同的方式。
推薦系統的主要功能是以個性化的方式幫助用戶從極大的搜索空間中快速找到感興趣的對象。因此，目前所用的推薦系統多為個性化推薦系統。個性化推薦的成功應用需要兩個條件：
在推薦系統的眾多演算法中，基於協同的推薦和基於內容的推薦在實踐中得到了最廣泛的應用。本文也將從這兩種演算法開始，結合時間、地點上下文環境以及社交環境，對常見的推薦演算法做一個簡單的介紹。
基於內容的演算法的本質是對物品內容進行分析，從中提取特徵，然後基於用戶對何種特徵感興趣來推薦含有用戶感興趣特徵的物品。因此，基於內容的推薦演算法有兩個最基本的要求：
下面我們以一個簡單的電影推薦來介紹基於內容的推薦演算法。
現在有兩個用戶A、B和他們看過的電影以及打分情況如下：
其中問好（?）表示用戶未看過。用戶A對《銀河護衛隊 》《變形金剛》《星際迷航》三部科幻電影都有評分，平均分為 4 .7 分 （ (5+4+5 ) / 3=4.7 ）；對《三生三世》《美人魚》《北京遇上西雅圖》三部愛情電影評分平均分為 2.3 分 （ ( 3十2+2 ) /3=2.3 ）。現在需要給A推薦電影，很明顯A更傾向於科幻電影，因此推薦系統會給A推薦獨立日。而對於用戶B，通過簡單的計算我們可以知道更喜歡愛情電影，因此給其推薦《三生三世》。當然，在實際推薦系統中，預測打分比這更加復雜些，但是其原理是一樣的。
現在，我們可以將基於內容的推薦歸納為以下四個步驟：
通過上面四步就能快速構建一個簡單的推薦系統。基於內容的推薦系統通常簡單有效，可解釋性好，沒有物品冷啟動問題。但他也有兩個明顯的缺點：
最後，順便提一下特徵提取方法：對於某些特徵較為明確的物品，一般可以直接對其打標簽，如電影類別。而對於文本類別的特徵，則主要是其主題情感等，則些可以通過tf-idf或LDA等方法得到。
基於協同的演算法在很多地方也叫基於鄰域的演算法，主要可分為兩種：基於用戶的協同演算法和基於物品的協同演算法。
啤酒和尿布的故事在數據挖掘領域十分有名，該故事講述了美國沃爾瑪超市統計發現啤酒和尿布一起被購買的次數非常多，因此將啤酒和尿布擺在了一起，最後啤酒和尿布的銷量雙雙增加了。這便是一個典型的物品協同過濾的例子。
基於物品的協同過濾指基於物品的行為相似度（如啤酒尿布被同時購買）來進行物品推薦。該演算法認為，物品A和物品B具有很大相似度是因為喜歡物品A的用戶大都也喜歡物品B。
基於物品的協同過濾演算法主要分為兩步：
基於物品的協同過濾演算法中計算物品相似度的方法有以下幾種：
（1）基於共同喜歡物品的用戶列表計算。
此外，John S. Breese再其論文中還提及了IUF（Inverse User Frequence，逆用戶活躍度）的參數，其認為活躍用戶對物品相似度的貢獻應該小於不活躍的用戶，應該增加IUF參數來修正物品相似度的公式：
上面的公式只是對活躍用戶做了一種軟性的懲罰， 但對於很多過於活躍的用戶， 比如某位買了當當網80%圖書的用戶， 為了避免相似度矩陣過於稠密， 我們在實際計算中一般直接忽略他的興趣列表， 而不將其納入到相似度計算的數據集中。
（2）基於餘弦相似度計算。
（3）熱門物品的懲罰。
從上面（1）的相似度計算公式中，我們可以發現當物品 i 被更多人購買時，分子中的 N(i) ∩ N(j) 和分母中的 N(i) 都會增長。對於熱門物品，分子 N(i) ∩ N(j) 的增長速度往往高於 N(i)，這就會使得物品 i 和很多其他的物品相似度都偏高，這就是 ItemCF 中的物品熱門問題。推薦結果過於熱門，會使得個性化感知下降。以歌曲相似度為例，大部分用戶都會收藏《小蘋果》這些熱門歌曲，從而導致《小蘋果》出現在很多的相似歌曲中。為了解決這個問題，我們對於物品 i 進行懲罰，例如下式， 當α∈(0, 0.5) 時，N(i) 越小，懲罰得越厲害，從而使熱門物品相關性分數下降（ 博主註：這部分未充分理解 ）：
此外，Kary pis在研究中發現如果將ItemCF的相似度矩陣按最大值歸一化， 可以提高推薦的准確率。 其研究表明， 如果已經得到了物品相似度矩陣w， 那麼可以用如下公式得到歸一化之後的相似度矩陣w'：
歸一化的好處不僅僅在於增加推薦的准確度，它還可以提高推薦的覆蓋率和多樣性。一般來說，物品總是屬於很多不同的類，每一類中的物品聯系比較緊密。假設物品分為兩類——A和B， A類物品之間的相似度為0.5， B類物品之間的相似度為0.6， 而A類物品和B類物品之間的相似度是0.2。 在這種情況下， 如果一個用戶喜歡了5個A類物品和5個B類物品， 用ItemCF給他進行推薦， 推薦的就都是B類物品， 因為B類物品之間的相似度大。 但如果歸一化之後， A類物品之間的相似度變成了1， B類物品之間的相似度也是1， 那麼這種情況下， 用戶如果喜歡5個A類物品和5個B類物品， 那麼他的推薦列表中A類物品和B類物品的數目也應該是大致相等的。 從這個例子可以看出， 相似度的歸一化可以提高推薦的多樣性。
那麼，對於兩個不同的類，什麼樣的類其類內物品之間的相似度高，什麼樣的類其類內物品相似度低呢？一般來說，熱門的類其類內物品相似度一般比較大。如果不進行歸一化，就會推薦比較熱門的類裡面的物品，而這些物品也是比較熱門的。因此，推薦的覆蓋率就比較低。相反，如果進行相似度的歸一化，則可以提高推薦系統的覆蓋率。
最後，利用物品相似度矩陣和用戶打過分的物品記錄就可以對一個用戶進行推薦評分：
基於用戶的協同演算法與基於物品的協同演算法原理類似，只不過基於物品的協同是用戶U購買了A物品，會計算經常有哪些物品與A一起購買（也即相似度），然後推薦給用戶U這些與A相似的物品。而基於用戶的協同則是先計算用戶的相似性（通過計算這些用戶購買過的相同的物品），然後將這些相似用戶購買過的物品推薦給用戶U。
基於用戶的協同過濾演算法主要包括兩個步驟：
步驟（1）的關鍵是計算用戶的興趣相似度，主要是利用用戶的行為相似度計算用戶相似度。給定用戶 u 和 v，N(u) 表示用戶u曾經有過正反饋（譬如購買）的物品集合，N(v) 表示用戶 v 曾經有過正反饋的物品集合。那麼我們可以通過如下的 Jaccard 公式簡單的計算 u 和 v 的相似度：
或通過餘弦相似度：
得到用戶之間的相似度之後，UserCF演算法會給用戶推薦和他興趣最相似的K個用戶喜歡的物品。如下的公式度量了UserCF演算法中用戶 u 對物品 i 的感興趣程度：
首先回顧一下UserCF演算法和ItemCF演算法的推薦原理：UserCF給用戶推薦那些和他有共同興趣愛好的用戶喜歡的物品， 而ItemCF給用戶推薦那些和他之前喜歡的物品具有類似行為的物品。
（1）從推薦場景考慮
首先從場景來看，如果用戶數量遠遠超過物品數量，如購物網站淘寶，那麼可以考慮ItemCF，因為維護一個非常大的用戶關系網是不容易的。其次，物品數據一般較為穩定，因此物品相似度矩陣不必頻繁更新，維護代價較小。
UserCF的推薦結果著重於反應和用戶興趣相似的小群體的熱點，而ItemCF的推薦結果著重於維系用戶的歷史興趣。換句話說，UserCF的推薦更社會化，反應了用戶所在小型興趣群體中物品的熱門程度，而ItemCF的推薦更加個性化，反應了用戶自己的個性傳承。因此UserCF更適合新聞、微博或微內容的推薦，而且新聞內容更新頻率非常高，想要維護這樣一個非常大而且更新頻繁的表無疑是非常難的。
在新聞類網站中，用戶的興趣愛好往往比較粗粒度，很少會有用戶說只看某個話題的新聞，而且往往某個話題也不是每天都會有新聞。 個性化新聞推薦更強調新聞熱點，熱門程度和時效性是個性化新聞推薦的重點，個性化是補充，所以 UserCF 給用戶推薦和他有相同興趣愛好的人關注的新聞，這樣在保證了熱點和時效性的同時，兼顧了個性化。
（2）從系統多樣性（也稱覆蓋率，指一個推薦系統能否給用戶提供多種選擇）方面來看，ItemCF的多樣性要遠遠好於UserCF，因為UserCF更傾向於推薦熱門物品。而ItemCF具有較好的新穎性，能夠發現長尾物品。所以大多數情況下，ItemCF在精度上較小於UserCF，但其在覆蓋率和新穎性上面卻比UserCF要好很多。
在介紹本節基於矩陣分解的隱語義模型之前，讓我們先來回顧一下傳統的矩陣分解方法SVD在推薦系統的應用吧。
基於SVD矩陣分解在推薦中的應用可分為如下幾步：
SVD在計算前會先把評分矩陣 A 缺失值補全，補全之後稀疏矩陣 A 表示成稠密矩陣，然後將分解成 A' = U∑V T 。但是這種方法有兩個缺點：（1）補成稠密矩陣後需要耗費巨大的儲存空間，對這樣巨大的稠密矩陣進行儲存是不現實的；（2）SVD的計算復雜度很高，對這樣大的稠密矩陣中進行計算式不現實的。因此，隱語義模型就被發明了出來。
更詳細的SVD在推薦系統的應用可參考 奇異值分解SVD簡介及其在推薦系統中的簡單應用 。
隱語義模型（Latent Factor Model）最早在文本挖掘領域被提出，用於找到文本的隱含語義。相關的演算法有LSI，pLSA，LDA和Topic Model。本節將對隱語義模型在Top-N推薦中的應用進行詳細介紹，並通過實際的數據評測該模型。
隱語義模型的核心思想是通過隱含特徵聯系用戶興趣和物品。讓我們通過一個例子來理解一下這個模型。
現有兩個用戶，用戶A的興趣涉及偵探小說、科普圖書以及一些計算機技術書，而用戶B的興趣比較集中在數學和機器學習方面。那麼如何給A和B推薦圖書呢？
我們可以對書和物品的興趣進行分類。對於某個用戶，首先得到他的興趣分類，然後從分類中挑選他可能喜歡的物品。簡言之，這個基於興趣分類的方法大概需要解決3個問題：
對於第一個問題的簡單解決方案是找相關專業人員給物品分類。以圖書為例，每本書出版時，編輯都會給出一個分類。但是，即使有很系統的分類體系，編輯給出的分類仍然具有以下缺點：（1）編輯的意見不能代表各種用戶的意見；（2）編輯很難控制分類的細粒度；（3）編輯很難給一個物品多個分類；（4）編輯很難給一個物品多個分類；（5）編輯很難給出多個維度的分類；（6）編輯很難決定一個物品在某一個類別中的權重。
為了解決上述問題，研究員提出可以從數據出發，自動找到那些分類，然後進行個性化推薦。隱語義模型由於採用基於用戶行為統計的自動聚類，較好地解決了上面提出的5個問題。
LFM將矩陣分解成2個而不是3個：
推薦系統中用戶和物品的交互數據分為顯性反饋和隱性反饋數據。隱式模型中多了一個置信參數，具體涉及到ALS（交替最小二乘法，Alternating Least Squares）中對於隱式反饋模型的處理方式——有的文章稱為「加權的正則化矩陣分解」：
一個小細節：在隱性反饋數據集中，只有正樣本（正反饋）沒有負反饋（負樣本），因此如何給用戶生成負樣本來進行訓練是一個重要的問題。Rong Pan在其文章中對此進行了探討，對比了如下幾種方法：
用戶行為很容易用二分圖表示，因此很多圖演算法都可以應用到推薦系統中。基於圖的模型（graph-based model）是推薦系統中的重要內容。很多研究人員把基於領域的模型也稱為基於圖的模型，因為可以把基於領域的模型看作基於圖的模型的簡單形式。
在研究基於圖的模型之前，需要將用戶行為數據表示成圖的形式。本節的數據是由一系列用戶物品二元組 (u, i) 組成的，其中 u 表示用戶對物品 i 產生過行為。
令 G(V, E) 表示用戶物品二分圖，其中 V=V U UV I 由用戶頂點 V U 和物品節點 V I 組成。對於數據集中每一個二元組 (u, i) ，圖中都有一套對應的邊 e(v u , v i )，其中 v u ∈V U 是用戶對應的頂點，v i ∈V I 是物品i對應的頂點。如下圖是一個簡單的物品二分圖，其中圓形節點代表用戶，方形節點代表物品，用戶物品的直接連線代表用戶對物品產生過行為。比如下圖中的用戶A對物品a、b、d產生過行為。
度量圖中兩個頂點之間相關性的方法很多，但一般來說圖中頂點的相關性主要取決於下面3個因素：
而相關性高的一對頂點一般具有如下特徵：
舉個例子，如下圖，用戶A和物品c、e沒有邊直連，但A可通過一條長度為3的路徑到達c，而Ae之間有兩條長度為3的路徑。那麼A和e的相關性要高於頂點A和c，因而物品e在用戶A的推薦列表中應該排在物品c之前，因為Ae之間有兩條路徑。其中，（A,b,C,e）路徑經過的頂點的出度為（3，2，2，2），而 (A,d,D,e) 路徑經過了一個出度比較大的頂點D，所以 (A,d,D,e) 對頂點A與e之間相關性的貢獻要小於（A,b,C,e）。
基於上面3個主要因素，研究人員設計了很多計算圖中頂點相關性的方法，本節將介紹一種基於隨機遊走的PersonalRank演算法。
假設要給用戶u進行個性化推薦，可以從用戶u對應的節點 v u 開始在用戶物品二分圖上進行隨機遊走。遊走到任一節點時，首先按照概率α決定是繼續遊走還是停止這次遊走並從 v u 節點重新開始遊走。若決定繼續遊走，則從當前節點指向的節點中按照均勻分布隨機選擇一個節點作為遊走下次經過的節點。這樣，經過很多次隨機遊走後，每個物品被訪問到的概率會收斂到一個數。最終的推薦列表中物品的權重就是物品節點的訪問概率。
上述演算法可以表示成下面的公式：
雖然通過隨機遊走可以很好地在理論上解釋PersonalRank演算法，但是該演算法在時間復雜度上有明顯的缺點。因為在為每個用戶進行推薦時，都需要在整個用戶物品二分圖上進行迭代，知道所有頂點的PR值都收斂。這一過程的時間復雜度非常高，不僅無法在線進行實時推薦，離線計算也是非常耗時的。
有兩種方法可以解決上面PersonalRank時間復雜度高的問題：
（1）減少迭代次數，在收斂之前停止迭代。但是這樣會影響最終的精度。
（2）從矩陣論出發，重新涉及演算法。另M為用戶物品二分圖的轉移概率矩陣，即：
網路社交是當今社會非常重要甚至可以說是必不可少的社交方式，用戶在互聯網上的時間有相當大的一部分都用在了社交網路上。
當前國外最著名的社交網站是Facebook和Twitter，國內的代表則是微信/QQ和微博。這些社交網站可以分為兩類：
需要指出的是，任何一個社交網站都不是單純的社交圖譜或興趣圖譜。如QQ上有些興趣愛好群可以認識不同的陌生人，而微博中的好友也可以是現實中認識的。
社交網路定義了用戶之間的聯系，因此可以用圖定義社交網路。我們用圖 G(V,E,w) 定義一個社交網路，其中V是頂點集合，每個頂點代表一個用戶，E是邊集合，如果用戶va和vb有社交網路關系，那麼就有一條邊 e(v a , v b ) 連接這兩個用戶，而 w(v a , v b )定義了邊的權重。一般來說，有三種不同的社交網路數據：
和一般購物網站中的用戶活躍度分布和物品流行度分布類似，社交網路中用戶的入度（in degree，表示有多少人關注）和出度（out degree，表示關注多少人）的分布也是滿足長尾分布的。即大部分人關注的人都很少，被關注很多的人也很少。
給定一個社交網路和一份用戶行為數據集。其中社交網路定義了用戶之間的好友關系，而用戶行為數據集定義了不同用戶的歷史行為和興趣數據。那麼最簡單的演算法就是給用戶推薦好友喜歡的物品集合。即用戶u對物品i的興趣 p ui 可以通過如下公式計算。
用戶u和用戶v的熟悉程度描述了用戶u和用戶在現實社會中的熟悉程度。一般來說，用戶更加相信自己熟悉的好友的推薦，因此我們需要考慮用戶之間的熟悉度。下面介紹3中衡量用戶熟悉程度的方法。
（1）對於用戶u和用戶v，可以使用共同好友比例來計算他們的相似度：
上式中 out(u) 可以理解為用戶u關注的用戶合集，因此 out(u) ∩ out(v) 定義了用戶u、v共同關注的用戶集合。
（2）使用被關注的用戶數量來計算用戶之間的相似度，只要將公式中的 out(u) 修改為 in(u)：
in(u) 是指關注用戶u的集合。在無向社交網路中，in(u)和out(u)是相同的，而在微博這種有向社交網路中，這兩個集合的含義就不痛了。一般來說，本方法適合用來計算微博大V之間的相似度，因為大v往往被關注的人數比較多；而方法（1）適用於計算普通用戶之間的相似度，因為普通用戶往往關注行為比較豐富。
（3）除此之外，還可以定義第三種有向的相似度：這個相似度的含義是用戶u關注的用戶中，有多大比例也關注了用戶v：
這個相似度有一個缺點，就是在該相似度下所有人都和大v有很大的相似度，這是因為公式中的分母並沒有考慮 in(v) 的大小，所以可以把 in(v) 加入到上面公式的分母，來降低大v與其他用戶的相似度：
上面介紹了3種計算用戶之間相似度（或稱熟悉度）的計算方法。除了熟悉程度，還需要考慮用戶之間的興趣相似度。我們和父母很熟悉，但很多時候我們和父母的興趣確不相似，因此也不會喜歡他們喜歡的物品。因此，在度量用戶相似度時，還需要考慮興趣相似度，而興趣相似度可以通過和UserCF類似的方法度量，即如果兩個用戶喜歡的物品集合重合度很高，兩個用戶的興趣相似度很高。
最後，我們可以通過加權的形式將兩種權重合並起來，便得到了各個好有用戶的權重了。
有了權重，我們便可以針對用戶u挑選k個最相似的用戶，把他們購買過的物品中，u未購買過的物品推薦給用戶u即可。打分公式如下：
其中 w' 是合並後的權重，score是用戶v對物品的打分。
node2vec的整體思路分為兩個步驟：第一個步驟是隨機遊走（random walk），即通過一定規則隨機抽取一些點的序列；第二個步驟是將點的序列輸入至word2vec模型從而得到每個點的embedding向量。
隨機遊走在前面基於圖的模型中已經介紹過，其主要分為兩步：（1）選擇起始節點；（2）選擇下一節點。起始節點選擇有兩種方法：按一定規則抽取一定量的節點或者以圖中所有節點作為起始節點。一般來說會選擇後一種方法以保證所有節點都會被選取到。
在選擇下一節點方法上，最簡單的是按邊的權重來選擇，但在實際應用中需要通過廣度優先還是深度優先的方法來控制遊走范圍。一般來說，深度優先發現能力更強，廣度優先更能使社區內（較相似）的節點出現在一個路徑里。
斯坦福大學Jure Leskovec教授給出了一種可以控制廣度優先或者深度優先的方法。
以上圖為例，假設第一步是從t隨機遊走到v，這時候我們要確定下一步的鄰接節點。本例中，作者定義了p和q兩個參數變數來調節遊走，首先計算其鄰居節點與上一節點t的距離d，根據下面的公式得到α：
一般從每個節點開始遊走5~10次，步長則根據點的數量N遊走根號N步。如此便可通過random walk生成點的序列樣本。
得到序列之後，便可以通過word2vec的方式訓練得到各個用戶的特徵向量，通過餘弦相似度便可以計算各個用戶的相似度了。有了相似度，便可以使用基於用戶的推薦演算法了。
推薦系統需要根據用戶的歷史行為和興趣預測用戶未來的行為和興趣，因此大量的用戶行為數據就成為推薦系統的重要組成部分和先決條件。如何在沒有大量用戶數據的情況下設計個性化推薦系統並且讓用戶對推薦結果滿意從而願意使用推薦系統，就是冷啟動問題。
冷啟動問題主要分為三類：
針對用戶冷啟動，下面給出一些簡要的方案：
（1）有效利用賬戶信息。利用用戶注冊時提供的年齡、性別等數據做粗粒度的個性化；
（2）利用用戶的社交網路賬號登錄（需要用戶授權），導入用戶在社交網站上的好友信息，然後給用戶推薦其好友喜歡的物品；
（3）要求用戶在登錄時對一些物品進行反饋，手機用戶對這些物品的興趣信息，然後給用推薦那些和這些物品相似的物品；
（4）提供非個性化推薦。非個性化推薦的最簡單例子就是熱門排行榜，我們可以給用戶推薦熱門排行榜，然後等到用戶數據收集到一定的時候，在切換為個性化推薦。
對於物品冷啟動，可以利用新加入物品的內容信息，將它們推薦給喜歡過和他們相似的物品的用戶。
對於系統冷啟動，可以引入專家知識，通過一定高效的方式快速建立起物品的相關度表。
在上面介紹了一些推薦系統的基礎演算法知識，這些演算法大都是比較經典且現在還在使用的。但是需要注意的是，在實踐中，任何一種推薦演算法都不是單獨使用的，而是將多種推薦演算法結合起來，也就是混合推薦系統，但是在這里並不準備介紹，感興趣的可以查閱《推薦系統》或《推薦系統與深度學習》等書籍。此外，在推薦中非常重要的點擊率模型以及基於矩陣的一些排序演算法在這里並沒有提及，感興趣的也可自行學習。
雖然現在用的很多演算法都是基於深度學習的，但是這些經典演算法能夠讓我們對推薦系統的發展有一個比較好的理解，同時，更重要的一點——「推陳出新」，只有掌握了這些經典的演算法，才能提出或理解現在的一些更好地演算法。
4. 推薦幾個計算機演算法視頻
浪費感情 你腦子有坑吧
5. 百度視頻房產
網路視頻專注於構建房地產營銷數字全景生態，通過整合全國、全網、全媒體的大數據資源，為客戶品牌及項目打造AI時代更為高效的線上傳播渠道，網路視頻房產基於AI的精準推薦，促進房產交易，房產交易有著重決策、低頻次的特殊屬性。網路房產將以視頻房產資訊為核心，以大數據及智能分發技術為著力點，構建房產行業的精準營銷平台。基於行業領先的智能推薦演算法，網路視頻房產頻道通過多元化的資訊展現方式，為不同地區、不同特徵的用戶推送個性化的定製房產資訊，極大地提高信息匹配度，進而促進房產交易。
網路視頻正式上線房產頻道濟南站v..com/house/jinan，成為濟南首個在房地產領域的視頻內容聚合、分發、營銷陣地。AI大潮下，房地產行業轉型加速人工智慧大潮下,房地產行業也加速轉型。網路視頻是中國最大的視頻搜索和PGC內容分發平台，收錄了超過6億條視頻內容，移動端App用戶主動下載量已超過5億。網路視頻房產頻道濟南站依託網路視頻積累多年的流量、品牌、數據、技術等優勢，為房地產開發商提供立體、多元化的全景營銷服務，進一步釋放房地產企業潛能，加速其觸網轉型。基於龐大的用戶覆蓋和大數據分析能力，網路視頻已成為集搜索、聚合、推薦於一身的內容分發平台。
網路視頻房產濟南站有百房資訊、置業攻略，在此同時，還有網路和互動，以及百房排行榜，可以真正為用戶提供關於房產的有價值的信息，原創視頻展現了對家的不同定義，網路視頻房產濟南站，是一個房產行業精準的營銷平台。
6. 推薦演算法簡介
在這個時代，無論是信息消費者還是信息生產者都遇到了很大的挑戰:作為信息消費者，如何從大量信息中找到自己感興趣的信息是一件非常困難的事情;作為信息生產者， 如何讓自己生產的信息脫穎而出，受到廣大用戶的關注，也是一件非常困難的事情。推薦系統就是解決這一矛盾的重要工具。推薦系統的任務就是聯系用戶和信息，一方面幫助用戶發現對自己有價值的信息，另一方面讓信息能夠展現在對它感興趣的用戶面前，從而實現信息消費者和信息 生產者的雙贏。和搜索引擎不同的是，推薦系統不需要用戶提供明確的需求，而是通過分析用戶的歷史行為給用 戶的興趣建模，從而主動給用戶推薦能夠滿足他們興趣和需求的信息 個性化推薦的成功需要兩個條件。第一是存在 信息過載 ，因為如果用戶可以很容易地從所有物品中找到喜歡的物品，就不需要個性化推薦。第二用 戶大部分時候沒有特別明確的需求 ，因為用戶沒有明確的需求，可以直接通過搜索引擎找到感興趣的物品。
一個完整的推薦系統一般存在3個參與方：用戶、物品提供者和提供推薦系統的網站。以圖書推薦為例， 首先，推薦系統需要滿足用戶的需求，給用戶推薦那些令他們感興趣的圖書。其次，推薦系統要讓各出版社的書都能夠被推薦給對其感興趣的用戶，而不是只推薦幾個大型出版社的書。最後， 好的推薦系統設計，能夠讓推薦系統本身收集到高質量的用戶反饋，不斷完善推薦的質量，增加 用戶和網站的交互，提高網站的收入。因此在評測一個推薦演算法時，需要同時考慮三方的利益， 一個好的推薦系統是能夠令三方共贏的系統。
推薦系統中，主要有3種評測推薦效果的實驗方法，即離線實驗(offline experiment)、用戶調查(user study)和在線實驗(online experiment)。
2.1 離線實驗
離線實驗的方法一般由如下幾個步驟構成: (1) 通過日誌系統獲得用戶行為數據，並按照一定格式生成一個標準的數據集; (2) 將數據集按照一定的規則分成訓練集和測試集; (3) 在訓練集上訓練用戶興趣模型，在測試集上進行預測; (4) 通過事先定義的離線指標評測演算法在測試集上的預測結果。
從上面的步驟可以看到，推薦系統的離線實驗都是在數據集上完成的，也就是說它不需要一個實際的系統來供它實驗，而只要有一個從實際系統日誌中提取的數據集即可。這種實驗方法的 好處是不需要真實用戶參與，可以直接快速地計算出來，從而方便、快速地測試大量不同的演算法。它的主要缺點是無法獲得很多商業上關注的指標，如點擊率、轉化率等，而找到和商業指標非常相關的離線指標也是很困難的事情
2.2 用戶調查
3.3 在線實驗
在完成離線實驗和必要的用戶調查後，可以將推薦系統上線做 AB測試 ，將它和舊的演算法進行比較。 AB測試 是一種很常用的在線評測演算法的實驗方法。它通過一定的規則將用戶隨機分成幾組，並對不同組用戶採取不同的演算法，然後通過統計不同組用戶的各種不同的評測指標比較不同演算法的好壞。 AB測試的優點是可以公平獲得不同演算法實際在線時的性能指標，包括商業上關注的指標。 AB測試的缺點主要是周期比較長，必須進行長期的實驗才能得到可靠的結果。因此一般不會用 AB測試測試所有的演算法，而只是用它測試那些在離線實驗和用戶調查中表現很好的演算法。其次， 一個大型網站的AB測試系統的設計也是一項復雜的工程。
一般來說，一個新的推薦演算法最終上線，需要完成上面所說的3個實驗。 1）首先，需要通過離線實驗證明它在很多離線指標上優於現有的演算法。 2）然後，需要通過用戶調查確定它的用戶滿意度不低於現有的演算法。 3）最後，通過在線的AB測試確定它在我們關心的指標上。
本節將介紹各種推薦系統的評測指標。這些評測指標可用於評價推薦系統各方面的性能。這 些指標有些可以定量計算，有些只能定性描述，有些可以通過離線實驗計算，有些需要通過用戶 調查獲得，還有些只能在線評測。
(1) 用戶滿意度
用戶作為推薦系統的重要參與者，其滿意度是評測推薦系統的最重要指標。但是，用戶滿意度沒有辦法離線計算，只能通過用戶調查或者在線實驗獲得。
在在線系統中，用戶滿意度主要通過一些 對用戶行為的統計得到 。比如在電子商務網站中，用戶如果購買了推薦的商品，就表示他們在一定程度上滿意。因此，我們可以 利用購買率度量用 戶的滿意度 。此外，有些網站會通過設計一些用戶 反饋界面收集用戶滿意度 。比如在視頻網站中，都有對推薦結果滿意或者不滿意的 反饋按鈕 ，通過統計兩種按鈕的單擊情況就可以度量系統的用戶滿意度。更一般的情況下，我們可以用 點擊率、用戶停留時間和轉化率等指標度量 用戶的滿意度。
(2) 預測准確度
預測准確度度量一個推薦系統或者推薦演算法預測用戶行為的能力。這個指標是最重要的推薦系統離線評測指標
在計算該指標時需要有一個離線的數據集，該數據集包含用戶的歷史行為記錄。然後，將該數據集通過時間分成訓練集和測試集。最後，通過在訓練集上建立用戶的行為和興趣模型預測用戶在測試集上的行為，並計算預測行為和測試集上實際行為的重合度作為預測准確度。 預測准確度指標有分為以下幾種：
評分預測：
預測用戶對物品評分的行為成為評分預測，在評分預測中，預測准確度一般通過均方根誤差RMSE和平均絕對誤差MAE計算，對於測試集中的一個用戶u和物品i,令[圖片上傳失敗...(image-62a797-1560412790460)] 是用戶u對物品i的實際評分，而[圖片上傳失敗...(image-28cfbc-1560412790460)] 是推薦演算法給出的預測評分，那麼RMSE定義為：
其中T為樣本個數
MAE採用絕對值計算預測誤差，它的定義為:
TopN推薦
網站在提供推薦服務時，一般是給用戶一個個性化的推薦列表，這種推薦叫做TopN推薦。TopN推薦的預測准確率一般通過准確率(precision)/召回率(recall)度量。 令R(u)是根據用戶在訓練集上的行為給用戶作出的推薦列表，而T(u)是用戶在測試集上的行為列表。那麼，推薦結果的召回率定義為:
推薦結果准確率定義：
(3) 覆蓋率
覆蓋率（coverage）描述一個推薦系統對物品長尾的發掘能力。覆蓋率有不同的定義方法，最簡單的定義為推薦系統能夠推薦出來的物品占總物品集合的比例。假設系統的用戶集合U，推薦系統給每個用戶推薦一個長度為N的物品集合R（u）。那麼推薦系統的覆蓋率可以通過下面的公式計算：
I為總物品數
此外，從上面的定義也可以看到，熱門排行榜的推薦覆蓋率是很低的，它只會 推薦那些熱門的物品，這些物品在總物品中占的比例很小。一個好的推薦系統不僅需要有比較高的用戶滿意度，也要有較高的覆蓋率。
但是上面的定義過於粗略。覆蓋率為100%的系統可以有無數的物品流行度分布。為了更細致地描述推薦系統發掘長尾的能力，需要統計推薦列表中不同物品出現次數的分布。如果所有的 物品都出現在推薦列表中，且出現的次數差不多，那麼推薦系統發掘長尾的能力就很好。因此， 可以通過研究物品在推薦列表中出現次數的分布描述推薦系統挖掘長尾的能力。如果這個分布比 較平，那麼說明推薦系統的覆蓋率較高，而如果這個分布較陡峭，說明推薦系統的覆蓋率較低。 在資訊理論和經濟學中有兩個著名的指標可以用來定義覆蓋率。第一個是信息熵:
其中：n代表推薦列表中物品類別個數，p(i)代表每個類別的所佔的比率
第二個指標是基尼系數：
(4) 多樣性
為了滿足用戶廣泛的興趣，推薦列表需要能夠覆蓋用戶不同的興趣領域，即推薦結果需要具有多樣性。多樣性推薦列表的好處用一句俗話表示就是（不在一棵樹上弔死）。盡管用戶的興趣在較長的時間跨度中是一樣的。但具體到用戶訪問推薦系統的某一時刻，其興趣往往是單一的，那麼如果推薦列表只能覆蓋用戶的一個興趣點，而這個興趣點不是用戶這個時刻的興趣點，推薦結果就不會讓用戶滿意。反之如果推薦列表表較多樣，覆蓋用戶絕大多數的興趣點，那麼久會增加用戶找到感興趣物品的概率。因此給用戶的推薦列表也需要滿足用戶廣泛的興趣，即具有多樣性。
多樣性描述了推薦列表中物品兩兩之間的不相似性，因此，多樣性和相似性是對應的。假設s(i, j) ∈Î[0,1] 定義了物品i和j之間的相似度，那麼用戶u的推薦列表R(u)的多樣性定義如下：
而推薦系統的整體多樣性可以定義為所有用戶推薦列表多樣性的平均值：
(5) 新穎性
新穎的推薦是指給用戶推薦那些他們以前沒有聽說過的物品。在一個網站中 實現新穎性 的最簡單辦法是，把那些用戶之前在網站中對其有過行為的物品從推薦列表中過濾掉。比如在一個視 頻網站中，新穎的推薦不應該給用戶推薦那些他們已經看過、打過分或者瀏覽過的視頻。 評測新穎度的最簡單方法是利用推薦結果的平均流行度，因為越不熱門的物品越 可能讓用戶覺得新穎。因此，如果推薦結果中物品的平均熱門程度較低，那麼推薦結果就可能有比較高的新穎性。
(6) 驚喜度
驚喜度(serendipity)是最近這幾年推薦系統領域最熱門的話題。如果推薦結果和用戶的歷史興趣不相似，但卻讓用戶覺得滿意，那麼就可以說推薦結果的驚喜度很高，而推薦的新穎性僅僅取決於用戶是否聽說過這個推薦結果。提高推薦驚喜度需要提高推薦結果的用戶滿意度，同時降低推薦結果和用戶歷史興趣的相似度。
(7) 信任度
度量推薦系統的信任度只能通過問卷調查的方式，詢問用戶是否信任推薦系統的推薦結果。 提高推薦系統的信任度主要有兩種方法。首先需要增加推薦系統的透明度(transparency)， 而增加推薦系統透明度的主要辦法是提供推薦解釋。只有讓用戶了解推薦系統的運行機制，讓用 戶認同推薦系統的運行機制，才會提高用戶對推薦系統的信任度。其次是考慮用戶的社交網路 信息，利用用戶的好友信息給用戶做推薦，並且用好友進行推薦解釋。這是因為用戶對他們的 好友一般都比較信任，因此如果推薦的商品是好友購買過的，那麼他們對推薦結果就會相對比較信任
(8) 實時性
在很多網站中，因為物品(新聞、微博等)具有很強的時效性，所以需要在物品還具有時效 性時就將它們推薦給用戶。 推薦系統的實時性包括兩個方面。首先，推薦系統需要實時地更新推薦列表來滿足用戶新的 行為變化。實時性的第二個方面是推薦系統需要能夠將新加入系統的物品推薦給用戶。這主要考驗了推 薦系統處理物品冷啟動的能力。
(9) 健壯性
健壯性(即robust,魯棒 性)指標衡量了一個推薦系統抗擊作弊的能力。演算法健壯性的評測主要利用模擬攻擊。首先，給定一個數據集和一個演算法，可以用這個演算法 給這個數據集中的用戶生成推薦列表。然後，用常用的攻擊方法向數據集中注入雜訊數據，然後 利用演算法在注入雜訊後的數據集上再次給用戶生成推薦列表。最後，通過比較攻擊前後推薦列表 的相似度評測演算法的健壯性。如果攻擊後的推薦列表相對於攻擊前沒有發生大的變化，就說明算 法比較健壯
(10) 商業目標
很多時候，網站評測推薦系統更加註重網站的商業目標是否達成，而商業目標和網站的盈利模式是息息相關的
(11) 總結
上一節介紹了很多評測指標，但是在評測系統中還需要考慮評測維度，比如一個推薦演算法， 雖然整體性能不好，但可能在某種情況下性能比較好，而增加評測維度的目的就是知道一個演算法 在什麼情況下性能最好。這樣可以為融合不同推薦演算法取得最好的整體性能帶來參考。
一般來說，評測維度分為如下3種。 1） 用戶維度 ：主要包括用戶的人口統計學信息、活躍度以及是不是新用戶等。 2） 物品維度 ：包括物品的屬性信息、流行度、平均分以及是不是新加入的物品等。 3） 時間維度 ：包括季節，是工作日還是周末，是白天還是晚上等。 如果能夠在推薦系統評測報告中包含不同維度下的系統評測指標，就能幫我們全面地了解推 薦系統性能，找到一個看上去比較弱的演算法的優勢，發現一個看上去比較強的演算法的缺點。
7. 百度搜索引擎的演算法是怎樣的
衡量網頁質量的維度
網路搜索引擎在衡量網頁質量時，會從以下三個維度綜合考慮給出一個質量打分。下面會一一介紹這些影響網頁質量判斷的維度特徵：
• 內容質量
• 瀏覽體驗
• 可訪問性
一個訪問流暢，內容質量高且瀏覽體驗好的網頁具有較高的質量；反之，任何一個維度出現問題，都會影響網頁的整體質量。下面我們具體介紹下這三個維度。
衡量網頁質量的維度——內容質量
網頁主體內容是網頁的價值所在，是滿足用戶需求的前提基礎。網路搜索引擎評價網頁內容質量主要看其主體內容的好壞，以及主體內容是否可以讓用戶滿意。 不同類型網頁的主體內容不同，網路搜索引擎判斷不同網頁的內容價值時，需要關注的點也有區別，如：
• 首頁：導航鏈接和推薦內容是否清晰、有效。
• 文章頁：能否提供清晰完整的內容，圖文並茂更佳。
• 商品頁：是否提供了完整真實的商品信息和有效的購買入口。
• 問答頁：是否提供了有參考價值的答案。
• 下載頁：是否提供下載入口，是否有許可權限制，資源是否有效。
• 文檔頁：是否可供用戶閱讀，是否有許可權限制。
• 搜索結果頁：搜索出來的結果是否與標題相關。
網路搜索引擎考量網頁內容質量的維度非常多，最為重要的是：成本；內容完整；信息真實有效以及安全。下面我們通過舉例來感受一下網路搜索引擎是如何對網頁的內容質量進行分類的，請站長對比自己站點的頁面，站在搜索引擎和用戶的角度為自己打分：
1、內容質量好：
網路搜索引擎認為內容質量好的網頁，花費了較多時間和精力編輯，傾注了編者的經驗和專業知識；內容清晰、完整且豐富；資源有效且優質；信息真實有效；安全無毒；不含任何作弊行為和意圖，對用戶有較強的正收益。對這部分網頁，網路搜索引擎會提高其展現在用戶面前的機率。例如：
• 專業醫療機構發布的內容豐富的醫療專題頁面；
• 資深工程師發布的完整解決某個技術問題的專業文章；
• 專業視頻網站上，播放清晰流暢的正版電影或影視全集頁面；
• 知名B2C網站上，一個完整有效的商品購買頁；
• 權威新聞站原創或經過編輯整理的熱點新聞報道；
• 經過網友認真編輯，內容豐富的詞條；
• 問答網站內，回答的內容可以完美解決提問者的問題。
實例參考：
示例
內容質量
說明
case 3.1.1-1
好
專業醫療網站發布的豐富醫療專題頁面
case 3.1.1-2
好
資深工程師發布的完整解決某個技術問題的專業文章
case 3.1.1-3
好
專業視頻網站上，播放清晰流暢的正版影視全集頁面
case 3.1.1-4
好
京東的一個完整有效的商品購買頁
case 3.1.1-5
好
權威新聞站原創的熱點新聞的報道
case 3.1.1-6
好
經過網友認真編輯，內容豐富的網路詞條
case3.1.1-7
好
網路知道上，完美解決用戶問題的問答頁
2、內容質量中：
內容質量中等的網頁往往能滿足用戶需求，但未花費較多時間和精力進行製作編輯，不能體現出編者的經驗和專業知識；內容完整但並不豐富；資源有效但質量欠佳；信息雖真實有效但屬採集得來；安全無毒；不含作弊行為和意圖。在互聯網中，中等質量網頁其實是一個比較大的數量集合，種類面貌也繁雜多樣，網路搜索引擎在評價這類網頁時往往還要考慮其它非常多因素。在這里，我們僅部分舉例來讓各位感受一下：
• 論壇類網站里一個普通的帖子；
• 一個普通的問答網頁；
• 沒有進行任何編輯，直接轉載其它網站的新聞；
• 無版權信息的普通電影播放頁
• 採集知名小說網站的盜版小說頁。
實例參考：
示例
內容質量
說明
case 3.1.2-1
中
網易直接轉載了中國新聞網的一篇新聞。
case 3.1.2-2
中
文庫上網友上傳的「國慶放假安排」新聞
case 3.1.2-3
中
採集起點小說網的盜版小說站
case 3.1.2-4
中
網路貼吧里一個普通的帖子
3、內容質量差：
網路搜索引擎認為主體內容信息量較少，或無有效信息、信息失效過期的都屬於內容質量差網頁，對用戶沒有什麼實質性的幫助，應該減少其展現的機會。同時，如果一個網站內該類網頁的佔比過大，也會影響網路搜索引擎對站點的評級，尤其是UGC網站、電商網站、黃頁網站要尤其重視對過期、失效網頁的管理。例如：
• 已下架的商品頁，或已過期的團購頁；
• 已過有效期的招聘、交易頁面；
• 資源已失效，如視頻已刪除、軟體下載後無法使用等。
4、沒有內容質量可言：
沒有內容質量可言的網頁指那些製作成本很低，粗製濫造；從別處採集來的內容未經最起碼的編輯整理即放置線上；掛木馬等病毒；含有作弊行為或意圖；完全不能滿足用戶需求，甚至含有欺騙內容的網頁。例如：
• 內容空短，有很少量的內容，卻不能支撐頁面的主要意圖；
• 問答頁有問無答，或回答完全不能解決問題；
• 站內搜索結果頁，但沒有給出相關信息
除上述網頁外，欺騙用戶和搜索引擎的網頁在無內容質量可言集合里占很高比例。網路搜索引擎對作弊網頁的定義是：不以滿足用戶需求為目的，通過不正當手段欺騙用戶和搜索引擎從而獲利的網頁。目前互聯網上這部分網頁還屬少數，但作弊網頁的價值是負向的，對用戶的傷害非常大，對這類網頁，搜索引擎持堅決打擊態度。
衡量網頁質量的維度——瀏覽體驗
不同質量的網頁帶給用戶的瀏覽體驗會有很大差距，一個優質的網頁給用戶的瀏覽體驗應該是正向的。用戶希望看到干凈、易閱讀的網頁，排版混亂、廣告過多會影響用戶對網頁主體內容的獲取。在網路搜索引擎網頁質量體系中，用戶對網頁主體內容的獲取成本與瀏覽體驗呈反比，即獲取成本越高，瀏覽體驗越低。面對內容質量相近的網頁，瀏覽體驗佳者更容易獲得更高的排位，而對於瀏覽體驗差的網頁，網路搜索引擎會視情況降低其展現的機率甚至拒絕收錄。
影響用戶瀏覽體驗好壞的因素很多，目前網路搜索引擎主要從內容排版、廣告影響兩方面對網頁進行考量：
內容排版：用戶進入網頁第一眼看到的就是內容排版，排版決定了用戶對網頁的第一印象，也決定了用戶對內容獲取的成本。
廣告影響：網路搜索引擎理解網站的生存發展需要資金支持，對網頁上放置正當廣告持支持態度。網頁應該以滿足用戶需求為主旨，最佳狀態即「主體內容與廣告一起滿足用戶需求，內容為主，廣告為輔」，而不應讓廣告成為網頁主體。
下面我們通過舉例來感受一下網路搜索引擎是如何對網頁的瀏覽體驗進行分類的，站長可以據此對比檢驗自己站點的瀏覽體驗如何：
1、瀏覽體驗好：
頁面布局合理，用戶獲取主體內容成本低，一般具有以下特徵：
• 排版合理，版式美觀，易於閱讀和瀏覽；
• 用戶需要的內容占據網頁最重要位置；
• 能夠通過頁面標簽或頁面布局十分清楚地區分出哪些是廣告；
• 廣告不搶佔主體內容位置，不阻礙用戶對主要內容的獲取；
實例參考：
示例
瀏覽體驗
說明
case 3.2.1-1
好
招聘、房產等網站首頁也有很多廣告，但都是招聘相關的，瀏覽體驗是ok的。
case 3.2.1-2
好
文章頁，頁面布局合理，無廣告，排版好，結構合理
case 3.2.1-3
好
游戲首頁，排版美觀，布局合理，無廣告，瀏覽體驗優
2、瀏覽體驗差：
頁面布局和廣告放置影響了用戶對主體內容的獲取，提高了用戶獲取信息的成本，令用戶反感。包括但不僅限於以下情況：
• 正文內容不換行或不分段，用戶閱讀困難；
• 字體和背景顏色相近，內容辨別困難；
• 頁面布局不合理，網頁首屏看不到任何有價值的主體內容；
• 廣告遮擋主體內容；或者在通用解析度下，首屏都是廣告，看不到主體內容；
• 彈窗廣告過多；
• 影響閱讀的浮動廣告過多
• 點擊鏈接時，出現預期之外的彈窗；
• 廣告與內容混淆，不易區分；
衡量網頁質量的維度——可訪問性
用戶希望快速地從搜索引擎獲取到需要的信息，網路搜索引擎盡可能為用戶提供能一次性直接獲取所有信息的網頁結果。網路搜索引擎認為不能直接獲取到主體內容的網頁對用戶是不友好的，會視情況調整其展現機率。
網路搜索引擎會從正常打開、許可權限制、有效性三方面判斷網頁的可訪問性，對於可以正常訪問的網頁，可以參與正常排序；對於有許可權限制的網頁，再通過其它維度對其進行觀察；對於失效網頁，會降權其展現機制甚至從資料庫中刪除。
1、可正常訪問的網頁
無許可權限制，能直接訪問所有主體內容的網頁。
2、有許可權限制的網頁
此類網頁分為兩種：打開許可權和資源獲取許可權
1）打開許可權：指打開網頁都需要登錄許可權，沒有許可權完全無法看到具體內容，普通用戶無法獲取或獲取成本很高，網路搜索引擎會降低其展現機率。不包括以登錄為主要功能的網頁。
2）資源獲取許可權：指獲取網頁主要內容，如文檔、軟體、視頻等，需要許可權或者需要安裝插件才能獲得完整內容。此時會分三種情況：
• 提供優質、正版內容的網站，由於內容建設成本很高，盡管查看全文或下載時需要許可權或安裝插件，但屬於用戶預期之內，網路搜索引擎也不認為許可權行為對用戶造成傷害，給予與正常可訪問頁面相同的對待。
• 對於一些非優質、非正版的資源，來自於用戶轉載甚至機器採集，本身成本較低，內容也不獨特，用戶獲取資源還有許可權限制——需要用戶注冊登錄或者付費查看，網路搜索引擎會根據具體情況決定是否調整其展現。
• 還有一些視頻、下載資源頁，也許自身資源質量並不差，但需要安裝非常冷門的插件才能正常訪問，比如要求安裝「xx大片播放器」，網路搜索引擎會懷疑其有惡意傾向。
實例參考：
示例
可訪問性
說明
case 3.2-1
好
CNKI上的一篇論文，收費才能下載，但有版權，瀏覽體驗好
case 3.2-2
好
優酷上一部新電影，需要付費才能觀看，瀏覽體驗好。
case 3.2-3
中
內容是來，但是需要登錄才能看更多
case 3.2-4
差
入黨申請書，本身就是轉載的，網上到處都是，但這個頁面仍然要求收費才能下載。
3、失效網頁
往往指死鏈和主體資源失效的網頁。網路搜索引擎認為這部分網頁無法提供有價值信息，如果站點中此類網頁過多，也會影響網路搜索引擎對其的收錄和評級。建議站長對此類網頁進行相應設置，並及時登錄網路站長平台，使用死鏈提交工具告知網路搜索引擎。
失效網頁包括但不僅限於：
• 404、403、503等網頁；
• 程序代碼報錯網頁；
• 打開後提示內容被刪除，或因內容已不存在跳轉到首頁的網頁；
• 被刪除內容的論壇帖子，被刪除的視頻頁面（多出現在UGC站點）
具體請參閱《網路搜索引擎網頁質量白皮書》，望採納！
8. 有沒有比較好的數據結構和演算法的教學視頻，推薦一個。
郝斌老師的視頻，挺不錯的！
9. 短視頻推薦演算法試驗指標了解
演算法組的同事每周都會上線新的推薦演算法，然後通過ab試驗觀察新上演算法的效果。我們是做短視頻推薦的，了解到演算法同事會從以下幾個指標來觀察新上演算法的效果：
1.曝光人數
曝光人數是指用戶有看到我們手雷推薦的短視頻的人數。用戶啟動手雷默認的tab頁就是短視頻播放頁，所以我們產品的曝光人數也可以認為就是手雷的DAU.
2.播放人數
播放人數是指用戶有播放過短視頻的人數。視頻曝光給用戶後，用戶停留一會就會自動播放。
3.曝光次數
曝光次數是指曝光給用戶的短視頻數量。曝光給用戶的短視頻不一定都會被播放，只有播放過的短視頻才會被統計一次vv
4.vv
vv就是video view,是指整個手雷播放短視頻數量的總和。vv根據不同的維度統計，可以按時統計，按天統計。
5.有效vv
有效vv是指播放短視頻的時間大於一定時間的播放數量。比如播放時間大於5s的短視頻播放才能夠算一次有效vv.
6.點擊人數
手雷的短視頻會自動播放，點擊短視頻之後就會跳轉到詳情頁。所以手雷的點擊人數是指點擊過短視頻跳轉到詳情頁的人數。
7.CTR1
ctr1=vv/曝光數。ctr1這個名稱應該是演算法組的同事自己定的，值越高代表演算法的效果越好。
8.CTR2
ctr1= 點擊數/曝光數。ctr2這個名稱也應該是演算法組的同事自己定的，值越高代表演算法的效果越好。
10. 視頻上熱門推薦演算法視頻質量評估
模擬熱門視頻推薦演算法為視頻打分，評估一個視頻的質量，可以從機器審核的角度，為我們篩選出高質量的視頻，從視頻自身而言，有利於短視頻平台將視頻推送熱門的可能性，因此對提升視頻上熱門的機會有很大的幫助。
首先我們在手機上安裝應用程序「王者剪輯app」，啟動應用並進入智能創作模塊中的「視頻評估」功能，
導入需要評估的視頻，然後點擊界面右上角的對勾按鈕，
軟體就會根據人工智慧視頻評估演算法對視頻進行評估打分，還會對視頻中存在的問題提示，我們可以根據評估結果對視頻進行改進和重新編碼等操作。
總結一下操作步驟，
第一步，安裝「王者剪輯app」，
第二步，進入「視頻評估」功能，
第三步，導入需要評估的視頻，
第四步，點擊對勾按鈕完成評估打分。
視頻評估對短視頻上熱門有較大幫助，小夥伴們趕緊去試一下吧。