⑴ 信息流的那點事：3 推薦演算法是如何實現的
講完信息流流行的原因（ 信息流的那點事：2 為什麼信息流如此流行 ），這一篇，我們來從產品的視角，來看看推薦演算法在技術上是如何實現的。
根據需要的技術和運營成本，可以將主流的推薦演算法分為三類：基於內容元數據的推薦、基於用戶畫像的推薦、基於協同過濾演算法的推薦。
基於元數據的推薦是比較基礎的推薦演算法，基本原理是給內容打標簽，具體元數據的選取根據的內容有所不同，比較通用的角度有內容的關鍵詞、類型、作者、來源等，打開一款頭條類app，選擇屏蔽一條內容，就可以看到一些該內容的元數據顫差舉。
有了內容的元數據，就可以根據內容間的關聯，可以進行相關內容的推薦，喜歡看奇葩說的用戶，可能也會喜歡看同是米未傳媒出品的飯局的誘惑。根據內容的元數據，也可以記錄並逐漸明確用戶的內容偏好，進行數據積累，便於結合用戶的喜好進行對應的精準推薦，這也就是下面要說的基於用戶畫像的推薦的內容。
用戶畫像，類比一下就是給用戶打標簽，主要由三部分組成：用戶的基礎數據（年齡、性別等）、應用使用數據（應用使用頻率、時長等）和內容偏好數據（喜好的內容分類、種類等）。
對於基礎數據，不同年齡的用戶的內容偏好有很大差異，年輕人可能更喜歡新歌熱歌，而中年人可能更愛聽懷舊一些的歌曲；根據應用使用數據，可以進行用戶分層，活躍用戶可以多推薦內容促進使用，快要流失用戶可以推送一些打開率較高的內容來挽回，運營活動也可以更有針對性；基於內容偏好數據，可以記錄並逐漸明確用戶的內容偏好，從而進行更精準的推薦，從愛看娛樂新聞，到愛看國內明星，再到愛看某個小鮮肉，隨著內容偏好數據的逐步積累，頭條類產品的推薦也就越精確。
協同過濾演算法，簡單來說，茄碧就是尋找相近的用戶或內容來進行推薦，主要有基於用戶的協同過濾推薦和基於項目的協同過濾推薦兩種。
（1）基於用戶的協同過濾推薦
基於用戶的協同過濾推薦演算法，就是通過演算法分析出與你內容偏好相近的用戶，將他喜歡的內容推薦給你，這種推薦給你志同道合的人愛看的內容的思路，更相近於生活中的朋友作為同道中人的推薦。舉例來說，如果你喜歡ABC，而其他用戶在和你一樣喜歡ABC的同時，還都喜歡D，那麼就會把D推薦給你。
（2）.基於內容的協同過濾推薦
基於內容的協同過濾推薦演算法，就是通過演算法分析出內容和內容之間的關聯度，根據你喜歡的內容推薦最相關慶跡的內容，常見的看了這個內容的用戶85%也喜歡xxx，就是這種思路。舉例來說，如果你喜歡A，而喜歡A的用戶都喜歡B，那麼就會把B推薦給你。
相比於純粹的基於內容元數據的推薦，基於內容的協同過濾推薦更能發現一些內容間深層次的聯系，比如羅輯思維經常推薦各種內容，僅僅根據內容元數據來推薦，一集羅輯思維最相關的應該是另外一集，並不能推薦內容元數據相關性不太大的節目里推薦的內容；但由於可能很多用戶看完後都會搜索查看節目里推薦的內容，基於內容的協同過濾推薦就會發現兩者的相關性，進行推薦。
介紹推薦演算法的思路時，我們一直談到一個詞「內容偏好」，這也就是實現推薦演算法時一個核心的問題——需要通過怎樣的數據，才能判定用戶的內容偏好？主流的思路有一下三種：
讓用戶手動選擇，顯然是最簡單的思路，然而由於選擇的空間必然有限，只能讓用戶從幾個大類中間挑選，無法涵蓋全部內容的同時，粒度過大推薦也就很難精準。而且剛打開應用就讓用戶選擇，或者是讓用戶使用一段時間後在去補充選擇，這樣的操作都太重可能造成用戶流失。
既然手動選擇很難實現，我們就需要從用戶的使用數據中挖掘，主流的思路就是根據用戶一些主動操作來判斷，點擊閱讀了就說明喜歡，點了贊或者回復分享就是特別喜歡，如果跳過了內容就減少推薦，點擊了不感興趣，就不再推薦。
根據用戶使用的操作來判斷內容偏好，在不斷地使用中積累與細化數據，對內容偏好的判斷也就越來越准確，這就是頭條系應用的主要策略，這樣的策略對於下沉市場的不願做出主動選擇的沉默用戶，是一個非常適合的策略，但這樣只看點擊與操作，不關注內容實際質量的策略也會造成標題黨、內容低俗等問題，在後文會進一步介紹。
既然選擇不能完全代表用戶的內容偏好，如何使判斷更加精準呢？就要從一些更加隱性的數據入手了，比如對於文章，除了點擊，閱讀時間，閱讀完成度，是否查看文章的相關推薦內容，都是可以考慮的角度，相比純粹的點擊判斷，可以一定程度上解決標題黨的問題。再比如看視頻，如果快進次數過多，雖然看完了，可能也不是特別感興趣，而值得反復回看的內容，命中內容偏好的幾率就相對較高。
介紹完了推薦演算法的原理與數據來源，讓我們來試著還原一下一條內容的完整分發流程。
首先，是內容的初始化與冷啟動。可以通過演算法對內容進行分析提取或者人工處理，提取內容的來源、分類、關鍵詞等元數據，再根據用戶畫像計算內容興趣匹配度，分發給有對應內容偏好的用戶，,也可以通過內容原匹配度,向關系鏈分發,完成內容的冷啟動。
然後，可以根據用戶閱讀時間，閱讀完成度,互動數等數據，對該內容的質量進行分析，相應的增加或者減少推薦,實現內容動態分發調節。
最後，就是協同過濾演算法發揮作用的時間，對於優質內容，可以通過基於用戶的協同過濾推薦，推薦給與該內容受眾有類似愛好的用戶，也可以基於項目的協同過濾推薦，推薦給愛觀看同類內容的用戶,讓優質內容的傳播不在局限於關系鏈。
在真正的推薦演算法實現過程中，除了基礎的內容原匹配度,內容匹配度和內容質量,還有很多值得考慮的問題，比如新聞通知等時效性內容就要短時間加權，超時則不推薦；對於用戶的內容偏好也不能永遠維持，隨著時間用戶可能會喜歡新的內容，如果一定時間內用戶對以前喜歡的內容不感興趣，就要減少該種類推薦；還有為了不陷入越喜歡越推薦，最後全部是一種內容，讓用戶厭煩的境地，對於用戶的偏好也要設定一個上限；為了保持新鮮度，需要幫助用戶發現他可能喜歡的新內容.....
最後，通過數據可以了解我們如何閱讀這篇文章，但任何數據都無法准確描述我們閱讀後的感受與收獲；再高級的演算法也只是演算法，它雖然可能比我們更了解我們實際的的內容偏好，但無法了解到我們對於內容的追求。
這可能也就是頭條系產品雖然收獲了巨大成功，但也收到了標題黨、低俗化、迴音室效應等指責的原因，下一篇，讓我們來聊聊，信息流產品的面臨的問題與可能的解決方法。
⑵ 關於熱度演算法
熱度演算法基本原理
需要了解的是，熱度演算法也是需要不斷優化去完善的，基本原理：
新聞熱度分 = 初始熱度分 + 用戶交互產生的熱度分 – 隨時間衰減的熱度分
Score = S0 + S(Users) – S(Time)
新聞入庫後，系統為之賦予一個初始熱度值，該新聞就進入了推薦列表進行排序；隨著新聞不斷被用戶點擊閱讀，收藏，分享等，這些用戶行為被視作幫助新聞提升熱度，系統需要為每一種新聞賦予熱度值；同時，新聞是有較強時效性的內容，因此新聞發布之後，熱度必須隨著新聞變得陳舊而衰減。
新聞的熱度就在這些演算法的綜合作用下不斷變化，推薦列表的排序也就不斷變化。
初始熱度不應該一致
上面的演算法為每一條入庫的新聞賦予了同樣的熱度值，但在現實使用後發現行不通，例如娛樂類別比文化類別受歡迎程度本身就高很多；或者突發了嚴重的災害或事故；或是奧運會期間，體育類別的關注度突然高了起來；而此時如果還是每條新聞給同樣的熱度就不能貼合實際了。
解決辦法就是把初始熱度設置為變數：
（1）按照新聞類別給予新聞不同的初始熱度，讓用戶關注度高的類別獲得更高的初始熱度分，從而獲得更多的曝光，例如：
（2）對於重大事件的報道，如何讓它入庫時就有更高的熱度，我們採用的是熱詞匹配的方式。
即對大型新聞站點的頭條，Twitter熱點，競品的頭條做監控和扒取，並將這批新聞的關鍵詞維護到熱詞庫並保持更新；每條新聞入庫的時候，讓新聞的關鍵詞去匹配熱詞庫，匹配度越高，就有越高的初始熱度分。
這樣處理後，重大事件發生時，蘆衡基Twitter和門戶網站的爭相報道會導致熱詞集中化，所有匹配陪謹到這些熱詞的新聞，即報道同樣事件的新聞，會獲得很高的初始熱度分。
用戶行為分規則不是固定不變的
解決了新聞入庫的攔雹初始分之後，接下來是新聞熱度分的變化。先要明確用戶的的哪些行為會提高新聞的熱度值，然後對這些行為賦予一定的得分規則。例如對於單條新聞，用戶可以點擊閱讀（click），收藏（favor），分享（share），評論（comment）這四種行為，我們為不同的行為賦予分數，就能得到新聞的實時用戶行為分為：
S(Users) = 1*click + 5*favor + 10*comment + 20*share
這里對不同行為賦予的分數為1,5,10,20，但這個值不能是一成不變的；當用戶規模小的時候，各項事件都小，此時需要提高每個事件的行為分來提升用戶行為的影響力；當用戶規模變大時，行為分也應該慢慢降低，因此做內容運營時，應該對行為分不斷調整。
當然也有偷懶的辦法，那就是把用戶規模考慮進去，算固定用戶數的行為分，即：
S(Users) = (1*click + 5*favor + 10*comment + 20*share)/DAU * N(固定數）
這樣就保證了在不同用戶規模下，用戶行為產生的行為分基本穩定。
熱度隨時間的衰減不是線性的
由於新聞的強時效性，已經發布的新聞的熱度值必須隨著時間流逝而衰減，並且趨勢應該是衰減越來越快，直至趨近於零熱度。換句話說，如果一條新聞要一直處於很靠前的位置，隨著時間的推移它必須要有越來越多的用戶來維持。
我們要求推薦給用戶的新聞必須是24h以內，所以理論上講，衰減演算法必須保證在24h後新聞的熱度一定會衰減到很低，如果是線性衰減，當某些新聞突然有大量用戶閱讀，獲得很高的熱度分時，可能會持續排名靠前很久，讓用戶覺得內容更新過慢。
參考牛頓冷卻定律，時間衰減因子應該是一個類似於指數函數：
T(Time) = e ^ (k*(T1 – T0))
其中T0是新聞發布時間，T1是當前時間。
而由於熱度的發展最終是一個無限趨近於零熱度的結果，最終的新聞的熱度演算法也調整為：
Score = ( S0(Type) + S(Users) ) / T(Time)
其他影響因素
很多新聞產品會給用戶「贊」，「踩」或「不在推薦此類」的選項，這些功能不僅適用於個性化推薦，對熱度演算法也有一定的作用。
新聞的推送會造成大量的打開，在計算熱度的時候需要排除掉相關的影響。類似於這樣的因素，都會對熱度演算法產生影響，因此熱度演算法上線後，依然需要不斷地「調教」。建議把所有的調整指標做成可配項，例如初始熱度分，行為事件分，衰減因子等，從而讓產品和運營能實時調整和驗證效果，達到最佳狀態。
⑶ 07_推薦系統演算法詳解
基於人口統計學的推薦與用戶畫像、基於內容的推薦、基於協同過濾的推薦。
1、基於人口統計學的推薦機制( Demographic-based Recommendation)是一種最易於實現的推薦方法，它只是簡單的根據系統用戶的基本信息發現用戶的相關程度，然後將相似用戶喜愛的其他物品推薦給當前用戶。
2、對於沒有明確含義的用戶信息(比如登錄時間、地域等上下文信息)，可以通過聚類等手段，給用戶打上分類標簽。
3、對於特定標簽的用戶，又可以根據預設的規則(知識)或者模型，推薦出對應的物品。
4、用戶信息標簽化的過程一般又稱為 用戶畫像 ( User Profiling）。
（1）用戶畫像( User Profile)就是企業通過收集與分析消費者社會屬性、生活習慣、消費行為等主要信息的數據之後，完美地抽象出一個用戶的商業全貌作是企業應用大數據技術的基本方式。
（2）用戶畫像為企業提供了足夠的信息基礎，能夠幫助企業快速找到精準用戶群體以及用戶需求等更為廣泛的反饋信息。
（3）作為大數據的根基，它完美地抽象出一個用戶的信息全貌，為進一步精準、快速地分析用戶行為習慣、消費習慣等重要信息，提供了足夠的數據基礎。
1、 Content- based Recommendations(CB)根據推薦物品或內容的元數據，發現物品的相關性，再基於用戶過去的喜好記錄，為用戶推薦相似的物品。
2、通過抽取物品內在或者外在的特徵值,實現相似度計算。比如一個電影,有導演、演員、用戶標簽UGC、用戶評論、時長、風格等等，都可以算是特徵。
3、將用戶(user)個人信息的特徵(基於喜好記錄或是預設興趣標簽)，和物品(item)的特徵相匹配，就能得到用戶對物品感興趣的程度。在一些電影、音樂、圖書的社交網站有很成功的應用,有些網站還請專業的人員對物品進行基因編碼/打標簽(PGC）。
4、 相似度計算：
5、對於物品的特徵提取——打標簽(tag)
- 專家標簽(PGC）
- 用戶自定義標簽(UGC)
- 降維分析數據,提取隱語義標簽(LFM)
對於文本信息的特徵提取——關鍵詞
- 分詞、語義處理和情感分析(NLP)
- 潛在語義分析(LSA）
6、 基於內容推薦系統的高層次結構
7、 特徵工程
（1）特徵( feature)：數據中抽取出來的對結果預測有用的信息。
特徵的個數就是數據的觀測維度。
特徵工程是使用專業背景知識和技巧處理數據，使得特徵能在機器學習演算法上發揮更好的作用的過程。
特徵工程一般包括特徵清洗(采樣、清洗異常樣本)，特徵處理和特徵選擇。
特徵按照不同的數據類型分類，有不同的特徵處理方法：數值型、類別型、時間型、統計型。
（2）數值型特徵處理
用連續數值表示當前維度特徵，通常會對數值型特徵進行數學上的處理，主要的做法是歸一化和離散化。
* 幅度調整歸一化：
特徵與特徵之間應該是平等的，區別應該體現在 特徵內部 。
例如房屋價格和住房面積的幅度是不同的，房屋價格可能在3000000~15000000(萬)之間,而住房面積在40-300(平方米)之間，那麼明明是平等的兩個特徵，輸入到相同的模型中後由於本身的幅值不同導致產生的效果不同，這是不合理的
* 數值型特徵處理——離散化
離散化的兩種方式：等步長——簡單但不一定有效；等頻——min -> 25% -> 75% -> max
兩種方法對比：
等頻的離散化方法很精準，但需要每次都對數據分布進行一遍從新計算，因為昨天用戶在淘寶上買東西的價格分布和今天不一定相同，因此昨天做等頻的切分點可能並不適用，而線上最需要避免的就是不固定，需要現場計算，所以昨天訓練出的模型今天不一定能使用。
等頻不固定，但很精準，等步長是固定的，非常簡單，因此兩者在工業上都有應用。
（3） 類別型特徵處理
類別型數據本身沒有大小關系，需要將它們編碼為數字，但它們之間不能有預先設定的大小關系，因此既要做到公平，又要區分開它們，那麼直接開辟多個空間。
One-Hot編碼/啞變數：One-Hot編碼/啞變數所做的就是將類別型數據平行地展開，也就是說，經過One-Hot編碼啞變數後，這個特徵的空間會膨脹。
（4） 時間型特徵處理
時間型特徵既可以做連續值,又可以看做離散值。
連續值：持續時間(網頁瀏覽時長)；間隔時間(上一次購買/點擊離現在的時間間隔)。
離散值：一天中哪個時間段；一周中的星期幾；一年中哪個月/星期；工作日/周末。
（5） 統計型特徵處理
加減平均：商品價格高於平均價格多少，用戶在某個品類下消費超過多少。
分位線：商品屬於售出商品價格的分位線處。
次序性：商品處於熱門商品第幾位。
比例類：電商中商品的好/中/差評比例。
8、 推薦系統常見反饋數據 ：
9、 基於UGC的推薦
用戶用標簽來描述對物品的看法，所以用戶生成標簽(UGC)是聯系用戶和物品的紐帶，也是反應用戶興趣的重要數據源。
一個用戶標簽行為的數據集一般由一個三元組(用戶,物品,標簽)的集合表示，其中一條記錄(u,i,b)表示用戶u給物品打上了標簽b。
一個最簡單的演算法：
- 統計每個用戶最常用的標簽
- 對於每個標簽,統計被打過這個標簽次數最多的物品
- 對於一個用戶，首先找到他常用的標簽，然後找到具有這些標簽的最熱門的物品，推薦給他
- 所以用戶u對物品i的興趣公式為 ，其中 使用戶u打過標簽b的次數， 是物品i被打過標簽b的次數。
簡單演算法中直接將用戶打出標簽的次數和物品得到的標簽次數相乘，可以簡單地表現出用戶對物品某個特徵的興趣。
這種方法傾向於給熱門標簽(誰都會給的標簽,如「大片」、「搞笑」等)、熱門物品(打標簽人數最多)比較大的權重，如果一個熱門物品同時對應著熱門標簽,那它就會「霸榜」，推薦的個性化、新穎度就會降低。
類似的問題,出現在新聞內容的關鍵字提取中。比如以下新聞中,哪個關鍵字應該獲得更高的權重?
10、 TF-IDF：詞頻逆文檔頻率 ( Term Frequency- -Inverse Document Frequency,TF-DF)是一種用於資訊檢索與文本挖掘的常用加權技術。
TFDF是一種統計方法，用以評估一個字詞對於一個文件集或一個語料庫中的其中份文件的重要程度。字詞的重要性隨著它在文件中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。
TFIDF=TF IDF
TF-IDF的主要思想是 ：如果某個詞或短語在一篇文章中出現的頻率TF高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。
TF-DF加權的各種形式常被搜索引擎應用，作為文件與用戶查詢之間相關程度的度量或評級。
詞頻( Term Frequency,TF) ：指的是某一個給定的詞語在該文件中出現的頻率。這個數字是對詞數的歸一化，以防止偏向更長的文件。(同一個詞語在長文件里可能會比短文件有更高的詞數,而不管該詞語重要與否。） ，其中 表示詞語 i 在文檔 j 中出現的頻率， 表示 i 在 j 中出現的次數， 表示文檔 j 的總詞數。
逆向文件頻率( Inverse Document Frequency,IDF) ：是一個詞語普遍重要性的度量，某一特定詞語的IDF，可以由總文檔數目除以包含該詞語之文檔的數目，再將得到的商取對數得到 ，其中 表示詞語 i 在文檔集中的逆文檔頻率，N表示文檔集中的文檔總數， 表示文檔集中包含了詞語 i 的文檔數。
（11） TF-IDF對基於UGC推薦的改進 ： ，為了避免熱門標簽和熱門物品獲得更多的權重，我們需要對「熱門進行懲罰。
借鑒TF-IDF的思想，以一個物品的所有標簽作為「文檔」，標簽作為「詞語」，從而計算標簽的「詞頻」(在物品所有標簽中的頻率)和「逆文檔頻率」(在其它物品標簽中普遍出現的頻率）。
由於「物品i的所有標簽」 應該對標簽權重沒有影響，而 「所有標簽總數」 N 對於所有標簽是一定的，所以這兩項可以略去。在簡單演算法的基礎上,直接加入對熱門標簽和熱門物品的懲罰項： ，其中， 記錄了標簽 b 被多少個不同的用戶使用過， 記錄了物品 i 被多少個不同的用戶打過標簽。
（一）協同過濾（Collaborative Filtering, CF）
1、基於協同過濾(CF)的推薦：基於內容( Content based,CB)主要利用的是用戶評價過的物品的內容特徵，而CF方法還可以利用其他用戶評分過的物品內容。
CF可以解決CB的一些局限：
- 物品內容不完全或者難以獲得時,依然可以通過其他用戶的反饋給出推薦。
- CF基於用戶之間對物品的評價質量，避免了CB僅依賴內容可能造成的對物品質量判斷的干。
- CF推薦不受內容限制，只要其他類似用戶給出了對不同物品的興趣，CF就可以給用戶推薦出內容差異很大的物品(但有某種內在聯系)
分為兩類：基於近鄰和基於模型。
2、基於近鄰的推薦系統：根據的是相同「口碑」准則。是否應該給Cary推薦《泰坦尼克號》?
（二）基於近鄰的協同過濾
1、 基於用戶（User-CF）： 基於用戶的協同過濾推薦的基本原理是，根據所有用戶對物品的偏好，發現與當前用戶口味和偏好相似的「鄰居」用戶群，並推薦近鄰所偏好的物品。
在一般的應用中是採用計算「K-近鄰」的演算法；基於這K個鄰居的歷史偏好信息，為當前用戶進行推薦。
User-CF和基於人口統計學的推薦機制：
- 兩者都是計算用戶的相似度，並基於相似的「鄰居」用戶群計算推薦。
- 它們所不同的是如何計算用戶的相似度：基於人口統計學的機制只考慮用戶本身的特徵，而基於用戶的協同過濾機制可是在用戶的歷史偏好的數據上計算用戶的相似度，它的基本假設是，喜歡類似物品的用戶可能有相同或者相似的口味和偏好。
2、基於物品（Item-CF）：基於項目的協同過濾推薦的基本原理與基於用戶的類似，只是使用所有用戶對物品的偏好，發現物品和物品之間的相似度，然後根據用戶的歷史偏好信息，將類似的物品推薦給用戶。
Item-CF和基於內容(CB)的推薦
- 其實都是基於物品相似度預測推薦，只是相似度計算的方法不一樣，前者是從用戶歷史的偏好推斷，而後者是基於物品本身的屬性特徵信息。
同樣是協同過濾，在基於用戶和基於項目兩個策略中應該如何選擇呢?
- 電商、電影、音樂網站,用戶數量遠大於物品數量。
- 新聞網站，物品(新聞文本)數量可能大於用戶數量。
3、 User-CF和Item-CF的比較
同樣是協同過濾，在User-CF和ltem-CF兩個策略中應該如何選擇呢？
Item-CF應用場景
- 基於物品的協同過濾( Item-CF ) 推薦機制是 Amazon在基於用戶的機制上改良的一種策略因為在大部分的Web站點中，物品的個數是遠遠小於用戶的數量的，而且物品的個數和相似度相對比較穩定，同時基於物品的機制比基於用戶的實時性更好一些，所以 Item-CF 成為了目前推薦策略的主流。
User-CF應用場景
- 設想一下在一些新聞推薦系統中，也許物品一一也就是新聞的個數可能大於用戶的個數，而且新聞的更新程度也有很快，所以它的相似度依然不穩定，這時用 User-cf可能效果更好。
所以，推薦策略的選擇其實和具體的應用場景有很大的關系。
4、 基於協同過濾的推薦優缺點
（1）基於協同過濾的推薦機制的優點：
它不需要對物品或者用戶進行嚴格的建模，而且不要求對物品特徵的描述是機器可理解的，所以這種方法也是領域無關的。
這種方法計算出來的推薦是開放的，可以共用他人的經驗，很好的支持用戶發現潛在的興趣偏好。
（2）存在的問題
方法的核心是基於歷史數據，所以對新物品和新用戶都有「冷啟動」的問題。
推薦的效果依賴於用戶歷史好數據的多少和准確性。
在大部分的實現中，用戶歷史偏好是用稀疏矩陣進行存儲的，而稀疏矩陣上的計算有些明顯的問題，包括可能少部分人的錯誤偏好會對推薦的准確度有很大的影響等等。
對於一些特殊品味的用戶不能給予很好的推薦。
（三）基於模型的協同過濾
1、基本思想
（1）用戶具有一定的特徵，決定著他的偏好選擇
（2）物品具有一定的特徵，影響著用戶需是否選擇它。
（3）用戶之所以選擇某一個商品，是因為用戶特徵與物品特徵相互匹配。
基於這種思想，模型的建立相當於從行為數據中提取特徵，給用戶和物品同時打上「標簽」；這和基於人口統計學的用戶標簽、基於內容方法的物品標簽本質是一樣的，都是特徵的提取和匹配。
有顯性特徵時(比如用戶標簽、物品分類標簽)我們可以直接匹配做出推薦；沒有時，可以根據已有的偏好數據，去發據出隱藏的特徵,這需要用到隱語義模型(LFM)。
2、基於模型的協同過濾推薦，就是基於樣本的用戶偏好信息，訓練一個推薦模型,然後根據實時的用戶喜好的信息進行預測新物品的得分，計算推薦
基於近鄰的推薦和基於模型的推薦
- 基於近鄰的推薦是在預測時直接使用已有的用戶偏好數據，通過近鄰數據來預測對新物品的偏好(類似分類)
- 而基於模型的方法，是要使用這些偏好數據來訓練模型，找到內在規律，再用模型來做預測(類似回歸)
訓練模型時，可以基於標簽內容來提取物品特徵，也可以讓模型去發據物品的潛在特徵；這樣的模型被稱為 隱語義模型 ( Latent Factor Model,LFM)。
（1）隱語義模型(LFM)：用隱語義模型來進行協同過濾的目標：
- 揭示隱藏的特徵,這些特徵能夠解釋為什麼給出對應的預測評分
- 這類特徵可能是無法直接用語言解釋描述的,事實上我們並不需要知道,類似「玄學」
通過矩陣分解進行降維分析
- 協同過濾演算法非常依賴歷史數據，而一般的推薦系統中，偏好數據又往往是稀疏的；這就需要對原始數據做降維處理。
- 分解之後的矩陣，就代表了用戶和物品的隱藏特徵
隱語義模型的實例：基於概率的隱語義分析(pLSA)、隱式迪利克雷分布模型(LDA)、矩陣因子分解模型(基於奇異值分解的模型,SVD)
（2）LFM降維方法——矩陣因子分解
（3）LFM的進一步理解
我們可以認為，用戶之所以給電影打出這樣的分數，是有內在原因的，我們可以挖掘出影響用戶打分的隱藏因素，進而根據未評分電影與這些隱藏因素的關聯度，決定此未評分電影的預測評分。
應該有一些隱藏的因素，影響用戶的打分，比如電影：演員、題材、年代…甚至不定是人直接可以理解的隱藏因子。
找到隱藏因子，可以對user和Iiem進行關聯(找到是由於什麼使得user喜歡/不喜歡此Item,什麼會決定user喜歡/不喜歡此item)，就可以推測用戶是否會喜歡某一部未看過的電影。
（4）矩陣因子分解
（5）模型的求解——損失函數
（6）模型的求解演算法——ALS
現在，矩陣因子分解的問題已經轉化成了一個標準的優化問題，需要求解P、Q，使目標損失函數取最小值。
最小化過程的求解，一般採用隨機梯度下降演算法或者交替最小二乘法來實現交替最小二乘法( Alternating Least Squares,ALS)
ALS的思想是，由於兩個矩陣P和Q都未知,且通過矩陣乘法耦合在一起，為了使它們解耦，可以先固定Q，把P當作變數，通過損失函數最小化求出P，這就是一個經典的最小二乘問題；再反過來固定求得的P，把Q當作變數，求解出Q：如此交替執行，直到誤差滿足閱值條件，或者到達迭代上限。
（7）梯度下降演算法
⑷ 推薦演算法簡介
寫在最前面：本文內容主要來自於書籍《推薦系統實踐》和《推薦系統與深度學習》。
推薦系統是目前互聯網世界最常見的智能產品形式。從電子商務、音樂視頻網站，到作為互聯網經濟支柱的在線廣告和新穎的在線應用推薦，到處都有推薦系統的身影。推薦演算法是推薦系統的核心，其本質是通過一定的方式將用戶和物品聯系起來，而不同的推薦系統利用了不同的方式。
推薦系統的主要功能是以個性化的方式幫助用戶從極大的搜索空間中快速找到感興趣的對象。因此，目前所用的推薦系統多為個性化推薦系統。個性化推薦的成功應用需要兩個條件：
在推薦系統的眾多演算法中，基於協同的推薦和基於內容的推薦在實踐中得到了最廣泛的應用。本文也將從這兩種演算法開始，結合時間、地點上下文環境以及社交環境，對常見的推薦演算法做一個簡單的介紹。
基於內容的演算法的本質是對物品內容進行分析，從中提取特徵，然後基於用戶對何種特徵感興趣來推薦含有用戶感興趣特徵的物品。因此，基於內容的推薦演算法有兩個最基本的要求：
下面我們以一個簡單的電影推薦來介紹基於內容的推薦演算法。
現在有兩個用戶A、B和他們看過的電影以及打分情況如下：
其中問好（?）表示用戶未看過。用戶A對《銀河護衛隊 》《變形金剛》《星際迷航》三部科幻電影都有評分，平均分為 4 .7 分 （ (5+4+5 ) / 3=4.7 ）；對《三生三世》《美人魚》《北京遇上西雅圖》三部愛情電影評分平均分為 2.3 分 （ ( 3十2+2 ) /3=2.3 ）。現在需要給A推薦電影，很明顯A更傾向於科幻電影，因此推薦系統會給A推薦獨立日。而對於用戶B，通過簡單的計算我們可以知道更喜歡愛情電影，因此給其推薦《三生三世》。當然，在實際推薦系統中，預測打分比這更加復雜些，但是其原理是一樣的。
現在，我們可以將基於內容的推薦歸納為以下四個步驟：
通過上面四步就能快速構建一個簡單的推薦系統。基於內容的推薦系統通常簡單有效，可解釋性好，沒有物品冷啟動問題。但他也有兩個明顯的缺點：
最後，順便提一下特徵提取方法：對於某些特徵較為明確的物品，一般可以直接對其打標簽，如電影類別。而對於文本類別的特徵，則主要是其主題情感等，則些可以通過tf-idf或LDA等方法得到。
基於協同的演算法在很多地方也叫基於鄰域的演算法，主要可分為兩種：基於用戶的協同演算法和基於物品的協同演算法。
啤酒和尿布的故事在數據挖掘領域十分有名，該故事講述了美國沃爾瑪超市統計發現啤酒和尿布一起被購買的次數非常多，因此將啤酒和尿布擺在了一起，最後啤酒和尿布的銷量雙雙增加了。這便是一個典型的物品協同過濾的例子。
基於物品的協同過濾指基於物品的行為相似度（如啤酒尿布被同時購買）來進行物品推薦。該演算法認為，物品A和物品B具有很大相似度是因為喜歡物品A的用戶大都也喜歡物品B。
基於物品的協同過濾演算法主要分為兩步：
基於物品的協同過濾演算法中計算物品相似度的方法有以下幾種：
（1）基於共同喜歡物品的用戶列表計算。
此外，John S. Breese再其論文中還提及了IUF（Inverse User Frequence，逆用戶活躍度）的參數，其認為活躍用戶對物品相似度的貢獻應該小於不活躍的用戶，應該增加IUF參數來修正物品相似度的公式：
上面的公式只是對活躍用戶做了一種軟性的懲罰， 但對於很多過於活躍的用戶， 比如某位買了當當網80%圖書的用戶， 為了避免相似度矩陣過於稠密， 我們在實際計算中一般直接忽略他的興趣列表， 而不將其納入到相似度計算的數據集中。
（2）基於餘弦相似度計算。
（3）熱門物品的懲罰。
從上面（1）的相似度計算公式中，我們可以發現當物品 i 被更多人購買時，分子中的 N(i) ∩ N(j) 和分母中的 N(i) 都會增長。對於熱門物品，分子 N(i) ∩ N(j) 的增長速度往往高於 N(i)，這就會使得物品 i 和很多其他的物品相似度都偏高，這就是 ItemCF 中的物品熱門問題。推薦結果過於熱門，會使得個性化感知下降。以歌曲相似度為例，大部分用戶都會收藏《小蘋果》這些熱門歌曲，從而導致《小蘋果》出現在很多的相似歌曲中。為了解決這個問題，我們對於物品 i 進行懲罰，例如下式， 當α∈(0, 0.5) 時，N(i) 越小，懲罰得越厲害，從而使熱門物品相關性分數下降（ 博主註：這部分未充分理解 ）：
此外，Kary pis在研究中發現如果將ItemCF的相似度矩陣按最大值歸一化， 可以提高推薦的准確率。 其研究表明， 如果已經得到了物品相似度矩陣w， 那麼可以用如下公式得到歸一化之後的相似度矩陣w'：
歸一化的好處不僅僅在於增加推薦的准確度，它還可以提高推薦的覆蓋率和多樣性。一般來說，物品總是屬於很多不同的類，每一類中的物品聯系比較緊密。假設物品分為兩類——A和B， A類物品之間的相似度為0.5， B類物品之間的相似度為0.6， 而A類物品和B類物品之間的相似度是0.2。 在這種情況下， 如果一個用戶喜歡了5個A類物品和5個B類物品， 用ItemCF給他進行推薦， 推薦的就都是B類物品， 因為B類物品之間的相似度大。 但如果歸一化之後， A類物品之間的相似度變成了1， B類物品之間的相似度也是1， 那麼這種情況下， 用戶如果喜歡5個A類物品和5個B類物品， 那麼他的推薦列表中A類物品和B類物品的數目也應該是大致相等的。 從這個例子可以看出， 相似度的歸一化可以提高推薦的多樣性。
那麼，對於兩個不同的類，什麼樣的類其類內物品之間的相似度高，什麼樣的類其類內物品相似度低呢？一般來說，熱門的類其類內物品相似度一般比較大。如果不進行歸一化，就會推薦比較熱門的類裡面的物品，而這些物品也是比較熱門的。因此，推薦的覆蓋率就比較低。相反，如果進行相似度的歸一化，則可以提高推薦系統的覆蓋率。
最後，利用物品相似度矩陣和用戶打過分的物品記錄就可以對一個用戶進行推薦評分：
基於用戶的協同演算法與基於物品的協同演算法原理類似，只不過基於物品的協同是用戶U購買了A物品，會計算經常有哪些物品與A一起購買（也即相似度），然後推薦給用戶U這些與A相似的物品。而基於用戶的協同則是先計算用戶的相似性（通過計算這些用戶購買過的相同的物品），然後將這些相似用戶購買過的物品推薦給用戶U。
基於用戶的協同過濾演算法主要包括兩個步驟：
步驟（1）的關鍵是計算用戶的興趣相似度，主要是利用用戶的行為相似度計算用戶相似度。給定用戶 u 和 v，N(u) 表示用戶u曾經有過正反饋（譬如購買）的物品集合，N(v) 表示用戶 v 曾經有過正反饋的物品集合。那麼我們可以通過如下的 Jaccard 公式簡單的計算 u 和 v 的相似度：
或通過餘弦相似度：
得到用戶之間的相似度之後，UserCF演算法會給用戶推薦和他興趣最相似的K個用戶喜歡的物品。如下的公式度量了UserCF演算法中用戶 u 對物品 i 的感興趣程度：
首先回顧一下UserCF演算法和ItemCF演算法的推薦原理：UserCF給用戶推薦那些和他有共同興趣愛好的用戶喜歡的物品， 而ItemCF給用戶推薦那些和他之前喜歡的物品具有類似行為的物品。
（1）從推薦場景考慮
首先從場景來看，如果用戶數量遠遠超過物品數量，如購物網站淘寶，那麼可以考慮ItemCF，因為維護一個非常大的用戶關系網是不容易的。其次，物品數據一般較為穩定，因此物品相似度矩陣不必頻繁更新，維護代價較小。
UserCF的推薦結果著重於反應和用戶興趣相似的小群體的熱點，而ItemCF的推薦結果著重於維系用戶的歷史興趣。換句話說，UserCF的推薦更社會化，反應了用戶所在小型興趣群體中物品的熱門程度，而ItemCF的推薦更加個性化，反應了用戶自己的個性傳承。因此UserCF更適合新聞、微博或微內容的推薦，而且新聞內容更新頻率非常高，想要維護這樣一個非常大而且更新頻繁的表無疑是非常難的。
在新聞類網站中，用戶的興趣愛好往往比較粗粒度，很少會有用戶說只看某個話題的新聞，而且往往某個話題也不是每天都會有新聞。 個性化新聞推薦更強調新聞熱點，熱門程度和時效性是個性化新聞推薦的重點，個性化是補充，所以 UserCF 給用戶推薦和他有相同興趣愛好的人關注的新聞，這樣在保證了熱點和時效性的同時，兼顧了個性化。
（2）從系統多樣性（也稱覆蓋率，指一個推薦系統能否給用戶提供多種選擇）方面來看，ItemCF的多樣性要遠遠好於UserCF，因為UserCF更傾向於推薦熱門物品。而ItemCF具有較好的新穎性，能夠發現長尾物品。所以大多數情況下，ItemCF在精度上較小於UserCF，但其在覆蓋率和新穎性上面卻比UserCF要好很多。
在介紹本節基於矩陣分解的隱語義模型之前，讓我們先來回顧一下傳統的矩陣分解方法SVD在推薦系統的應用吧。
基於SVD矩陣分解在推薦中的應用可分為如下幾步：
SVD在計算前會先把評分矩陣 A 缺失值補全，補全之後稀疏矩陣 A 表示成稠密矩陣，然後將分解成 A' = U∑V T 。但是這種方法有兩個缺點：（1）補成稠密矩陣後需要耗費巨大的儲存空間，對這樣巨大的稠密矩陣進行儲存是不現實的；（2）SVD的計算復雜度很高，對這樣大的稠密矩陣中進行計算式不現實的。因此，隱語義模型就被發明了出來。
更詳細的SVD在推薦系統的應用可參考 奇異值分解SVD簡介及其在推薦系統中的簡單應用 。
隱語義模型（Latent Factor Model）最早在文本挖掘領域被提出，用於找到文本的隱含語義。相關的演算法有LSI，pLSA，LDA和Topic Model。本節將對隱語義模型在Top-N推薦中的應用進行詳細介紹，並通過實際的數據評測該模型。
隱語義模型的核心思想是通過隱含特徵聯系用戶興趣和物品。讓我們通過一個例子來理解一下這個模型。
現有兩個用戶，用戶A的興趣涉及偵探小說、科普圖書以及一些計算機技術書，而用戶B的興趣比較集中在數學和機器學習方面。那麼如何給A和B推薦圖書呢？
我們可以對書和物品的興趣進行分類。對於某個用戶，首先得到他的興趣分類，然後從分類中挑選他可能喜歡的物品。簡言之，這個基於興趣分類的方法大概需要解決3個問題：
對於第一個問題的簡單解決方案是找相關專業人員給物品分類。以圖書為例，每本書出版時，編輯都會給出一個分類。但是，即使有很系統的分類體系，編輯給出的分類仍然具有以下缺點：（1）編輯的意見不能代表各種用戶的意見；（2）編輯很難控制分類的細粒度；（3）編輯很難給一個物品多個分類；（4）編輯很難給一個物品多個分類；（5）編輯很難給出多個維度的分類；（6）編輯很難決定一個物品在某一個類別中的權重。
為了解決上述問題，研究員提出可以從數據出發，自動找到那些分類，然後進行個性化推薦。隱語義模型由於採用基於用戶行為統計的自動聚類，較好地解決了上面提出的5個問題。
LFM將矩陣分解成2個而不是3個：
推薦系統中用戶和物品的交互數據分為顯性反饋和隱性反饋數據。隱式模型中多了一個置信參數，具體涉及到ALS（交替最小二乘法，Alternating Least Squares）中對於隱式反饋模型的處理方式——有的文章稱為「加權的正則化矩陣分解」：
一個小細節：在隱性反饋數據集中，只有正樣本（正反饋）沒有負反饋（負樣本），因此如何給用戶生成負樣本來進行訓練是一個重要的問題。Rong Pan在其文章中對此進行了探討，對比了如下幾種方法：
用戶行為很容易用二分圖表示，因此很多圖演算法都可以應用到推薦系統中。基於圖的模型（graph-based model）是推薦系統中的重要內容。很多研究人員把基於領域的模型也稱為基於圖的模型，因為可以把基於領域的模型看作基於圖的模型的簡單形式。
在研究基於圖的模型之前，需要將用戶行為數據表示成圖的形式。本節的數據是由一系列用戶物品二元組 (u, i) 組成的，其中 u 表示用戶對物品 i 產生過行為。
令 G(V, E) 表示用戶物品二分圖，其中 V=V U UV I 由用戶頂點 V U 和物品節點 V I 組成。對於數據集中每一個二元組 (u, i) ，圖中都有一套對應的邊 e(v u , v i )，其中 v u ∈V U 是用戶對應的頂點，v i ∈V I 是物品i對應的頂點。如下圖是一個簡單的物品二分圖，其中圓形節點代表用戶，方形節點代表物品，用戶物品的直接連線代表用戶對物品產生過行為。比如下圖中的用戶A對物品a、b、d產生過行為。
度量圖中兩個頂點之間相關性的方法很多，但一般來說圖中頂點的相關性主要取決於下面3個因素：
而相關性高的一對頂點一般具有如下特徵：
舉個例子，如下圖，用戶A和物品c、e沒有邊直連，但A可通過一條長度為3的路徑到達c，而Ae之間有兩條長度為3的路徑。那麼A和e的相關性要高於頂點A和c，因而物品e在用戶A的推薦列表中應該排在物品c之前，因為Ae之間有兩條路徑。其中，（A,b,C,e）路徑經過的頂點的出度為（3，2，2，2），而 (A,d,D,e) 路徑經過了一個出度比較大的頂點D，所以 (A,d,D,e) 對頂點A與e之間相關性的貢獻要小於（A,b,C,e）。
基於上面3個主要因素，研究人員設計了很多計算圖中頂點相關性的方法，本節將介紹一種基於隨機遊走的PersonalRank演算法。
假設要給用戶u進行個性化推薦，可以從用戶u對應的節點 v u 開始在用戶物品二分圖上進行隨機遊走。遊走到任一節點時，首先按照概率α決定是繼續遊走還是停止這次遊走並從 v u 節點重新開始遊走。若決定繼續遊走，則從當前節點指向的節點中按照均勻分布隨機選擇一個節點作為遊走下次經過的節點。這樣，經過很多次隨機遊走後，每個物品被訪問到的概率會收斂到一個數。最終的推薦列表中物品的權重就是物品節點的訪問概率。
上述演算法可以表示成下面的公式：
雖然通過隨機遊走可以很好地在理論上解釋PersonalRank演算法，但是該演算法在時間復雜度上有明顯的缺點。因為在為每個用戶進行推薦時，都需要在整個用戶物品二分圖上進行迭代，知道所有頂點的PR值都收斂。這一過程的時間復雜度非常高，不僅無法在線進行實時推薦，離線計算也是非常耗時的。
有兩種方法可以解決上面PersonalRank時間復雜度高的問題：
（1）減少迭代次數，在收斂之前停止迭代。但是這樣會影響最終的精度。
（2）從矩陣論出發，重新涉及演算法。另M為用戶物品二分圖的轉移概率矩陣，即：
網路社交是當今社會非常重要甚至可以說是必不可少的社交方式，用戶在互聯網上的時間有相當大的一部分都用在了社交網路上。
當前國外最著名的社交網站是Facebook和Twitter，國內的代表則是微信/QQ和微博。這些社交網站可以分為兩類：
需要指出的是，任何一個社交網站都不是單純的社交圖譜或興趣圖譜。如QQ上有些興趣愛好群可以認識不同的陌生人，而微博中的好友也可以是現實中認識的。
社交網路定義了用戶之間的聯系，因此可以用圖定義社交網路。我們用圖 G(V,E,w) 定義一個社交網路，其中V是頂點集合，每個頂點代表一個用戶，E是邊集合，如果用戶va和vb有社交網路關系，那麼就有一條邊 e(v a , v b ) 連接這兩個用戶，而 w(v a , v b )定義了邊的權重。一般來說，有三種不同的社交網路數據：
和一般購物網站中的用戶活躍度分布和物品流行度分布類似，社交網路中用戶的入度（in degree，表示有多少人關注）和出度（out degree，表示關注多少人）的分布也是滿足長尾分布的。即大部分人關注的人都很少，被關注很多的人也很少。
給定一個社交網路和一份用戶行為數據集。其中社交網路定義了用戶之間的好友關系，而用戶行為數據集定義了不同用戶的歷史行為和興趣數據。那麼最簡單的演算法就是給用戶推薦好友喜歡的物品集合。即用戶u對物品i的興趣 p ui 可以通過如下公式計算。
用戶u和用戶v的熟悉程度描述了用戶u和用戶在現實社會中的熟悉程度。一般來說，用戶更加相信自己熟悉的好友的推薦，因此我們需要考慮用戶之間的熟悉度。下面介紹3中衡量用戶熟悉程度的方法。
（1）對於用戶u和用戶v，可以使用共同好友比例來計算他們的相似度：
上式中 out(u) 可以理解為用戶u關注的用戶合集，因此 out(u) ∩ out(v) 定義了用戶u、v共同關注的用戶集合。
（2）使用被關注的用戶數量來計算用戶之間的相似度，只要將公式中的 out(u) 修改為 in(u)：
in(u) 是指關注用戶u的集合。在無向社交網路中，in(u)和out(u)是相同的，而在微博這種有向社交網路中，這兩個集合的含義就不痛了。一般來說，本方法適合用來計算微博大V之間的相似度，因為大v往往被關注的人數比較多；而方法（1）適用於計算普通用戶之間的相似度，因為普通用戶往往關注行為比較豐富。
（3）除此之外，還可以定義第三種有向的相似度：這個相似度的含義是用戶u關注的用戶中，有多大比例也關注了用戶v：
這個相似度有一個缺點，就是在該相似度下所有人都和大v有很大的相似度，這是因為公式中的分母並沒有考慮 in(v) 的大小，所以可以把 in(v) 加入到上面公式的分母，來降低大v與其他用戶的相似度：
上面介紹了3種計算用戶之間相似度（或稱熟悉度）的計算方法。除了熟悉程度，還需要考慮用戶之間的興趣相似度。我們和父母很熟悉，但很多時候我們和父母的興趣確不相似，因此也不會喜歡他們喜歡的物品。因此，在度量用戶相似度時，還需要考慮興趣相似度，而興趣相似度可以通過和UserCF類似的方法度量，即如果兩個用戶喜歡的物品集合重合度很高，兩個用戶的興趣相似度很高。
最後，我們可以通過加權的形式將兩種權重合並起來，便得到了各個好有用戶的權重了。
有了權重，我們便可以針對用戶u挑選k個最相似的用戶，把他們購買過的物品中，u未購買過的物品推薦給用戶u即可。打分公式如下：
其中 w' 是合並後的權重，score是用戶v對物品的打分。
node2vec的整體思路分為兩個步驟：第一個步驟是隨機遊走（random walk），即通過一定規則隨機抽取一些點的序列；第二個步驟是將點的序列輸入至word2vec模型從而得到每個點的embedding向量。
隨機遊走在前面基於圖的模型中已經介紹過，其主要分為兩步：（1）選擇起始節點；（2）選擇下一節點。起始節點選擇有兩種方法：按一定規則抽取一定量的節點或者以圖中所有節點作為起始節點。一般來說會選擇後一種方法以保證所有節點都會被選取到。
在選擇下一節點方法上，最簡單的是按邊的權重來選擇，但在實際應用中需要通過廣度優先還是深度優先的方法來控制遊走范圍。一般來說，深度優先發現能力更強，廣度優先更能使社區內（較相似）的節點出現在一個路徑里。
斯坦福大學Jure Leskovec教授給出了一種可以控制廣度優先或者深度優先的方法。
以上圖為例，假設第一步是從t隨機遊走到v，這時候我們要確定下一步的鄰接節點。本例中，作者定義了p和q兩個參數變數來調節遊走，首先計算其鄰居節點與上一節點t的距離d，根據下面的公式得到α：
一般從每個節點開始遊走5~10次，步長則根據點的數量N遊走根號N步。如此便可通過random walk生成點的序列樣本。
得到序列之後，便可以通過word2vec的方式訓練得到各個用戶的特徵向量，通過餘弦相似度便可以計算各個用戶的相似度了。有了相似度，便可以使用基於用戶的推薦演算法了。
推薦系統需要根據用戶的歷史行為和興趣預測用戶未來的行為和興趣，因此大量的用戶行為數據就成為推薦系統的重要組成部分和先決條件。如何在沒有大量用戶數據的情況下設計個性化推薦系統並且讓用戶對推薦結果滿意從而願意使用推薦系統，就是冷啟動問題。
冷啟動問題主要分為三類：
針對用戶冷啟動，下面給出一些簡要的方案：
（1）有效利用賬戶信息。利用用戶注冊時提供的年齡、性別等數據做粗粒度的個性化；
（2）利用用戶的社交網路賬號登錄（需要用戶授權），導入用戶在社交網站上的好友信息，然後給用戶推薦其好友喜歡的物品；
（3）要求用戶在登錄時對一些物品進行反饋，手機用戶對這些物品的興趣信息，然後給用推薦那些和這些物品相似的物品；
（4）提供非個性化推薦。非個性化推薦的最簡單例子就是熱門排行榜，我們可以給用戶推薦熱門排行榜，然後等到用戶數據收集到一定的時候，在切換為個性化推薦。
對於物品冷啟動，可以利用新加入物品的內容信息，將它們推薦給喜歡過和他們相似的物品的用戶。
對於系統冷啟動，可以引入專家知識，通過一定高效的方式快速建立起物品的相關度表。
在上面介紹了一些推薦系統的基礎演算法知識，這些演算法大都是比較經典且現在還在使用的。但是需要注意的是，在實踐中，任何一種推薦演算法都不是單獨使用的，而是將多種推薦演算法結合起來，也就是混合推薦系統，但是在這里並不準備介紹，感興趣的可以查閱《推薦系統》或《推薦系統與深度學習》等書籍。此外，在推薦中非常重要的點擊率模型以及基於矩陣的一些排序演算法在這里並沒有提及，感興趣的也可自行學習。
雖然現在用的很多演算法都是基於深度學習的，但是這些經典演算法能夠讓我們對推薦系統的發展有一個比較好的理解，同時，更重要的一點——「推陳出新」，只有掌握了這些經典的演算法，才能提出或理解現在的一些更好地演算法。
⑸ 關於java新聞網站的演算法
（一）演算法倫理的研究
1.演算法內涵界定。演算法源於數學，但現代演算法又遠遠不止於傳統數學的計算范疇。演算法多被理解為是計算機用於解決問題的程序或步驟，是現代人工智慧系統的運行支柱。《計算主義：一種新的世界觀》(李建會等，2012)中將演算法定義為能行的方法，在外界的常識性理解中所謂演算法就是能感受到的一套運算規則，這個規則的特點在於運算時間的有限性、計算步驟的有窮性、輸入結果的確切性,它是機械步驟或能行可算計程序。該定義點明了演算法應具備的兩個基本屬性—或侍李—有限性與有窮性。《用計算的觀點看世界》(酈全民，2016)則從信息傳播的角度解讀演算法，認為演算法實質上是信息處理方法。
2.演算法倫理研究
倫理關乎道德價值真理及其判斷。存在於自然界、社會中的人，其行為應遵循一定的倫理道德規范。倫理的效應要導向善。倫理道德關注對個體存在的尊重、個體的自由、公平正義以及組織團體的延續與發展等問題。在一定程度上可以說，當今的人類社會已經不能脫離智能演算法系統而運行了。
演算法無時無處不在對世界產生影響，因而演算法也會必然的觸碰到倫理道德。和鴻鵬（2017）已指出，演算法系統在人類社會生活中的廣泛應用，會陷入諸多如人類面臨且無法迴避的倫理兩難選擇困境之中。而當演算法與倫理發生關聯時，學界一般認為會引出職業倫理和技術倫理兩種倫理問題。
職業倫理主要與演算法系統的開發者有關，指開發者是帶有個性價值觀、倫理道德觀去研發演算法系統的行為體，因而演算法系統一開始便會摻雜著設計人主觀性的倫理道德觀。設計者出於何種目的開發某演算法系統、面對不同問題設計者持有的倫理道德態度，這些衫遲都會在演算法系統的運行中得到體現。
技術倫理是演算法系統在一定意義上可稱之為一種科學技術，這種技術自身及其運作結果都會負載著倫理價值。其實在一些情況下，職業倫理與技術倫理之間並沒有很明確的界別，關於這一點，劉則淵跟王國豫已做過論述。
本文將主要從技術倫理的角度對演算法關涉倫理這一問題嘗試做深入研究。
（二）網路新聞傳播的演算法倫理研究
演算法與技術的融合不斷英語於網路新聞傳播領域中，從數據新聞到機器寫作，從演算法推送到輿情到分析，國內新聞傳媒領域的機器新聞和相關研究逐漸發展，金兼斌在《機器新聞寫作:一場正在發生的革命》(2014)，作者較早的將眼光聚焦於基於演算法的新聞內容生產和編輯。認為在自動化新聞生產大發展的前提下，諸如新聞生產或分發中勞動密集型的基礎性工作與環節都將被技術取代。張超、鍾新在《從比特到人工智慧:數字新聞生產的演算法轉向》(2017)認為演算法正在從比特形式走向人工智慧階段，這種轉向使得數字新聞與傳統新聞的邊界進一步明晰，促使數字新聞生產也產生了變革。胡萬鵬在《智能演算法推薦的倫理風險及防範策略》中總結了從演算法推送方面：針對新聞的價值觀所受到的負面影響；以及新聞的公共性、客觀性和真實性受到的削弱進行分析；從受眾方面：將具體對信息繭房現象以及受眾的知情權和被遺忘權展開探討；從社會影響方面,則針對社會群體、社會公共領域和社會文化所受到的消極影響展開論述。
根據以上文獻的梳理可以看出，國內目前對網路新聞傳播的演算法倫理研究主要集中在新聞業態演算法倫理失范的相關問題，因為與其他失范問題相比，這是比較容易發現的。但目前關於網路新聞傳播的演算法倫理的國內研究還存在不足：國內算談棚法倫理和網路新聞傳播演算法倫理的研究還是在起步階段，比較成熟的系統性研究還未出現；關於演算法開發人員和平台的責任機制的研究都比較薄弱，總上所述，演算法推送新聞的倫理問題研究是有必要繼續加強的。
2.新聞推薦演算法的興起、發展與原理
2.1新聞推薦演算法的興起
隨著計算機技術的信息處理的維度越來越高，信息處理的能力不斷提升，演算法技術可以從大數據中篩選出用戶最關心最感興趣的信息，改變了原有的新聞信息傳播方式，重塑了新的媒介生態和傳播格局。
但反過來看，在人人都能生產信息的背景下，信息的生產、傳播和反饋的速度都是呈幾何倍數增長，用戶面對的信息越來越多。由於設備的局限性和信息海量，用戶無法集中注意力看自己感興趣的內容，也無法及時抓取對自己有用的信息，於是出現了「注意力經濟」。美國經濟學家邁克爾·戈德海伯（1997）認為，當今社會是一個信息極大豐富甚至泛濫的社會，而互聯網的出現，加快了這一進程，信息非但不是稀缺資源，相反是過剩的。相對於過剩的信息，只有一種資源是稀缺的，那就是人們的注意力。換句話說，信息不能夠一味追求量，還要有價值，價值就在於用戶對信息的注意力，誰獲得了用戶的注意力就可以有市場的發展空間，通過「販賣」用戶的注意力能夠使新媒體聚合平台獲得利潤，維持發展。再加上現在生活節奏越來越快，人們對信息獲取的量和效率要求提高，不想把時間浪費在自己不感興趣的信息，從而用戶獲取信息的「個性化」特徵變得明顯起來。
基於此背景下，演算法推送新聞的傳播機制應運而生，用戶不需要特意搜索自己需要的信息，而是海量的信息會自行「找到」用戶，為用戶節省搜索時間之餘，又能做到真正為用戶提供有用的信息。
2.2新聞推薦演算法的發展現狀
演算法推薦是依據用戶數據為用戶推薦特定領域的信息，根據受眾使用反饋不斷修正並完善推薦方案。目前主要有兩類新聞機構使用演算法推送，其一是新型的互聯網新聞聚合類平台，國內主要是以今日頭條和一點資訊等演算法類平台為代表，在我國新聞客戶端市場上擁有極高的佔有率。張一鳴創建今日頭條是依靠大數據和演算法為用戶推薦信息，提供連接人與信息的服務，演算法會以關鍵詞等元素判斷用戶的興趣愛好，從全網抓取內容實現個性化推薦。國外則是以Facebook、Instagram等平台為代表，這些APP都是通過演算法挖掘用戶的數據，以用戶個性化需求為導向對用戶進行新聞推送。另一種則是專業新聞生產的傳統媒體，為積極應對新聞市場的競爭和提高技術水平而轉型到新聞全媒體平台，如國內的「人民日報」等，國外利用演算法推送向用戶推送新聞的傳統媒體則有美國的美聯社、華盛頓郵報和英國的BBC等,他們利用演算法監督受眾的數量還有閱讀行為，使他們的新聞報道能夠更加受受眾的喜歡，增加用戶的粘性。
2.2新聞推薦演算法的原理
2.2.1新聞推薦演算法的基本要素
演算法推送有三個基本要素，分別是用戶、內容和演算法。用戶是演算法推送系統的服務對象，對用戶的理解和認知越是透徹，內容分法的准確性和有效性就越准確。內容是演算法推送系統的基本生產資料，對多種形式內通的分析、組織、儲存和分發都需要科學的手段與方法。演算法是演算法推送技術上的支持，也是最核心的。系統中大量用戶與海量的信息是無法自行匹配的，需要推送演算法把用戶和內容連接起來，在用戶和內容之間發揮橋梁作用，高效把合適的內容推薦給合適的用戶。
2.2.2新聞推薦演算法的基本原理
演算法推送的出現需要具備兩個條件：足夠的信息源和精確的演算法框架。其中，演算法的內容生產源與信息分發最終效果密切相關：是否有足夠多的信息可供抓取與信息是否有足夠的品質令用戶滿意都將對信息的傳播效果產生影響。與此同時，分發環節也在向前追溯，改變著整個傳播的生態。目前，國內新聞傳播領域所使用的演算法推送主要有三大類——協同過濾推送、基於內容推送和關聯規則推送。
協同過濾推送分為基於用戶的協同過濾和基於模型的協同過濾。前者主要考慮的是用戶和用戶之間的相似度，只要找出相似用戶喜歡的新聞文章類別，並預測目標用戶對該文章的喜歡程度，就可以將其他文章推薦給用戶；後者和前者是類似的，區別在此時轉向找到文章和文章之間的相似度，只有找到了目標用戶對某類文章的喜愛程度，那麼我們就可以對相似度高的類似文章進行預測，將喜愛程度相當的相似文章推薦給用戶。因此，前者利用用戶歷史數據在整個用戶資料庫中尋找相似的推送文章進行推薦，後者通過用戶歷史數據構造預測模型，再通過模型進行預測並推送。
基於內容的推送即根據用戶歷史進行文本信息特徵抽取、過濾，生成模型，向用戶推薦與歷史項目內容相似的信息。它的優點之一就是解決了協同過濾中數據稀少時無法准確判斷分發的問題。但如果長期只根據用戶歷史數據推薦信息，會造成過度個性化，容易形成「信息繭房」。
關聯規則推送就是基於用戶歷史數據挖掘用戶數據背後的關聯，以分析用戶的潛在需求，向用戶推薦其可能感興趣的信息。基於該演算法的信息推薦流程主要分為兩個步驟，第一步是根據當前用戶閱讀過的感興趣的內容，通過規則推導出用戶還沒有閱讀過的可能感興趣的內容；第二是根據規則的重要程度，對內容排序並展現給用戶。關聯規則推送的效果依賴規則的數量和質量，但隨著規則數量的增多，對系統的要求也會提高。
2.2.3演算法推送的實現流程
在信息過載的時代，同一個新聞選題有很多同質化的報道，因此分發前需要對新聞內容進行消重，消重後的新聞內容便等待推送，此時的推送有三個類別：啟動推送、擴大推送和限制推送。
3.「今日頭條」新聞推薦演算法分析
「今日頭條」是國內一款資訊類的媒體聚合平台，每天有超過1.2億人使用。從「你關心的，才是頭條！」到如今的「信息創造價值！」，產品slogan的變化也意味著今日頭條正逐漸擺脫以往單一、粗暴的流量思維，而開始注重人與信息的連接，在促進信息高效、精準傳播的同時注重正確的價值引導。
在2018年初，「今日頭條」的資深演算法架構師曹歡歡博士在一場分享交流會上公開了其演算法運行原理。在他的敘述中，非常詳細地介紹了「今日頭條」的演算法推薦系統概述以及演算法推薦系統的操作原理。
3.1.1-1曹歡歡博士的今日頭條演算法建模
上圖用數學形式化的方法去描述「今日頭條」的演算法推送，實際上就是一個能夠得出用戶對內容滿意程度的函數：即y為用戶對內容的滿意度，Xi,Xc,Xu分別是今日頭條公開的演算法推送的三個維度：Xi是用戶，包括用戶的性別、年齡、職業和興趣標簽，還有其他演算法模型刻畫的隱形用戶偏好等；Xc是環境，這也是移動互聯網時代新聞推送的特點，由於用戶隨時隨地在不停移動，移動終端也在移動，用戶在不同的工作場合、旅行等場景信息推送偏好也會不同；Xu是內容，今日頭條本身就是信息聚合類平台，平台上涵蓋各種不同形式的內容。本章將以該函數為基礎，逐一分析今日頭條的推薦演算法。
3.1推薦維度之一：內容分析
內容分析原指第二次世界大戰期間，傳播學家拉斯韋爾等研究學家組織了「戰士通訊研究」的工作，以德國公開出版的戰時報紙為分析研究對象，弄清報紙內容本質性的事實和趨勢，揭示隱含的隱性情報內容，獲取了許多軍情機密情報並且對事態發展作出情報預測。在「今日頭條」中，內容分析則是對文章、視頻內容提取關鍵要素，通過對文本、視頻標題關鍵字進行語義識別，給內容進行分類。「今日頭條」的推送系統是典型的層次化文本分類演算法，來幫助每篇新聞找到合適的分類，比如：第一大分類是政治、科技、財經、娛樂、體育等，體育類可以下分籃球、足球、網球等，足球又可以下分中國足球和國際足球，中國足球最後下分為甲、中超、國家隊等。這一步是對文章進行對這個工作主要目的是對文章進行分類，方便以後對客戶推薦。
想要內容分析實現效果，則需要海量的內容信息給演算法系統提供有效的篩選和分類。「今日頭條」既然是依賴於演算法推送新聞，那它背後的資料庫必然是強大的，「網頁蜘蛛」和「頭條號」就是支撐今日頭條平台消息來源的重要渠道，其消息來源極其豐富，何時何地有何新鮮事，都能高效率抓取信息。
第一個消息來源的渠道是「網頁蜘蛛」，「網頁蜘蛛」又叫網頁爬蟲，頭條使用的就是搜索引擎爬蟲叫「Bytespider」。它能按照一定的規則，自動爬行抓取互聯網的信息或腳本，就像蜘蛛通過蛛網進行捕食，當發現新的信息資源，蜘蛛會立刻出動抓取信息內容並將其收入自己的資料庫中。和微信的垂直搜索不同，Bytespider是能夠抓取全網內容的全新搜索引擎，因此「今日頭條」的搜索引擎功能很全面，搜索的資源很廣，資源包容性極高。
Bytespider信息抓取的基本流程如下：首先是網頁抓取。Bytespider順著網頁中的超鏈接，從這個網站爬到另一個網站，通過超鏈接分析連續訪問抓取更多網頁。被抓取的網頁被稱之為網頁快照。由於互聯網中超鏈接的應用很普遍，理論上，從一定范圍的網頁出發，就能搜集到絕大多數的網頁。第二步是處理網頁。搜索引擎抓到網頁後，還要做大量的預處理工作，才能提供檢索服務。其中，最重要的就是提取關鍵詞，建立索引庫和索引。其他還包括消除重復網頁、判斷網頁類型、分析超鏈接、計算網頁的重要度、豐富度等。第三步提供檢索服務。用戶輸入關鍵詞進行檢索，搜索引擎從索引資料庫中找到匹配該關鍵詞的網頁，為了用戶便於判斷，除了網頁標題和URL外，還會提供一段來自網頁的摘要以及其他信息。
3.2推薦維度之二：用戶分析
用戶分析通過提取用戶的有效數據，如用戶經常瀏覽的文字類型、經常搜索的關鍵字、注冊時登記信息的內容等，演算法系統可以將每個用戶的瀏覽記錄、瀏覽時間、留言、評論和轉發等行為進行關鍵字提取，最終形成用戶畫像，以便之後對用戶進行文章和視頻的精準推送。舉個例子，給喜歡閱讀「體育」的用戶標上「體育」標簽；給喜歡「娛樂」的用戶標上「娛樂」的標簽，這一步的作用是給用戶的興趣進行建模，包括用戶對文章和視頻的全局熱度、分類熱度，主題熱度，以及關鍵詞熱度等。熱度信息在大的推薦系統能夠解決新聞冷啟動問題，幫助新聞實現推送。
用戶分析還具有協同特徵，它可以在部分程度上幫助解決所謂演算法越推越窄的問題。協同特徵也就是「聯想式」的推送方法，並非只考慮用戶已有歷史，而是通過用戶行為分析不同用戶間相似性，比如點擊相似、興趣分類相似、主題相似、興趣詞相似，甚至向量相似，從而擴展模型的探索能力。根據用戶之間計算數據的相似程度，把用戶細化分類成為不同的目標群體，再向目標群體集中的推送其感興趣的新聞內容
內容分析和用戶分析是相輔相成的，如果沒有分析的文本標簽，無法得到用戶興趣標簽，沒有用戶的興趣標簽就無法給用戶定位實現精準推送。
3.3推薦維度之三：環境分析
環境分析就是根據文章的時效性和接近性推送給相應的用戶，比如獲取用戶當前所在位置是否在旅遊區，這個可以通過獲取用戶的實時位置來實現。還會不斷與用戶之前經常出現的所在地進行對比等方式確認當前狀態，分析出用戶是在常住地區還是在旅行。這時若系統檢測到用戶正在泰山及周邊遊玩，則可能會相應推送泰山的相關文章、周邊的交通新聞和天氣信息等等。
通過上面三個推薦維度可以作為數據基礎，分析當前用戶處於什麼環境，結合用戶畫像以及文章的內容分類來推薦，盡量做到推送的內容都是用戶所感興趣的。演算法系統還會通過內容分類、分析抽取，把文本相似度高的文章，包括新聞主題、內容相似的文章進行消重，解決推送重復的問題，進一步對目標用戶進行精確且不重復的內容推薦。最後過濾質量低俗色情的內容，以免造成平台會有負面傾向。
3.4「今日頭條」新聞推薦演算法的價值取向
3.4.1「用戶為上」
「今日頭條」的演算法推送是站在用戶的立場上的，以滿足用戶個性化和推送的精準性，「今日頭條」也重新衡量了新聞價值標准：以用戶為上，用戶對新聞內容和閱讀方式的滿意度便是平台推送新聞的價值宗旨。傳統媒體時代，只有報紙和電視，有什麼受眾就得看什麼，而如今「今日頭條」根據用戶興趣去進行推送。演算法推送平台用戶范圍廣，很多用戶熱衷關注負面，也有許多用戶都有窺視欲和好奇心，喜歡無聊八卦和無聊新聞，而且在好奇心作用下用戶都有從眾心理。這使得生產者過度去迎合受眾，只要是用戶喜歡看就可以發表在「今日頭條」上。
3.4.2「演算法主導」
「今日頭條」更注重技術分發，生產者是用戶，受眾者也是用戶，這樣一來內容監管和分發就很困難。演算法推送機制根據用戶愛好進行推送，這樣生產的內容快、也無疑會加速內容配送效率。在演算法推送模型中，用戶點擊頻率、閱讀時間、點贊評論以及轉發在演算法時代都是可以進行量化的目標。在這樣情況下生產的內容，想要獲得較大點擊率和推送率，需要標題才能吸引用戶，因為用戶在平台一眼能看到的就是標題和配圖。標題和配圖決定用戶是否會打開你的內容，這導致許多內容生產者在編輯新聞標題時陷入標題黨的怪圈，還有導致低俗內容的呈現，以製造沖突製造懸念貼標簽等方式引用戶點擊，意圖把自己的文章做成爆文。對於海量的信息內容，即使今日頭條數據和智能推薦做的再好，目前來說也難以抵擋海量的垃圾信息。
4.演算法推送新聞引發的倫理問題
在如今網路時代的傳播思維中，「用戶為上」、「演算法主導」的新聞價值取向已經在演算法聚合類平台成為了普遍，演算法推送技術作為吸引用戶的手段，搭建起一個充滿誘導的媒介環境，以此增加用戶對平台的粘性。演算法推送技術在獲取信息、傳播速度等方面與以往相比有著跨時代的進步，但與此同時，由於演算法推送技術的加入，衍生出新的倫理問題，並且日漸復雜化。
4.1演算法推送引發的倫理問題
4.1.1演算法推送過於機械化，沒有思考能力
單向的演算法推薦對用戶來說經常會帶來內容雜亂無章、信息量過大、信息價值低等問題。從邏輯講，演算法只是從關鍵字的檢索匹配來完成統計推薦，但對新聞報道或文學作品具有藝術性、專業性的內容來說，是不能保證推送的質量的。演算法方面，目前主要基於匹配檢索與統計，大部分都是個人關注的信息類型和標簽，難以達到較好的推送效果。一千個人眼裡有一千個哈姆雷特，但是計算機只有隻有一個。演算法技術過於注重機械化的統計，只根據關鍵詞來推薦用戶，對我們中國具有博大精深的中國文字文化底蘊，推薦演算法是遠遠不夠的。整個新聞客戶端顯得像是一個菜市場，沒有態度、沒有風格，閱讀感受單一化，呈現了碎片化的特點。新聞不只是讓用戶能夠了解身邊發生的新鮮事，還有宣傳正面思想和傳播正能量的作用，新聞應該還要給人們帶來新的思考。讓機器做出正確判斷很簡單，但是讓機器綜合心理學、社會學、乃至某細分領域內的規則做出判斷還要正確地引導受眾則很難，正如現在演算法技術還不能完成一篇富有人文性、文學性和批判性的深度報道，它止步在了碎片式的、表層的傳播范疇。
4.1.2容易引起「信息繭房」效應
「信息繭房」這一概念是凱斯.桑斯坦在《信息烏托邦》一書中提出的。意指受眾在過度的信息自我選擇之中，這樣會降低接觸外界其他信息的可能，從而將自己的生活桎梏於蠶繭一般的「蠶房」中的現象。人們的信息領域會習慣性被自己的興趣引導，信息窄化帶來了受眾對信息接收的單一性，這種單一性的可能會使受眾陷入循環，加重受眾信息同質化。
4.1.3演算法推送的「偽中立性」
客觀和全面是新聞倫理的基本要求，新聞從業者必須從可好信息源來獲取真實的信息，以客觀的態度反應現實。我們慣常認為,互聯網技術服務商是技術中立者,不需要承擔約束大眾媒體的社會責任，然而當信息把關人又新聞編輯轉變為演算法工程師，傳統的媒介倫理似乎已經失效。演算法具有商業傾向性，「中立性」是演算法平台用以逃避媒體責任的理由，給大眾媒介造成傳播亂象，如此一來更像是一場演算法平台「肆意妄為又不想負責」的詭辯。
演算法平台的信息源是經過選擇和過濾的，「頭條號」的內容占「今日頭條」整個信息系統的絕大部分，然而在「人人都可以做新聞人」的時代，頭條號平台是一個開放的網路媒介環境，存在大量的偏見和錯誤的認知。無論是「今日頭條」平台設立的演算法規則，還是其他爬蟲的抓取的關鍵詞，演算法系統的信息源很多是具有目的性的、有偏見和非客觀的信息，所以信息源不能直接作用於用戶。因此，篩選演算法系統的信息源與傳統的人工編輯相比較，范圍極廣且很難把關，若演算法被惡意利用，那麼使整個傳播系統將會被輕易控制。
4.1.4演算法推送里的「議程設置」
原議程設置功能揭示的重要內涵是：「受眾對新聞的看法雖然被大眾媒體議程設置功能所主導，但其更深刻的是議程設置給大眾媒體新聞帶來放大與延伸，從而使受眾對新聞選擇做出能動性修正，讓受眾在滿足需求和媒介依賴中逐漸培養出的潛在認同感」。
推送演算法技術在互聯網平台的運用，使原來傳統媒體主導的議程設置過程發生了變化，伴隨著傳播權的轉移、公眾參與度的提高和信息量劇增等原因導致議程設置功逐漸能減弱。過往傳統新聞的內容是由編輯有選擇地進行報道後再呈現在受眾面前的，而個性化新聞推送是用戶自己來選擇看哪一方面的內容，而這一環節中，天然的技術賦權將傳播權從傳統媒體下放至平台的用戶，使得受眾和社會的連接無需依賴傳統媒介，新聞媒體作為把關人的作用和議程設置功能都在減弱。
4.2演算法新聞治理缺陷下的演算法權利異化
演算法作為人工智慧的基石之一，是「一種有限、確定、有效並適合用計算機程序來實現的解決問題的方法,是計算機科學的基礎」。近年來,伴隨人工智慧深度學習演算法取得的重大突破和大數據時代的到來,人工智慧的應用場景不斷拓展，人工智慧時代正逐漸從想像成為現實。藉助於海量的大數據和具備強大計算能力的硬體設備,擁有深度學習演算法的人工智慧機器可以通過自主學習和強化訓練來不斷提升自身的能力,解決很多人類難以有效應對的治理難題。伴隨人工能演算法在國家和社會治理中重要性的日漸凸顯,國家和社會對於演算法的依賴也逐漸加深,一種新型的權力形態——演算法權力也隨之出現。
可以把演算法權利分為四種：數據主權、演算法設計權、研發的資本權和演算法控制權。由於前三種權利都是單向的、演算法開發者賦予演算法的權利，是屬於演算法開發者的，與演算法分發平台呈現的效果沒有直接的影響，所以本文將著重論述演算法控制權。
演算法控制權是雙向的，用戶是演算法技術數據行為的提供者，同時又是被演算法技術控制的受害者。例如我們看到「今日頭條」會通過推送演算法來監管用戶的發布和瀏覽行為，同時平台會通過演算法決策系統來實現內容的發布去引導用戶。演算法控制權當然是一種天然技術賦予的權利，但演算法控制權是在用戶提供數據行為的情況下才得以實現的，因此演算法控制權既存在內容生產權，同時有要尊重和保護演算法相對人的義務。
正因為如此，演算法技術被認為是一種雙刃劍，一方面演算法能夠做出精準的行為預測，可以為管理者提供非常好的循環干預機制；對於公共行為主體來說，可以通過對大數據的應用來解決社會治理問題，對於私人主體來說可以藉助數據來提供個性化和定製化的服務；另一方面，演算法技術存在著諸如利益和風險不對稱等問題，而且由於演算法技術發展的超前性，新科技的創造者具備不對稱的信息和技術優勢，能夠按照自身利益的需求來塑造在平台上的演算法推送邏輯和社會系統，這帶來了監管的不確定性。人們要通過集體行為去承擔社會責任，通過這樣的方式規制演算法權利，可以讓我們能夠對演算法分發系統的意義和價值得到更深刻的思考。
⑹ 今日頭條的新聞推薦演算法是怎樣的呢
今日頭條開始逐步引入個性化推薦的策略。他們所採用的，是協同過濾（Collaborative Filtering）** + 基於內容推薦，直到今天依然構成今日頭條推薦演算法的基礎。
（協同過濾）是一個很好的方法，直到今天我們還一直使用。但缺點也很明顯，對於沒有行為（記錄）的文章，沒辦法推薦，所以沒辦法用於文章的冷啟動。所以我們引入了基於內容推薦的策略。比如計算文章的分類、文章的關鍵詞，然後根據用戶對文章的閱讀、瀏覽等信息，細化用戶的個人資料。——這樣子，如果文章是和科技相關的，而用戶的個人資料也顯示科技相關，那麼就算匹配。」
在之後的工作，是把特徵、模型做得更加細化。比如，文章實體詞的抽取。我們最近對文章的分析，已經做得很細，可以精確地提取實體詞。我們近期引入了『詞嵌入』（word embedding）方法，做向量化的分析，還引入 LDA 的方法，進行 topic 分析等等。
⑺ 推薦演算法綜述
推薦系統的目的是通過推薦計算幫助用戶從海量的數據對象中選擇出用戶最有可能感興趣的對象。涉及三個基本內容:目標用戶、待推薦項目以及推薦演算法，基本流程為：描述為用戶模型構建、項目模型建立以及推薦演算法處理三個基本流程；
為了能夠為用戶提供准確的推薦服務，推薦系統需要為用戶構建用戶模型，該模型能夠反映用戶動態變化的多層次興趣偏好，有助於推薦系統更好的理解用戶的特徵和需求。構建用戶模型通常需要經歷三個流程:用戶數據收集，用戶模型表示以及用戶模型更新。
（1）用戶數據收集：用戶數據是用戶模型構建的基礎，用戶數據收集的方式一般有顯示方式獲取和隱式方式獲取兩種。
顯示方式獲取的數據是用戶特徵屬性和興趣偏好的直接反映，所獲得的信息數據是較為客觀全面的，比如用戶在注冊時包含的性別、年齡等信息可以直接表示出用戶的基本人口學信息和興趣信息，用戶對項目的評分可以反映出用戶的偏好。但顯示獲取的方式最大的缺陷是其實時性較差，並且具有很強的侵襲性。
隱式方式獲取用戶數據是在不幹擾用戶的前提下，採集用戶的操作行為數據，並從中挖掘出用戶的興趣偏好。用戶的很多操作行為都能反映出用戶的喜好，比如用戶瀏覽網頁的速度、用戶查詢的關鍵字等，推薦系統在不影響用戶使用系統的情況下，通過行為日誌挖掘出用戶的偏好。隱式獲取方式由於具有較好的實時性和靈活性和較弱的侵襲性，己經成為推薦系統中主要的用戶數據採集方式。
（2）用戶模型表示：用戶模型是從用戶數據中歸納出的推薦系統所理解的用戶興趣偏好的結構化形式。
a 基於內容關鍵詞表示；
b 基於評分矩陣表示；
（3）用戶模型更新：推薦系統面臨的問題之一是興趣漂移，興趣漂移的根本原因在於用戶的興趣會隨時間發生改變。為了使用戶模型夠准確的代表用戶的興趣，推薦系統需要根據最新的用戶數據對用戶模型進行更新。
目前項目模型主要通過基於內容和基於分類這兩類方式來建立。基於內容的方式是以項目本身內容為基礎，向量空間模型表示是目前御用最為廣泛的基於內容的方式。
基於分類的方式是根據項目的內容或者屬性，將項目劃分到一個或者幾個類別中，利用類別信息來表示項目，這種方法可以很方便地將項目推薦給對某一類別感興趣的用戶。常見的分類演算法有樸素貝葉斯演算法和KNN分類演算法等。
推薦系統實現的核心是其使用的推薦演算法。針對不同的使用環境及其系統的數據特徵，選取不同的推薦演算法，可以在本質上提高推薦系統的推薦效果。根據不同的分類標准，推薦演算法出現了有很多不同的分類方法，本文採用了比較普遍的分類方法。
推薦系統通常被分為基於內容的推薦演算法、協同過濾推薦演算法以及混合模型推薦演算法三大類。
基於內容的推薦演算法，其本質是對物品或用戶的內容進行分析建立屬性特徵。系統根據其屬性特徵，為用戶推薦與其感興趣的屬性特徵相似的信息。演算法的主要思想是將與用戶之前感興趣的項目的內容相似的其他項目推薦給用戶。
CBF（Content-based Filter Recommendations）演算法的主要思想是將與用戶之前感興趣的項目的內容相似的其他項目推薦給用戶，比如用戶喜歡Java開發的書籍，則基於內容過濾演算法將用戶尚未看過的其他Java開發方面的書籍推薦給用戶。因此，該推薦演算法的關鍵部分是計算用戶模型和項目模型之間的內容相似度，相似度的計算通常採用餘弦相似性度量。
基於內容的推薦過程一般分為以下三個模塊:
（1）特徵提取模塊:由於大多數物品信息是非結構化的，需要為每個物品(如產品、網頁、新聞、文檔等)抽取出一些特徵屬性，用某一恰當的格式表示，以便下一階段的處理。如將新聞信息表示成關鍵詞向量，此種表示形式將作為下一模塊(屬性特徵學習模塊)的輸入。
（2）特徵學習模塊:通過用戶的歷史行為數據特徵，機器學習出用戶的興趣特徵模型。本模塊負責收集代表用戶喜好的數據信息，並泛化這些數據，用於構建用戶特徵模型。通常使用機器學習的泛化策略，來將用戶喜好表示為興趣模型。
（3）推薦模塊:該模塊利用上一階段得到的用戶特徵模型，通過對比用戶興趣模型與帶推薦物品的特徵相似度，為用戶推薦與其興趣相似度較高的物品，從而達到個性化推薦的目的。該模塊一般採用計算用戶興趣向量與待推薦物品特徵向量的相似度來進行排序，將相似度較高的物品推薦給相應用戶。計算相似度有多種方法，如皮爾遜相關系數法、夾角餘弦法、Jaccard相關系數法等。
協同過濾演算法（Collaborative Filtering）是於內容無關的，即不需要額外獲取分析用戶或物品的內容屬性特徵。是基於用戶歷史行為數據進行推薦的演算法。其通過分析用戶與物品間的聯系來尋找新的用戶與物品間的相關性。
該演算法演算法通常有兩個過程，一個過程是預測，另一個過程是推薦。主流的協同過濾演算法包括三種:基於用戶的協同過濾(User-Based Collaborative Filtering,UBCF)、基於項目的協同過濾(Item-Based Collaborative Filtering, IBCF)和基於模型的協同過濾(Model-Based Collaborative Filtering, MBCF)
（1）基於用戶的協同過濾演算法
基於用戶的協同過濾推薦演算法，先通過用戶歷史行為數據找到和用戶u相似的用戶，將這些用戶感興趣的且u沒有點擊過的物品推薦給用戶。
演算法主要包括以下兩個步驟:
(1)找到與目標用戶喜好相似的鄰居用戶集合。
(2)在鄰居用戶集合中，為用戶推薦其感興趣的物品。
UBCF的基本思想是將與當前用戶有相同偏好的其他用戶所喜歡的項目推薦給當前用戶。一個最典型的例子就是電影推薦，當我們不知道哪一部電影是我們比較喜歡的時候，通常會詢問身邊的朋友是否有好的電影推薦，詢問的時候我們習慣於尋找和我們品味相同或相似的朋友。
（2）基於物品的協同過濾演算法
基於物品的協同過濾演算法(Item-based Collaborative Filtering)其主要思想是，為用戶推薦那些與他們之前喜歡或點擊過的物品相似的物品。不過基於物品的協同過濾演算法並不是利用物品的內容屬性特徵來計算物品之間的相似度的。該類演算法是利用用戶的歷史行為數據計算待推薦物品之間的相似度。在該類演算法中，如果喜歡物品A的用戶大都也喜歡物品B，那麼就可以認為物品A和物品B之間的相似度很高。
演算法分為以下兩個步驟:
(1)根據用戶歷史行為數據，計算物品間的相似度。
(2)利用用戶行為和物品間的相似度為用戶生成推薦列表。
IBCF演算法是亞馬遜在2003年發表的論文中首次提出，該演算法的基本思想是根據所有用戶的歷史偏好數據計算項目之間的相似性，然後把和用戶喜歡的項目相類似的並且用戶還未選擇的其他項目推薦給用戶，例如，假設用戶喜歡項目a，則用戶喜歡與項目a高度相似且還未被用戶選擇的項目b的可能性非常大，因此將項目b推薦給用戶。
UBCF和IBCF都屬於基於內存的協同過濾演算法，這類演算法由於充分發揮了用戶的評分數據，形成全局推薦，因此具有較高的推薦質量。但隨著用戶和項目的規模增長，這類演算法的計算時間大幅上升，使得系統的性能下降。針對該問題，研究人員提出將數據挖掘中的模型和CF演算法結合，提出了基於模型的協同過濾演算法(MBCF) 。
MBCF演算法利用用戶歷史評分數據建立模型，模型建立的演算法通常有奇異值分解、聚類演算法、貝葉斯網路、關聯規則挖掘等，且通常是離線完成。由於MBCF通常會對原始評分值做近似計算，通過犧牲一定的准確性來換取系統性能，因此MBCF的推薦質量略差於UBCF和IBCF。
由於基於內容的推薦演算法和協同過濾推薦演算法都有其各自的局限性，混合推薦演算法應運而生。混合推薦演算法根據不同的應用場景，有多
種不同的結合方式，如加權、分層和分區等。
目前使用的混合推薦演算法的思想主要可以分成以下幾類:
（1）多個推薦演算法獨立運行，獲取的多個推薦結果以一定的策略進行混合，例如為每一個推薦結果都賦予一個權值的加權型混合推薦演算法和將各個推薦結果取TOP-N的交叉混合推薦演算法。
（2）將前一個推薦方法產出的中間結果或者最終結果輸出給後一個推薦方法，層層遞進，推薦結果在此過程中會被逐步優選，最終得到一個精確度比較高的結果。
（3）使用多種推薦演算法，將每種推薦演算法計算過程中產生的相似度值通過權重相加，調整每個推薦演算法相似度值的權重，以該混合相似度值為基礎，選擇出鄰域集合，並結合鄰域集合中的評估信息，得出最優的推薦結果。
BP (Back Propagation)神經網路是目前應用最廣泛的神經網路模型之一，是一種按誤差逆傳播演算法訓練的多層前饋網路。
BP神經網路模型包括輸入層、隱藏層和輸出層，每一層由一個或多個神經元組成，其結構圖如圖2-3所示。BP神經網路擁有很強的非線性映射能力和自學習、自適應能力，網路本身結構的可變性，也使其十分靈活，一個三層的BP神經網路能夠實現對任意非線性函數進行逼近。
BP神經網路的訓練過程通常分為3個過程，依次分別為數據初始化過程、正向推演計算過程以及反向權重調整過程。數據初始化是BP神經網路能夠進行有效訓練的前提，該過程通常包括輸入數據進行歸一化處理和初始權重的設置；正向推演計算是數據沿著網路方向進行推演計算;反向權重調整則是將期望輸出和網路的實際輸出進行對比，從輸出層開始，向著輸入層的方向逐層計算各層中各神經元的校正差值，調整神經元的權重。正向推演計算和反向權重調整為對單個訓練樣本一次完整的網路訓練過程，經過不斷的訓練調整，網路的實際輸出越來越趨近於期望輸出，當網路輸出到達預期目標，整個訓練過程結束。
TF-IDF(Term Frequency-Inverse Document Frequency，詞頻一逆文檔)是文本處理中常用的加權技術，廣泛應用於信息檢索、搜索引擎等領域。
TF-IDF的主要思想是:如果一個關鍵詞在文檔中出現的頻率很高，而在其他文檔中出現次數較少，則該關鍵詞被認為具有較強的代表性，即該關鍵詞通過TF-IDF計算後有較高的權重。
TextRank演算法，是一種用於文本關鍵詞排序的演算法，頁排序演算法PageRank。
PageRank基本思想是將每個網頁看成一個節點，網頁中的鏈接指向看成一條有向邊，一個網頁節點的重要程度取決於鏈接指向該網頁節點的其他節點的數量和重要權值，該過程描述如下:讓每一個網頁對其所包含的鏈接指向的網頁進行迭代投票，每次迭代投票過程中票的權重取決於網頁當前擁有的票數，當投票結果收斂或者達到指定的迭代次數時，每個網頁所獲得票數即為網頁重要程度權值。
TextRank演算法相比於TF-IDF最大的優點是TextRank是一種無監督的學習，因此不會受限於文本的主題，並且無需大規模的訓練集，可以針對單一文本進行快速的關鍵詞的權重計算。