基於內容協同過濾演算法

① 07_推薦系統演算法詳解

     基於人口統計學的推薦與用戶畫像、基於內容的推薦、基於協同過濾的推薦。

1、基於人口統計學的推薦機制( Demographic-based Recommendation)是一種最易於實現的推薦方法，它只是簡單的根據系統用戶的基本信息發現用戶的相關程度，然後將相似用戶喜愛的其他物品推薦給當前用戶。

2、對於沒有明確含義的用戶信息(比如登錄時間、地域等上下文信息)，可以通過聚類等手段，給用戶打上分類標簽。

3、對於特定標簽的用戶，又可以根據預設的規則(知識)或者模型，推薦出對應的物品。

4、用戶信息標簽化的過程一般又稱為 用戶畫像 ( User Profiling）。

（1）用戶畫像( User Profile)就是企業通過收集與分析消費者社會屬性、生活習慣、消費行為等主要信息的數據之後，完美地抽象出一個用戶的商業全貌作是企業應用大數據技術的基本方式。

（2）用戶畫像為企業提供了足夠的信息基礎，能夠幫助企業快速找到精準用戶群體以及用戶需求等更為廣泛的反饋信息。

（3）作為大數據的根基，它完美地抽象出一個用戶的信息全貌，為進一步精準、快速地分析用戶行為習慣、消費習慣等重要信息，提供了足夠的數據基礎。

1、 Content- based Recommendations(CB)根據推薦物品或內容的元數據，發現物品的相關性，再基於用戶過去的喜好記錄，為用戶推薦相似的物品。

2、通過抽取物品內在或者外在的特徵值,實現相似度計算。比如一個電影,有導演、演員、用戶標簽UGC、用戶評論、時長、風格等等，都可以算是特徵。

3、將用戶(user)個人信息的特徵(基於喜好記錄或是預設興趣標簽)，和物品(item)的特徵相匹配，就能得到用戶對物品感興趣的程度。在一些電影、音樂、圖書的社交網站有很成功的應用,有些網站還請專業的人員對物品進行基因編碼/打標簽(PGC）。

4、 相似度計算：

5、對於物品的特徵提取——打標簽(tag)

        - 專家標簽(PGC）

        - 用戶自定義標簽(UGC)

        - 降維分析數據,提取隱語義標簽(LFM)

     對於文本信息的特徵提取——關鍵詞

        - 分詞、語義處理和情感分析(NLP)

        - 潛在語義分析(LSA）

6、 基於內容推薦系統的高層次結構

7、 特徵工程

（1）特徵( feature)：數據中抽取出來的對結果預測有用的信息。

         特徵的個數就是數據的觀測維度。

         特徵工程是使用專業背景知識和技巧處理數據，使得特徵能在機器學習演算法上發揮更好的作用的過程。

         特徵工程一般包括特徵清洗(采樣、清洗異常樣本)，特徵處理和特徵選擇。

         特徵按照不同的數據類型分類，有不同的特徵處理方法：數值型、類別型、時間型、統計型。

（2）數值型特徵處理

        用連續數值表示當前維度特徵，通常會對數值型特徵進行數學上的處理，主要的做法是歸一化和離散化。

        * 幅度調整歸一化：

            特徵與特徵之間應該是平等的，區別應該體現在 特徵內部 。

            例如房屋價格和住房面積的幅度是不同的，房屋價格可能在3000000~15000000(萬)之間,而住房面積在40-300(平方米)之間，那麼明明是平等的兩個特徵，輸入到相同的模型中後由於本身的幅值不同導致產生的效果不同，這是不合理的

                        

        * 數值型特徵處理——離散化

        離散化的兩種方式：等步長——簡單但不一定有效；等頻——min -> 25% -> 75% -> max

        兩種方法對比：

            等頻的離散化方法很精準，但需要每次都對數據分布進行一遍從新計算，因為昨天用戶在淘寶上買東西的價格分布和今天不一定相同，因此昨天做等頻的切分點可能並不適用，而線上最需要避免的就是不固定，需要現場計算，所以昨天訓練出的模型今天不一定能使用。

            等頻不固定，但很精準，等步長是固定的，非常簡單，因此兩者在工業上都有應用。

（3） 類別型特徵處理

        類別型數據本身沒有大小關系，需要將它們編碼為數字，但它們之間不能有預先設定的大小關系，因此既要做到公平，又要區分開它們，那麼直接開辟多個空間。

        One-Hot編碼/啞變數：One-Hot編碼/啞變數所做的就是將類別型數據平行地展開，也就是說，經過One-Hot編碼啞變數後，這個特徵的空間會膨脹。

（4） 時間型特徵處理

        時間型特徵既可以做連續值,又可以看做離散值。

        連續值：持續時間(網頁瀏覽時長)；間隔時間(上一次購買/點擊離現在的時間間隔)。

        離散值：一天中哪個時間段；一周中的星期幾；一年中哪個月/星期；工作日/周末。

（5） 統計型特徵處理

        加減平均：商品價格高於平均價格多少，用戶在某個品類下消費超過多少。

        分位線：商品屬於售出商品價格的分位線處。

        次序性：商品處於熱門商品第幾位。

        比例類：電商中商品的好/中/差評比例。

8、 推薦系統常見反饋數據 ：

9、 基於UGC的推薦

     用戶用標簽來描述對物品的看法，所以用戶生成標簽(UGC)是聯系用戶和物品的紐帶，也是反應用戶興趣的重要數據源。

    一個用戶標簽行為的數據集一般由一個三元組(用戶,物品,標簽)的集合表示，其中一條記錄(u,i,b)表示用戶u給物品打上了標簽b。

    一個最簡單的演算法：

        - 統計每個用戶最常用的標簽

        - 對於每個標簽,統計被打過這個標簽次數最多的物品

        - 對於一個用戶，首先找到他常用的標簽，然後找到具有這些標簽的最熱門的物品，推薦給他

        - 所以用戶u對物品i的興趣公式為 ，其中 使用戶u打過標簽b的次數， 是物品i被打過標簽b的次數。

    簡單演算法中直接將用戶打出標簽的次數和物品得到的標簽次數相乘，可以簡單地表現出用戶對物品某個特徵的興趣。

    這種方法傾向於給熱門標簽(誰都會給的標簽,如「大片」、「搞笑」等)、熱門物品(打標簽人數最多)比較大的權重，如果一個熱門物品同時對應著熱門標簽,那它就會「霸榜」，推薦的個性化、新穎度就會降低。

    類似的問題,出現在新聞內容的關鍵字提取中。比如以下新聞中,哪個關鍵字應該獲得更高的權重?

10、 TF-IDF：詞頻逆文檔頻率 ( Term Frequency- -Inverse Document Frequency,TF-DF)是一種用於資訊檢索與文本挖掘的常用加權技術。

        TFDF是一種統計方法，用以評估一個字詞對於一個文件集或一個語料庫中的其中份文件的重要程度。字詞的重要性隨著它在文件中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。

                    TFIDF=TF IDF

         TF-IDF的主要思想是 ：如果某個詞或短語在一篇文章中出現的頻率TF高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。

        TF-DF加權的各種形式常被搜索引擎應用，作為文件與用戶查詢之間相關程度的度量或評級。

         詞頻( Term Frequency,TF) ：指的是某一個給定的詞語在該文件中出現的頻率。這個數字是對詞數的歸一化，以防止偏向更長的文件。(同一個詞語在長文件里可能會比短文件有更高的詞數,而不管該詞語重要與否。） ，其中 表示詞語 i 在文檔 j 中出現的頻率， 表示 i 在 j 中出現的次數， 表示文檔 j 的總詞數。

         逆向文件頻率( Inverse Document Frequency,IDF) ：是一個詞語普遍重要性的度量，某一特定詞語的IDF，可以由總文檔數目除以包含該詞語之文檔的數目，再將得到的商取對數得到 ，其中 表示詞語 i 在文檔集中的逆文檔頻率，N表示文檔集中的文檔總數， 表示文檔集中包含了詞語 i 的文檔數。

（11） TF-IDF對基於UGC推薦的改進 ： ，為了避免熱門標簽和熱門物品獲得更多的權重，我們需要對「熱門進行懲罰。

          借鑒TF-IDF的思想，以一個物品的所有標簽作為「文檔」，標簽作為「詞語」，從而計算標簽的「詞頻」(在物品所有標簽中的頻率)和「逆文檔頻率」(在其它物品標簽中普遍出現的頻率）。

           由於「物品i的所有標簽」 應該對標簽權重沒有影響，而 「所有標簽總數」 N 對於所有標簽是一定的，所以這兩項可以略去。在簡單演算法的基礎上,直接加入對熱門標簽和熱門物品的懲罰項： ，其中， 記錄了標簽 b 被多少個不同的用戶使用過， 記錄了物品 i 被多少個不同的用戶打過標簽。

（一）協同過濾（Collaborative Filtering, CF）

1、基於協同過濾(CF)的推薦：基於內容( Content based,CB)主要利用的是用戶評價過的物品的內容特徵，而CF方法還可以利用其他用戶評分過的物品內容。

    CF可以解決CB的一些局限：

         - 物品內容不完全或者難以獲得時,依然可以通過其他用戶的反饋給出推薦。

        - CF基於用戶之間對物品的評價質量，避免了CB僅依賴內容可能造成的對物品質量判斷的干。

        - CF推薦不受內容限制，只要其他類似用戶給出了對不同物品的興趣，CF就可以給用戶推薦出內容差異很大的物品(但有某種內在聯系)

    分為兩類：基於近鄰和基於模型。

2、基於近鄰的推薦系統：根據的是相同「口碑」准則。是否應該給Cary推薦《泰坦尼克號》?

（二）基於近鄰的協同過濾

1、 基於用戶（User-CF）： 基於用戶的協同過濾推薦的基本原理是，根據所有用戶對物品的偏好，發現與當前用戶口味和偏好相似的「鄰居」用戶群，並推薦近鄰所偏好的物品。

     在一般的應用中是採用計算「K-近鄰」的演算法；基於這K個鄰居的歷史偏好信息，為當前用戶進行推薦。

    User-CF和基於人口統計學的推薦機制：

        - 兩者都是計算用戶的相似度，並基於相似的「鄰居」用戶群計算推薦。

        - 它們所不同的是如何計算用戶的相似度：基於人口統計學的機制只考慮用戶本身的特徵，而基於用戶的協同過濾機制可是在用戶的歷史偏好的數據上計算用戶的相似度，它的基本假設是，喜歡類似物品的用戶可能有相同或者相似的口味和偏好。

2、基於物品（Item-CF）：基於項目的協同過濾推薦的基本原理與基於用戶的類似，只是使用所有用戶對物品的偏好，發現物品和物品之間的相似度，然後根據用戶的歷史偏好信息，將類似的物品推薦給用戶。

    Item-CF和基於內容(CB)的推薦

       - 其實都是基於物品相似度預測推薦，只是相似度計算的方法不一樣，前者是從用戶歷史的偏好推斷，而後者是基於物品本身的屬性特徵信息。

   同樣是協同過濾，在基於用戶和基於項目兩個策略中應該如何選擇呢?

        - 電商、電影、音樂網站,用戶數量遠大於物品數量。

        - 新聞網站，物品(新聞文本)數量可能大於用戶數量。

3、 User-CF和Item-CF的比較

     同樣是協同過濾，在User-CF和ltem-CF兩個策略中應該如何選擇呢？

     Item-CF應用場景

       -  基於物品的協同過濾( Item-CF ) 推薦機制是 Amazon在基於用戶的機制上改良的一種策略因為在大部分的Web站點中，物品的個數是遠遠小於用戶的數量的，而且物品的個數和相似度相對比較穩定，同時基於物品的機制比基於用戶的實時性更好一些，所以 Item-CF 成為了目前推薦策略的主流。

     User-CF應用場景

        - 設想一下在一些新聞推薦系統中，也許物品一一也就是新聞的個數可能大於用戶的個數，而且新聞的更新程度也有很快，所以它的相似度依然不穩定，這時用 User-cf可能效果更好。

    所以，推薦策略的選擇其實和具體的應用場景有很大的關系。

4、 基於協同過濾的推薦優缺點

 （1）基於協同過濾的推薦機制的優點：

        它不需要對物品或者用戶進行嚴格的建模，而且不要求對物品特徵的描述是機器可理解的，所以這種方法也是領域無關的。

       這種方法計算出來的推薦是開放的，可以共用他人的經驗，很好的支持用戶發現潛在的興趣偏好。

（2）存在的問題

        方法的核心是基於歷史數據，所以對新物品和新用戶都有「冷啟動」的問題。

        推薦的效果依賴於用戶歷史好數據的多少和准確性。

        在大部分的實現中，用戶歷史偏好是用稀疏矩陣進行存儲的，而稀疏矩陣上的計算有些明顯的問題，包括可能少部分人的錯誤偏好會對推薦的准確度有很大的影響等等。

        對於一些特殊品味的用戶不能給予很好的推薦。

（三）基於模型的協同過濾

1、基本思想

（1）用戶具有一定的特徵，決定著他的偏好選擇

（2）物品具有一定的特徵，影響著用戶需是否選擇它。

（3）用戶之所以選擇某一個商品，是因為用戶特徵與物品特徵相互匹配。

    基於這種思想，模型的建立相當於從行為數據中提取特徵，給用戶和物品同時打上「標簽」；這和基於人口統計學的用戶標簽、基於內容方法的物品標簽本質是一樣的，都是特徵的提取和匹配。

    有顯性特徵時(比如用戶標簽、物品分類標簽)我們可以直接匹配做出推薦；沒有時，可以根據已有的偏好數據，去發據出隱藏的特徵,這需要用到隱語義模型(LFM)。

2、基於模型的協同過濾推薦，就是基於樣本的用戶偏好信息，訓練一個推薦模型,然後根據實時的用戶喜好的信息進行預測新物品的得分，計算推薦

    基於近鄰的推薦和基於模型的推薦

        - 基於近鄰的推薦是在預測時直接使用已有的用戶偏好數據，通過近鄰數據來預測對新物品的偏好(類似分類)

        - 而基於模型的方法，是要使用這些偏好數據來訓練模型，找到內在規律，再用模型來做預測(類似回歸)

    訓練模型時，可以基於標簽內容來提取物品特徵，也可以讓模型去發據物品的潛在特徵；這樣的模型被稱為 隱語義模型 ( Latent Factor Model,LFM)。

（1）隱語義模型(LFM)：用隱語義模型來進行協同過濾的目標：

            - 揭示隱藏的特徵,這些特徵能夠解釋為什麼給出對應的預測評分

            - 這類特徵可能是無法直接用語言解釋描述的,事實上我們並不需要知道,類似「玄學」

        通過矩陣分解進行降維分析

            - 協同過濾演算法非常依賴歷史數據，而一般的推薦系統中，偏好數據又往往是稀疏的；這就需要對原始數據做降維處理。

            - 分解之後的矩陣，就代表了用戶和物品的隱藏特徵

        隱語義模型的實例：基於概率的隱語義分析(pLSA)、隱式迪利克雷分布模型(LDA)、矩陣因子分解模型(基於奇異值分解的模型,SVD)

（2）LFM降維方法——矩陣因子分解

（3）LFM的進一步理解

    我們可以認為，用戶之所以給電影打出這樣的分數，是有內在原因的，我們可以挖掘出影響用戶打分的隱藏因素，進而根據未評分電影與這些隱藏因素的關聯度，決定此未評分電影的預測評分。

    應該有一些隱藏的因素，影響用戶的打分，比如電影：演員、題材、年代…甚至不定是人直接可以理解的隱藏因子。

    找到隱藏因子，可以對user和Iiem進行關聯(找到是由於什麼使得user喜歡/不喜歡此Item,什麼會決定user喜歡/不喜歡此item)，就可以推測用戶是否會喜歡某一部未看過的電影。

（4）矩陣因子分解

（5）模型的求解——損失函數

（6）模型的求解演算法——ALS

    現在，矩陣因子分解的問題已經轉化成了一個標準的優化問題，需要求解P、Q，使目標損失函數取最小值。

    最小化過程的求解，一般採用隨機梯度下降演算法或者交替最小二乘法來實現交替最小二乘法( Alternating Least Squares,ALS)

    ALS的思想是，由於兩個矩陣P和Q都未知,且通過矩陣乘法耦合在一起，為了使它們解耦，可以先固定Q，把P當作變數，通過損失函數最小化求出P，這就是一個經典的最小二乘問題；再反過來固定求得的P，把Q當作變數，求解出Q：如此交替執行，直到誤差滿足閱值條件，或者到達迭代上限。

（7）梯度下降演算法

② 協同過濾的演算法簡介

電子商務推薦系統的一種主要演算法。
協同過濾推薦（Collaborative Filtering recommendation）是在信息過濾和信息系統中正迅速成為一項很受歡迎的技術。與傳統的基於內容過濾直接分析內容進行推薦不同，協同過濾分析用戶興趣，在用戶群中找到指定用戶的相似（興趣）用戶，綜合這些相似用戶對某一信息的評價，形成系統對該指定用戶對此信息的喜好程度預測。
與傳統文本過濾相比，協同過濾有下列優點:
（1）能夠過濾難以進行機器自動基於內容分析的信息。如藝術品、音樂;
（2）能夠基於一些復雜的，難以表達的概念（信息質量、品位)進行過濾;
（3）推薦的新穎性。
正因為如此，協同過濾在商業應用上也取得了不錯的成績。Amazon，CDNow，MovieFinder，都採用了協同過濾的技術來提高服務質量。
缺點是:
（1）用戶對商品的評價非常稀疏，這樣基於用戶的評價所得到的用戶間的相似性可能不準確（即稀疏性問題）;
（2）隨著用戶和商品的增多，系統的性能會越來越低;
（3）如果從來沒有用戶對某一商品加以評價，則這個商品就不可能被推薦（即最初評價問題）。
因此，現在的電子商務推薦系統都採用了幾種技術相結合的推薦技術。
案例: AMAZON個性化推薦系統先驅 (基於協同過濾)
AMAZON是一個虛擬的網上書店，它沒有自己的店面，而是在網上進行在線銷售。它提供了高質量的綜合節目資料庫和檢索系統，用戶可以在網上查詢有關圖書的信息。如果用戶需要購買的話，可以把選擇的書放在虛擬購書籃中，最後查看購書籃中的商品，選擇合適的服務方式並且提交訂單，這樣讀者所選購的書在幾天後就可以送到家。
AMAZON書店還提供先進的個性化推薦功能，能為不同興趣偏好的用戶自動推薦盡量符合其興趣需要的書籍。 AMAZON使用推薦軟體對讀者曾經購買過的書以及該讀者對其他書的評價進行分析後，將向讀者推薦他可能喜歡的新書，只要滑鼠點一下，就可以買到該書；AMAZON能對顧客購買過的東西進行自動分析，然後因人而異的提出合適的建議。讀者的信息將被再次保存，這樣顧客下次來時就能更容易的買到想要的書。此外，完善的售後服務也是AMAZON的優勢，讀者可以在拿到書籍的30天內，將完好無損的書和音樂光碟退回AMAZON，AMAZON將原價退款。當然AMAZON的成功還不止於此，如果一位顧客在AMAZON購買一本書，下次他再次訪問時，映入眼簾的首先是這位顧客的名字和歡迎的字樣。

③ 簡要智能閱讀中智能推薦的技術原理

智能推薦演算法總的來說分為兩種：基於內容的推薦演算法和協同過濾推薦演算法。

基於內容的推薦演算法：

根據內容的相似度（靜態的東西）進行推薦，內容不好提取的可以採取貼標簽的形式來區分計算內容的相似程度。然後根據用戶的喜好設置，關注等進行相似內容推薦。

協同過濾推薦演算法：

根據動態信息來進行推薦，即推薦的過程是自動的，推薦結果的產生是系統從用戶的購買行為或瀏覽記錄等隱式信息拿到的，無需用戶通過填表格等方式來明確自己的喜好。因為這些數據都是要讀到內存中進行運算的，所以又叫基於內存的協同過濾（Memory-based Collaborative Filtering）,另一種協同過濾演算法則是基於模型的協同過濾(Model-based Collaborative Filtering)；m個物品，m個用戶的數據，只有部分用戶和部分數據之間是有評分數據的，其它部分評分是空白，此時我們要用已有的部分稀疏數據來預測那些空白的物品和數據之間的評分關系，找到最高評分的物品推薦給用戶。對於這個問題，用機器學習的思想來建模解決，主流的方法可以分為：用關聯演算法，聚類演算法，分類演算法，回歸演算法，矩陣分解，神經網路,圖模型以及隱語義模型來解決。

（https://www.cnblogs.com/chenliyang/p/6548306.html）

而基於內存的協同過濾又有兩種：

• 基於user的協同過濾(用戶相似度):通過相似用戶的喜好來推薦

• 基於item的協同過濾(內容相似度):通過用戶對項目的不同評分推薦可能讓用戶打高評分的項目，是項目之間的相似度。

任何一種單一推薦演算法都有缺點，我們在實際項目中，可以採用混合推薦演算法，融合以上方法，通過串聯並聯等融合，構造出自己的一套推薦體系。

④ 信息流的那點事：3 推薦演算法是如何實現的

講完信息流流行的原因（ 信息流的那點事：2 為什麼信息流如此流行 ），這一篇，我們來從產品的視角，來看看推薦演算法在技術上是如何實現的。

根據需要的技術和運營成本，可以將主流的推薦演算法分為三類：基於內容元數據的推薦、基於用戶畫像的推薦、基於協同過濾演算法的推薦。

基於元數據的推薦是比較基礎的推薦演算法，基本原理是給內容打標簽，具體元數據的選取根據的內容有所不同，比較通用的角度有內容的關鍵詞、類型、作者、來源等，打開一款頭條類app，選擇屏蔽一條內容，就可以看到一些該內容的元數據顫差舉。

有了內容的元數據，就可以根據內容間的關聯，可以進行相關內容的推薦，喜歡看奇葩說的用戶，可能也會喜歡看同是米未傳媒出品的飯局的誘惑。根據內容的元數據，也可以記錄並逐漸明確用戶的內容偏好，進行數據積累，便於結合用戶的喜好進行對應的精準推薦，這也就是下面要說的基於用戶畫像的推薦的內容。

用戶畫像，類比一下就是給用戶打標簽，主要由三部分組成：用戶的基礎數據（年齡、性別等）、應用使用數據（應用使用頻率、時長等）和內容偏好數據（喜好的內容分類、種類等）。

對於基礎數據，不同年齡的用戶的內容偏好有很大差異，年輕人可能更喜歡新歌熱歌，而中年人可能更愛聽懷舊一些的歌曲；根據應用使用數據，可以進行用戶分層，活躍用戶可以多推薦內容促進使用，快要流失用戶可以推送一些打開率較高的內容來挽回，運營活動也可以更有針對性；基於內容偏好數據，可以記錄並逐漸明確用戶的內容偏好，從而進行更精準的推薦，從愛看娛樂新聞，到愛看國內明星，再到愛看某個小鮮肉，隨著內容偏好數據的逐步積累，頭條類產品的推薦也就越精確。

協同過濾演算法，簡單來說，茄碧就是尋找相近的用戶或內容來進行推薦，主要有基於用戶的協同過濾推薦和基於項目的協同過濾推薦兩種。

（1）基於用戶的協同過濾推薦

基於用戶的協同過濾推薦演算法，就是通過演算法分析出與你內容偏好相近的用戶，將他喜歡的內容推薦給你，這種推薦給你志同道合的人愛看的內容的思路，更相近於生活中的朋友作為同道中人的推薦。舉例來說，如果你喜歡ABC，而其他用戶在和你一樣喜歡ABC的同時，還都喜歡D，那麼就會把D推薦給你。

（2）.基於內容的協同過濾推薦

基於內容的協同過濾推薦演算法，就是通過演算法分析出內容和內容之間的關聯度，根據你喜歡的內容推薦最相關慶跡的內容，常見的看了這個內容的用戶85%也喜歡xxx，就是這種思路。舉例來說，如果你喜歡A，而喜歡A的用戶都喜歡B，那麼就會把B推薦給你。

相比於純粹的基於內容元數據的推薦，基於內容的協同過濾推薦更能發現一些內容間深層次的聯系，比如羅輯思維經常推薦各種內容，僅僅根據內容元數據來推薦，一集羅輯思維最相關的應該是另外一集，並不能推薦內容元數據相關性不太大的節目里推薦的內容；但由於可能很多用戶看完後都會搜索查看節目里推薦的內容，基於內容的協同過濾推薦就會發現兩者的相關性，進行推薦。

介紹推薦演算法的思路時，我們一直談到一個詞「內容偏好」，這也就是實現推薦演算法時一個核心的問題——需要通過怎樣的數據，才能判定用戶的內容偏好？主流的思路有一下三種：

讓用戶手動選擇，顯然是最簡單的思路，然而由於選擇的空間必然有限，只能讓用戶從幾個大類中間挑選，無法涵蓋全部內容的同時，粒度過大推薦也就很難精準。而且剛打開應用就讓用戶選擇，或者是讓用戶使用一段時間後在去補充選擇，這樣的操作都太重可能造成用戶流失。

既然手動選擇很難實現，我們就需要從用戶的使用數據中挖掘，主流的思路就是根據用戶一些主動操作來判斷，點擊閱讀了就說明喜歡，點了贊或者回復分享就是特別喜歡，如果跳過了內容就減少推薦，點擊了不感興趣，就不再推薦。

根據用戶使用的操作來判斷內容偏好，在不斷地使用中積累與細化數據，對內容偏好的判斷也就越來越准確，這就是頭條系應用的主要策略，這樣的策略對於下沉市場的不願做出主動選擇的沉默用戶，是一個非常適合的策略，但這樣只看點擊與操作，不關注內容實際質量的策略也會造成標題黨、內容低俗等問題，在後文會進一步介紹。

既然選擇不能完全代表用戶的內容偏好，如何使判斷更加精準呢？就要從一些更加隱性的數據入手了，比如對於文章，除了點擊，閱讀時間，閱讀完成度，是否查看文章的相關推薦內容，都是可以考慮的角度，相比純粹的點擊判斷，可以一定程度上解決標題黨的問題。再比如看視頻，如果快進次數過多，雖然看完了，可能也不是特別感興趣，而值得反復回看的內容，命中內容偏好的幾率就相對較高。

介紹完了推薦演算法的原理與數據來源，讓我們來試著還原一下一條內容的完整分發流程。

首先，是內容的初始化與冷啟動。可以通過演算法對內容進行分析提取或者人工處理，提取內容的來源、分類、關鍵詞等元數據，再根據用戶畫像計算內容興趣匹配度，分發給有對應內容偏好的用戶，,也可以通過內容原匹配度,向關系鏈分發,完成內容的冷啟動。

然後，可以根據用戶閱讀時間，閱讀完成度,互動數等數據，對該內容的質量進行分析，相應的增加或者減少推薦,實現內容動態分發調節。

最後，就是協同過濾演算法發揮作用的時間，對於優質內容，可以通過基於用戶的協同過濾推薦，推薦給與該內容受眾有類似愛好的用戶，也可以基於項目的協同過濾推薦，推薦給愛觀看同類內容的用戶,讓優質內容的傳播不在局限於關系鏈。

在真正的推薦演算法實現過程中，除了基礎的內容原匹配度,內容匹配度和內容質量,還有很多值得考慮的問題，比如新聞通知等時效性內容就要短時間加權，超時則不推薦；對於用戶的內容偏好也不能永遠維持，隨著時間用戶可能會喜歡新的內容，如果一定時間內用戶對以前喜歡的內容不感興趣，就要減少該種類推薦；還有為了不陷入越喜歡越推薦，最後全部是一種內容，讓用戶厭煩的境地，對於用戶的偏好也要設定一個上限；為了保持新鮮度，需要幫助用戶發現他可能喜歡的新內容.....

最後，通過數據可以了解我們如何閱讀這篇文章，但任何數據都無法准確描述我們閱讀後的感受與收獲；再高級的演算法也只是演算法，它雖然可能比我們更了解我們實際的的內容偏好，但無法了解到我們對於內容的追求。

這可能也就是頭條系產品雖然收獲了巨大成功，但也收到了標題黨、低俗化、迴音室效應等指責的原因，下一篇，讓我們來聊聊，信息流產品的面臨的問題與可能的解決方法。

⑤ 協同過濾，基於內容推薦有什麼區別

舉個簡單的小例子，我們已知道
用戶u1喜歡的電影是A，B，C
用戶u2喜歡的電影是A, C, E, F
用戶u3喜歡的電影是B，D
我們需要解決的問題是：決定對u1是不是應該推薦F這部電影
基於內容的做法：要分析F的特徵和u1所喜歡的A、B、C的特徵，需要知道的信息是A（戰爭片），B（戰爭片），C（劇情片），如果F（戰爭片），那麼F很大程度上可以推薦給u1，這是基於內容的做法，你需要對item進行特徵建立和建模。
協同過濾的辦法：那麼你完全可以忽略item的建模，因為這種辦法的決策是依賴user和item之間的關系，也就是這里的用戶和電影之間的關系。我們不再需要知道ABCF哪些是戰爭片，哪些是劇情片，我們只需要知道用戶u1和u2按照item向量表示，他們的相似度比較高，那麼我們可以把u2所喜歡的F這部影片推薦給u1。
根據數據源的不同推薦引擎可以分為三類
1、基於人口的統計學推薦(Demographic-based Recommendation)
2、基於內容的推薦(Content-based Recommendation)
3、基於協同過濾的推薦(Collaborative Filtering-based Recommendation)
基於內容的推薦：
根據物品或內容的元數據，發現物品或內容的相關性，然後基於用戶以前的喜好記錄推薦給用戶相似的物品
基於內容推薦的一個典型的例子，電影推薦系統，首先我們需要對電影的元數據有一個建模，這里只簡單的描述了一下電影的類型；然後通過電影的元數據發現電影間的相似度，因為類型都是「愛情，浪漫」電影 A 和 C 被認為是相似的電影（當然，只根據類型是不夠的，要得到更好的推薦，我們還可以考慮電影的導演，演員等等）；最後實現推薦，對於用戶 A，他喜歡看電影 A，那麼系統就可以給他推薦類似的電影 C。