A. 推薦演算法綜述
推薦系統的目的是通過推薦計算幫助用戶從海量的數據對象中選擇出用戶最有可能感興趣的對象。涉及三個基本內容:目標用戶、待推薦項目以及推薦演算法，基本流程為：描述為用戶模型構建、項目模型建立以及推薦演算法處理三個基本流程；
為了能夠為用戶提供准確的推薦服務，推薦系統需要為用戶構建用戶模型，該模型能夠反映用戶動態變化的多層次興趣偏好，有助於推薦系統更好的理解用戶的特徵和需求。構建用戶模型通常需要經歷三個流程:用戶數據收集，用戶模型表示以及用戶模型更新。
（1）用戶數據收集：用戶數據是用戶模型構建的基礎，用戶數據收集的方式一般有顯示方式獲取和隱式方式獲取兩種。
顯示方式獲取的數據是用戶特徵屬性和興趣偏好的直接反映，所獲得的信息數據是較為客觀全面的，比如用戶在注冊時包含的性別、年齡等信息可以直接表示出用戶的基本人口學信息和興趣信息，用戶對項目的評分可以反映出用戶的偏好。但顯示獲取的方式最大的缺陷是其實時性較差，並且具有很強的侵襲性。
隱式方式獲取用戶數據是在不幹擾用戶的前提下，採集用戶的操作行為數據，並從中挖掘出用戶的興趣偏好。用戶的很多操作行為都能反映出用戶的喜好，比如用戶瀏覽網頁的速度、用戶查詢的關鍵字等，推薦系統在不影響用戶使用系統的情況下，通過行為日誌挖掘出用戶的偏好。隱式獲取方式由於具有較好的實時性和靈活性和較弱的侵襲性，己經成為推薦系統中主要的用戶數據採集方式。
（2）用戶模型表示：用戶模型是從用戶數據中歸納出的推薦系統所理解的用戶興趣偏好的結構化形式。
a 基於內容關鍵詞表示；
b 基於評分矩陣表示；
（3）用戶模型更新：推薦系統面臨的問題之一是興趣漂移，興趣漂移的根本原因在於用戶的興趣會隨時間發生改變。為了使用戶模型夠准確的代表用戶的興趣，推薦系統需要根據最新的用戶數據對用戶模型進行更新。
目前項目模型主要通過基於內容和基於分類這兩類方式來建立。基於內容的方式是以項目本身內容為基礎，向量空間模型表示是目前御用最為廣泛的基於內容的方式。
基於分類的方式是根據項目的內容或者屬性，將項目劃分到一個或者幾個類別中，利用類別信息來表示項目，這種方法可以很方便地將項目推薦給對某一類別感興趣的用戶。常見的分類演算法有樸素貝葉斯演算法和KNN分類演算法等。
推薦系統實現的核心是其使用的推薦演算法。針對不同的使用環境及其系統的數據特徵，選取不同的推薦演算法，可以在本質上提高推薦系統的推薦效果。根據不同的分類標准，推薦演算法出現了有很多不同的分類方法，本文採用了比較普遍的分類方法。
推薦系統通常被分為基於內容的推薦演算法、協同過濾推薦演算法以及混合模型推薦演算法三大類。
基於內容的推薦演算法，其本質是對物品或用戶的內容進行分析建立屬性特徵。系統根據其屬性特徵，為用戶推薦與其感興趣的屬性特徵相似的信息。演算法的主要思想是將與用戶之前感興趣的項目的內容相似的其他項目推薦給用戶。
CBF（Content-based Filter Recommendations）演算法的主要思想是將與用戶之前感興趣的項目的內容相似的其他項目推薦給用戶，比如用戶喜歡Java開發的書籍，則基於內容過濾演算法將用戶尚未看過的其他Java開發方面的書籍推薦給用戶。因此，該推薦演算法的關鍵部分是計算用戶模型和項目模型之間的內容相似度，相似度的計算通常採用餘弦相似性度量。
基於內容的推薦過程一般分為以下三個模塊:
（1）特徵提取模塊:由於大多數物品信息是非結構化的，需要為每個物品(如產品、網頁、新聞、文檔等)抽取出一些特徵屬性，用某一恰當的格式表示，以便下一階段的處理。如將新聞信息表示成關鍵詞向量，此種表示形式將作為下一模塊(屬性特徵學習模塊)的輸入。
（2）特徵學習模塊:通過用戶的歷史行為數據特徵，機器學習出用戶的興趣特徵模型。本模塊負責收集代表用戶喜好的數據信息，並泛化這些數據，用於構建用戶特徵模型。通常使用機器學習的泛化策略，來將用戶喜好表示為興趣模型。
（3）推薦模塊:該模塊利用上一階段得到的用戶特徵模型，通過對比用戶興趣模型與帶推薦物品的特徵相似度，為用戶推薦與其興趣相似度較高的物品，從而達到個性化推薦的目的。該模塊一般採用計算用戶興趣向量與待推薦物品特徵向量的相似度來進行排序，將相似度較高的物品推薦給相應用戶。計算相似度有多種方法，如皮爾遜相關系數法、夾角餘弦法、Jaccard相關系數法等。
協同過濾演算法（Collaborative Filtering）是於內容無關的，即不需要額外獲取分析用戶或物品的內容屬性特徵。是基於用戶歷史行為數據進行推薦的演算法。其通過分析用戶與物品間的聯系來尋找新的用戶與物品間的相關性。
該演算法演算法通常有兩個過程，一個過程是預測，另一個過程是推薦。主流的協同過濾演算法包括三種:基於用戶的協同過濾(User-Based Collaborative Filtering,UBCF)、基於項目的協同過濾(Item-Based Collaborative Filtering, IBCF)和基於模型的協同過濾(Model-Based Collaborative Filtering, MBCF)
（1）基於用戶的協同過濾演算法
基於用戶的協同過濾推薦演算法，先通過用戶歷史行為數據找到和用戶u相似的用戶，將這些用戶感興趣的且u沒有點擊過的物品推薦給用戶。
演算法主要包括以下兩個步驟:
(1)找到與目標用戶喜好相似的鄰居用戶集合。
(2)在鄰居用戶集合中，為用戶推薦其感興趣的物品。
UBCF的基本思想是將與當前用戶有相同偏好的其他用戶所喜歡的項目推薦給當前用戶。一個最典型的例子就是電影推薦，當我們不知道哪一部電影是我們比較喜歡的時候，通常會詢問身邊的朋友是否有好的電影推薦，詢問的時候我們習慣於尋找和我們品味相同或相似的朋友。
（2）基於物品的協同過濾演算法
基於物品的協同過濾演算法(Item-based Collaborative Filtering)其主要思想是，為用戶推薦那些與他們之前喜歡或點擊過的物品相似的物品。不過基於物品的協同過濾演算法並不是利用物品的內容屬性特徵來計算物品之間的相似度的。該類演算法是利用用戶的歷史行為數據計算待推薦物品之間的相似度。在該類演算法中，如果喜歡物品A的用戶大都也喜歡物品B，那麼就可以認為物品A和物品B之間的相似度很高。
演算法分為以下兩個步驟:
(1)根據用戶歷史行為數據，計算物品間的相似度。
(2)利用用戶行為和物品間的相似度為用戶生成推薦列表。
IBCF演算法是亞馬遜在2003年發表的論文中首次提出，該演算法的基本思想是根據所有用戶的歷史偏好數據計算項目之間的相似性，然後把和用戶喜歡的項目相類似的並且用戶還未選擇的其他項目推薦給用戶，例如，假設用戶喜歡項目a，則用戶喜歡與項目a高度相似且還未被用戶選擇的項目b的可能性非常大，因此將項目b推薦給用戶。
UBCF和IBCF都屬於基於內存的協同過濾演算法，這類演算法由於充分發揮了用戶的評分數據，形成全局推薦，因此具有較高的推薦質量。但隨著用戶和項目的規模增長，這類演算法的計算時間大幅上升，使得系統的性能下降。針對該問題，研究人員提出將數據挖掘中的模型和CF演算法結合，提出了基於模型的協同過濾演算法(MBCF) 。
MBCF演算法利用用戶歷史評分數據建立模型，模型建立的演算法通常有奇異值分解、聚類演算法、貝葉斯網路、關聯規則挖掘等，且通常是離線完成。由於MBCF通常會對原始評分值做近似計算，通過犧牲一定的准確性來換取系統性能，因此MBCF的推薦質量略差於UBCF和IBCF。
由於基於內容的推薦演算法和協同過濾推薦演算法都有其各自的局限性，混合推薦演算法應運而生。混合推薦演算法根據不同的應用場景，有多
種不同的結合方式，如加權、分層和分區等。
目前使用的混合推薦演算法的思想主要可以分成以下幾類:
（1）多個推薦演算法獨立運行，獲取的多個推薦結果以一定的策略進行混合，例如為每一個推薦結果都賦予一個權值的加權型混合推薦演算法和將各個推薦結果取TOP-N的交叉混合推薦演算法。
（2）將前一個推薦方法產出的中間結果或者最終結果輸出給後一個推薦方法，層層遞進，推薦結果在此過程中會被逐步優選，最終得到一個精確度比較高的結果。
（3）使用多種推薦演算法，將每種推薦演算法計算過程中產生的相似度值通過權重相加，調整每個推薦演算法相似度值的權重，以該混合相似度值為基礎，選擇出鄰域集合，並結合鄰域集合中的評估信息，得出最優的推薦結果。
BP (Back Propagation)神經網路是目前應用最廣泛的神經網路模型之一，是一種按誤差逆傳播演算法訓練的多層前饋網路。
BP神經網路模型包括輸入層、隱藏層和輸出層，每一層由一個或多個神經元組成，其結構圖如圖2-3所示。BP神經網路擁有很強的非線性映射能力和自學習、自適應能力，網路本身結構的可變性，也使其十分靈活，一個三層的BP神經網路能夠實現對任意非線性函數進行逼近。
BP神經網路的訓練過程通常分為3個過程，依次分別為數據初始化過程、正向推演計算過程以及反向權重調整過程。數據初始化是BP神經網路能夠進行有效訓練的前提，該過程通常包括輸入數據進行歸一化處理和初始權重的設置；正向推演計算是數據沿著網路方向進行推演計算;反向權重調整則是將期望輸出和網路的實際輸出進行對比，從輸出層開始，向著輸入層的方向逐層計算各層中各神經元的校正差值，調整神經元的權重。正向推演計算和反向權重調整為對單個訓練樣本一次完整的網路訓練過程，經過不斷的訓練調整，網路的實際輸出越來越趨近於期望輸出，當網路輸出到達預期目標，整個訓練過程結束。
TF-IDF(Term Frequency-Inverse Document Frequency，詞頻一逆文檔)是文本處理中常用的加權技術，廣泛應用於信息檢索、搜索引擎等領域。
TF-IDF的主要思想是:如果一個關鍵詞在文檔中出現的頻率很高，而在其他文檔中出現次數較少，則該關鍵詞被認為具有較強的代表性，即該關鍵詞通過TF-IDF計算後有較高的權重。
TextRank演算法，是一種用於文本關鍵詞排序的演算法，頁排序演算法PageRank。
PageRank基本思想是將每個網頁看成一個節點，網頁中的鏈接指向看成一條有向邊，一個網頁節點的重要程度取決於鏈接指向該網頁節點的其他節點的數量和重要權值，該過程描述如下:讓每一個網頁對其所包含的鏈接指向的網頁進行迭代投票，每次迭代投票過程中票的權重取決於網頁當前擁有的票數，當投票結果收斂或者達到指定的迭代次數時，每個網頁所獲得票數即為網頁重要程度權值。
TextRank演算法相比於TF-IDF最大的優點是TextRank是一種無監督的學習，因此不會受限於文本的主題，並且無需大規模的訓練集，可以針對單一文本進行快速的關鍵詞的權重計算。
B. 3分鍾輕鬆了解個性化推薦演算法
推薦這種體驗除了電商網站，還有新聞推薦、電台音樂推薦、搜索相關內容及廣告推薦，基於數據的個性化推薦也越來越普遍了。今天就針對場景來說說這些不同的個性化推薦演算法吧。
說個性化之前，先提一下非個性化。 非個性化的推薦也是很常見的，畢竟人嘛都有從眾心理，總想知道大家都在看什麼。非個性化推薦的方式主要就是以比較單一的維度加上半衰期去看全局排名，比如，30天內點擊排名，一周熱門排名。
但是只靠非個性化推薦有個弊端，就是馬太效應，點的人越多的，經過推薦點得人有更多。。。強者越強，弱者機會越少就越弱，可能導致兩級分化嚴重，一些比較優質素材就被埋沒了。
所以，為了解決一部分馬太效應的問題，也主要是順應數據化和自動化的模式，就需要增加個性化的推薦（可算說到正題了。。。）個性化的優點是不僅體驗好，而且也大大增加了效率，讓你更快找到你感興趣的東西。YouTube也曾做過實驗測試個性化和非個性化的效果，最終結果顯示個性化推薦的點擊率是同期熱門視頻的兩倍。
1.新聞、視頻、資訊和電台（基於內容推薦）
一般來說，如果是推薦資訊類的都會採用基於內容的推薦，甚至早期的郵件過濾也採用這種方式。
基於內容的推薦方法就是根據用戶過去的行為記錄來向用戶推薦相似額推薦品。簡單來說就是你常常瀏覽科技新聞，那就更多的給你推薦科技類的新聞。
復雜來說，根據行為設計權重，根據不同維度屬性區分推薦品都是麻煩的事，常用的判斷用戶可能會喜歡推薦品程度的餘弦向量公式長這樣，我就不解釋了（已經勾起了我關於高數不好的回憶）。。。
但是，這種演算法缺點是由於內容高度匹配，導致推薦結果的驚喜度較差，而且有冷啟動的問題，對新用戶不能提供可靠的推薦結果。並且，只有維度增加才能增加推薦的精度，但是維度一旦增加計算量也成指數型增長。如果是非實體的推薦品，定義風格也不是一件容易的事，同一個作者的文風和曲風也會發生改變。
2.電商零售類（協同過濾推薦和關聯規則推薦）
說電商推薦那不可能不講到亞馬遜，傳言亞馬遜有三成的銷售額都來自個性化的商品推薦系統。實際上，我自己也常常在這里找到喜歡的書，也願意主動的去看他到底給我推薦了什麼。
一般，電商主流推薦演算法是基於一個這樣的假設，「跟你喜好相似的人喜歡的東西你也很有可能喜歡。」即協同過濾過濾演算法。主要的任務就是找出和你品味最相近的用戶，從而根據最近他的喜好預測你也可能喜歡什麼。
這種方法可以推薦一些內容上差異較大但是又是用戶感興趣的物品，很好的支持用戶發現潛在的興趣偏好。也不需要領域知識，並且隨著時間推移性能提高。但是也存在無法向新用戶推薦的問題，系統剛剛開始時推薦質可能較量差。
電商行業也常常會使用到基於關聯規則的推薦。即以關聯規則為基礎，把已購商品作為規則頭，規則體為推薦對象。比如，你購買了羽毛球拍，那我相應的會向你推薦羽毛球周邊用品。關聯規則挖掘可以發現不同商品在銷售過程中的相關性，在零售業中已經得到了成功的應用。
3.廣告行業（基於知識推薦）
自從可以瀏覽器讀取cookies，甚至獲得年齡屬性等信息，廣告的個性化投放就也可以根據不同場景使用了。
當用戶的行為數據較少時，基於知識的推薦可以幫助我們解決這類問題。用戶必須指定需求，然後系統設法給出解決方式。假設，你的廣告需要指定某地區某年齡段的投放，系統就根據這條規則進行計算。基於知識的推薦在某種程度是可以看成是一種推理技術。這種方法不需要用戶行為數據就能推薦，所以不存在冷啟動問題。推薦結果主要依賴兩種形式，基於約束推薦和基於實例推薦。
4.組合推薦
由於各種推薦方法都有優缺點，所以在實際中，並不像上文講的那樣採用單一的方法進行建模和推薦（我真的只是為了解釋清楚演算法）。。。
在組合方式上，也有多種思路：加權、變換、混合、特徵組合、層疊、特徵擴充、元級別。 並且，為了解決冷啟動的問題，還會相應的增加補足策略，比如根據用戶模型的數據，結合挖掘的各種榜單進行補足，如全局熱門、分類熱門等。 還有一些開放性的問題，比如，需不需要幫助用戶有品味的提升，引導人去更好的生活。
最後，我總想，最好的推薦效果是像一個了解你的朋友一樣跟你推薦，因為他知道你喜歡什麼，最近對什麼感興趣，也總能發現一些有趣的新東西。這讓我想到有一些朋友總會興致勃勃的過來說，嘿，給你推薦個東西，你肯定喜歡，光是聽到這句話我好像就開心起來，也許這就是我喜歡這個功能的原因。
C. 第十章 數據推薦演算法——推薦演算法與效果評價
不同應用場景中推薦演算法的評估方式不一定相同，主要集中在五個方面：
1、准確率、召回率及覆蓋率評價
2、流行度與多樣性評價
3、推薦結果序列評價
4、新穎性與創新評價
5、用戶滿意度
對於推薦演算法，很多企業也在不斷地通過用戶畫像的方式刻畫用戶特徵，從而不斷改進推薦系統。通過用戶畫像的方式可以有效地解決基棚如下三個方面的問題：
1、通過各個渠道繪制用戶畫像，可以較好地解決冷啟動問題。
2、通過用戶畫像可以豐富完整的用戶橋搜特徵信息，為更廣泛的推薦提供信息基礎。
3、構建更加豐富完整的用戶特徵信息，為更廣泛的推薦提供信息基礎。
推薦演算法與關聯規則分析在某種程度上相似，都利用了大眾用戶的行為記錄，關聯性規則分析也可以用於輔助推薦，它們之間的差異：
1、推薦演算法尤其是協同過濾推薦是基於一種間接性的推薦；而關聯規則分析則是對直接性的分析。
2、推薦演算法的推薦過程比較復雜，不僅與物品本身屬性有關，還與個人的喜好興趣有很大關系；而關聯規則分析過程與個人的喜好或者興趣無關，更多地傾向於基於大敏鋒歷眾用戶的行為分析物品之間的潛在關系。
D. 07_推薦系統演算法詳解
基於人口統計學的推薦與用戶畫像、基於內容的推薦、基於協同過濾的推薦。
1、基於人口統計學的推薦機制( Demographic-based Recommendation)是一種最易於實現的推薦方法，它只是簡單的根據系統用戶的基本信息發現用戶的相關程度，然後將相似用戶喜愛的其他物品推薦給當前用戶。
2、對於沒有明確含義的用戶信息(比如登錄時間、地域等上下文信息)，可以通過聚類等手段，給用戶打上分類標簽。
3、對於特定標簽的用戶，又可以根據預設的規則(知識)或者模型，推薦出對應的物品。
4、用戶信息標簽化的過程一般又稱為 用戶畫像 ( User Profiling）。
（1）用戶畫像( User Profile)就是企業通過收集與分析消費者社會屬性、生活習慣、消費行為等主要信息的數據之後，完美地抽象出一個用戶的商業全貌作是企業應用大數據技術的基本方式。
（2）用戶畫像為企業提供了足夠的信息基礎，能夠幫助企業快速找到精準用戶群體以及用戶需求等更為廣泛的反饋信息。
（3）作為大數據的根基，它完美地抽象出一個用戶的信息全貌，為進一步精準、快速地分析用戶行為習慣、消費習慣等重要信息，提供了足夠的數據基礎。
1、 Content- based Recommendations(CB)根據推薦物品或內容的元數據，發現物品的相關性，再基於用戶過去的喜好記錄，為用戶推薦相似的物品。
2、通過抽取物品內在或者外在的特徵值,實現相似度計算。比如一個電影,有導演、演員、用戶標簽UGC、用戶評論、時長、風格等等，都可以算是特徵。
3、將用戶(user)個人信息的特徵(基於喜好記錄或是預設興趣標簽)，和物品(item)的特徵相匹配，就能得到用戶對物品感興趣的程度。在一些電影、音樂、圖書的社交網站有很成功的應用,有些網站還請專業的人員對物品進行基因編碼/打標簽(PGC）。
4、 相似度計算：
5、對於物品的特徵提取——打標簽(tag)
- 專家標簽(PGC）
- 用戶自定義標簽(UGC)
- 降維分析數據,提取隱語義標簽(LFM)
對於文本信息的特徵提取——關鍵詞
- 分詞、語義處理和情感分析(NLP)
- 潛在語義分析(LSA）
6、 基於內容推薦系統的高層次結構
7、 特徵工程
（1）特徵( feature)：數據中抽取出來的對結果預測有用的信息。
特徵的個數就是數據的觀測維度。
特徵工程是使用專業背景知識和技巧處理數據，使得特徵能在機器學習演算法上發揮更好的作用的過程。
特徵工程一般包括特徵清洗(采樣、清洗異常樣本)，特徵處理和特徵選擇。
特徵按照不同的數據類型分類，有不同的特徵處理方法：數值型、類別型、時間型、統計型。
（2）數值型特徵處理
用連續數值表示當前維度特徵，通常會對數值型特徵進行數學上的處理，主要的做法是歸一化和離散化。
* 幅度調整歸一化：
特徵與特徵之間應該是平等的，區別應該體現在 特徵內部 。
例如房屋價格和住房面積的幅度是不同的，房屋價格可能在3000000~15000000(萬)之間,而住房面積在40-300(平方米)之間，那麼明明是平等的兩個特徵，輸入到相同的模型中後由於本身的幅值不同導致產生的效果不同，這是不合理的
* 數值型特徵處理——離散化
離散化的兩種方式：等步長——簡單但不一定有效；等頻——min -> 25% -> 75% -> max
兩種方法對比：
等頻的離散化方法很精準，但需要每次都對數據分布進行一遍從新計算，因為昨天用戶在淘寶上買東西的價格分布和今天不一定相同，因此昨天做等頻的切分點可能並不適用，而線上最需要避免的就是不固定，需要現場計算，所以昨天訓練出的模型今天不一定能使用。
等頻不固定，但很精準，等步長是固定的，非常簡單，因此兩者在工業上都有應用。
（3） 類別型特徵處理
類別型數據本身沒有大小關系，需要將它們編碼為數字，但它們之間不能有預先設定的大小關系，因此既要做到公平，又要區分開它們，那麼直接開辟多個空間。
One-Hot編碼/啞變數：One-Hot編碼/啞變數所做的就是將類別型數據平行地展開，也就是說，經過One-Hot編碼啞變數後，這個特徵的空間會膨脹。
（4） 時間型特徵處理
時間型特徵既可以做連續值,又可以看做離散值。
連續值：持續時間(網頁瀏覽時長)；間隔時間(上一次購買/點擊離現在的時間間隔)。
離散值：一天中哪個時間段；一周中的星期幾；一年中哪個月/星期；工作日/周末。
（5） 統計型特徵處理
加減平均：商品價格高於平均價格多少，用戶在某個品類下消費超過多少。
分位線：商品屬於售出商品價格的分位線處。
次序性：商品處於熱門商品第幾位。
比例類：電商中商品的好/中/差評比例。
8、 推薦系統常見反饋數據 ：
9、 基於UGC的推薦
用戶用標簽來描述對物品的看法，所以用戶生成標簽(UGC)是聯系用戶和物品的紐帶，也是反應用戶興趣的重要數據源。
一個用戶標簽行為的數據集一般由一個三元組(用戶,物品,標簽)的集合表示，其中一條記錄(u,i,b)表示用戶u給物品打上了標簽b。
一個最簡單的演算法：
- 統計每個用戶最常用的標簽
- 對於每個標簽,統計被打過這個標簽次數最多的物品
- 對於一個用戶，首先找到他常用的標簽，然後找到具有這些標簽的最熱門的物品，推薦給他
- 所以用戶u對物品i的興趣公式為 ，其中 使用戶u打過標簽b的次數， 是物品i被打過標簽b的次數。
簡單演算法中直接將用戶打出標簽的次數和物品得到的標簽次數相乘，可以簡單地表現出用戶對物品某個特徵的興趣。
這種方法傾向於給熱門標簽(誰都會給的標簽,如「大片」、「搞笑」等)、熱門物品(打標簽人數最多)比較大的權重，如果一個熱門物品同時對應著熱門標簽,那它就會「霸榜」，推薦的個性化、新穎度就會降低。
類似的問題,出現在新聞內容的關鍵字提取中。比如以下新聞中,哪個關鍵字應該獲得更高的權重?
10、 TF-IDF：詞頻逆文檔頻率 ( Term Frequency- -Inverse Document Frequency,TF-DF)是一種用於資訊檢索與文本挖掘的常用加權技術。
TFDF是一種統計方法，用以評估一個字詞對於一個文件集或一個語料庫中的其中份文件的重要程度。字詞的重要性隨著它在文件中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。
TFIDF=TF IDF
TF-IDF的主要思想是 ：如果某個詞或短語在一篇文章中出現的頻率TF高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。
TF-DF加權的各種形式常被搜索引擎應用，作為文件與用戶查詢之間相關程度的度量或評級。
詞頻( Term Frequency,TF) ：指的是某一個給定的詞語在該文件中出現的頻率。這個數字是對詞數的歸一化，以防止偏向更長的文件。(同一個詞語在長文件里可能會比短文件有更高的詞數,而不管該詞語重要與否。） ，其中 表示詞語 i 在文檔 j 中出現的頻率， 表示 i 在 j 中出現的次數， 表示文檔 j 的總詞數。
逆向文件頻率( Inverse Document Frequency,IDF) ：是一個詞語普遍重要性的度量，某一特定詞語的IDF，可以由總文檔數目除以包含該詞語之文檔的數目，再將得到的商取對數得到 ，其中 表示詞語 i 在文檔集中的逆文檔頻率，N表示文檔集中的文檔總數， 表示文檔集中包含了詞語 i 的文檔數。
（11） TF-IDF對基於UGC推薦的改進 ： ，為了避免熱門標簽和熱門物品獲得更多的權重，我們需要對「熱門進行懲罰。
借鑒TF-IDF的思想，以一個物品的所有標簽作為「文檔」，標簽作為「詞語」，從而計算標簽的「詞頻」(在物品所有標簽中的頻率)和「逆文檔頻率」(在其它物品標簽中普遍出現的頻率）。
由於「物品i的所有標簽」 應該對標簽權重沒有影響，而 「所有標簽總數」 N 對於所有標簽是一定的，所以這兩項可以略去。在簡單演算法的基礎上,直接加入對熱門標簽和熱門物品的懲罰項： ，其中， 記錄了標簽 b 被多少個不同的用戶使用過， 記錄了物品 i 被多少個不同的用戶打過標簽。
（一）協同過濾（Collaborative Filtering, CF）
1、基於協同過濾(CF)的推薦：基於內容( Content based,CB)主要利用的是用戶評價過的物品的內容特徵，而CF方法還可以利用其他用戶評分過的物品內容。
CF可以解決CB的一些局限：
- 物品內容不完全或者難以獲得時,依然可以通過其他用戶的反饋給出推薦。
- CF基於用戶之間對物品的評價質量，避免了CB僅依賴內容可能造成的對物品質量判斷的干。
- CF推薦不受內容限制，只要其他類似用戶給出了對不同物品的興趣，CF就可以給用戶推薦出內容差異很大的物品(但有某種內在聯系)
分為兩類：基於近鄰和基於模型。
2、基於近鄰的推薦系統：根據的是相同「口碑」准則。是否應該給Cary推薦《泰坦尼克號》?
（二）基於近鄰的協同過濾
1、 基於用戶（User-CF）： 基於用戶的協同過濾推薦的基本原理是，根據所有用戶對物品的偏好，發現與當前用戶口味和偏好相似的「鄰居」用戶群，並推薦近鄰所偏好的物品。
在一般的應用中是採用計算「K-近鄰」的演算法；基於這K個鄰居的歷史偏好信息，為當前用戶進行推薦。
User-CF和基於人口統計學的推薦機制：
- 兩者都是計算用戶的相似度，並基於相似的「鄰居」用戶群計算推薦。
- 它們所不同的是如何計算用戶的相似度：基於人口統計學的機制只考慮用戶本身的特徵，而基於用戶的協同過濾機制可是在用戶的歷史偏好的數據上計算用戶的相似度，它的基本假設是，喜歡類似物品的用戶可能有相同或者相似的口味和偏好。
2、基於物品（Item-CF）：基於項目的協同過濾推薦的基本原理與基於用戶的類似，只是使用所有用戶對物品的偏好，發現物品和物品之間的相似度，然後根據用戶的歷史偏好信息，將類似的物品推薦給用戶。
Item-CF和基於內容(CB)的推薦
- 其實都是基於物品相似度預測推薦，只是相似度計算的方法不一樣，前者是從用戶歷史的偏好推斷，而後者是基於物品本身的屬性特徵信息。
同樣是協同過濾，在基於用戶和基於項目兩個策略中應該如何選擇呢?
- 電商、電影、音樂網站,用戶數量遠大於物品數量。
- 新聞網站，物品(新聞文本)數量可能大於用戶數量。
3、 User-CF和Item-CF的比較
同樣是協同過濾，在User-CF和ltem-CF兩個策略中應該如何選擇呢？
Item-CF應用場景
- 基於物品的協同過濾( Item-CF ) 推薦機制是 Amazon在基於用戶的機制上改良的一種策略因為在大部分的Web站點中，物品的個數是遠遠小於用戶的數量的，而且物品的個數和相似度相對比較穩定，同時基於物品的機制比基於用戶的實時性更好一些，所以 Item-CF 成為了目前推薦策略的主流。
User-CF應用場景
- 設想一下在一些新聞推薦系統中，也許物品一一也就是新聞的個數可能大於用戶的個數，而且新聞的更新程度也有很快，所以它的相似度依然不穩定，這時用 User-cf可能效果更好。
所以，推薦策略的選擇其實和具體的應用場景有很大的關系。
4、 基於協同過濾的推薦優缺點
（1）基於協同過濾的推薦機制的優點：
它不需要對物品或者用戶進行嚴格的建模，而且不要求對物品特徵的描述是機器可理解的，所以這種方法也是領域無關的。
這種方法計算出來的推薦是開放的，可以共用他人的經驗，很好的支持用戶發現潛在的興趣偏好。
（2）存在的問題
方法的核心是基於歷史數據，所以對新物品和新用戶都有「冷啟動」的問題。
推薦的效果依賴於用戶歷史好數據的多少和准確性。
在大部分的實現中，用戶歷史偏好是用稀疏矩陣進行存儲的，而稀疏矩陣上的計算有些明顯的問題，包括可能少部分人的錯誤偏好會對推薦的准確度有很大的影響等等。
對於一些特殊品味的用戶不能給予很好的推薦。
（三）基於模型的協同過濾
1、基本思想
（1）用戶具有一定的特徵，決定著他的偏好選擇
（2）物品具有一定的特徵，影響著用戶需是否選擇它。
（3）用戶之所以選擇某一個商品，是因為用戶特徵與物品特徵相互匹配。
基於這種思想，模型的建立相當於從行為數據中提取特徵，給用戶和物品同時打上「標簽」；這和基於人口統計學的用戶標簽、基於內容方法的物品標簽本質是一樣的，都是特徵的提取和匹配。
有顯性特徵時(比如用戶標簽、物品分類標簽)我們可以直接匹配做出推薦；沒有時，可以根據已有的偏好數據，去發據出隱藏的特徵,這需要用到隱語義模型(LFM)。
2、基於模型的協同過濾推薦，就是基於樣本的用戶偏好信息，訓練一個推薦模型,然後根據實時的用戶喜好的信息進行預測新物品的得分，計算推薦
基於近鄰的推薦和基於模型的推薦
- 基於近鄰的推薦是在預測時直接使用已有的用戶偏好數據，通過近鄰數據來預測對新物品的偏好(類似分類)
- 而基於模型的方法，是要使用這些偏好數據來訓練模型，找到內在規律，再用模型來做預測(類似回歸)
訓練模型時，可以基於標簽內容來提取物品特徵，也可以讓模型去發據物品的潛在特徵；這樣的模型被稱為 隱語義模型 ( Latent Factor Model,LFM)。
（1）隱語義模型(LFM)：用隱語義模型來進行協同過濾的目標：
- 揭示隱藏的特徵,這些特徵能夠解釋為什麼給出對應的預測評分
- 這類特徵可能是無法直接用語言解釋描述的,事實上我們並不需要知道,類似「玄學」
通過矩陣分解進行降維分析
- 協同過濾演算法非常依賴歷史數據，而一般的推薦系統中，偏好數據又往往是稀疏的；這就需要對原始數據做降維處理。
- 分解之後的矩陣，就代表了用戶和物品的隱藏特徵
隱語義模型的實例：基於概率的隱語義分析(pLSA)、隱式迪利克雷分布模型(LDA)、矩陣因子分解模型(基於奇異值分解的模型,SVD)
（2）LFM降維方法——矩陣因子分解
（3）LFM的進一步理解
我們可以認為，用戶之所以給電影打出這樣的分數，是有內在原因的，我們可以挖掘出影響用戶打分的隱藏因素，進而根據未評分電影與這些隱藏因素的關聯度，決定此未評分電影的預測評分。
應該有一些隱藏的因素，影響用戶的打分，比如電影：演員、題材、年代…甚至不定是人直接可以理解的隱藏因子。
找到隱藏因子，可以對user和Iiem進行關聯(找到是由於什麼使得user喜歡/不喜歡此Item,什麼會決定user喜歡/不喜歡此item)，就可以推測用戶是否會喜歡某一部未看過的電影。
（4）矩陣因子分解
（5）模型的求解——損失函數
（6）模型的求解演算法——ALS
現在，矩陣因子分解的問題已經轉化成了一個標準的優化問題，需要求解P、Q，使目標損失函數取最小值。
最小化過程的求解，一般採用隨機梯度下降演算法或者交替最小二乘法來實現交替最小二乘法( Alternating Least Squares,ALS)
ALS的思想是，由於兩個矩陣P和Q都未知,且通過矩陣乘法耦合在一起，為了使它們解耦，可以先固定Q，把P當作變數，通過損失函數最小化求出P，這就是一個經典的最小二乘問題；再反過來固定求得的P，把Q當作變數，求解出Q：如此交替執行，直到誤差滿足閱值條件，或者到達迭代上限。
（7）梯度下降演算法
E. 各類場景應用中涉及的AI演算法匯總
整理了各類場景應用中AI演算法
一、圖像CV
內容安全，目標檢測，圖像識別，智能視覺生產，圖像搜索，圖像分割，物體檢測，圖像分類，圖像標簽，名人識別，概念識別，場景識別，物體識別，場景分析，智能相冊，內容推薦，圖庫管理，網紅人物識別，明星人物識別，圖像搜索，商品圖片搜索，版權圖片搜索，通用圖片搜索，車牌識別，垃圾分類，車輛檢測，菜品識別，車型識別，犬類識別，實例分割，風格遷移，智能填充，智能識圖，拍照搜商品，精準廣告投放，電商導購，圖像分析，圖像理解，圖像處理，圖像質量評估，場景識別，物體識別，場所識別，圖像自訓練平台，圖像分類，目標檢測，圖像分割，關鍵點檢測，圖像生成，場景文字識別，度量學習，圖像識別，圖像比對，圖像分類使用手冊，圖像分類API文檔目標檢測使用手冊，目標檢測API文檔Logo檢測使用手冊，Logo檢測API文檔，通用圖片搜索，車牌識別，垃圾分類，車輛檢測，車型識別，犬類識別，實例分割，風格遷移，智能填充，車牌識別，相冊聚類，場景與物體識別，無限天空，圖像識別引擎，黃色圖片識別，暴力圖像識別，工業輪胎智能檢測，肋骨骨折識別，顯微識別，圖像處理，廣告識別，人臉演算法，人體演算法，圖像識別，圖像增強，OCR，圖像處理，ZoomAI，智能貼圖，智能製作，質量評價，圖像識別，智能鑒黃，圖像識別，實時手寫識別，唇語識別，通用文字識別，手寫文字識別，圖像技術，圖像識別，圖像審核，圖像搜索，圖像增強，圖像特效，車輛分析，圖像生成，繪畫機器人獨家，動漫化身獨家，像素風獨家，超清人像獨家，圖像融合，換臉技術，神奇變臉，圖像風格化，證件照生成，線稿圖像識別，寶寶檢測，圖像分類，圉像深度估計，天空分割，食物分割，貓狗臉技術，食物識別獨家，圖像美學評分，車輛分析，車型識別，車型識別（含指導價），車型識別（含配置參數），車標識別，人臉識別（活體），車牌識別，表情識別，安全帽識別，計算機影像，計算機視覺，聚焦光學字元識別、人臉識別、質檢、感知、理解、交互，圖像視頻分析，Logo檢測，內容審核，智能批改，筆記評估，思維導圖評估，物體檢測，物體識別。
二、人臉、體態、眼瞳、聲音、指紋
人臉分割人臉識別，無，人體分析HAS，識別人的年齡，性別，穿著信息，客流統計分析，智能客服，熱點區域分析，人體檢測，人臉口罩識別，人臉對比，人臉搜索，人臉檢測與屬性分析，人臉活體檢測，人體關鍵點檢測，行人重識別，細粒度人像分割，人像分割，人臉解析，3D人體姿態估計，人臉融合，人臉識別，換臉甄別，人臉支付，人臉核身，人像變換，人臉試妝，人臉融合，人體分析，手勢識別，人臉驗證與檢索，人臉比對，人臉比對sensetime，人臉水印照比對，靜默活體檢測，靜默活體檢測sensetime，人臉檢測和屬性分析，人臉特徵分析tuputech，配合式活體檢測，人臉安防，計算機視覺，智能應用服務，人臉查詢人臉分析人臉統計名單庫管理人臉布控，人臉應用，人體應用，人體查詢，車輛查詢車輛分析車輛統計車輛布控車輛名單庫管理，車輛應用，人臉圖像識別人體圖像識別車輛圖像識別，圖像識別，圖像比對，人臉比對，人體檢測，人臉口罩識別，人臉對比，人臉搜索，人臉檢測與屬性分析，人臉活體檢測，人體關鍵點檢測，行人重識別，細粒度人像分割，人像分割，人臉解析，3D人體姿態估計，人臉融合，人臉識別，人臉檢測，人臉比對，人臉搜索，人臉關鍵點，稠密關鍵點，人臉屬性，情緒識別，顏值評分，視線估計，皮膚分析，3D人臉重建，面部特徵分析人體識別，人體檢測，人體關鍵點，人體摳像，人體屬性，手勢識別人像處理，美顏美型，人臉融合，濾鏡，聲紋識別支付，語音合成，語音合成，聲紋識別，語音喚醒，人臉識別引擎，攝像頭人臉識別，圖片人臉檢測，身份識別，人臉識別，人臉屬性，人體識別，聲紋識別，衣服檢索及聚類，語音分析，聲紋識別，說話人歸檔，人臉和人體識別，人臉檢測，手勢識別，人臉與人體識別，人臉識別雲服務，人臉識別私有化，人臉離線識別SDK，人臉實名認證，人像特效，人體分析，人臉技不，皮膚分析獨家，頭部分割，宏觀人臉分析，人臉關鍵點檢測，微觀人臉分析獨家，頭發分析獨家，五官分割，頭發分割人體技術，人體外輪廓點檢測獨家，精細化人像摳圖，人體框檢測，肢體關鍵點檢測，人像分割，服飾識別，手勢識別，皮膚分割，人臉，說話人識別，人臉檢測識別，人臉1：1比對，人臉檢測，AI人臉/人形車輛，大數據人像圖片防偽，QoS保障，CDN，表情識別，舉手動作識別，人臉檢測，網路切片，邊緣計算，人臉分析，人臉檢測，人臉搜索，人體分析，手勢識別，著裝檢測，人臉識別，行為檢測，人臉識別，人形檢測，行為分析，人臉檢測，人臉跟蹤，人臉比對，人臉查找，人臉屬性分析，活體檢測，聲音指紋，聲紋識別。
三、視頻
視頻分割、視頻處理、視頻理解、智能視覺、多媒體，視頻內容分析，人體動作監控，視頻分類，智能交通，人/動物軌跡分析，目標計數，目標跟蹤，視頻編輯-，精彩片段提取，新聞視頻拆分，視頻摘要，視頻封面，視頻拆條，視頻標簽-，視頻推薦，視頻搜索，視頻指紋-，數字版權管理，廣告識別，視頻快速審核，視頻版權，視頻查重，視頻換臉，車輛解析， 體育 視頻摘要，視頻內容分析，顏色識別，貨架商品檢測， 時尚 搭配，危險動作識別，無，無，視頻，視頻換臉，車輛解析， 體育 視頻摘要，視頻內容分析，顏色識別，貨架商品檢測， 時尚 搭配，危險動作識別，菜品識別，視頻識別引擎，結腸息肉檢測，胃鏡評估系統，視頻標簽，場景識別，客流分析，手勢識別，視頻技術，短視頻標簽，視覺看點識別，動態封面圖自動生成，智能剪輯，新聞拆條，智能插幀，視頻技術，多模態媒資檢索公測中，媒體內容分析，媒體內容審核，視頻生成，視頻動作識別，
四、ocr文字識別
手寫識別，票據識別，通用文檔，通用卡證，保險智能理賠，財稅報銷電子化，證照電子化審批，票據類文字識別，行業類文字識別，證件類文字識別，通用類文字識別，通用文字識別，駕駛證識別，身份證識別，增值稅發票識別，行駛證識別，營業執照識別，銀行卡識別，增值稅發票核驗，營業執照核驗，智能掃碼，行業文檔識別， 汽車 相關識別，票據單據識別，卡證文字識別，通用文字識別，手寫文字識別，印刷文字識別，銀行卡識別，名片識別，身份證識別intsig，營業執照識別intsig，增值稅發票識別intsig，拍照速算識別，公式識別，指尖文字識別，駕駛證識別JD，行駛證識別JD，車牌識別JD，身份證識別，增值稅發票識別，營業執照識別，火車票識別，計程車發票識別，印刷文字識別（多語種），印刷文字識別（多語種）intsig內容審核，色情內容過濾，政治人物檢查，暴恐敏感信息過濾，廣告過濾，OCR自定義模板使用手冊，OCR自定義模板API文檔，通用文字識別，駕駛證識別，身份證識別，增值稅發票識別，行駛證識別，營業執照識別，銀行卡識別，身份證識別，駕駛證識別，行駛證識別，銀行卡識別，通用文字識別，自定義模板文字識別，文字識別引擎，身份證識別，圖片文字識別，通用文字識別，身份證識別，名片識別，光學字元識別服務，通用文字識別，手寫體文字識別，表格識別，整題識別（含公式），購物小票識別，身份證識別，名片識別，自定義模板文字識別，文字識別，通用文字識別，銀行卡識別，身份證識別，字幕識別，網路圖片識別， 游戲 直播關鍵字識別，新聞標題識別，OCR文字識別，通用場景文字識別，卡證文字識別，財務票據文字識別，醫療票據文字識別， 汽車 場景文字識別，教育場景文字識別，其他場景文字識別，iOCR自定義模板文字識別，通用類OCR，通用文本識別(中英)通用文本識別(多語言)通用表格識別，證照類OCR，身份證社保卡戶口本護照名片銀行卡結婚證離婚證房產證不動產證，車輛相關OCR，行駛證駕駛證車輛合格證車輛登記證，公司商鋪類OCR，商戶小票稅務登記證開戶許可證營業執照組織機構代碼證，票據類OCR，增值稅發票增值稅卷票火車票飛機行程單計程車發票購車發票智能技術，票據機器人證照機器人文本配置機器人表格配置機器人框選配置機器人，文字識別，行駛證識別，駕駛證識別，表單識別器，通用文本，財務票據識別，機構文檔識別，個人證件識別，車輛相關識別，通用表格，印章識別，財報識別，合同比對，識別文字識別，簽名比對，OCR識別，教育OCR，印刷識別，手寫識別，表格識別，公式識別，試卷拆錄
五、自然語言NPL
文本相似度，文本摘要，文本糾錯，中心詞提取，文本信息抽取，智能文本分類，命名實體，詞性標注，多語言分詞，NLP基礎服務，地址標准化，商品評價解析智能簡訊解析，機器閱讀理解，金融研報信息識別，法律案件抽取，行業問答推理，行業知識圖譜構建，文本實體關系抽取，搜索推薦，知識問答，短文本相似度，文本實體抽取， 情感 傾向分析，興趣畫像匹配，文本分類-多標簽，文本分類-單標簽，定製自然語言處理，語言生成，語言理解，自然語言處理基礎，文本摘要，數據轉文字，文本生成，智能問答系統，內容推薦，評價分析，文本分類，對話理解，意圖理解， 情感 分析，觀點抽取，中文分詞，短文本相似度，關鍵詞提取，詞向量，命名實體，識別依存，句法分析， 情感 分析，評論觀點抽取，短文本相似度，機器翻譯，詞法分析，詞義相似度，詞向量，句法分析，文本分類，短語挖掘，閑聊，文本流暢度，同義詞，聚類，語言模型填空，新聞熱詞生成，機器閱讀理解，商品信息抽取，詞法分析， 情感 分析，關鍵詞提取，用戶評論分析，資訊熱點挖掘，AIUI人機交互，文本糾錯，詞法分析，依存句法分析，語義角色標注，語義依存分析（依存樹），語義依存分析（依存圖）， 情感 分析，關鍵詞提取，NLP能力生產平台，NLP基礎技術，中文詞法分析-LAC，詞向量—Word2vec，語言模型—Language_model，NLP核心技術， 情感 分析、文本匹配、自然語言推理、詞法分析、閱讀理解、智能問答，信息檢索、新聞推薦、智能客服， 情感 分析、文本匹配、自然語言推理、詞法分析、閱讀理解、智能問答，機器問答、自然語言推斷、 情感 分析和文檔排序，NLP系統應用，問答系統對話系統智能客服，用戶消費習慣理解熱點話題分析輿情監控，自然語言處理，文本分類使用手冊，文本分類API文檔， 情感 分析，評論觀點抽取，短文本相似度，機器翻譯，詞法分析，詞義相似度，詞向量，句法分析，文本分類，短語挖掘，閑聊，文本流暢度，同義詞，聚類，語言模型填空，新聞熱詞生成，機器閱讀理解，商品信息抽取智能創作，智能寫作，搭配短文，種草標題，賣點標題，社交電商營銷文案，自然語言處理能力，基礎文本分析，分詞、詞性分析技術，詞向量表示，依存句法分析，DNN語言模型，語義解析技術，意圖成分識別， 情感 分析，對話情緒識別，文本相似度檢測，文本解析和抽取技術，智能信息抽取，閱讀理解，智能標簽，NLG，自動摘要，自動寫文章，語言處理基礎技術，文本審核， 情感 分析，機器翻譯，智能聊天，自然語言，基於標題的視頻標簽，台詞看點識別，意圖識別，詞法分析，相關詞，輿情分析，流量預測，標簽技術，自然語言處理，語義對話，自然語言處理，車型信息提取，關鍵詞提取，語義理解，語義相似度，意圖解析，中文詞向量，表示依存，句法分析，上下文理解，詞法分析，意圖分析，情緒計算，視覺 情感 ，語音 情感 ， 情感 分析，沉浸式閱讀器，語言理解，文本分析，自然語言處理，在線語音識別，自然語言理解火速上線中， 情感 判別，語義角色標注，依存句法分析，詞性標注，實體識別，中文分詞，分詞，
6、知識圖譜
知識圖譜，葯學知識圖譜，智能分診，騰訊知識圖譜，無，葯學知識圖譜，智能分診，知識理解，知識圖譜Schema，圖資料庫BGraph，知識圖譜，語言與知識，語言處理基礎技術，語言處理應用技術，知識理解，文本審核，智能對話定製平台，智能文檔分析平台，智能創作平台，知識圖譜，實體鏈接，意圖圖譜，識別實體，邏輯推理，知識挖掘，知識卡片
7、對話問答機器人
智能問答機器人，智能語音助手，智能對話質檢，智能話務機器人，無，電話機器人，NeuHub助力京東智能客服升級，騰訊雲小微，智能硬體AI語音助手，對話機器人，無，問答系統對話系統智能客服，Replika對話技術，客服機器人，智能問答，智能場景，個性化回復，多輪交互，情緒識別，智能客服，金融虛擬客服，電話質檢，AI語音交互機器人，中移雲客服·智能AI外呼，人機對話精準語義分析
8、翻譯
協同翻譯工具平台，電商內容多語言工具，文檔翻譯，專業版翻譯引擎，通用版翻譯引擎，無，機器翻譯，無，機器翻譯，音視頻字幕平台，機器翻譯，機器翻譯niutrans，文本翻譯，語音翻譯，拍照翻譯，機器翻譯，機器翻譯，文本翻譯，語音翻譯，通用翻譯，自然語言翻譯服務，文本翻譯，圖片翻譯，語音翻譯，實時語音翻譯，文檔翻譯(開發版，機器翻譯，文本翻譯，語音翻譯，拍照翻譯，機器翻譯實時長語音轉寫，錄音文件長語音轉寫，翻譯工具，機器翻譯火速上線中
9、聲音
便攜智能語音一體機，語音合成聲音定製，語音合成，一句話識別，實時語音識別錄音文件識別，客服電話，語音錄入，語音指令，語音對話，語音識別，科學研究，安防監控，聲音分類，語音合成，語音識別，實時語音轉寫，定製語音合成，定製語音識別，語音合成，語音合成聲音定製，離線語音合成，短語音識別，錄音文件識別，聲紋識別，離線語音識別，實時語音識別，呼叫中心短語音識別，呼叫中心錄音文件識別，呼叫中心實時語音識別，語音識別，語音合成，聲紋識別，語音識別，語音聽寫，語音轉寫，實時語音轉寫，語音喚醒，離線命令詞識別，離線語音聽寫，語音合成，在線語音合成，離線語音合成，語音分析，語音評測，性別年齡識別，聲紋識別，歌曲識別，A.I.客服平台能力中間件，語音識別，語音交互技術，語音合成，語音合成聲音定製，離線語音合成，短語音識別，錄音文件識別，聲紋識別，離線語音識別，實時語音識別，呼叫中心短語音識別，呼叫中心錄音文件識別，呼叫中心實時語音識別，遠場語音識別，語音識別，一句話識別，實時語音識別，錄音文件識別，語音合成，實時語音識別，長語音識別，語音識別，語音合成，波束形成，聲源定位，去混響，降噪，回聲消除，分布式拾音，語音識別，語音喚醒，語音合成，聲紋識別，智能語音服務，語音合成，短語音識別，實時語音識別，語音理解與交互，離線喚醒詞識別，語音識別，一句話識別，實時語音識別，錄音文件識別，電話語音識別，語音喚醒，離線語音識別，離線命令詞識別，遠場語音識別，語音合成，通用語音合成，個性化語音合成，語音技術，短語音識別，實時語音識別，音頻文件轉寫，在線語音合成，離線語音合成，語音自訓練平台，語音交互，語音合成，語音識別，一句話識別，實時短語音識別，語音合成，語音喚醒，本地語音合成，語音翻譯，語音轉文本，短語音聽寫，長語音轉寫，實時語音轉寫，語音內容審核，會議超極本，語音交互技術，語音識別，語義理解，語音合成，音頻轉寫，音視頻類產品，語音通知/驗證碼，訂單小號，撥打驗證，點擊撥號，數據語音，統一認證，語音會議，企業視頻彩鈴，語音識別，語音文件轉錄，實時語音識別，一句話語音識別，語音合成，通用語音合成，個性化語音合成，語音評測，通用語音評測，中英文造句評測，在線語音識別，語音識別，語音喚醒，語音合成，語音合成，語音識別，語音聽寫，語音轉寫，短語音轉寫(同步)，語音識別，語音 情感 識別
十、數據挖掘AI硬體
演算法類型：包括二分類、多分類和回歸，精準營銷，表格數據預測，銷量預測，交通流量預測，時序預測，大數據，無，機器學習使用手冊，機器學習API文檔，大數據處理，大數據傳輸，數據工廠，大數據分析，數據倉庫，數據採集與標注，數據採集服務，數據標注服務，AI開發平台，全功能AI開發平台BML，零門檻AI開發平台EasyDL，AI硬體與平台，GPU雲伺服器，機器人平台，度目視頻分析盒子，度目AI鏡頭模組，度目人臉應用套件，度目人臉抓拍機，人臉識別攝像機，昆侖AI加速卡，智能預測，購車指數，數據科學虛擬機，平台效率，雲與AI，抗DDoS，天盾，網站漏洞掃描，網頁防篡改，入侵檢測防護，彈性雲伺服器，對象存儲服務，雲專線（CDA，AI計算機平台—360net深度學習基礎模型，AI演算法訓練適配主流AI框架
十一、其他
內容審核，智能鑒黃，特定人物識別，通用圖片審核，文本智能審核，廣告檢測，Logo檢測，商品理解，拍照購，商品圖片搜索，通用商品識別，疫情物資識別，酒標識別，細分市場劃分，品牌競爭力分析，老品升級，新品定製，商品競爭力分析，商品銷量預測，商品營銷，用戶評論佔比預測，商品命名實體識別，商品顏色識別，強化學習，智能地圖引擎，內容審核，智能鑒黃，特定人物識別，通用圖片審核，文本智能審核，廣告檢測，Logo檢測商品理解，拍照購，商品圖片搜索，通用商品識別，疫情物資識別，酒標識別，細分市場劃分，品牌競爭力分析，老品升級，新品定製，商品競爭力分析，商品銷量預測，商品營銷，用戶評論佔比預測，商品命名實體識別，商品顏色識別，個性化與推薦系統，推薦系統，輿情分析，輿情標簽，智慧教育，智能語音評測，拍照搜題，題目識別切分，整頁拍搜批改，作文批改，學業大數據平台，文檔校審系統，會議同傳系統，文檔翻譯系統，視頻翻譯系統，教育學習，口語評測，朗讀聽書，增強現實，3D肢體關鍵點SDK，美顏濾鏡SDK，短視頻SDK，基礎服務，私有雲部署，多模態交互，多模態 情感 分析，多模態意圖解析，多模態融合，多模態語義，內容審查器，Microsoft基因組學，醫學人工智慧開放平台，數據查驗介面，身份驗證（公安簡項），銀行卡驗證，發票查驗，設備接入服務Web/H5直播消息設備託管異常巡檢電話提醒，音視頻，視頻監控服務雲廣播服務雲存儲雲錄制，司乘體驗，智能地圖引擎，消息類產品，視頻簡訊，簡訊通知/驗證碼，企業掛機彩信，來去電身份提示，企業固話彩印，模板閃信，異網簡訊，內容生產，試卷拆錄解決方案，教學管理，教學質量評估解決方案，教學異常行為監測，授課質量分析解決方案，路況識別，人車檢測，視覺SLAM，高精地圖，免費SDK，智能診後隨訪管理，用葯管家，智能預問診，智能導診，智能自診，智能問葯，智能問答，裁判文書近義詞計算，法條推薦，案由預測，
F. 推薦系統產品和演算法概述丨產品雜談系列
本文主要是對最近所學的推薦系統的總結，將會簡單概述非個性化範式、群組個性化範式、完全個性化範式、標的物關聯標的物範式、笛卡爾積範式等5種常用的推薦範式的設計思路。
許多產品的推薦演算法都依賴於三類數據：標的物相關的描述信息（如推薦鞋子，則包括鞋子的版型、適用對象、材質等信息、用戶畫像數據（指的是用戶相關數據，如性別、年齡、收入等）、用戶行為數據（例如用戶在淘寶上的瀏覽、收藏、購買等）。這三類數據是推薦模型的主要組成部分，除此之外一些人工標注的數據（例如為商品人工打上標簽）、第三方數據也能夠用於補充上述的三類數據。
服務端在有以上數據的基礎上，就可以從三個維度進行推薦：
根據個性化推薦的顆粒度，我們可以將基於用戶維度的推薦分為非個性化推薦、群組個性化推薦及完全個性化推薦三種類型。
非個性化推薦指的是每個用戶看到的推薦內容都是一樣的 在互聯網產品中，我們最常見的非個性化推薦的例子是各種排行榜，如下圖是酷狗音樂的排行榜推薦，通過各個維度計算各類榜單，不管是誰看到這個榜單，上面的排序和內容都是一致的。
群組個性化推薦指的是將具有相同特徵的用戶聚合成一組，同一組用戶在某些方面具備相似性，系統將為這一組用戶推薦一樣的內容 。這種推薦方式是很多產品進行用戶精細化運營時會採用的方式，通過用戶畫像系統圈定一批批用戶，並對這批用戶做統一的運營。例如音樂軟體的推薦播放，若以搖滾樂為基準將一批用戶聚合成組，則為這些用戶提供的每日推薦歌單是相同的內容和順序，但與另一組愛聽民謠的用戶相比，兩組用戶看到的每日推薦內容將是不同的。
完全個性化指的是為每個用戶推薦的內容都不一樣，是根據每一位用戶的行為及興趣來為用戶做推薦，是當今互聯網產品中最常用的一種推薦方式 。大多數情況下我們所說的推薦就是指這種形式的推薦，例如淘寶首頁的「猜你喜歡」就是一個完全個性化的推薦，千人千面，每個人看到的推薦尚品都不一樣。
完全個性化可以只基於用戶行為進行推薦，在構建推薦演算法時只考慮到用戶個人的特徵和行為 ，不需要考慮其他用戶，這也是最常見的內容推薦方式。除此之外， 還可以基於群組行為進行完全個性化推薦，除了利用用戶自身的行為外，還依賴於其他用戶的行為構建推薦演算法模型 。例如，用戶屬性和行為相似的一群用戶，其中90%的用戶買了A商品後也買了B商品，則當剩下的10%用戶單獨購買B商品時，我們可以為該用戶推薦商品A。
基於群組行為進行的完全個性化推薦可以認為是全體用戶的協同進化，常見的協同過濾、基於模型的推薦等都屬於這類推薦形式。
基於標的物的推薦指的是用戶在訪問標的物詳情頁或者退出標的物詳情頁時，可以根據標的物的描述信息為用戶推薦一批相似的或者相關的標的物，對應的是最開始提到的「標的物關聯標的物範式」 。如下圖酷狗的相似歌曲推薦，
除了音樂產品外，視頻網站、電商、短視頻等APP都大量使用基於標的物維度的推薦。如下圖便是YouTube基於標的物關聯標的物的推薦。在YouTube上我觀看一個周傑倫的音樂視頻時，YouTube在該頁面下方為我推薦更多與周傑倫有關的視頻。
基於用戶和標的物交叉維度的推薦指的是將用戶維度和標的物維度結合起來，不同用戶訪問同一標的物的詳情頁時看到的推薦內容也不一樣，對應的是開頭提到的笛卡爾積推薦範式。 拿酷狗音樂對相似歌曲的推薦來舉例，如果該推薦採用的是用戶和標的物交叉維度的推薦的話，不同用戶看到的「沒有理想的人不傷心」這首歌曲，下面的相似歌曲是不一樣的。拿淘寶舉例的話，一樣是搜索「褲子」這一關鍵詞，不同的人搜索得到的搜索結果和排序是不同的，可能用戶A搜索出來優先展示的是牛仔褲，而用戶B優先展示的是休閑褲，淘寶將結合搜索關鍵詞與用戶個人的歷史行為特徵展示對應的搜索結果和排序。
對於基於笛卡爾積推薦範式設計的推薦系統來說，由於每個用戶在每個標的物上的推薦列表都不一樣，我們是沒辦法是先將所有組合計算出來並儲存（組合過多，數量是非常巨大的），因此對於系統來說，能否在用戶請求的過程中快速地為用戶計算個性化推薦的標的物列表將會是一個比較大的挑戰，對於整個推薦系統的架構也有更高的要求，因此在實際應用中，該種推薦方式用的比較少。
非個性化範式指的是為所有用戶推薦一樣的標的物列表，常見的各種榜單就是基於此類推薦規則，如電商APP中的新品榜、暢銷榜等。排行榜就是基於某個規則來對標的物進行排序，將排序後的部分標的物推薦給用戶。例如新品榜是按照商品上架的時間順序來倒序排列，並將排序在前列的產品推薦給用戶。而暢銷榜則是按照商品銷量順序降序排列，為用戶推薦銷量靠前的商品。
根據具體的產品和業務場景，即使同樣是非個性化範式推薦，在具體實施時也可能會比較復雜。例如在電商APP中暢銷榜的推薦可能還會將地域、時間、價格等多個維度納入考慮范圍內，基於每個維度及其權重進行最終的排序推薦。
大部分情況下，非個性化範式推薦可以基於簡單的計數統計來生成推薦，不會用到比較復雜的機器學習演算法，是一種實施門檻較低的推薦方式。基於此，非個性化範式推薦演算法可以作為產品冷啟動或者默認的推薦演算法。
完全個性化範式是目前的互聯網產品中最常用的推薦模式，可用的推薦方法非常多。下面對常用的演算法進行簡單梳理。
該推薦演算法只需要考慮到用戶自己的歷史行為而不需要考慮其他用戶的行為，其核心思想是：標的物是有描述屬性的，用戶對標的物的操作行為為用戶打上了相關屬性的烙印，這些屬性就是用戶的興趣標簽，那麼我們就可以基於用戶的興趣來為用戶生成推薦列表。還是拿音樂推薦來舉例子，如果用戶過去聽了搖滾和民謠兩種類型的音樂，那麼搖滾和民謠就是這個用戶聽歌時的偏好標簽，此時我們就可以為該用戶推薦更多的搖滾類、民謠類歌曲。
基於內容的個性化推薦在實操中有以下兩類方式。
第一種是基於用戶特徵標識的推薦。
標的物是有很多文本特徵的，例如標簽、描述信息等，我們可以將這些文本信息基於某種演算法轉化為特徵向量。有了標的物的特徵向量後，我們可以將用戶所有操作過的標的物的特徵向量基於時間加權平均作為用戶的特徵向量，並根據用戶特徵向量與標的物特徵向量的乘積來計算用戶與標的物的相似度，從而計算出該用戶的標的物推薦列表。
第二種是基於倒排索引查詢的推薦。
如果我們基於標的物的文本特徵（如標簽）來表示標的物屬性，那麼基於用戶對該標的物的歷史行為，我們可以構建用戶畫像，該畫像即是用戶對於各個標簽的偏好，並且對各個標簽都有相應的偏好權重。
在構建完用戶畫像後，我們可以基於標簽與標的物的倒排索引查詢表，以標簽為關鍵詞，為用戶進行個性化推薦。
舉個粗暴的例子，有歌曲A、B、C分別對應搖滾、民謠、古風三個音樂標簽，我聽了歌曲A、B，則在我身上打了搖滾和民謠的標簽，又基於我聽這兩個歌曲的頻率，計算了我對「搖滾」和「民謠」的偏好權重。
在倒排索引查詢表中，搖滾和民謠又會分別對應一部分歌曲，所以，可以根據我對搖滾和民謠的偏好權重從查詢表中篩選一部分歌曲並推薦給我。
基於倒排索引查詢的推薦方式是非常自然直觀的，只要用戶有一次行為，我們就可以據此為用戶進行推薦。但反過來，基於用戶興趣給用戶推薦內容，容易局限推薦范圍，難以為用戶推薦新穎的內容。
基於協同過濾的推薦演算法，核心思想是很樸素的」物以類聚、人以群分「的思想。所謂物以類聚，就是計算出每個標的物最相似的標的物列表，我們就可以為用戶推薦用戶喜歡的標的物相似的標的物，這就是基於物品的協同過濾。所謂人以群分，就是我們可以將與該用戶相似的用戶喜歡過的標的物(而該用戶未曾操作過)的標的物推薦給該用戶，這就是基於用戶的協同過濾。
常見的互聯網產品中，很多會採用基於標的物的協同過濾，因為相比之下用戶的變動概率更大，增長速度可能較快，這種情況下，基於標的物的協同過濾演算法將會更加的穩定。
協同過濾演算法思路非常簡單直觀，也易於實現，在當今的互聯網產品中應用廣泛。但協同過濾演算法也有一些難以避免的問題，例如產品的冷啟動階段，在沒有用戶數據的情況下，沒辦法很好的利用協同過濾為用戶推薦內容。例如新商品上架時也會遇到類似的問題，沒有收集到任何一個用戶對其的瀏覽、點擊或者購買行為，也就無從基於人以群分的概念進行商品推薦。
基於模型的推薦演算法種類非常多，我了解到的比較常見的有遷移學習演算法、強化學習演算法、矩陣分解演算法等，且隨著近幾年深度學習在圖像識別、語音識別等領域的進展，很多研究者和實踐者也將其融入到推薦模型的設計當中，取得了非常好的效果。例如阿里、京東等電商平台，都是其中的佼佼者。
由於該演算法涉及到比較多的技術知識，在下也處於初步學習階段，就不班門弄斧做過多介紹了，有興趣的朋友可以自行進行學習。
群組個性化推薦的第一步是將用戶分組，因此，採用什麼樣的分組原則就顯得尤為重要。常見的分組方式有兩種。
先基於用戶的人口統計學數據（如年齡、性別等）或者用戶行為數據（例如對各種不同類型音樂的播放頻率）構建用戶畫像。用戶畫像一般用於做精準的運營，通過顯示特徵將一批人圈起來形成同一組，對這批人做針對性的運營。因為前頭已經提到此演算法，這里不再重復介紹。
聚類是非常直觀的一種分組思路，將行為偏好相似的用戶聚在一起成為一個組，他們有相似的興趣。常用的聚類策略有如下兩類。
標的物關聯標的物就是為每個標的物推薦一組標的物。該推薦演算法的核心是怎麼從一個標的物關聯到其他的標的物。這種關聯關系可以是相似的（例如嘉士伯啤酒和喜力啤酒），也可以是基於其他維度的關聯（例如互補品，羽毛球拍和羽毛球）。常用的推薦策略是相似推薦。下面給出3種常用的生成關聯推薦的策略。
這類推薦方式一般是利用已知的數據和標的物信息來描述一個標的物，通過演算法的方式將其向量化，從而根據不同標的物向量之間的相似度來急速標的物之間的相似度，從而實現相識標的物的推薦。
在一個成熟的產品中，我們可以採集到的非常多的用戶行為，例如在電商平台中，我們可以手機用戶搜索、瀏覽、收藏、點贊等行為，這些行為就代表了用戶對某個標的物的某種偏好，因此，我們可以根據用戶的這些行為來進行關聯推薦。
例如，可以將用戶的行為矩陣分解為用戶特徵矩陣和物品特徵矩陣，物品特徵矩陣可以看成是衡量物品的一個向量，利用該向量我們就可以計算兩個標的物之間的相似度了，從而為該用戶推薦相似度高的其他產品。
再例如， 採用購物籃的思路做推薦，這種思路非常適合圖書、電商等的推薦 。 以電商為例，我們可以把用戶經常一起瀏覽(或者購買)的商品形成一個列表，將過去一段時間所有的列表收集起來。對於任何一個商品，我們都可以找到與它一起被瀏覽或者購買的其他商品及其次數，並根據次數來判斷其關聯性，從而進行關聯推薦。
我們可以對用戶進行分組，同樣，我們也能夠對標的物進行聚類分組。通過某位參考維度，我們將一些列具有相似性的標的物分成一組，當我們為用戶進行推薦的時候，便可以將同一組內的其他標的物作為推薦對象，推薦給用戶。
笛卡爾積範式的推薦演算法一般是先採用標的物關聯標的物範式計算出待推薦的標的物列表。再根據用戶的興趣來對該推薦列表做調整（例如根據不同興趣的權重重新調整推薦列表的排序）、增加（例如基於個性化增加推薦對象）、刪除（例如過濾掉已經看過的），由於其復雜程度較高在實際業務場景中應用較少，這邊不再詳細介紹。
好了，本次的介紹就到此為止了。本次主要是做了一個非常簡單的推薦演算法概述，在實際的業務場景中，還經常需要與產品形態或者更多的未讀（如時間、地點等）相結合，是一個很有意思的領域，有興趣的朋友可以進一步了解。
G. 常見的推薦演算法
根據用戶興趣和行為，向用戶推薦所需要的信息，幫助用戶在海量的信息中快速發現自己真正需要的東西。 所以推薦系統要解決的問題用戶沒用明確的需求以及信息存在過載 。推薦系統一般要基於以下來搭建：
1、根據業務來定義自身產品的熱門標准
2、用戶信息：比如性別、年齡、職業、收入等
3、用戶行為
4、社會化關系
1、非個性化推薦
在冷啟動方面我們精彩用非個性化推薦來解決問題。常見的有：熱門推薦，編輯推薦，最新推薦等。下面是3個場景下的排序介紹：
熱門推薦：根據業務類型確定排名核心指標，比如閱讀數，其次要考慮避免馬太效應，所以增加1個維度：時間。一般情況一個內容的熱度是隨著時間不斷下降的，所以需要設定重力因子G，它決定熱度隨著時間流逝下降的速度。熱度初始值由閱讀數決定，我們假設R為閱讀書，距離發帖時間的時間為T，重力因子為G，熱度為rank。 根據熱度隨著時間而不斷下降，且是非線性的，所以我們用指數函數來表達時間和熱度的關系：rank=R/(T)^G，下圖為熱度的基本曲線：
通過該函數，我們可以隨意調整參數來控制曲線的平坦和陡峭，如果G越大，曲線越陡峭說明熱度下降越快。如果我們要調整熱度初始值，可對R進行調整，比如R1=R^0.8，來縮短每篇文章的初始熱度值
編輯推薦：一般由編輯在後台進行設置
最新推薦：如果無其他規則，一般按內容更新時間／創建時間來倒序
2、基於用戶基本信息推薦（人口統計學）
根據系統用戶的基本信息如：領域、職位、工作年齡、性別和所在地等。根據這些信息給用戶推薦感興趣或者相關的內容。
常見的用戶基本信息有：性別，年齡，工作、收入、領域、職位、所在地，手機型號、網路條件、安裝渠道、操作系統等等。根據這些信息來關聯我們數據源，比如年齡-關聯電影表、收入-關聯商品類型表，性別-文章關聯表等等。然後設定權重，給予個性化的推薦。
步驟1：用戶建模，收集用戶基本信息，建立興趣圖譜，標簽體系樹狀結構然後配上權重
步驟2：內容建模，細分內容的元數據，將步驟1的用戶標簽和元數據連接，然後進行推薦
2、基於內容基本的推薦
根據推薦物品或者信息的元數據，發現物品或者信息的相關性， 然後基於用戶以往的喜好記錄 ，推薦給用戶相似的物品。
內容的一些基本屬性：tag、領域、主題、類型、關鍵字、來源等
3、基於協同過濾的推薦
這種演算法基於一種物以類聚人以群分的假設， 喜歡相同物品的用戶更有可能具有相同的興趣 。基於協同過濾推薦系統一般應用於有用戶評分的系統中，通過分數去刻畫用戶對於物品的喜好。根據維度可分為2種：
1、基於用戶：找到和你相似的人推薦他們看過而你沒有看過的內容
比如下面，系統判斷甲乙2個用戶是相似的，那麼會給甲推薦短視頻相關內容，會給乙推薦數據分析相關內容
甲：產品經理、運營、數據分析
乙：產品經理、運營、短視頻
丙：比特幣、創業、矽谷
步驟1:找到和目標用戶興趣相似的用戶集合
步驟2:找到集合中用戶喜歡的且目標用戶沒有被推薦過的內容
2、基於物品：以物為本建立各商品之間相似度關系矩陣，用戶看了x也會看y
比如下面，甲和乙分別不約而同看了產品經理和數據分析，說明喜歡產品經理和數據分析的用戶重合度高，說明兩個內容相似。所以給喜歡產品經理的人推薦數據分析，給喜歡數據分析的人推薦產品經理。
這么理解：喜歡產品經理的人有m人，喜歡數據分析有n人，其中m中有80%用戶與n中80%的用戶是一樣的，就意味著喜歡產品經理的用戶也會喜歡數據分析。
產品經理：甲、乙，丁
數據分析：甲、乙，戊
增長黑客：甲、丙
喜歡物品A的用戶，可能也會喜歡與物品A相似的物品B，通過歷史行為計算出2個物品的相似度（比如m人喜歡A，n人喜歡B，有k人喜歡A又喜歡B，那麼A和B的相似度可計算為k/m或者n，因為k屬於m和n），這個推薦和內容推薦演算法區別是內容推薦演算法是根據內容的屬性來關聯， 而基於物品的協同過濾則是根據用戶的行為對內容進行關聯
4、基於用戶社交關系推薦
用戶與誰交朋友或者關系好，在一定程度上朋友的需求和自身的需求是相似的。所以向用戶推薦好友喜歡的東西。本質上是好友關系鏈版的基於用戶的協調過濾
5、推薦思路的拓展
根據不同使用場景進行不同的推薦，可細分的場景包括用戶使用的：時間、地點、心情、網路環境、興趣、上下文信息以及使用場景。每個場景的推薦內容都不一樣，所以往往一個系統都是由多種推薦方式組成，比如加權混合。
加權混合：用線性公式將幾種不同的推薦按照一定權重組合起來，具體權重值需要反復測試調整。例子：加權混合=推薦1結果*a+推薦2結果*b+...+推薦n結果*n，其中abn為權重，和為1
下面分享一張來自知乎的圖，供學習，侵刪：
基於用戶信息的推薦 與 基於用戶的協同過濾：
兩者都是計算用戶的相似度， 但基於用戶信息的推薦只考慮用戶本身信息來計算相似度，而基於用戶的協同過濾是基於用戶歷史偏好來計算相似度
基於內容的信息推薦 與 基於物品的協同過濾：
兩者都是計算物品的相似度， 但是基於內容的信息推薦只考慮物品本身的屬性特徵來計算相似度，而基於物品的協同過濾是基於用戶歷史偏好來計算相似度
基於用戶信息的推薦特點：
1、不需要歷史數據，對用戶基本信息建模
2、不依賴於物品，所以其他領域可無縫接入
3、因為用戶基本信息一般變化不大，所以推薦效果一般
基於內容信息的推薦特點：
1、物品屬性有限，很難獲得有效又全的數據
2、需要獲取用戶喜歡的歷史內容，再來推薦與內容相似的東西，所以有冷啟動問題
基於用戶／基於物品的協同過濾推薦特點：
1、需要獲取用戶的歷史偏好，所以有冷啟動問題
2、推薦效果依賴於大數據，數據越多，推薦效果就越好
H. 推薦演算法簡介
寫在最前面：本文內容主要來自於書籍《推薦系統實踐》和《推薦系統與深度學習》。
推薦系統是目前互聯網世界最常見的智能產品形式。從電子商務、音樂視頻網站，到作為互聯網經濟支柱的在線廣告和新穎的在線應用推薦，到處都有推薦系統的身影。推薦演算法是推薦系統的核心，其本質是通過一定的方式將用戶和物品聯系起來，而不同的推薦系統利用了不同的方式。
推薦系統的主要功能是以個性化的方式幫助用戶從極大的搜索空間中快速找到感興趣的對象。因此，目前所用的推薦系統多為個性化推薦系統。個性化推薦的成功應用需要兩個條件：
在推薦系統的眾多演算法中，基於協同的推薦和基於內容的推薦在實踐中得到了最廣泛的應用。本文也將從這兩種演算法開始，結合時間、地點上下文環境以及社交環境，對常見的推薦演算法做一個簡單的介紹。
基於內容的演算法的本質是對物品內容進行分析，從中提取特徵，然後基於用戶對何種特徵感興趣來推薦含有用戶感興趣特徵的物品。因此，基於內容的推薦演算法有兩個最基本的要求：
下面我們以一個簡單的電影推薦來介紹基於內容的推薦演算法。
現在有兩個用戶A、B和他們看過的電影以及打分情況如下：
其中問好（?）表示用戶未看過。用戶A對《銀河護衛隊 》《變形金剛》《星際迷航》三部科幻電影都有評分，平均分為 4 .7 分 （ (5+4+5 ) / 3=4.7 ）；對《三生三世》《美人魚》《北京遇上西雅圖》三部愛情電影評分平均分為 2.3 分 （ ( 3十2+2 ) /3=2.3 ）。現在需要給A推薦電影，很明顯A更傾向於科幻電影，因此推薦系統會給A推薦獨立日。而對於用戶B，通過簡單的計算我們可以知道更喜歡愛情電影，因此給其推薦《三生三世》。當然，在實際推薦系統中，預測打分比這更加復雜些，但是其原理是一樣的。
現在，我們可以將基於內容的推薦歸納為以下四個步驟：
通過上面四步就能快速構建一個簡單的推薦系統。基於內容的推薦系統通常簡單有效，可解釋性好，沒有物品冷啟動問題。但他也有兩個明顯的缺點：
最後，順便提一下特徵提取方法：對於某些特徵較為明確的物品，一般可以直接對其打標簽，如電影類別。而對於文本類別的特徵，則主要是其主題情感等，則些可以通過tf-idf或LDA等方法得到。
基於協同的演算法在很多地方也叫基於鄰域的演算法，主要可分為兩種：基於用戶的協同演算法和基於物品的協同演算法。
啤酒和尿布的故事在數據挖掘領域十分有名，該故事講述了美國沃爾瑪超市統計發現啤酒和尿布一起被購買的次數非常多，因此將啤酒和尿布擺在了一起，最後啤酒和尿布的銷量雙雙增加了。這便是一個典型的物品協同過濾的例子。
基於物品的協同過濾指基於物品的行為相似度（如啤酒尿布被同時購買）來進行物品推薦。該演算法認為，物品A和物品B具有很大相似度是因為喜歡物品A的用戶大都也喜歡物品B。
基於物品的協同過濾演算法主要分為兩步：
基於物品的協同過濾演算法中計算物品相似度的方法有以下幾種：
（1）基於共同喜歡物品的用戶列表計算。
此外，John S. Breese再其論文中還提及了IUF（Inverse User Frequence，逆用戶活躍度）的參數，其認為活躍用戶對物品相似度的貢獻應該小於不活躍的用戶，應該增加IUF參數來修正物品相似度的公式：
上面的公式只是對活躍用戶做了一種軟性的懲罰， 但對於很多過於活躍的用戶， 比如某位買了當當網80%圖書的用戶， 為了避免相似度矩陣過於稠密， 我們在實際計算中一般直接忽略他的興趣列表， 而不將其納入到相似度計算的數據集中。
（2）基於餘弦相似度計算。
（3）熱門物品的懲罰。
從上面（1）的相似度計算公式中，我們可以發現當物品 i 被更多人購買時，分子中的 N(i) ∩ N(j) 和分母中的 N(i) 都會增長。對於熱門物品，分子 N(i) ∩ N(j) 的增長速度往往高於 N(i)，這就會使得物品 i 和很多其他的物品相似度都偏高，這就是 ItemCF 中的物品熱門問題。推薦結果過於熱門，會使得個性化感知下降。以歌曲相似度為例，大部分用戶都會收藏《小蘋果》這些熱門歌曲，從而導致《小蘋果》出現在很多的相似歌曲中。為了解決這個問題，我們對於物品 i 進行懲罰，例如下式， 當α∈(0, 0.5) 時，N(i) 越小，懲罰得越厲害，從而使熱門物品相關性分數下降（ 博主註：這部分未充分理解 ）：
此外，Kary pis在研究中發現如果將ItemCF的相似度矩陣按最大值歸一化， 可以提高推薦的准確率。 其研究表明， 如果已經得到了物品相似度矩陣w， 那麼可以用如下公式得到歸一化之後的相似度矩陣w'：
歸一化的好處不僅僅在於增加推薦的准確度，它還可以提高推薦的覆蓋率和多樣性。一般來說，物品總是屬於很多不同的類，每一類中的物品聯系比較緊密。假設物品分為兩類——A和B， A類物品之間的相似度為0.5， B類物品之間的相似度為0.6， 而A類物品和B類物品之間的相似度是0.2。 在這種情況下， 如果一個用戶喜歡了5個A類物品和5個B類物品， 用ItemCF給他進行推薦， 推薦的就都是B類物品， 因為B類物品之間的相似度大。 但如果歸一化之後， A類物品之間的相似度變成了1， B類物品之間的相似度也是1， 那麼這種情況下， 用戶如果喜歡5個A類物品和5個B類物品， 那麼他的推薦列表中A類物品和B類物品的數目也應該是大致相等的。 從這個例子可以看出， 相似度的歸一化可以提高推薦的多樣性。
那麼，對於兩個不同的類，什麼樣的類其類內物品之間的相似度高，什麼樣的類其類內物品相似度低呢？一般來說，熱門的類其類內物品相似度一般比較大。如果不進行歸一化，就會推薦比較熱門的類裡面的物品，而這些物品也是比較熱門的。因此，推薦的覆蓋率就比較低。相反，如果進行相似度的歸一化，則可以提高推薦系統的覆蓋率。
最後，利用物品相似度矩陣和用戶打過分的物品記錄就可以對一個用戶進行推薦評分：
基於用戶的協同演算法與基於物品的協同演算法原理類似，只不過基於物品的協同是用戶U購買了A物品，會計算經常有哪些物品與A一起購買（也即相似度），然後推薦給用戶U這些與A相似的物品。而基於用戶的協同則是先計算用戶的相似性（通過計算這些用戶購買過的相同的物品），然後將這些相似用戶購買過的物品推薦給用戶U。
基於用戶的協同過濾演算法主要包括兩個步驟：
步驟（1）的關鍵是計算用戶的興趣相似度，主要是利用用戶的行為相似度計算用戶相似度。給定用戶 u 和 v，N(u) 表示用戶u曾經有過正反饋（譬如購買）的物品集合，N(v) 表示用戶 v 曾經有過正反饋的物品集合。那麼我們可以通過如下的 Jaccard 公式簡單的計算 u 和 v 的相似度：
或通過餘弦相似度：
得到用戶之間的相似度之後，UserCF演算法會給用戶推薦和他興趣最相似的K個用戶喜歡的物品。如下的公式度量了UserCF演算法中用戶 u 對物品 i 的感興趣程度：
首先回顧一下UserCF演算法和ItemCF演算法的推薦原理：UserCF給用戶推薦那些和他有共同興趣愛好的用戶喜歡的物品， 而ItemCF給用戶推薦那些和他之前喜歡的物品具有類似行為的物品。
（1）從推薦場景考慮
首先從場景來看，如果用戶數量遠遠超過物品數量，如購物網站淘寶，那麼可以考慮ItemCF，因為維護一個非常大的用戶關系網是不容易的。其次，物品數據一般較為穩定，因此物品相似度矩陣不必頻繁更新，維護代價較小。
UserCF的推薦結果著重於反應和用戶興趣相似的小群體的熱點，而ItemCF的推薦結果著重於維系用戶的歷史興趣。換句話說，UserCF的推薦更社會化，反應了用戶所在小型興趣群體中物品的熱門程度，而ItemCF的推薦更加個性化，反應了用戶自己的個性傳承。因此UserCF更適合新聞、微博或微內容的推薦，而且新聞內容更新頻率非常高，想要維護這樣一個非常大而且更新頻繁的表無疑是非常難的。
在新聞類網站中，用戶的興趣愛好往往比較粗粒度，很少會有用戶說只看某個話題的新聞，而且往往某個話題也不是每天都會有新聞。 個性化新聞推薦更強調新聞熱點，熱門程度和時效性是個性化新聞推薦的重點，個性化是補充，所以 UserCF 給用戶推薦和他有相同興趣愛好的人關注的新聞，這樣在保證了熱點和時效性的同時，兼顧了個性化。
（2）從系統多樣性（也稱覆蓋率，指一個推薦系統能否給用戶提供多種選擇）方面來看，ItemCF的多樣性要遠遠好於UserCF，因為UserCF更傾向於推薦熱門物品。而ItemCF具有較好的新穎性，能夠發現長尾物品。所以大多數情況下，ItemCF在精度上較小於UserCF，但其在覆蓋率和新穎性上面卻比UserCF要好很多。
在介紹本節基於矩陣分解的隱語義模型之前，讓我們先來回顧一下傳統的矩陣分解方法SVD在推薦系統的應用吧。
基於SVD矩陣分解在推薦中的應用可分為如下幾步：
SVD在計算前會先把評分矩陣 A 缺失值補全，補全之後稀疏矩陣 A 表示成稠密矩陣，然後將分解成 A' = U∑V T 。但是這種方法有兩個缺點：（1）補成稠密矩陣後需要耗費巨大的儲存空間，對這樣巨大的稠密矩陣進行儲存是不現實的；（2）SVD的計算復雜度很高，對這樣大的稠密矩陣中進行計算式不現實的。因此，隱語義模型就被發明了出來。
更詳細的SVD在推薦系統的應用可參考 奇異值分解SVD簡介及其在推薦系統中的簡單應用 。
隱語義模型（Latent Factor Model）最早在文本挖掘領域被提出，用於找到文本的隱含語義。相關的演算法有LSI，pLSA，LDA和Topic Model。本節將對隱語義模型在Top-N推薦中的應用進行詳細介紹，並通過實際的數據評測該模型。
隱語義模型的核心思想是通過隱含特徵聯系用戶興趣和物品。讓我們通過一個例子來理解一下這個模型。
現有兩個用戶，用戶A的興趣涉及偵探小說、科普圖書以及一些計算機技術書，而用戶B的興趣比較集中在數學和機器學習方面。那麼如何給A和B推薦圖書呢？
我們可以對書和物品的興趣進行分類。對於某個用戶，首先得到他的興趣分類，然後從分類中挑選他可能喜歡的物品。簡言之，這個基於興趣分類的方法大概需要解決3個問題：
對於第一個問題的簡單解決方案是找相關專業人員給物品分類。以圖書為例，每本書出版時，編輯都會給出一個分類。但是，即使有很系統的分類體系，編輯給出的分類仍然具有以下缺點：（1）編輯的意見不能代表各種用戶的意見；（2）編輯很難控制分類的細粒度；（3）編輯很難給一個物品多個分類；（4）編輯很難給一個物品多個分類；（5）編輯很難給出多個維度的分類；（6）編輯很難決定一個物品在某一個類別中的權重。
為了解決上述問題，研究員提出可以從數據出發，自動找到那些分類，然後進行個性化推薦。隱語義模型由於採用基於用戶行為統計的自動聚類，較好地解決了上面提出的5個問題。
LFM將矩陣分解成2個而不是3個：
推薦系統中用戶和物品的交互數據分為顯性反饋和隱性反饋數據。隱式模型中多了一個置信參數，具體涉及到ALS（交替最小二乘法，Alternating Least Squares）中對於隱式反饋模型的處理方式——有的文章稱為「加權的正則化矩陣分解」：
一個小細節：在隱性反饋數據集中，只有正樣本（正反饋）沒有負反饋（負樣本），因此如何給用戶生成負樣本來進行訓練是一個重要的問題。Rong Pan在其文章中對此進行了探討，對比了如下幾種方法：
用戶行為很容易用二分圖表示，因此很多圖演算法都可以應用到推薦系統中。基於圖的模型（graph-based model）是推薦系統中的重要內容。很多研究人員把基於領域的模型也稱為基於圖的模型，因為可以把基於領域的模型看作基於圖的模型的簡單形式。
在研究基於圖的模型之前，需要將用戶行為數據表示成圖的形式。本節的數據是由一系列用戶物品二元組 (u, i) 組成的，其中 u 表示用戶對物品 i 產生過行為。
令 G(V, E) 表示用戶物品二分圖，其中 V=V U UV I 由用戶頂點 V U 和物品節點 V I 組成。對於數據集中每一個二元組 (u, i) ，圖中都有一套對應的邊 e(v u , v i )，其中 v u ∈V U 是用戶對應的頂點，v i ∈V I 是物品i對應的頂點。如下圖是一個簡單的物品二分圖，其中圓形節點代表用戶，方形節點代表物品，用戶物品的直接連線代表用戶對物品產生過行為。比如下圖中的用戶A對物品a、b、d產生過行為。
度量圖中兩個頂點之間相關性的方法很多，但一般來說圖中頂點的相關性主要取決於下面3個因素：
而相關性高的一對頂點一般具有如下特徵：
舉個例子，如下圖，用戶A和物品c、e沒有邊直連，但A可通過一條長度為3的路徑到達c，而Ae之間有兩條長度為3的路徑。那麼A和e的相關性要高於頂點A和c，因而物品e在用戶A的推薦列表中應該排在物品c之前，因為Ae之間有兩條路徑。其中，（A,b,C,e）路徑經過的頂點的出度為（3，2，2，2），而 (A,d,D,e) 路徑經過了一個出度比較大的頂點D，所以 (A,d,D,e) 對頂點A與e之間相關性的貢獻要小於（A,b,C,e）。
基於上面3個主要因素，研究人員設計了很多計算圖中頂點相關性的方法，本節將介紹一種基於隨機遊走的PersonalRank演算法。
假設要給用戶u進行個性化推薦，可以從用戶u對應的節點 v u 開始在用戶物品二分圖上進行隨機遊走。遊走到任一節點時，首先按照概率α決定是繼續遊走還是停止這次遊走並從 v u 節點重新開始遊走。若決定繼續遊走，則從當前節點指向的節點中按照均勻分布隨機選擇一個節點作為遊走下次經過的節點。這樣，經過很多次隨機遊走後，每個物品被訪問到的概率會收斂到一個數。最終的推薦列表中物品的權重就是物品節點的訪問概率。
上述演算法可以表示成下面的公式：
雖然通過隨機遊走可以很好地在理論上解釋PersonalRank演算法，但是該演算法在時間復雜度上有明顯的缺點。因為在為每個用戶進行推薦時，都需要在整個用戶物品二分圖上進行迭代，知道所有頂點的PR值都收斂。這一過程的時間復雜度非常高，不僅無法在線進行實時推薦，離線計算也是非常耗時的。
有兩種方法可以解決上面PersonalRank時間復雜度高的問題：
（1）減少迭代次數，在收斂之前停止迭代。但是這樣會影響最終的精度。
（2）從矩陣論出發，重新涉及演算法。另M為用戶物品二分圖的轉移概率矩陣，即：
網路社交是當今社會非常重要甚至可以說是必不可少的社交方式，用戶在互聯網上的時間有相當大的一部分都用在了社交網路上。
當前國外最著名的社交網站是Facebook和Twitter，國內的代表則是微信/QQ和微博。這些社交網站可以分為兩類：
需要指出的是，任何一個社交網站都不是單純的社交圖譜或興趣圖譜。如QQ上有些興趣愛好群可以認識不同的陌生人，而微博中的好友也可以是現實中認識的。
社交網路定義了用戶之間的聯系，因此可以用圖定義社交網路。我們用圖 G(V,E,w) 定義一個社交網路，其中V是頂點集合，每個頂點代表一個用戶，E是邊集合，如果用戶va和vb有社交網路關系，那麼就有一條邊 e(v a , v b ) 連接這兩個用戶，而 w(v a , v b )定義了邊的權重。一般來說，有三種不同的社交網路數據：
和一般購物網站中的用戶活躍度分布和物品流行度分布類似，社交網路中用戶的入度（in degree，表示有多少人關注）和出度（out degree，表示關注多少人）的分布也是滿足長尾分布的。即大部分人關注的人都很少，被關注很多的人也很少。
給定一個社交網路和一份用戶行為數據集。其中社交網路定義了用戶之間的好友關系，而用戶行為數據集定義了不同用戶的歷史行為和興趣數據。那麼最簡單的演算法就是給用戶推薦好友喜歡的物品集合。即用戶u對物品i的興趣 p ui 可以通過如下公式計算。
用戶u和用戶v的熟悉程度描述了用戶u和用戶在現實社會中的熟悉程度。一般來說，用戶更加相信自己熟悉的好友的推薦，因此我們需要考慮用戶之間的熟悉度。下面介紹3中衡量用戶熟悉程度的方法。
（1）對於用戶u和用戶v，可以使用共同好友比例來計算他們的相似度：
上式中 out(u) 可以理解為用戶u關注的用戶合集，因此 out(u) ∩ out(v) 定義了用戶u、v共同關注的用戶集合。
（2）使用被關注的用戶數量來計算用戶之間的相似度，只要將公式中的 out(u) 修改為 in(u)：
in(u) 是指關注用戶u的集合。在無向社交網路中，in(u)和out(u)是相同的，而在微博這種有向社交網路中，這兩個集合的含義就不痛了。一般來說，本方法適合用來計算微博大V之間的相似度，因為大v往往被關注的人數比較多；而方法（1）適用於計算普通用戶之間的相似度，因為普通用戶往往關注行為比較豐富。
（3）除此之外，還可以定義第三種有向的相似度：這個相似度的含義是用戶u關注的用戶中，有多大比例也關注了用戶v：
這個相似度有一個缺點，就是在該相似度下所有人都和大v有很大的相似度，這是因為公式中的分母並沒有考慮 in(v) 的大小，所以可以把 in(v) 加入到上面公式的分母，來降低大v與其他用戶的相似度：
上面介紹了3種計算用戶之間相似度（或稱熟悉度）的計算方法。除了熟悉程度，還需要考慮用戶之間的興趣相似度。我們和父母很熟悉，但很多時候我們和父母的興趣確不相似，因此也不會喜歡他們喜歡的物品。因此，在度量用戶相似度時，還需要考慮興趣相似度，而興趣相似度可以通過和UserCF類似的方法度量，即如果兩個用戶喜歡的物品集合重合度很高，兩個用戶的興趣相似度很高。
最後，我們可以通過加權的形式將兩種權重合並起來，便得到了各個好有用戶的權重了。
有了權重，我們便可以針對用戶u挑選k個最相似的用戶，把他們購買過的物品中，u未購買過的物品推薦給用戶u即可。打分公式如下：
其中 w' 是合並後的權重，score是用戶v對物品的打分。
node2vec的整體思路分為兩個步驟：第一個步驟是隨機遊走（random walk），即通過一定規則隨機抽取一些點的序列；第二個步驟是將點的序列輸入至word2vec模型從而得到每個點的embedding向量。
隨機遊走在前面基於圖的模型中已經介紹過，其主要分為兩步：（1）選擇起始節點；（2）選擇下一節點。起始節點選擇有兩種方法：按一定規則抽取一定量的節點或者以圖中所有節點作為起始節點。一般來說會選擇後一種方法以保證所有節點都會被選取到。
在選擇下一節點方法上，最簡單的是按邊的權重來選擇，但在實際應用中需要通過廣度優先還是深度優先的方法來控制遊走范圍。一般來說，深度優先發現能力更強，廣度優先更能使社區內（較相似）的節點出現在一個路徑里。
斯坦福大學Jure Leskovec教授給出了一種可以控制廣度優先或者深度優先的方法。
以上圖為例，假設第一步是從t隨機遊走到v，這時候我們要確定下一步的鄰接節點。本例中，作者定義了p和q兩個參數變數來調節遊走，首先計算其鄰居節點與上一節點t的距離d，根據下面的公式得到α：
一般從每個節點開始遊走5~10次，步長則根據點的數量N遊走根號N步。如此便可通過random walk生成點的序列樣本。
得到序列之後，便可以通過word2vec的方式訓練得到各個用戶的特徵向量，通過餘弦相似度便可以計算各個用戶的相似度了。有了相似度，便可以使用基於用戶的推薦演算法了。
推薦系統需要根據用戶的歷史行為和興趣預測用戶未來的行為和興趣，因此大量的用戶行為數據就成為推薦系統的重要組成部分和先決條件。如何在沒有大量用戶數據的情況下設計個性化推薦系統並且讓用戶對推薦結果滿意從而願意使用推薦系統，就是冷啟動問題。
冷啟動問題主要分為三類：
針對用戶冷啟動，下面給出一些簡要的方案：
（1）有效利用賬戶信息。利用用戶注冊時提供的年齡、性別等數據做粗粒度的個性化；
（2）利用用戶的社交網路賬號登錄（需要用戶授權），導入用戶在社交網站上的好友信息，然後給用戶推薦其好友喜歡的物品；
（3）要求用戶在登錄時對一些物品進行反饋，手機用戶對這些物品的興趣信息，然後給用推薦那些和這些物品相似的物品；
（4）提供非個性化推薦。非個性化推薦的最簡單例子就是熱門排行榜，我們可以給用戶推薦熱門排行榜，然後等到用戶數據收集到一定的時候，在切換為個性化推薦。
對於物品冷啟動，可以利用新加入物品的內容信息，將它們推薦給喜歡過和他們相似的物品的用戶。
對於系統冷啟動，可以引入專家知識，通過一定高效的方式快速建立起物品的相關度表。
在上面介紹了一些推薦系統的基礎演算法知識，這些演算法大都是比較經典且現在還在使用的。但是需要注意的是，在實踐中，任何一種推薦演算法都不是單獨使用的，而是將多種推薦演算法結合起來，也就是混合推薦系統，但是在這里並不準備介紹，感興趣的可以查閱《推薦系統》或《推薦系統與深度學習》等書籍。此外，在推薦中非常重要的點擊率模型以及基於矩陣的一些排序演算法在這里並沒有提及，感興趣的也可自行學習。
雖然現在用的很多演算法都是基於深度學習的，但是這些經典演算法能夠讓我們對推薦系統的發展有一個比較好的理解，同時，更重要的一點——「推陳出新」，只有掌握了這些經典的演算法，才能提出或理解現在的一些更好地演算法。