㈠ python語言下的機器學習庫
Python語言下的機器學習庫
Python是最好的編程語言之一，在科學計算中用途廣泛：計算機視覺、人工智慧、數學、天文等。它同樣適用於機器學習也是意料之中的事。當然，它也有些缺點；其中一個是工具和庫過於分散。如果你是擁有unix思維（unix-minded）的人，你會覺得每個工具只做一件事並且把它做好是非常方便的。但是你也需要知道不同庫和工具的優缺點，這樣在構建系統時才能做出合理的決策。工具本身不能改善系統或產品，但是使用正確的工具，我們可以工作得更高效，生產率更高。因此了解正確的工具，對你的工作領域是非常重要的。
這篇文章的目的就是列舉並描述Python可用的最有用的機器學習工具和庫。這個列表中，我們不要求這些庫是用Python寫的，只要有Python介面就夠了。我們在最後也有一小節關於深度學習（Deep Learning）的內容，因為它最近也吸引了相當多的關注。
我們的目的不是列出Python中所有機器學習庫（搜索「機器學習」時Python包索引(PyPI)返回了139個結果），而是列出我們所知的有用並且維護良好的那些。另外，盡管有些模塊可以用於多種機器學習任務，我們只列出主要焦點在機器學習的庫。比如，雖然Scipy包含一些聚類演算法，但是它的主焦點不是機器學習而是全面的科學計算工具集。因此我們排除了Scipy（盡管我們也使用它！）。
另一個需要提到的是，我們同樣會根據與其他科學計算庫的集成效果來評估這些庫，因為機器學習（有監督的或者無監督的）也是數據處理系統的一部分。如果你使用的庫與數據處理系統其他的庫不相配，你就要花大量時間創建不同庫之間的中間層。在工具集中有個很棒的庫很重要，但這個庫能與其他庫良好集成也同樣重要。
如果你擅長其他語言，但也想使用Python包，我們也簡單地描述如何與Python進行集成來使用這篇文章列出的庫。
Scikit-LearnScikit Learn是我們在CB Insights選用的機器學習工具。我們用它進行分類、特徵選擇、特徵提取和聚集。我們最愛的一點是它擁有易用的一致性API，並提供了很多開箱可用的求值、診斷和交叉驗證方法（是不是聽起來很熟悉？Python也提供了「電池已備(譯註：指開箱可用)」的方法）。錦上添花的是它底層使用Scipy數據結構，與Python中其餘使用Scipy、Numpy、Pandas和Matplotlib進行科學計算的部分適應地很好。因此，如果你想可視化分類器的性能（比如，使用精確率與反饋率(precision-recall)圖表，或者接收者操作特徵(Receiver Operating Characteristics，ROC)曲線），Matplotlib可以幫助進行快速可視化。考慮到花在清理和構造數據的時間，使用這個庫會非常方便，因為它可以緊密集成到其他科學計算包上。
另外，它還包含有限的自然語言處理特徵提取能力，以及詞袋（bag of words）、tfidf（Term Frequency Inverse Document Frequency演算法）、預處理（停用詞/stop-words，自定義預處理，分析器）。此外，如果你想快速對小數據集（toy dataset）進行不同基準測試的話，它自帶的數據集模塊提供了常見和有用的數據集。你還可以根據這些數據集創建自己的小數據集，這樣在將模型應用到真實世界中之前，你可以按照自己的目的來檢驗模型是否符合期望。對參數最優化和參數調整，它也提供了網格搜索和隨機搜索。如果沒有強大的社區支持，或者維護得不好，這些特性都不可能實現。我們期盼它的第一個穩定發布版。
StatsmodelsStatsmodels是另一個聚焦在統計模型上的強大的庫，主要用於預測性和探索性分析。如果你想擬合線性模型、進行統計分析，或者預測性建模，那麼Statsmodels非常適合。它提供的統計測試相當全面，覆蓋了大部分情況的驗證任務。如果你是R或者S的用戶，它也提供了某些統計模型的R語法。它的模型同時也接受Numpy數組和Pandas數據幀，讓中間數據結構成為過去！
PyMCPyMC是做貝葉斯曲線的工具。它包含貝葉斯模型、統計分布和模型收斂的診斷工具，也包含一些層次模型。如果想進行貝葉斯分析，你應該看看。
ShogunShogun是個聚焦在支持向量機（Support Vector Machines, SVM）上的機器學習工具箱，用C++編寫。它正處於積極開發和維護中，提供了Python介面，也是文檔化最好的介面。但是，相對於Scikit-learn，我們發現它的API比較難用。而且，也沒提供很多開箱可用的診斷和求值演算法。但是，速度是個很大的優勢。
GensimGensim被定義為「人們的主題建模工具（topic modeling for humans）」。它的主頁上描述，其焦點是狄利克雷劃分（Latent Dirichlet Allocation， LDA）及變體。不同於其他包，它支持自然語言處理，能將NLP和其他機器學習演算法更容易組合在一起。如果你的領域在NLP，並想進行聚集和基本的分類，你可以看看。目前，它們引入了Google的基於遞歸神經網路（Recurrent Neural Network）的文本表示法word2vec。這個庫只使用Python編寫。
OrangeOrange是這篇文章列舉的所有庫中唯一帶有圖形用戶界面（Graphical User Interface，GUI）的。對分類、聚集和特徵選擇方法而言，它是相當全面的，還有些交叉驗證的方法。在某些方面比Scikit-learn還要好（分類方法、一些預處理能力），但與其他科學計算系統（Numpy, Scipy, Matplotlib, Pandas）的適配上比不上Scikit-learn。但是，包含GUI是個很重要的優勢。你可以可視化交叉驗證的結果、模型和特徵選擇方法（某些功能需要安裝Graphviz）。對大多數演算法，Orange都有自己的數據結構，所以你需要將數據包裝成Orange兼容的數據結構，這使得其學習曲線更陡。
PyMVPAPyMVPA是另一個統計學習庫，API上與Scikit-learn很像。包含交叉驗證和診斷工具，但是沒有Scikit-learn全面。
深度學習盡管深度學習是機器學習的一個子節，我們在這里創建單獨一節的原因是，它最新吸引了Google和Facebook人才招聘部門的很多注意。
TheanoTheano是最成熟的深度學習庫。它提供了不錯的數據結構（張量，tensor）來表示神經網路的層，對線性代數來說很高效，與Numpy的數組類似。需要注意的是，它的API可能不是很直觀，用戶的學習曲線會很高。有很多基於Theano的庫都在利用其數據結構。它同時支持開箱可用的GPU編程。
PyLearn2還有另外一個基於Theano的庫，PyLearn2，它給Theano引入了模塊化和可配置性，你可以通過不同的配置文件來創建神經網路，這樣嘗試不同的參數會更容易。可以說，如果分離神經網路的參數和屬性到配置文件，它的模塊化能力更強大。
DecafDecaf是最近由UC Berkeley發布的深度學習庫，在Imagenet分類挑戰中測試發現，其神經網路實現是很先進的（state of art）。
Nolearn如果你想在深度學習中也能使用優秀的Scikit-learn庫API，封裝了Decaf的Nolearn會讓你能夠更輕松地使用它。它是對Decaf的包裝，與Scikit-learn兼容（大部分），使得Decaf更不可思議。
OverFeatOverFeat是最近貓vs.狗（kaggle挑戰）的勝利者，它使用C++編寫，也包含一個Python包裝器（還有Matlab和Lua）。通過Torch庫使用GPU，所以速度很快。也贏得了ImageNet分類的檢測和本地化挑戰。如果你的領域是計算機視覺，你可能需要看看。
HebelHebel是另一個帶有GPU支持的神經網路庫，開箱可用。你可以通過YAML文件（與Pylearn2類似）決定神經網路的屬性，提供了將神級網路和代碼友好分離的方式，可以快速地運行模型。由於開發不久，就深度和廣度上說，文檔很匱乏。就神經網路模型來說，也是有局限的，因為只支持一種神經網路模型（正向反饋，feed-forward）。但是，它是用純Python編寫，將會是很友好的庫，因為包含很多實用函數，比如調度器和監視器，其他庫中我們並沒有發現這些功能。
NeurolabNeuroLab是另一個API友好（與Matlabapi類似）的神經網路庫。與其他庫不同，它包含遞歸神經網路（Recurrent Neural Network，RNN）實現的不同變體。如果你想使用RNN，這個庫是同類API中最好的選擇之一。
與其他語言集成你不了解Python但是很擅長其他語言？不要絕望！Python（還有其他）的一個強項就是它是一個完美的膠水語言，你可以使用自己常用的編程語言，通過Python來訪問這些庫。以下適合各種編程語言的包可以用於將其他語言與Python組合到一起：R -> RPythonMatlab -> matpythonJava -> JythonLua -> Lunatic PythonJulia -> PyCall.jl
不活躍的庫這些庫超過一年沒有發布任何更新，我們列出是因為你有可能會有用，但是這些庫不太可能會進行BUG修復，特別是未來進行增強。MDPMlPyFFnetPyBrain如果我們遺漏了你最愛的Python機器學習包，通過評論讓我們知道。我們很樂意將其添加到文章中。
㈡ 閫夋嫨tf鏄浠涔堟剰鎬
閫夋嫨tf鏄鎸囬氳繃鏈哄櫒瀛︿範鏉ヨ繘琛屽垎綾匯佸洖褰掑拰鍒嗗壊絳変換鍔℃椂錛岄渶瑕佸逛笉鍚岀壒寰佽繘琛屾彁鍙栧拰閫夋嫨錛屽皢鍏惰漿鍖栦負鏌愮嶅彲璁＄畻鐨勬暟鍊礆紝榪欎簺鏁板煎嵆涓簍f鍊箋倀f鍗硉erm frequency錛屼唬琛ㄦ煇涓鐗瑰緛鍦ㄦ暣涓鏁版嵁闆嗘垨鏌愪釜鏂囨湰涓鍑虹幇鐨勬℃暟錛屾槸甯哥敤鐨勭壒寰侀夋嫨涔嬩竴銆
鍦ㄦ満鍣ㄥ︿範涓錛屾垜浠緇忓父闇瑕佸圭壒寰佽繘琛岄夋福楗ユ嫨錛岄夊彇鍚堥傜殑鐗瑰緛鍙浠ユ彁楂樼畻娉曠殑鍑嗙『鎬э紝tf鍒欐槸鐗瑰緛閫夋嫨鐨勫父鐢ㄦ寚鏍囦箣涓銆傚湪娣卞害瀛︿範棰嗗煙錛宼f鍦ㄦ枃鏈鍒嗙被涓涔熻騫挎硾搴旂敤銆傞氳繃tf-idf錛坱erm frequency - inverse document frequency錛夋寚鏍囷紝鍙浠ユ湁鏁堝湴鎻愬彇鏂囨湰鍏抽敭璇嶏紝浠庤屽疄鐜版枃鏈鐨勫垎綾誨拰鑱氱被銆
tf鐨勪紭鐐規槸綆鍗曟槗鐢錛岃＄畻蹇閫燂紝鍙鐢ㄤ簬鏂囨湰鍒嗙被銆佸浘鍍忚瘑鍒絳夊悇縐嶄換鍔′腑銆備絾tf鐨勭己鐐逛篃寰堟樉钁楋紝鍗沖逛簬闀挎枃鏈銆侀珮棰戣瘝奼囦互鍙婃枃鏈璇涔夎緝闅劇殑浠誨姟錛宼f鍙鑳戒細澶卞幓鍏跺簲鏈夌殑鎰忎箟錛屽洜姝ら渶瑕佺粨鍚堝叾浠栫壒寰侀夋嫨鏂規硶鐩鎬簰琛ュ厖銆傚悓鏃訛紝tf瀵逛簬鍋滅敤璇嶇瓑鏃犳剰涔夌殑濡傝繀榪斿叧閿璇嶄篃浼氳繘琛岃＄畻錛岄檷鏄屾牳浣庝簡鍏惰＄畻鏁堢巼錛岄渶瑕佽繘琛屼紭鍖栥
㈢ 07_推薦系統演算法詳解
基於人口統計學的推薦與用戶畫像、基於內容的推薦、基於協同過濾的推薦。
1、基於人口統計學的推薦機制( Demographic-based Recommendation)是一種最易於實現的推薦方法，它只是簡單的根據系統用戶的基本信息發現用戶的相關程度，然後將相似用戶喜愛的其他物品推薦給當前用戶。
2、對於沒有明確含義的用戶信息(比如登錄時間、地域等上下文信息)，可以通過聚類等手段，給用戶打上分類標簽。
3、對於特定標簽的用戶，又可以根據預設的規則(知識)或者模型，推薦出對應的物品。
4、用戶信息標簽化的過程一般又稱為 用戶畫像 ( User Profiling）。
（1）用戶畫像( User Profile)就是企業通過收集與分析消費者社會屬性、生活習慣、消費行為等主要信息的數據之後，完美地抽象出一個用戶的商業全貌作是企業應用大數據技術的基本方式。
（2）用戶畫像為企業提供了足夠的信息基礎，能夠幫助企業快速找到精準用戶群體以及用戶需求等更為廣泛的反饋信息。
（3）作為大數據的根基，它完美地抽象出一個用戶的信息全貌，為進一步精準、快速地分析用戶行為習慣、消費習慣等重要信息，提供了足夠的數據基礎。
1、 Content- based Recommendations(CB)根據推薦物品或內容的元數據，發現物品的相關性，再基於用戶過去的喜好記錄，為用戶推薦相似的物品。
2、通過抽取物品內在或者外在的特徵值,實現相似度計算。比如一個電影,有導演、演員、用戶標簽UGC、用戶評論、時長、風格等等，都可以算是特徵。
3、將用戶(user)個人信息的特徵(基於喜好記錄或是預設興趣標簽)，和物品(item)的特徵相匹配，就能得到用戶對物品感興趣的程度。在一些電影、音樂、圖書的社交網站有很成功的應用,有些網站還請專業的人員對物品進行基因編碼/打標簽(PGC）。
4、 相似度計算：
5、對於物品的特徵提取——打標簽(tag)
- 專家標簽(PGC）
- 用戶自定義標簽(UGC)
- 降維分析數據,提取隱語義標簽(LFM)
對於文本信息的特徵提取——關鍵詞
- 分詞、語義處理和情感分析(NLP)
- 潛在語義分析(LSA）
6、 基於內容推薦系統的高層次結構
7、 特徵工程
（1）特徵( feature)：數據中抽取出來的對結果預測有用的信息。
特徵的個數就是數據的觀測維度。
特徵工程是使用專業背景知識和技巧處理數據，使得特徵能在機器學習演算法上發揮更好的作用的過程。
特徵工程一般包括特徵清洗(采樣、清洗異常樣本)，特徵處理和特徵選擇。
特徵按照不同的數據類型分類，有不同的特徵處理方法：數值型、類別型、時間型、統計型。
（2）數值型特徵處理
用連續數值表示當前維度特徵，通常會對數值型特徵進行數學上的處理，主要的做法是歸一化和離散化。
* 幅度調整歸一化：
特徵與特徵之間應該是平等的，區別應該體現在 特徵內部 。
例如房屋價格和住房面積的幅度是不同的，房屋價格可能在3000000~15000000(萬)之間,而住房面積在40-300(平方米)之間，那麼明明是平等的兩個特徵，輸入到相同的模型中後由於本身的幅值不同導致產生的效果不同，這是不合理的
* 數值型特徵處理——離散化
離散化的兩種方式：等步長——簡單但不一定有效；等頻——min -> 25% -> 75% -> max
兩種方法對比：
等頻的離散化方法很精準，但需要每次都對數據分布進行一遍從新計算，因為昨天用戶在淘寶上買東西的價格分布和今天不一定相同，因此昨天做等頻的切分點可能並不適用，而線上最需要避免的就是不固定，需要現場計算，所以昨天訓練出的模型今天不一定能使用。
等頻不固定，但很精準，等步長是固定的，非常簡單，因此兩者在工業上都有應用。
（3） 類別型特徵處理
類別型數據本身沒有大小關系，需要將它們編碼為數字，但它們之間不能有預先設定的大小關系，因此既要做到公平，又要區分開它們，那麼直接開辟多個空間。
One-Hot編碼/啞變數：One-Hot編碼/啞變數所做的就是將類別型數據平行地展開，也就是說，經過One-Hot編碼啞變數後，這個特徵的空間會膨脹。
（4） 時間型特徵處理
時間型特徵既可以做連續值,又可以看做離散值。
連續值：持續時間(網頁瀏覽時長)；間隔時間(上一次購買/點擊離現在的時間間隔)。
離散值：一天中哪個時間段；一周中的星期幾；一年中哪個月/星期；工作日/周末。
（5） 統計型特徵處理
加減平均：商品價格高於平均價格多少，用戶在某個品類下消費超過多少。
分位線：商品屬於售出商品價格的分位線處。
次序性：商品處於熱門商品第幾位。
比例類：電商中商品的好/中/差評比例。
8、 推薦系統常見反饋數據 ：
9、 基於UGC的推薦
用戶用標簽來描述對物品的看法，所以用戶生成標簽(UGC)是聯系用戶和物品的紐帶，也是反應用戶興趣的重要數據源。
一個用戶標簽行為的數據集一般由一個三元組(用戶,物品,標簽)的集合表示，其中一條記錄(u,i,b)表示用戶u給物品打上了標簽b。
一個最簡單的演算法：
- 統計每個用戶最常用的標簽
- 對於每個標簽,統計被打過這個標簽次數最多的物品
- 對於一個用戶，首先找到他常用的標簽，然後找到具有這些標簽的最熱門的物品，推薦給他
- 所以用戶u對物品i的興趣公式為 ，其中 使用戶u打過標簽b的次數， 是物品i被打過標簽b的次數。
簡單演算法中直接將用戶打出標簽的次數和物品得到的標簽次數相乘，可以簡單地表現出用戶對物品某個特徵的興趣。
這種方法傾向於給熱門標簽(誰都會給的標簽,如「大片」、「搞笑」等)、熱門物品(打標簽人數最多)比較大的權重，如果一個熱門物品同時對應著熱門標簽,那它就會「霸榜」，推薦的個性化、新穎度就會降低。
類似的問題,出現在新聞內容的關鍵字提取中。比如以下新聞中,哪個關鍵字應該獲得更高的權重?
10、 TF-IDF：詞頻逆文檔頻率 ( Term Frequency- -Inverse Document Frequency,TF-DF)是一種用於資訊檢索與文本挖掘的常用加權技術。
TFDF是一種統計方法，用以評估一個字詞對於一個文件集或一個語料庫中的其中份文件的重要程度。字詞的重要性隨著它在文件中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。
TFIDF=TF IDF
TF-IDF的主要思想是 ：如果某個詞或短語在一篇文章中出現的頻率TF高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。
TF-DF加權的各種形式常被搜索引擎應用，作為文件與用戶查詢之間相關程度的度量或評級。
詞頻( Term Frequency,TF) ：指的是某一個給定的詞語在該文件中出現的頻率。這個數字是對詞數的歸一化，以防止偏向更長的文件。(同一個詞語在長文件里可能會比短文件有更高的詞數,而不管該詞語重要與否。） ，其中 表示詞語 i 在文檔 j 中出現的頻率， 表示 i 在 j 中出現的次數， 表示文檔 j 的總詞數。
逆向文件頻率( Inverse Document Frequency,IDF) ：是一個詞語普遍重要性的度量，某一特定詞語的IDF，可以由總文檔數目除以包含該詞語之文檔的數目，再將得到的商取對數得到 ，其中 表示詞語 i 在文檔集中的逆文檔頻率，N表示文檔集中的文檔總數， 表示文檔集中包含了詞語 i 的文檔數。
（11） TF-IDF對基於UGC推薦的改進 ： ，為了避免熱門標簽和熱門物品獲得更多的權重，我們需要對「熱門進行懲罰。
借鑒TF-IDF的思想，以一個物品的所有標簽作為「文檔」，標簽作為「詞語」，從而計算標簽的「詞頻」(在物品所有標簽中的頻率)和「逆文檔頻率」(在其它物品標簽中普遍出現的頻率）。
由於「物品i的所有標簽」 應該對標簽權重沒有影響，而 「所有標簽總數」 N 對於所有標簽是一定的，所以這兩項可以略去。在簡單演算法的基礎上,直接加入對熱門標簽和熱門物品的懲罰項： ，其中， 記錄了標簽 b 被多少個不同的用戶使用過， 記錄了物品 i 被多少個不同的用戶打過標簽。
（一）協同過濾（Collaborative Filtering, CF）
1、基於協同過濾(CF)的推薦：基於內容( Content based,CB)主要利用的是用戶評價過的物品的內容特徵，而CF方法還可以利用其他用戶評分過的物品內容。
CF可以解決CB的一些局限：
- 物品內容不完全或者難以獲得時,依然可以通過其他用戶的反饋給出推薦。
- CF基於用戶之間對物品的評價質量，避免了CB僅依賴內容可能造成的對物品質量判斷的干。
- CF推薦不受內容限制，只要其他類似用戶給出了對不同物品的興趣，CF就可以給用戶推薦出內容差異很大的物品(但有某種內在聯系)
分為兩類：基於近鄰和基於模型。
2、基於近鄰的推薦系統：根據的是相同「口碑」准則。是否應該給Cary推薦《泰坦尼克號》?
（二）基於近鄰的協同過濾
1、 基於用戶（User-CF）： 基於用戶的協同過濾推薦的基本原理是，根據所有用戶對物品的偏好，發現與當前用戶口味和偏好相似的「鄰居」用戶群，並推薦近鄰所偏好的物品。
在一般的應用中是採用計算「K-近鄰」的演算法；基於這K個鄰居的歷史偏好信息，為當前用戶進行推薦。
User-CF和基於人口統計學的推薦機制：
- 兩者都是計算用戶的相似度，並基於相似的「鄰居」用戶群計算推薦。
- 它們所不同的是如何計算用戶的相似度：基於人口統計學的機制只考慮用戶本身的特徵，而基於用戶的協同過濾機制可是在用戶的歷史偏好的數據上計算用戶的相似度，它的基本假設是，喜歡類似物品的用戶可能有相同或者相似的口味和偏好。
2、基於物品（Item-CF）：基於項目的協同過濾推薦的基本原理與基於用戶的類似，只是使用所有用戶對物品的偏好，發現物品和物品之間的相似度，然後根據用戶的歷史偏好信息，將類似的物品推薦給用戶。
Item-CF和基於內容(CB)的推薦
- 其實都是基於物品相似度預測推薦，只是相似度計算的方法不一樣，前者是從用戶歷史的偏好推斷，而後者是基於物品本身的屬性特徵信息。
同樣是協同過濾，在基於用戶和基於項目兩個策略中應該如何選擇呢?
- 電商、電影、音樂網站,用戶數量遠大於物品數量。
- 新聞網站，物品(新聞文本)數量可能大於用戶數量。
3、 User-CF和Item-CF的比較
同樣是協同過濾，在User-CF和ltem-CF兩個策略中應該如何選擇呢？
Item-CF應用場景
- 基於物品的協同過濾( Item-CF ) 推薦機制是 Amazon在基於用戶的機制上改良的一種策略因為在大部分的Web站點中，物品的個數是遠遠小於用戶的數量的，而且物品的個數和相似度相對比較穩定，同時基於物品的機制比基於用戶的實時性更好一些，所以 Item-CF 成為了目前推薦策略的主流。
User-CF應用場景
- 設想一下在一些新聞推薦系統中，也許物品一一也就是新聞的個數可能大於用戶的個數，而且新聞的更新程度也有很快，所以它的相似度依然不穩定，這時用 User-cf可能效果更好。
所以，推薦策略的選擇其實和具體的應用場景有很大的關系。
4、 基於協同過濾的推薦優缺點
（1）基於協同過濾的推薦機制的優點：
它不需要對物品或者用戶進行嚴格的建模，而且不要求對物品特徵的描述是機器可理解的，所以這種方法也是領域無關的。
這種方法計算出來的推薦是開放的，可以共用他人的經驗，很好的支持用戶發現潛在的興趣偏好。
（2）存在的問題
方法的核心是基於歷史數據，所以對新物品和新用戶都有「冷啟動」的問題。
推薦的效果依賴於用戶歷史好數據的多少和准確性。
在大部分的實現中，用戶歷史偏好是用稀疏矩陣進行存儲的，而稀疏矩陣上的計算有些明顯的問題，包括可能少部分人的錯誤偏好會對推薦的准確度有很大的影響等等。
對於一些特殊品味的用戶不能給予很好的推薦。
（三）基於模型的協同過濾
1、基本思想
（1）用戶具有一定的特徵，決定著他的偏好選擇
（2）物品具有一定的特徵，影響著用戶需是否選擇它。
（3）用戶之所以選擇某一個商品，是因為用戶特徵與物品特徵相互匹配。
基於這種思想，模型的建立相當於從行為數據中提取特徵，給用戶和物品同時打上「標簽」；這和基於人口統計學的用戶標簽、基於內容方法的物品標簽本質是一樣的，都是特徵的提取和匹配。
有顯性特徵時(比如用戶標簽、物品分類標簽)我們可以直接匹配做出推薦；沒有時，可以根據已有的偏好數據，去發據出隱藏的特徵,這需要用到隱語義模型(LFM)。
2、基於模型的協同過濾推薦，就是基於樣本的用戶偏好信息，訓練一個推薦模型,然後根據實時的用戶喜好的信息進行預測新物品的得分，計算推薦
基於近鄰的推薦和基於模型的推薦
- 基於近鄰的推薦是在預測時直接使用已有的用戶偏好數據，通過近鄰數據來預測對新物品的偏好(類似分類)
- 而基於模型的方法，是要使用這些偏好數據來訓練模型，找到內在規律，再用模型來做預測(類似回歸)
訓練模型時，可以基於標簽內容來提取物品特徵，也可以讓模型去發據物品的潛在特徵；這樣的模型被稱為 隱語義模型 ( Latent Factor Model,LFM)。
（1）隱語義模型(LFM)：用隱語義模型來進行協同過濾的目標：
- 揭示隱藏的特徵,這些特徵能夠解釋為什麼給出對應的預測評分
- 這類特徵可能是無法直接用語言解釋描述的,事實上我們並不需要知道,類似「玄學」
通過矩陣分解進行降維分析
- 協同過濾演算法非常依賴歷史數據，而一般的推薦系統中，偏好數據又往往是稀疏的；這就需要對原始數據做降維處理。
- 分解之後的矩陣，就代表了用戶和物品的隱藏特徵
隱語義模型的實例：基於概率的隱語義分析(pLSA)、隱式迪利克雷分布模型(LDA)、矩陣因子分解模型(基於奇異值分解的模型,SVD)
（2）LFM降維方法——矩陣因子分解
（3）LFM的進一步理解
我們可以認為，用戶之所以給電影打出這樣的分數，是有內在原因的，我們可以挖掘出影響用戶打分的隱藏因素，進而根據未評分電影與這些隱藏因素的關聯度，決定此未評分電影的預測評分。
應該有一些隱藏的因素，影響用戶的打分，比如電影：演員、題材、年代…甚至不定是人直接可以理解的隱藏因子。
找到隱藏因子，可以對user和Iiem進行關聯(找到是由於什麼使得user喜歡/不喜歡此Item,什麼會決定user喜歡/不喜歡此item)，就可以推測用戶是否會喜歡某一部未看過的電影。
（4）矩陣因子分解
（5）模型的求解——損失函數
（6）模型的求解演算法——ALS
現在，矩陣因子分解的問題已經轉化成了一個標準的優化問題，需要求解P、Q，使目標損失函數取最小值。
最小化過程的求解，一般採用隨機梯度下降演算法或者交替最小二乘法來實現交替最小二乘法( Alternating Least Squares,ALS)
ALS的思想是，由於兩個矩陣P和Q都未知,且通過矩陣乘法耦合在一起，為了使它們解耦，可以先固定Q，把P當作變數，通過損失函數最小化求出P，這就是一個經典的最小二乘問題；再反過來固定求得的P，把Q當作變數，求解出Q：如此交替執行，直到誤差滿足閱值條件，或者到達迭代上限。
（7）梯度下降演算法