⑴ 推薦演算法的組合推薦
由於各種推薦方法都有優缺點,所以在實際中,組合推薦(Hybrid
Recommendation)經常被採用。研究和應用最多的是內容推薦和協同過濾推薦的組合。最簡單的做法就是分別用基於內容的方法和協同過濾推薦方法去產生一個推薦預測結果,然後用某方法組合其結果。盡管從理論上有很多種推薦組合方法,但在某一具體問題中並不見得都有效,組合推薦一個最重要原則就是通過組合後要能避免或彌補各自推薦技術的弱點。
在組合方式上,有研究人員提出了七種組合思路:1)加權(Weight):加權多種推薦技術結果。2)變換(Switch):根據問題背景和實際情況或要求決定變換採用不同的推薦技術。3)混合(Mixed):同時採用多種推薦技術給出多種推薦結果為用戶提供參考。4)特徵組合(Feature
combination):組合來自不同推薦數據源的特徵被另一種推薦演算法所採用。5)層疊(Cascade):先用一種推薦技術產生一種粗糙的推薦結果,第二種推薦技術在此推薦結果的基礎上進一步作出更精確的推薦。6)特徵擴充(Feature
augmentation):一種技術產生附加的特徵信息嵌入到另一種推薦技術的特徵輸入中。7)元級別(Meta-level):用一種推薦方法產生的模型作為另一種推薦方法的輸入。
⑵ 簡要智能閱讀中智能推薦的技術原理
智能推薦演算法總的來說分為兩種:基於內容的推薦演算法和協同過濾推薦演算法。
基於內容的推薦演算法:
根據內容的相似度(靜態的東西)進行推薦,內容不好提取的可以採取貼標簽的形式來區分計算內容的相似程度。然後根據用戶的喜好設置,關注等進行相似內容推薦。
協同過濾推薦演算法:
根據動態信息來進行推薦,即推薦的過程是自動的,推薦結果的產生是系統從用戶的購買行為或瀏覽記錄等隱式信息拿到的,無需用戶通過填表格等方式來明確自己的喜好。因為這些數據都是要讀到內存中進行運算的,所以又叫基於內存的協同過濾(Memory-based Collaborative Filtering),另一種協同過濾演算法則是基於模型的協同過濾(Model-based Collaborative Filtering);m個物品,m個用戶的數據,只有部分用戶和部分數據之間是有評分數據的,其它部分評分是空白,此時我們要用已有的部分稀疏數據來預測那些空白的物品和數據之間的評分關系,找到最高評分的物品推薦給用戶。對於這個問題,用機器學習的思想來建模解決,主流的方法可以分為:用關聯演算法,聚類演算法,分類演算法,回歸演算法,矩陣分解,神經網路,圖模型以及隱語義模型來解決。
(https://www.cnblogs.com/chenliyang/p/6548306.html)
而基於內存的協同過濾又有兩種:
基於user的協同過濾(用戶相似度):通過相似用戶的喜好來推薦
基於item的協同過濾(內容相似度):通過用戶對項目的不同評分推薦可能讓用戶打高評分的項目,是項目之間的相似度。
任何一種單一推薦演算法都有缺點,我們在實際項目中,可以採用混合推薦演算法,融合以上方法,通過串聯並聯等融合,構造出自己的一套推薦體系。
⑶ 猜你喜歡是如何猜的——常見推薦演算法介紹
自從頭條系的產品今日頭條和抖音火了之後,個性化推薦就進入了大眾的視野,如果我們說搜索時人找信息的話,那麼推薦就是信息找人。搜索是通過用戶主動輸入索引信息告訴機器自己想要的東西,那麼推薦的這個索引是什麼才能讓信息找到人呢?
第一類索引是「你的歷史」,即基於你以前在平台上對某物品產生的行為(點贊,轉發,評論或者收藏),尋找與你產生過相似行為的用戶所喜歡的其他物品或者與你喜歡的物品相似的其他物品來為你推薦。這一基於用戶行為相似的演算法有:協同過濾演算法、基於內容的推薦演算法和基於標簽的推薦演算法。
基於用戶的協同過濾演算法是尋找與A用戶有相似行為的所有B用戶所喜歡的而A用戶還不知道的物品推薦給A用戶 。該演算法包括兩個步驟:
-根據用戶所喜歡的物品計算用戶間相似度,找到與目標用戶相似的用戶集合;
-找到該用戶集合所喜歡的而目標用戶所不知道的物品。
那麼,找出一批物品以後哪個先推薦哪個後推薦?用戶間相似程度大的先推薦,用戶對物品的感興趣程度大要先推薦。即假設A用戶與B用戶的相似程度為0.9,與C用戶的相似程度為0.7,用戶B喜歡物品a和物品b的程度分別為1和2,用戶C喜歡物品a和物品b的程度分別為0.1和0.5,那麼先推薦物品b。多個用戶多個物品,只要擬定了用戶間的相似度和用戶對物品的感興趣程度,即可對物品進行打分並且進行綜合排序。
基於物品的協同過濾演算法是根據用戶行為而不是物品本身的相似度來判斷物品的相似度 ,即如果物品A和物品B被很多的用戶同時喜歡,那麼我們就認為物品A和物品B是相似的。該演算法也是包括兩個步驟:
-根據用戶行為計算物品間的相似度;
-根據物品的相似度和用戶的歷史行為給用戶生成推薦列表。
與UserCF相似的是,同樣會遇到推薦的先後順序問題,那麼ItemCF所遵循的原則是:物品間相似程度大的先推薦,用戶對物品的感興趣程度大要先推薦。假設用戶對物品a和物品b感興趣的程度分別為1和0.5,物品a與物品c和物品d的相似度分別為0.5和0.1,物品b與物品c和物品d的相似度分別為0.3和0.4,那麼先推薦物品d。用戶喜歡多個物品,並且多個物品與其他物品都有相似的情況下,只要擬定了用物品間的相似度和用戶對物品的感興趣程度,即可對物品進行打分並且進行綜合排序。
協同過濾演算法的核心都是通過用戶行為來計算相似度,User-CF是通過用戶行為來計算用戶間的相似度,Item-CF是通過用戶行為來計算物品間的相似度。
推薦演算法很重要的一個原理是為用戶推薦與用戶喜歡的物品相似的用戶又不知道的物品。物品的協同過濾演算法是通過用戶行為來衡量物品間的相似(喜歡物品A的用戶中,同時喜歡物品B的用戶比例越高,物品A與物品B的相似程度越高),而基於內容的推薦演算法衡量則是通過物品本身的內容相似度來衡量物品間的相似。
假如,你看了東野圭吾的《解憂雜貨店》,那麼下次系統會給你推薦東野圭吾的《白夜行》。假設你看了小李子的《泰坦尼克號》,系統再給你推薦小李子的《荒野獵人》。
該演算法與前兩種不同的是,將用戶和物品之間使用「標簽」進行聯系,讓用戶對喜歡的物品做記號(標簽),將同樣具有這些記號(標簽)的其他物品認為很大程度是相似的並推薦給用戶。其基本步驟如下:
統計用戶最常用的標簽
對於每個標簽,統計最常被打過這個標簽次數最多的物品
將具有這些標簽最熱門的物品推薦給該用戶
目前,國內APP中,豆瓣就是使用基於標簽的推薦演算法做個性化的推薦。
第二類索引是「你的朋友」,基於你的社交好友來進行推薦,即基於社交網路的推薦。例如,微信看一看中的功能「朋友在看」就是最簡單的基於社交網路的推薦,只要用戶點擊公眾號文章的「在看」,就會出現在其好友的「朋友在看」的列表中。
復雜一點的演算法會考慮用戶之間的熟悉程度和興趣的相似度來進行推薦。目前,在信息流推薦領域,基於社交網路進行推薦的最流行的演算法是Facebook的EdgeRank演算法,即為用戶推薦其好友最近產生過重要行為(評論點贊轉發收藏)的信息。
第三類索引是「你所處的環境」,基於你所處的時間、地點等上下文信息進行推薦。例如,我們看到很APP中的「最近最熱門」,就是基於時間上下文的非個性化推薦;以及,美團和餓了么這些基於位置提供服務的APP中,「附近商家」這一功能就是基於用戶位置進行推薦。高德地圖在為用戶推薦駕駛路線時,會考慮不同路線的擁堵程度、紅綠燈數量等計算路線用和路程距離再進行綜合排序推薦。
很多時候,基於時間上下文的推薦會協同過濾這類個性化推薦演算法結合使用。例如,在使用協同過濾推薦策略的時候,會將時間作為其中一個因素考慮進入推薦策略中,最近的信息先推薦。
以上就是常見的推薦演算法。作為產品人,我們不需要知道如何實現,但是我們必須知道這些推薦演算法的原理,知道在什麼場景下如何去做推薦才能提升推薦的效率,這才是產品經理的價值所在。
參考資料:《推薦演算法實戰》項亮
⑷ 推薦系統UserCF和ItemCF
UserCF(User Collaboration Filter),又稱 基於用戶的協同過濾演算法。
協同過濾:就是指眾多的用戶可以齊心協力,通過不斷地和網站互動,使 自己的推薦列表能夠不斷過濾掉自己不感興趣的物品,從而越來越滿足自己的需求。
而基於用戶是指通過分析用戶對商品的行為(如瀏覽、收藏、加入購物車、購買……)計算出哪些用戶是興趣相似的,然後把興趣相似的用戶所關注的商品相互推薦。
舉個例子:
由上表可以看出用戶A和用戶C比較相似,所以把用戶A感興趣的商品4推薦給用戶C。
步驟一般分為兩步:
再舉個詳細點的例子:
假設我們這么一些數據(用戶(字母) 商品(數字)_行為,):
我們可以給不同的行為賦予不同的評分(假設瀏覽1分、收藏3分、加入購物車5分、購買10分),得到以下數據:
這樣看著比較累,而且也不方便計算,可以把它轉換為矩陣形式,稱之為 評分矩陣 :
計算相似度
計算相似度的方式有很多,如餘弦相似度、切比雪夫距離、歐里幾得距離、曼哈頓距離、傑卡德距離、皮爾森系數……計算相似度的方式不同計算出來的相似度也不同。
這里只介紹餘弦相似度,其他的請自行網路。
假設有二維向量a,b如下圖所示
則他們的餘弦相似度為
推廣到多維向量a(a1,a2,a3,a4……),b(b1,b2,b3,b4……)
有了公式就能計算出用戶相似度了:
推薦列表 = 相似度矩陣 X 評分矩陣
由於用戶已經對推薦列表中的一些商品有過行為,所以還要把這些商品給濾除掉
得到最終的推薦列表,其數值代表的意義是用戶對商品的感興趣程度:
ItemCF(Item Collaboration Filter),又稱 基於商品(物品)的協同過濾演算法。
其原理與UserCF類似,是基於用戶對商品的偏好找到相似的商品,然後推薦相似的商品品給他。
計算過程也非常相似,區別在於計算時把UserCF的 評分矩陣轉置 ,再計算商品與商品之間的相似度得到 商品之間的相似度矩陣 。
最後的 推薦列表 = 商品之間的相似度矩陣 X 評分矩陣轉置
對於電子商務,用戶數量一般大大超過商品數量,此時Item CF的計算復雜度較低。
比如在購書網站上,當你看一本書的時候,推薦引擎會給你推薦相關的書籍,這個推薦的重要性進進超過了網站首頁對該用戶的綜合推薦。可以看到,在這種情況下,Item CF 的推薦成為了引導用戶瀏覽的重要手段。基於物品的協同過濾演算法,是目前電子商務採用最廣泛的推薦演算法。
在非社交網路的網站中,內容內在的聯系是很重要的推薦原則,它比基於相似用戶的推薦原則更加有效。在社交網路站點中,User CF 是一個更好錯的選擇,User CF 加上社會網路信息,可以增加用戶對推薦解釋的信服程度。
推薦多樣性和精度,各有千秋。
參考:
Spark基於用戶的協同過濾演算法 https://www.toutiao.com/a6498952374487368205/?tt_from=mobile_qq&utm_campaign=client_share&app=news_article&utm_source=mobile_qq&iid=15393016323&utm_medium=toutiao_android
推薦系統_itemCF和userCF
http://blog.csdn.net/u011263983/article/details/51498458
⑸ 手機APP為什麼可以像知己一樣懂我們
隨著互聯網的飛速發展,越來越多的手機APP正在豐富著人們的生活。很多人留意到了一個神奇的現象,即購物APP總能推薦自己想要的商品,新聞APP也能精準地把握自己所關注的新聞內容,許多手機APP儼然已經成為了知己般的存在。那麼,這到底是怎麼實現的呢?
除了APP,現實生活中也不乏通過推薦系統演算法優化銷售的例子。在美國的沃爾瑪超市,有研究人員通過對購物數據進行分析,意外發現跟尿布一起購買的最多的商品是啤酒。背後原因是,美國的家庭中,母親在家裡照顧嬰兒,父親去超市購買尿布,而父親會順便為自己購買啤酒。因此,沃爾瑪將尿布和啤酒放在一起出售,極大提升了銷售收入。
⑹ 協同過濾與分類
[TOC]
本文是《寫給程序員的數據挖掘實踐指南》的一周性筆記總結。主要涵蓋了以下內容:
所謂推薦系統就是系統根據你的行為操作為你推薦你可能想要的其他物品。這在電商平台、音樂平台、資訊推送平台等多有見到。而協同過濾簡單來說是利用某興趣相投、擁有共同經驗之群體的喜好來推薦用戶感興趣的信息,個人通過合作的機制給予信息相當程度的回應(如評分)並記錄下來以達到過濾的目的進而幫助別人篩選信息。其推薦基礎是用戶評分。這里可以分為兩種用戶評分,即顯式評分與隱式評分。顯式評分即日常見到的為物品打分,如對喜好音樂評級等;隱式評分是通過對用戶行為的持續性觀察,進而發現用戶偏好的一種方法,如新聞網頁中的推送你經常閱讀過的相關內容等。兩種評分方法都有自己的問題。
總體來說,協同過濾其運作機制也可以分為兩種:
基於用戶的推薦是指通過用戶的行為偏好,劃分相似用戶。在相似用戶群體之間互相推送一方喜歡而另一方未有過的物品。核心在於相似用戶群體的劃分。這種推薦方法有自己的局限:
基於用戶的過濾其核心是用戶群體的劃分,其實也就是分類。
這里的距離函數包括三種:曼哈頓距離和歐氏距離。這里以二維舉例,更多維情況下類推即可。
兩距離函數可以一般化為:
其中,當r=1時,函數為曼哈頓距離;當r=2時,函數為歐氏距離。
演算法實現:
在算出距離函數後,通過比對目標用戶與所有用戶群體的偏好,找到最近鄰的用戶並給予推薦。
基於用戶距離的推薦有一個明顯的問題,就是用戶評分體系的差異。比如評分極端的用戶給喜歡的評最高分,給不喜歡的評最低分;而有些用戶傾向於不出現極端評分。即所謂「分數貶值」( Grade Inflation )問題。這種問題的存在可能讓基於距離的評分產生偏差。皮爾遜相關系數可以緩解這種問題。
原皮爾遜相關系數公式在實際運用的時候會出現多次迭代的問題,影響計算效率,這里給出了近似公式:
皮爾遜相關系數的用戶判斷依據不是單純的用戶距離,而是用戶的評分一致性:取值在[-1, 1]之間,越接近1則表示兩用戶的評分一致性越好;反之則反。
python實現:
基於用戶推薦的過程中,另一個存在的問題就是由於大部分人的喜愛物品集合的交集過少,存在大量計算值為0的feature的情況。即所謂 稀疏性 問題。一個較容易理解的例子是對書本內容的挖掘。餘弦相似度會忽略這種0-0匹配。
餘弦相似度:
python實現:
如此多的評估系數,如何進行抉擇呢?根據數據特徵:
另外值得考慮的一點是,目前為止的推薦都是基於單用戶的。即對一個用戶的推薦系統只是基於另一個用戶。這會存在一些問題。比如雖然雖然兩者相似度很高,但是另外一個人有一些怪癖,怪癖的推薦就是不合理的;又比如,在相似度極高的情況下,你不能確定統一賬戶下的操作是同一個人做出的或者說操作行為是為了用戶自身。比如用戶考慮購買某件商品作為禮物送給別人,這就是基於別人喜好的購買行為,這種推薦也是不合適的。
對這種問題的解決可以使用群體劃分的方法。原理與單用戶類似,但是用戶的匹配是k個。在這k位最優匹配的用戶之間,以相似度的大小為依據設定權重作為物品推薦的條件。此即協同過濾的k近鄰。
正如前面提到的基於用戶的推薦有復雜度、稀疏性的問題,而基於物品的過濾則可以緩解這些問題。所謂基於物品的過濾是指,我們事先找到最相似的物品,並結合用戶對物品的評級結果來生成推薦。前提是要對物品進行相似度匹配,找到一種演算法。
這里的調整是指為了減輕用戶評分體系的不一致情況(抵消分數貶值),從每個評級結果中減去該用戶所有物品的平均分的評級結果。
其中,U表示所有同時對i, j進行評級過的用戶的集合。 表示用戶u給物品i的評分減去用戶u對所有物品的評分的平均值。
在得到所有物品的餘弦相似度後,我們就可以通過該指數預測用戶對某件物品的偏好程度。方法就是所有相似物品的相似度乘以得分的總和。
其中p(u, i)指的是用戶u對物品i評分的預測值。N是用戶u的所有評級物品中每個和i得分相似的物品。這里的相似指的是矩陣中存在N和i的一個相似度得分。 是i和N之間的相似度得分。 是u給N的評級結果。公式較好運行的條件是 取值在(-1, 1)之間,這里就要使用歸一化概念。
另一種常用的基於物品過濾的演算法就是 slope one 演算法。它的大概原理是預測用戶u對產品j的評分時,預先計算包含所有物品的兩物品偏差表;根據u的已評價的所有物品評分與該物品和產品j的偏差( )之和並乘以所有對此兩類物品有過評分的用戶個數,一一加總,除以所有同時對產品i與u評價過的所有物品有過評分的用戶的人數,得到得分。公式如下:
其中, ; 是利用加權s1演算法給出的用戶u對物品j的預測值。 指的是對所有除j之外u打過分的物品。
python實現:
在前面兩節中,基於物品和基於用戶的過濾其前提都是用戶需要對已有的item進行評分。而實際上,如果一個新的item出現,由於缺乏別人的偏好,他永遠不會被推薦。這就是推薦系統中所謂的—— 冷啟動 問題。基於用戶評價的系統就會出現這種問題。
冷啟動 問題的解決方案之一就是 基於物品屬性的過濾 來進行推薦:對物品自身的屬性進行歸納總結,並以此進行物品推薦。基於物品屬性的過濾存在一個問題同樣是量綱的不統一。如果量綱不統一極端值將會對推薦系統造成大麻煩。解決方法也很簡單:歸一化。此章使用的是z-評分。
使用z得分也存在問題,就是極易受到離群值的影響。這里可以使用 改進的標准分數 來緩解這個問題:
什麼時候可以進行歸一化呢?
這里用曼哈頓距離舉例基於物品屬性的過濾:
在上一章最後一節對於用戶是否喜歡某件item的判別中,實際上包含了分類器的思想:分類器就是利用對象屬性判定對象屬於哪個組或類別的程序。這里簡單用另一個小項目來說明。
簡單來說就是根據運動員的某些指標來判斷這位運動員屬於什麼類別的運動員。
准確率有0.8。
⑺ 矩陣分解在協同過濾推薦演算法中的應用
矩陣分解在協同過濾推薦演算法中的應用
推薦系統是當下越來越熱的一個研究問題,無論在學術界還是在工業界都有很多優秀的人才參與其中。近幾年舉辦的推薦系統比賽更是一次又一次地把推薦系統的研究推向了高潮,比如幾年前的Neflix百萬大獎賽,KDD CUP 2011的音樂推薦比賽,去年的網路電影推薦競賽,還有最近的阿里巴巴大數據競賽。這些比賽對推薦系統的發展都起到了很大的推動作用,使我們有機會接觸到真實的工業界數據。我們利用這些數據可以更好地學習掌握推薦系統,這些數據網上很多,大家可以到網上下載。
推薦系統在工業領域中取得了巨大的成功,尤其是在電子商務中。很多電子商務網站利用推薦系統來提高銷售收入,推薦系統為Amazon網站每年帶來30%的銷售收入。推薦系統在不同網站上應用的方式不同,這個不是本文的重點,如果感興趣可以閱讀《推薦系統實踐》(人民郵電出版社,項亮)第一章內容。下面進入主題。
為了方便介紹,假設推薦系統中有用戶集合有6個用戶,即U={u1,u2,u3,u4,u5,u6},項目(物品)集合有7個項目,即V={v1,v2,v3,v4,v5,v6,v7},用戶對項目的評分結合為R,用戶對項目的評分范圍是[0, 5]。R具體表示如下:
推薦系統的目標就是預測出符號「?」對應位置的分值。推薦系統基於這樣一個假設:用戶對項目的打分越高,表明用戶越喜歡。因此,預測出用戶對未評分項目的評分後,根據分值大小排序,把分值高的項目推薦給用戶。怎麼預測這些評分呢,方法大體上可以分為基於內容的推薦、協同過濾推薦和混合推薦三類,協同過濾演算法進一步劃分又可分為基於基於內存的推薦(memory-based)和基於模型的推薦(model-based),本文介紹的矩陣分解演算法屬於基於模型的推薦。
矩陣分解演算法的數學理論基礎是矩陣的行列變換。在《線性代數》中,我們知道矩陣A進行行變換相當於A左乘一個矩陣,矩陣A進行列變換等價於矩陣A右乘一個矩陣,因此矩陣A可以表示為A=PEQ=PQ(E是標准陣)。
矩陣分解目標就是把用戶-項目評分矩陣R分解成用戶因子矩陣和項目因子矩陣乘的形式,即R=UV,這里R是n×m, n =6, m =7,U是n×k,V是k×m。直觀地表示如下:
高維的用戶-項目評分矩陣分解成為兩個低維的用戶因子矩陣和項目因子矩陣,因此矩陣分解和PCA不同,不是為了降維。用戶i對項目j的評分r_ij =innerproct(u_i, v_j),更一般的情況是r_ij =f(U_i, V_j),這里為了介紹方便就是用u_i和v_j內積的形式。下面介紹評估低維矩陣乘積擬合評分矩陣的方法。
首先假設,用戶對項目的真實評分和預測評分之間的差服從高斯分布,基於這一假設,可推導出目標函數如下:
最後得到矩陣分解的目標函數如下:
從最終得到得目標函數可以直觀地理解,預測的分值就是盡量逼近真實的已知評分值。有了目標函數之後,下面就開始談優化方法了,通常的優化方法分為兩種:交叉最小二乘法(alternative least squares)和隨機梯度下降法(stochastic gradient descent)。
首先介紹交叉最小二乘法,之所以交叉最小二乘法能夠應用到這個目標函數主要是因為L對U和V都是凸函數。首先分別對用戶因子向量和項目因子向量求偏導,令偏導等於0求駐點,具體解法如下:
上面就是用戶因子向量和項目因子向量的更新公式,迭代更新公式即可找到可接受的局部最優解。迭代終止的條件下面會講到。
接下來講解隨機梯度下降法,這個方法應用的最多。大致思想是讓變數沿著目標函數負梯度的方向移動,直到移動到極小值點。直觀的表示如下:
其實負梯度的負方向,當函數是凸函數時是函數值減小的方向走;當函數是凹函數時是往函數值增大的方向移動。而矩陣分解的目標函數L是凸函數,因此,通過梯度下降法我們能夠得到目標函數L的極小值(理想情況是最小值)。
言歸正傳,通過上面的講解,我們可以獲取梯度下降演算法的因子矩陣更新公式,具體如下:
(3)和(4)中的γ指的是步長,也即是學習速率,它是一個超參數,需要調參確定。對於梯度見(1)和(2)。
下面說下迭代終止的條件。迭代終止的條件有很多種,就目前我了解的主要有
1) 設置一個閾值,當L函數值小於閾值時就停止迭代,不常用
2) 設置一個閾值,當前後兩次函數值變化絕對值小於閾值時,停止迭代
3) 設置固定迭代次數
另外還有一個問題,當用戶-項目評分矩陣R非常稀疏時,就會出現過擬合(overfitting)的問題,過擬合問題的解決方法就是正則化(regularization)。正則化其實就是在目標函數中加上用戶因子向量和項目因子向量的二范數,當然也可以加上一范數。至於加上一范數還是二范數要看具體情況,一范數會使很多因子為0,從而減小模型大小,而二范數則不會它只能使因子接近於0,而不能使其為0,關於這個的介紹可參考論文Regression Shrinkage and Selection via the Lasso。引入正則化項後目標函數變為:
(5)中λ_1和λ_2是指正則項的權重,這兩個值可以取一樣,具體取值也需要根據數據集調參得到。優化方法和前面一樣,只是梯度公式需要更新一下。
矩陣分解演算法目前在推薦系統中應用非常廣泛,對於使用RMSE作為評價指標的系統尤為明顯,因為矩陣分解的目標就是使RMSE取值最小。但矩陣分解有其弱點,就是解釋性差,不能很好為推薦結果做出解釋。
後面會繼續介紹矩陣分解演算法的擴展性問題,就是如何加入隱反饋信息,加入時間信息等。
⑻ 推薦演算法-協同過濾3 基於物品
amazon , netflix, hulu , youtube
ItemCF 並不利用物品的內容屬性計算物品之間的相似度,他主要通過分析用戶行為記錄物品的相似度。
演算法認為:A 和B 相似,是由於喜歡A 的用戶大都也喜歡B
利用用戶的歷史行為給推薦結果提供推薦解釋。例如喜歡或者收藏過的射鵰,推薦天龍八部。
1、計算物品相似度
2、根據物品相似度和用戶的歷史行為生成推薦列表
Wij = |同時喜歡物品i,j 的人數| / |喜歡物品i的人數|
懲罰熱門物品:
Wij = |同時喜歡物品i,j 的人數| / sqrt(喜歡i 的人數x 喜歡j的人數) **
計算用戶u對一個物品的興趣:
Puj = sum(Sji, Rui) j (- 和j 最類似的k個物品集合
該公式的含義是:
**和用戶歷史上感興趣的物品越相似的物品,越可能在用戶的推薦列表中獲得高排名。
itemCF 流行度效果更好些,但是准確率隨k值提高沒有改善。
1、IUF
Sij = cij /match.sqrt(N[i]*N[j]) 計算物品相似度
弱化,那麼僅僅忽略 Cij = (1+1/log(1+N(u))
2、當然也可以忽略掉活躍度過高的用戶。
W' ij = wij / maxJ(wij) 按類歸一化
歸一化後,覆蓋率能夠提高4個百分點