推薦系統混排演算法

A. 推薦系統演算法

基 於內容的推薦（Content-based Recommendation）是信息過濾技術的延續與發展，它是建立在項目的內容信息上作出推薦的，而不需要依據用戶對項目的評價意見，更多地需要用機 器學習的方法從關於內容的特徵描述的事例中得到用戶的興趣資料。
在基於內容的推薦系統中，項目或對象是通過相關的特徵的屬性來定義，系統基於用戶評價對象 的特徵，學慣用戶的興趣，考察用戶資料與待預測項目的相匹配程度。用戶的資料模型取決於所用學習方法，常用的有決策樹、神經網路和基於向量的表示方法等。 基於內容的用戶資料是需要有用戶的歷史數據，用戶資料模型可能隨著用戶的偏好改變而發生變化。

B. 求推薦系統STE演算法的詳細信息

•SIGIR』09July.2009Boston USA•上一篇SoRecUsing Probabilistic Matrix Factorization的論文發表9個月後•HaoMa,HaixuanYang, Michael R.Lyu,Irwin King•Dept. of Computer Scienceand Engineering•The Chinese University ofHong Kong

C. 誰有基於用戶的推薦系統或者協同過濾的演算法和代碼分析

個大數據的大神給個 基於用戶的推薦系統或者協同過濾的演算法和代碼分析啊
我有部分代碼但是不知道怎麼在Eclipse上實現 求解答啊
1.public class AggregateAndRecommendRecer extends Recer<VarLongWritable,VectorWritable,VarLongWritable,RecommendedItemsWritable>{
...
public viod rece (VarLongWritable key,Iterable<VectorWritable>values,Context context)throws IOException,InterruptedException{
Vector recommendationVector=null;
for(VectorWritable vectorWritable:values){
recommendationVector=recommendationVector==null?
vectorWritable.get();
recommendationVector.plus(bectorWritable.get());
}
Queue<RecommendedItem> topItems=new PriorityQueue<RecommendedItem>(recommendationsPerUser+1,Collections.reverseOrder(.getInstance()));
Iterator<Vector.Element> recommendationVectorIterator=recommendationVector.iterateNonZero();
while(recommendationVectorIterator.hasNext()){
vector.Element element=recommendationVectorIterator.next();
int index=element.index();

D. 推薦系統的主要推薦方法

基於內容的推薦（Content-based Recommendation）是信息過濾技術的延續與發展，它是建立在項目的內容信息上作出推薦的，而不需要依據用戶對項目的評價意見，更多地需要用機 器學習的方法從關於內容的特徵描述的事例中得到用戶的興趣資料。在基於內容的推薦系統中，項目或對象是通過相關的特徵的屬性來定義，系統基於用戶評價對象 的特徵，學慣用戶的興趣，考察用戶資料與待預測項目的相匹配程度。用戶的資料模型取決於所用學習方法，常用的有決策樹、神經網路和基於向量的表示方法等。 基於內容的用戶資料是需要有用戶的歷史數據，用戶資料模型可能隨著用戶的偏好改變而發生變化。
基於內容推薦方法的優點是：1）不需要其它用戶的數據，沒有冷開始問題和稀疏問題。2）能為具有特殊興趣愛好的用戶進行推薦。3）能推薦新的或不是很流行的項目，沒有新項目問題。4）通過列出推薦項目的內容特徵，可以解釋為什麼推薦那些項目。5）已有比較好的技術，如關於分類學習方面的技術已相當成熟。
缺點是要求內容能容易抽取成有意義的特徵，要求特徵內容有良好的結構性，並且用戶的口味必須能夠用內容特徵形式來表達，不能顯式地得到其它用戶的判斷情況。 協同過濾推薦 （Collaborative Filtering Recommendation）技術是推薦系統中應用最早和最為成功的技術之一。它一般採用最近鄰技術，利用用戶的歷史喜好信息計算用戶之間的距離，然後 利用目標用戶的最近鄰居用戶對商品評價的加權評價值來預測目標用戶對特定商品的喜好程度，系統從而根據這一喜好程度來對目標用戶進行推薦。協同過濾最大優 點是對推薦對象沒有特殊的要求，能處理非結構化的復雜對象，如音樂、電影。
協同過濾是基於這樣的假設：為一用戶找到他真正感興趣的內容的好方法是首先找到與此用戶有相似興趣的其他用戶，然後將他們感興趣的內容推薦給此用 戶。其基本思想非常易於理解，在日常生活中，我們往往會利用好朋友的推薦來進行一些選擇。協同過濾正是把這一思想運用到電子商務推薦系統中來，基於其他用 戶對某一內容的評價來向目標用戶進行推薦。
基於協同過濾的推薦系統可以說是從用戶的角度來進行相應推薦的，而且是自動的即用戶獲得的推薦是系統從購買模式或瀏覽行為等隱式獲得的，不需要用戶努力地找到適合自己興趣的推薦信息，如填寫一些調查表格等。
和基於內容的過濾方法相比，協同過濾具有如下的優點：1） 能夠過濾難以進行機器自動內容分析的信息，如藝術品，音樂等。2） 共享其他人的經驗，避免了內容分析的不完全和不精確，並且能夠基於一些復雜的，難以表述的概念（如信息質量、個人品味）進行過濾。3） 有推薦新信息的能力。可以發現內容上完全不相似的信息，用戶對推薦信息的內容事先是預料不到的。這也是協同過濾和基於內容的過濾一個較大的差別，基於內容的過濾推薦很多都是用戶本來就熟悉的內容，而協同過濾可以發現用戶潛在的但自己尚未發現的興趣偏好。4） 能夠有效的使用其他相似用戶的反饋信息，較少用戶的反饋量，加快個性化學習的速度。
雖然協同過濾作為一種典型的推薦技術有其相當的應用，但協同過濾仍有許多的問題需要解決。最典型的問題有稀疏問題（Sparsity）和可擴展問題（Scalability）。 基於關聯規則的推薦 （Association Rule-based Recommendation）是以關聯規則為基礎，把已購商品作為規則頭，規則體為推薦對象。關聯規則挖掘可以發現不同商品在銷售過程中的相關性，在零 售業中已經得到了成功的應用。管理規則就是在一個交易資料庫中統計購買了商品集X的交易中有多大比例的交易同時購買了商品集Y，其直觀的意義就是用戶在購 買某些商品的時候有多大傾向去購買另外一些商品。比如購買牛奶的同時很多人會同時購買麵包。
演算法的第一步關聯規則的發現最為關鍵且最耗時，是演算法的瓶頸，但可以離線進行。其次，商品名稱的同義性問題也是關聯規則的一個難點。 由於各種推薦方法都有優缺點，所以在實際中，組合推薦（Hybrid Recommendation）經常被採用。研究和應用最多的是內容推薦和協同過濾推薦的組合。最簡單的做法就是分別用基於內容的方法和協同過濾推薦方法 去產生一個推薦預測結果，然後用某方法組合其結果。盡管從理論上有很多種推薦組合方法，但在某一具體問題中並不見得都有效，組合推薦一個最重要原則就是通 過組合後要能避免或彌補各自推薦技術的弱點。
在組合方式上，有研究人員提出了七種組合思路：1）加權（Weight）：加權多種推薦技術結果。2）變換（Switch）：根據問題背景和實際情況或要求決定變換採用不同的推薦技術。3）混合（Mixed）：同時採用多種推薦技術給出多種推薦結果為用戶提供參考。4）特徵組合（Feature combination）：組合來自不同推薦數據源的特徵被另一種推薦演算法所採用。5）層疊（Cascade）：先用一種推薦技術產生一種粗糙的推薦結果，第二種推薦技術在此推薦結果的基礎上進一步作出更精確的推薦。6）特徵擴充（Feature augmentation）：一種技術產生附加的特徵信息嵌入到另一種推薦技術的特徵輸入中。7）元級別（Meta-level）：用一種推薦方法產生的模型作為另一種推薦方法的輸入。

E. 基於用戶的系統過濾 什麼是推薦演算法

什麼是推薦演算法 推薦演算法最早在1992年就提出來了，但是火起來實際上是最近這些年的事情，因為互聯網的爆發，有了更大的數據量可以供我們使用，推薦演算法才有了很大的用武之地。 最開始，所以我們在網上找資料，都是進yahoo，然後分門別類的點進去，找到你想要的東西，這是一個人工過程，到後來，我們用google，直接搜索自己需要的內容，這些都可以比較精準的找到你想要的東西，但是，如果我自己都不知道自己要找什麼腫么辦？最典型的例子就是，如果我打開豆瓣找電影，或者我去買說，我實際上不知道我想要買什麼或者看什麼，這時候推薦系統就可以派上用場了。 推薦演算法的條件 推薦演算法從92年開始，發展到現在也有20年了，當然，也出了各種各樣的推薦演算法，但是不管怎麼樣，都繞不開幾個條件，這是推薦的基本條件 根據和你共同喜好的人來給你推薦 根據你喜歡的物品找出和它相似的來給你推薦 根據你給出的關鍵字來給你推薦，這實際上就退化成搜索演算法了 根據上面的幾種條件組合起來給你推薦 實際上，現有的條件就這些啦，至於怎麼發揮這些條件就是八仙過海各顯神通了，這么多年沉澱了一些好的演算法，今天這篇文章要講的基於用戶的協同過濾演算法就是其中的一個，這也是最早出現的推薦演算法，並且發展到今天，基本思想沒有什麼變化，無非就是在處理速度上，計算相似度的演算法上出現了一些差別而已。 基於用戶的協同過濾演算法 我們先做個詞法分析基於用戶說明這個演算法是以用戶為主體的演算法，這種以用戶為主體的演算法比較強調的是社會性的屬性，也就是說這類演算法更加強調把和你有相似愛好的其他的用戶的物品推薦給你，與之對應的是基於物品的推薦演算法，這種更加強調把和你你喜歡的物品相似的物品推薦給你。 然後就是協同過濾了，所謂協同就是大家一起幫助你啦，然後後面跟個過濾，就是大家是商量過後才把結果告訴你的，不然信息量太大了。。 所以，綜合起來說就是這么一個演算法，那些和你有相似愛好的小夥伴們一起來商量一下，然後告訴你什麼東西你會喜歡。 演算法描述 相似性計算 我們盡量不使用復雜的數學公式，一是怕大家看不懂，難理解，二是我是用mac寫的blog,公式不好畫，太麻煩了。。 所謂計算相似度，有兩個比較經典的演算法 Jaccard演算法，就是交集除以並集，詳細可以看看我這篇文章。 餘弦距離相似性演算法，這個演算法應用很廣，一般用來計算向量間的相似度，具體公式大家google一下吧，或者看看這里 各種其他演算法，比如歐氏距離演算法等等。 不管使用Jaccard還是用餘弦演算法，本質上需要做的還是求兩個向量的相似程度，使用哪種演算法完全取決於現實情況。 我們在本文中用的是餘弦距離相似性來計算兩個用戶之間的相似度。 與目標用戶最相鄰的K個用戶 我們知道，在找和你興趣愛好相似的小夥伴的時候，我們可能可以找到幾百個，但是有些是好基友，但有些只是普通朋友，那麼一般的，我們會定一個數K，和你最相似的K個小夥伴就是你的好基友了，他們的愛好可能和你的愛好相差不大，讓他們來推薦東西給你（比如肥皂）是最好不過了。

F. 如何評價一個好的推薦系統演算法 – 我愛機器學習

如何更好地掌握機器學習Colorado是伯克利大學的在讀博士，同時也是Metacademy的創始人。Metacademy是一個優秀的開源平台，許多專業人員共同在這個平台上編寫wiki文章。目前，這些文章主要圍繞著機器學習和人工智慧這兩個主題。在Colorado的建議中，更好地學習機器學習的方法就是不斷的通過書本學習。他認為讀書的目的就是讓心中有書。一個博士在讀生給出這樣的建議並不令人驚訝，以前本站可能還推薦過類似的建議。這個建議還可以，但我不認為適用每個人。如果你是個開發者，想實現機器學習的演算法。下面列出的書籍是一個很好的參考，可以從中逐步學習。機器學習路線圖他的關於機器學習的路線圖分為5個級別，每個級別都對應一本書必須要掌握的書。這5個級別如下：Level0（新手）：閱讀《DataSmart:》。需要了解電子表格、和一些演算法的高級數據流。Level1（學徒）：閱讀《MachineLearningwithR》。學習在不同的情況下用R語言應用不同的機器學習演算法。需要一點點基本的編程、線性代數、微積分和概率論知識。Level2（熟練工）：閱讀《》。從數學角度理解機器學習演算法的工作原理。理解並調試機器學習方法的輸出結果，同時對機器學習的概念有更深的了解。需要有演算法、較好的線性代數、一些向量積分、一些演算法實現經驗。Level3（大師）：閱讀《ProbabilisticGraphicalModels:PrinciplesandTechniques》。深入了解一些高級主題，如凸優化、組合優化、概率論、微分幾何，及其他數學知識。深入了解概率圖模型，了解何時應該使用以及如何解釋其輸出結果。Leval4（宗師）：隨便去學吧，記得反饋社區。Colorado針對每個級別中列出的書中章節閱讀建議，並給出了建議去了解的相關頂級項目。Colorado後來重新發布了一篇博客，其中對這個路線圖做了一點修改。他移除了最後一個級別，並如下定義了新的級別：好奇者、新手、學徒、熟練工、大師。他說道，Level0中的機器學習好奇者不應該閱讀相關書籍，而是瀏覽觀看與機器學習有關的頂級視頻。機器學習中被忽視的主題ScottLocklin也閱讀了Colorado的那篇博客，並從中受到了啟發，寫了一篇相應的文章，名為「機器學習中被忽視的想法」（文中有BorisArtzybasheff繪制的精美圖片）。Scott認為Colorado給出的建議並沒有充分的介紹機器學習領域。他認為很少有書籍能做到這一點，不過他還是喜歡PeterFlach所著的《MachineLearning:》這本書，因為書中也接觸了一些隱晦的技術。Scott列出了書本中過分忽視的內容。如下所示：實時學習：對流數據和大數據很重要，參見VowpalWabbit。強化學習：在機器人方面有過討論，但很少在機器學習方面討論。「壓縮」序列預測技術：壓縮數據發現學習模式。參見CompLearn。面向時間序列的技術。一致性預測：為實時學習精確估計模型。雜訊背景下的機器學習：如NLP和CV。特徵工程：機器學習成功的關鍵。無監督和半監督學習。這個列表很好的指出了機器學習中沒有注意到的領域。最後要說明的是，我自己也有一份關於機器學習的路線圖。與Colorado一樣，我的路線圖僅限於分類/回歸類型的監督機器學習，但還在完善中，需要進一步的調查和添加所有感興趣的主題。與前面的「讀這些書就可以了」不同，這個路線圖將會給出詳細的步驟。

G. 推薦演算法中有哪些常用排序演算法

外排序、內排序、插入類排序、直接插入排序、希爾排序、選擇類排序。

推薦演算法是計算機專業中的一種演算法，通過一些數學演算法，推測出用戶可能喜歡的東西，應用推薦演算法比較好的地方主要是網路。所謂推薦演算法就是利用用戶的一些行為，通過一些數學演算法，推測出用戶可能喜歡的東西。

在基於內容的推薦系統中，項目或對象是通過相關特徵的屬性來定義的，系統基於用戶評價對象的特徵、學慣用戶的興趣，考察用戶資料與待預測項目的匹配程度。用戶的資料模型取決於所用的學習方法，常用的有決策樹、神經網路和基於向量的表示方法等。基於內容的用戶資料需要有用戶的歷史數據，用戶資料模型可能隨著用戶的偏好改變而發生變化。

基於內容的推薦與基於人口統計學的推薦有類似的地方，只不過系統評估的中心轉到了物品本身，使用物品本身的相似度而不是用戶的相似度來進行推薦。

H. 推薦演算法如何提前劃分製造同類目日誌

做推薦演算法的質量工作將近一年，這一年嘗試了很多東西，踩了不少坑，也對推薦的評測工作稍微有了些自己的心得，現在分享出來，希望能和做這塊工作的同學一起交流、探討，也歡迎多拍磚，多提意見。

推薦系統

目前推薦技術的應用已經非常較普及了，新聞、商品、問答、音樂，幾乎都會用到推薦演算法來為你呈現內容。下面是淘寶、知乎、微博三個app的推薦模型，可以看到推薦都在非常重要的位置。

在介紹推薦演算法評測之前，我先簡單說下推薦系統，這里我以商品為例，簡單描述下推流程，讓大家更明白一些，一般推薦主要包含以下步驟：
召回->打分排序->透出

召回

召回階段通常的手段是協同過濾比較場景的i2i,u2i等這種x2x（有興趣可以看下我寫的基於itembase的推薦），也有使用embedding的方式通過向量之間的距離進行召回。以i2i為例，假如現在要針對我推薦一個商品，那麼首先要找到我感興趣的物品 ，這些數據是通過我的歷史行為來進行獲取，比如拿到我最近一段時間內的點擊、加購、收藏、購買的物品，將這些商品做為trigger進行召回，協同演算法的具體就不再這里敘述了，有興趣可以看下鏈接，最終我們按照協同過濾演算法算出商品之間的相似分值，然後按照一定數量進行截斷，因為這里截斷也是依靠分數來進行的，所以一般這一步也稱粗排。這樣召回截斷就完成了。

打分

召回完商品後，我們需要對這些商品進行再一次的精排，這里需要用模型來預估ctr，一般情況下LR、GBDT、FM用的比較多，這里深度網路相對用的少，主要為了考慮到性能，尤其是rt，因為絕大部分的精排都是需要實時預測的，所有對耗時有一定的要求。繼續說下模型預測的步驟，首先針對召回的商品進行特徵的補充，例如該商品的一級類目、葉子類目（一級類目代表比較，葉子類目代表最細分的類目）、被多少用戶購買等，然後再加入人的特徵，例如性別、年齡、收入、對類目的偏好等，然後將這些信息做為feature，用模型進行預測，然後根據模型預測的結果進行排序，輸出。

模型

打分過程中的模型是需要提前訓練和部署，訓練集的來源就是用戶的實時行為加上用戶和商品的特徵。feature的構成是用戶的特徵和商品的特徵，label則是用戶是否點擊了該商品。

質量方案

接下來說下如何保證這塊的質量。由於推薦系統最終對用戶需要提供實時的服務化，因此免不了有工程端的技術需要一起配合。因此我這塊主要分為兩個維度來開展，一方面是工程端的質量保證，一方面是演算法側的質量保證。

工程端質量

這一塊可以將演算法當成一個黑盒子，只把他當成一個有結果返回的介面。針對這方面前人已經有了豐富的經驗，我們可以做介面的單元測試和冒煙測試，另外就是壓測，在預估的qps下看rt是否滿足業務方的要求，load是否過大，超時和錯誤的比例是否符合一定的預期。這里就不細說了，重點說說第二部分。

演算法端質量

這里我再進行細分一下，分為三部分介紹：演算法數據、演算法模型、演算法效果；

演算法數據：

大家都知道演算法在做訓練前數據的處理部分非常的重要，有興趣可以看下特徵工程相關的內容，數據的來源，特徵的構造，數據抽取、加工整個的過程都有可能會出現錯誤，而且數據一般都是存儲在分布式系統資料庫里，因此需要藉助類似hive這樣的工具將sql轉換成MapRece的任務去進行離線的計算，離線任務的產出通常會耗費不少的時間，而對於一些日更新的模型通過對數據對產出時間有一定的要求。因此數據這塊最主要的保證點為：數據本身的質量，和數據的產出時間。數據本身的質量一般可以通過數據大小的整體抖動，以及關鍵欄位是否為空，主鍵是否重復，做法比較簡單可以通過簡單sql或者udf來完成，然後藉助工程能力做到預警、檢查、出報表等。

演算法模型：

模型的本身在迭代過程中也是需要關注的，不過通常演算法同學的訓練優化也是參考這些指標，所以我們也可以把這幾個指標做為模型本身好壞的評估。具體為：准確率、召回率、AUC。

演算法效果：

那麼這個演算法推薦出的效果究竟好不好呢，這個是一個非常主觀的事情，每個人的感受也不是一樣的，但是我們仍然要衡量它的好壞，這里我參考業內學者的推薦書籍以及自己的一些摸索，總結出下面一些方法，供大家參考。

人工評測：

顧名思義，邀請一幫人來對你的推薦系統的結果進行評測。這里想法來自於我在做翻譯評測時期的經驗，首先這個成本比較高，另外就是參雜了人的主觀性非常的高，翻譯的好壞我們可以通過制定一些細致的規則來進行約束，但是推薦的好壞我們卻不好制定詳細的規則，另外就是推薦之前的用戶行為如何模擬，如何讓評測者進行感知，這些都是比較難的，並且和基準的對比也不是很好做，所以這里不是很推薦用這個方法，但是還是要提一下。

指標評估：

指標化推薦結果，也就是將推薦的結果用不同的指標來進行說明，通過這些指標，你可以更加的了解你的推薦系統，部分指標不一定越高越好，但是你需要讓它保持在一定的范圍內。說到具體的例子的時候，我會提一下。下面我們看下這些指標。

覆蓋率

定義：
推薦系統能夠推薦出來的「商品/類目」占「總商品/類目」集合的比例。假設系統的用戶集合為U，推薦系統給每個用戶推薦一個長度為N的物品列表R(u) ，總物品為N。那麼：
覆蓋率 = ΣR(u)N
Σ
R
(
u
)
N

意義：
描述推薦結系統對物品長尾發掘能力；
舉個例子，淘寶上商品千千萬萬，推薦系統能否保證讓新的一些商品有足夠的機會曝光出去呢？還是有些商品永遠都無法得到推薦曝光的機會。這個指標反應的就是這個情況，顯然物品的覆蓋率是達不到100%的，但是我們可以看類目的覆蓋率來進行衡量，假設全網所有的一級大類目一共2千個（和全網上億的物品相比非常的少），那麼推薦系統一天之內推薦出去的商品對應的一級類目，這個就是我們要衡量的標准。如果覆蓋率

I. spark中有哪些推薦系統演算法

看清楚dbscan演算法中有兩個關鍵的參數是
eps,
and
min
group
threshold.
直觀的想法是，如果你的eps很大，min-group-threshold
也很大的時候，那你得到的聚類的類數目就會少很多，那你搜索的時候就可能很快收斂。

J. 推薦演算法有哪些

推薦演算法大致可以分為三類：基於內容的推薦演算法、協同過濾推薦演算法和基於知識的推薦演算法。 基於內容的推薦演算法，原理是用戶喜歡和自己關注過的Item在內容上類似的Item，比如你看了哈利波特I，基於內容的推薦演算法發現哈利波特II-VI，與你以前觀看的在內容上面（共有很多關鍵詞）有很大關聯性，就把後者推薦給你，這種方法可以避免Item的冷啟動問題（冷啟動：如果一個Item從沒有被關注過，其他推薦演算法則很少會去推薦，但是基於內容的推薦演算法可以分析Item之間的關系，實現推薦），弊端在於推薦的Item可能會重復，典型的就是新聞推薦，如果你看了一則關於MH370的新聞，很可能推薦的新聞和你瀏覽過的，內容一致；另外一個弊端則是對於一些多媒體的推薦（比如音樂、電影、圖片等)由於很難提內容特徵，則很難進行推薦，一種解決方式則是人工給這些Item打標簽。 協同過濾演算法，原理是用戶喜歡那些具有相似興趣的用戶喜歡過的商品，比如你的朋友喜歡電影哈利波特I，那麼就會推薦給你，這是最簡單的基於用戶的協同過濾演算法（user-based collaboratIve filtering），還有一種是基於Item的協同過濾演算法（item-based collaborative filtering），這兩種方法都是將用戶的所有數據讀入到內存中進行運算的，因此成為Memory-based Collaborative Filtering，另一種則是Model-based collaborative filtering，包括Aspect Model，pLSA，LDA，聚類，SVD，Matrix Factorization等，這種方法訓練過程比較長，但是訓練完成後，推薦過程比較快。 最後一種方法是基於知識的推薦演算法，也有人將這種方法歸為基於內容的推薦，這種方法比較典型的是構建領域本體，或者是建立一定的規則，進行推薦。 混合推薦演算法，則會融合以上方法，以加權或者串聯、並聯等方式盡心融合。 當然，推薦系統還包括很多方法，其實機器學習或者數據挖掘裡面的方法，很多都可以應用在推薦系統中，比如說LR、GBDT、RF（這三種方法在一些電商推薦裡面經常用到），社交網路裡面的圖結構等，都可以說是推薦方法。