❶ 目標檢測演算法（R-CNN，fast R-CNN，faster R-CNN，yolo，SSD，yoloV2，yoloV3）
深度學習目前已經應用到了各個領域，應用場景大體分為三類：物體識別，目標檢測，自然語言處理。 目標檢測可以理解為是物體識別和物體定位的綜合 ，不僅僅要識別出物體屬於哪個分類，更重要的是得到物體在圖片中的具體位置。
2014年R-CNN演算法被提出，基本奠定了two-stage方式在目標檢測領域的應用。它的演算法結構如下圖
演算法步驟如下：
R-CNN較傳統的目標檢測演算法獲得了50%的性能提升，在使用VGG-16模型作為物體識別模型情況下，在voc2007數據集上可以取得66%的准確率，已經算還不錯的一個成績了。其最大的問題是速度很慢，內存佔用量很大，主要原因有兩個
針對R-CNN的部分問題，2015年微軟提出了Fast R-CNN演算法，它主要優化了兩個問題。
R-CNN和fast R-CNN均存在一個問題，那就是 由選擇性搜索來生成候選框，這個演算法很慢 。而且R-CNN中生成的2000個左右的候選框全部需要經過一次卷積神經網路，也就是需要經過2000次左右的CNN網路，這個是十分耗時的（fast R-CNN已經做了改進，只需要對整圖經過一次CNN網路）。這也是導致這兩個演算法檢測速度較慢的最主要原因。
faster R-CNN 針對這個問題， 提出了RPN網路來進行候選框的獲取，從而擺脫了選擇性搜索演算法，也只需要一次卷積層操作，從而大大提高了識別速度 。這個演算法十分復雜，我們會詳細分析。它的基本結構如下圖
主要分為四個步驟：
使用VGG-16卷積模型的網路結構：
卷積層採用的VGG-16模型，先將PxQ的原始圖片，縮放裁剪為MxN的圖片，然後經過13個conv-relu層，其中會穿插4個max-pooling層。所有的卷積的kernel都是3x3的，padding為1，stride為1。pooling層kernel為2x2, padding為0，stride為2。
MxN的圖片，經過卷積層後，變為了(M/16) x (N/16)的feature map了。
faster R-CNN拋棄了R-CNN中的選擇性搜索（selective search）方法，使用RPN層來生成候選框，能極大的提升候選框的生成速度。RPN層先經過3x3的卷積運算，然後分為兩路。一路用來判斷候選框是前景還是背景，它先reshape成一維向量，然後softmax來判斷是前景還是背景，然後reshape恢復為二維feature map。另一路用來確定候選框的位置，通過bounding box regression實現，後面再詳細講。兩路計算結束後，挑選出前景候選框（因為物體在前景中），並利用計算得到的候選框位置，得到我們感興趣的特徵子圖proposal。
卷積層提取原始圖像信息，得到了256個feature map，經過RPN層的3x3卷積後，仍然為256個feature map。但是每個點融合了周圍3x3的空間信息。對每個feature map上的一個點，生成k個anchor（k默認為9）。anchor分為前景和背景兩類（我們先不去管它具體是飛機還是汽車，只用區分它是前景還是背景即可）。anchor有[x,y,w,h]四個坐標偏移量，x,y表示中心點坐標，w和h表示寬度和高度。這樣，對於feature map上的每個點，就得到了k個大小形狀各不相同的選區region。
對於生成的anchors，我們首先要判斷它是前景還是背景。由於感興趣的物體位於前景中，故經過這一步之後，我們就可以舍棄背景anchors了。大部分的anchors都是屬於背景，故這一步可以篩選掉很多無用的anchor，從而減少全連接層的計算量。
對於經過了3x3的卷積後得到的256個feature map，先經過1x1的卷積，變換為18個feature map。然後reshape為一維向量，經過softmax判斷是前景還是背景。此處reshape的唯一作用就是讓數據可以進行softmax計算。然後輸出識別得到的前景anchors。
另一路用來確定候選框的位置，也就是anchors的[x,y,w,h]坐標值。如下圖所示，紅色代表我們當前的選區，綠色代表真實的選區。雖然我們當前的選取能夠大概框選出飛機，但離綠色的真實位置和形狀還是有很大差別，故需要對生成的anchors進行調整。這個過程我們稱為bounding box regression。
假設紅色框的坐標為[x,y,w,h], 綠色框，也就是目標框的坐標為[Gx, Gy,Gw,Gh], 我們要建立一個變換，使得[x,y,w,h]能夠變為[Gx, Gy,Gw,Gh]。最簡單的思路是，先做平移，使得中心點接近，然後進行縮放，使得w和h接近。如下：
我們要學習的就是dx dy dw dh這四個變換。由於是線性變換，我們可以用線性回歸來建模。設定loss和優化方法後，就可以利用深度學習進行訓練，並得到模型了。對於空間位置loss，我們一般採用均方差演算法，而不是交叉熵（交叉熵使用在分類預測中）。優化方法可以採用自適應梯度下降演算法Adam。
得到了前景anchors，並確定了他們的位置和形狀後，我們就可以輸出前景的特徵子圖proposal了。步驟如下：
1，得到前景anchors和他們的[x y w h]坐標。
2，按照anchors為前景的不同概率，從大到小排序，選取前pre_nms_topN個anchors，比如前6000個
3，剔除非常小的anchors。
4，通過NMS非極大值抑制，從anchors中找出置信度較高的。這個主要是為了解決選取交疊問題。首先計算每一個選區面積，然後根據他們在softmax中的score（也就是是否為前景的概率）進行排序，將score最大的選區放入隊列中。接下來，計算其餘選區與當前最大score選區的IOU（IOU為兩box交集面積除以兩box並集面積，它衡量了兩個box之間重疊程度）。去除IOU大於設定閾值的選區。這樣就解決了選區重疊問題。
5，選取前post_nms_topN個結果作為最終選區proposal進行輸出，比如300個。
經過這一步之後，物體定位應該就基本結束了，剩下的就是物體識別了。
和fast R-CNN中類似，這一層主要解決之前得到的proposal大小形狀各不相同，導致沒法做全連接。全連接計算只能對確定的shape進行運算，故必須使proposal大小形狀變為相同。通過裁剪和縮放的手段，可以解決這個問題，但會帶來信息丟失和圖片形變問題。我們使用ROI pooling可以有效的解決這個問題。
ROI pooling中，如果目標輸出為MxN，則在水平和豎直方向上，將輸入proposal劃分為MxN份，每一份取最大值，從而得到MxN的輸出特徵圖。
ROI Pooling層後的特徵圖，通過全連接層與softmax，就可以計算屬於哪個具體類別，比如人，狗，飛機，並可以得到cls_prob概率向量。同時再次利用bounding box regression精細調整proposal位置，得到bbox_pred，用於回歸更加精確的目標檢測框。
這樣就完成了faster R-CNN的整個過程了。演算法還是相當復雜的，對於每個細節需要反復理解。faster R-CNN使用resNet101模型作為卷積層，在voc2012數據集上可以達到83.8%的准確率，超過yolo ssd和yoloV2。其最大的問題是速度偏慢，每秒只能處理5幀，達不到實時性要求。
針對於two-stage目標檢測演算法普遍存在的運算速度慢的缺點， yolo創造性的提出了one-stage。也就是將物體分類和物體定位在一個步驟中完成。 yolo直接在輸出層回歸bounding box的位置和bounding box所屬類別，從而實現one-stage。通過這種方式， yolo可實現45幀每秒的運算速度，完全能滿足實時性要求 （達到24幀每秒，人眼就認為是連續的）。它的網路結構如下圖：
主要分為三個部分：卷積層，目標檢測層，NMS篩選層。
採用Google inceptionV1網路，對應到上圖中的第一個階段，共20層。這一層主要是進行特徵提取，從而提高模型泛化能力。但作者對inceptionV1進行了改造，他沒有使用inception mole結構，而是用一個1x1的卷積，並聯一個3x3的卷積來替代。（可以認為只使用了inception mole中的一個分支，應該是為了簡化網路結構）
先經過4個卷積層和2個全連接層，最後生成7x7x30的輸出。先經過4個卷積層的目的是為了提高模型泛化能力。yolo將一副448x448的原圖分割成了7x7個網格，每個網格要預測兩個bounding box的坐標(x,y,w,h)和box內包含物體的置信度confidence，以及物體屬於20類別中每一類的概率（yolo的訓練數據為voc2012，它是一個20分類的數據集）。所以一個網格對應的參數為（4x2+2+20) = 30。如下圖
其中前一項表示有無人工標記的物體落入了網格內，如果有則為1，否則為0。第二項代表bounding box和真實標記的box之間的重合度。它等於兩個box面積交集，除以面積並集。值越大則box越接近真實位置。
分類信息： yolo的目標訓練集為voc2012，它是一個20分類的目標檢測數據集 。常用目標檢測數據集如下表：
| Name | # Images (trainval) | # Classes | Last updated |
| --------------- | ------------------- | --------- | ------------ |
| ImageNet | 450k | 200 | 2015 |
| COCO | 120K | 90 | 2014 |
| Pascal VOC | 12k | 20 | 2012 |
| Oxford-IIIT Pet | 7K | 37 | 2012 |
| KITTI Vision | 7K | 3 | |
每個網格還需要預測它屬於20分類中每一個類別的概率。分類信息是針對每個網格的，而不是bounding box。故只需要20個，而不是40個。而confidence則是針對bounding box的，它只表示box內是否有物體，而不需要預測物體是20分類中的哪一個，故只需要2個參數。雖然分類信息和confidence都是概率，但表達含義完全不同。
篩選層是為了在多個結果中（多個bounding box）篩選出最合適的幾個，這個方法和faster R-CNN 中基本相同。都是先過濾掉score低於閾值的box，對剩下的box進行NMS非極大值抑制，去除掉重疊度比較高的box（NMS具體演算法可以回顧上面faster R-CNN小節）。這樣就得到了最終的最合適的幾個box和他們的類別。
yolo的損失函數包含三部分，位置誤差，confidence誤差，分類誤差。具體公式如下：
誤差均採用了均方差演算法，其實我認為，位置誤差應該採用均方差演算法，而分類誤差應該採用交叉熵。由於物體位置只有4個參數，而類別有20個參數，他們的累加和不同。如果賦予相同的權重，顯然不合理。故yolo中位置誤差權重為5，類別誤差權重為1。由於我們不是特別關心不包含物體的bounding box，故賦予不包含物體的box的置信度confidence誤差的權重為0.5，包含物體的權重則為1。
Faster R-CNN准確率mAP較高，漏檢率recall較低，但速度較慢。而yolo則相反，速度快，但准確率和漏檢率不盡人意。SSD綜合了他們的優缺點，對輸入300x300的圖像，在voc2007數據集上test，能夠達到58 幀每秒( Titan X 的 GPU )，72.1%的mAP。
SSD網路結構如下圖：
和yolo一樣，也分為三部分：卷積層，目標檢測層和NMS篩選層
SSD論文採用了VGG16的基礎網路，其實這也是幾乎所有目標檢測神經網路的慣用方法。先用一個CNN網路來提取特徵，然後再進行後續的目標定位和目標分類識別。
這一層由5個卷積層和一個平均池化層組成。去掉了最後的全連接層。SSD認為目標檢測中的物體，只與周圍信息相關，它的感受野不是全局的，故沒必要也不應該做全連接。SSD的特點如下。
每一個卷積層，都會輸出不同大小感受野的feature map。在這些不同尺度的feature map上，進行目標位置和類別的訓練和預測，從而達到 多尺度檢測 的目的，可以克服yolo對於寬高比不常見的物體，識別准確率較低的問題。而yolo中，只在最後一個卷積層上做目標位置和類別的訓練和預測。這是SSD相對於yolo能提高准確率的一個關鍵所在。
如上所示，在每個卷積層上都會進行目標檢測和分類，最後由NMS進行篩選，輸出最終的結果。多尺度feature map上做目標檢測，就相當於多了很多寬高比例的bounding box，可以大大提高泛化能力。
和faster R-CNN相似，SSD也提出了anchor的概念。卷積輸出的feature map，每個點對應為原圖的一個區域的中心點。以這個點為中心，構造出6個寬高比例不同，大小不同的anchor（SSD中稱為default box）。每個anchor對應4個位置參數(x,y,w,h)和21個類別概率（voc訓練集為20分類問題，在加上anchor是否為背景，共21分類）。如下圖所示：
另外，在訓練階段，SSD將正負樣本比例定位1：3。訓練集給定了輸入圖像以及每個物體的真實區域（ground true box），將default box和真實box最接近的選為正樣本。然後在剩下的default box中選擇任意一個與真實box IOU大於0.5的，作為正樣本。而其他的則作為負樣本。由於絕大部分的box為負樣本，會導致正負失衡，故根據每個box類別概率排序，使正負比例保持在1：3。SSD認為這個策略提高了4%的准確率
另外，SSD採用了數據增強。生成與目標物體真實box間IOU為0.1 0.3 0.5 0.7 0.9的patch，隨機選取這些patch參與訓練，並對他們進行隨機水平翻轉等操作。SSD認為這個策略提高了8.8%的准確率。
和yolo的篩選層基本一致，同樣先過濾掉類別概率低於閾值的default box，再採用NMS非極大值抑制，篩掉重疊度較高的。只不過SSD綜合了各個不同feature map上的目標檢測輸出的default box。
SSD基本已經可以滿足我們手機端上實時物體檢測需求了，TensorFlow在android上的目標檢測官方模型ssd_mobilenet_v1_android_export.pb，就是通過SSD演算法實現的。它的基礎卷積網路採用的是mobileNet，適合在終端上部署和運行。
針對yolo准確率不高，容易漏檢，對長寬比不常見物體效果差等問題，結合SSD的特點，提出了yoloV2。它主要還是採用了yolo的網路結構，在其基礎上做了一些優化和改進，如下
網路採用DarkNet-19：19層，裡麵包含了大量3x3卷積，同時借鑒inceptionV1，加入1x1卷積核全局平均池化層。結構如下
yolo和yoloV2隻能識別20類物體，為了優化這個問題，提出了yolo9000，可以識別9000類物體。它在yoloV2基礎上，進行了imageNet和coco的聯合訓練。這種方式充分利用imageNet可以識別1000類物體和coco可以進行目標位置檢測的優點。當使用imageNet訓練時，只更新物體分類相關的參數。而使用coco時，則更新全部所有參數。
YOLOv3可以說出來直接吊打一切圖像檢測演算法。比同期的DSSD(反卷積SSD), FPN（feature pyramid networks）准確率更高或相仿，速度是其1/3.。
YOLOv3的改動主要有如下幾點：
不過如果要求更精準的預測邊框，採用COCO AP做評估標準的話，YOLO3在精確率上的表現就弱了一些。如下圖所示。
當前目標檢測模型演算法也是層出不窮。在two-stage領域， 2017年Facebook提出了mask R-CNN 。CMU也提出了A-Fast-RCNN 演算法，將對抗學習引入到目標檢測領域。Face++也提出了Light-Head R-CNN，主要探討了 R-CNN 如何在物體檢測中平衡精確度和速度。
one-stage領域也是百花齊放，2017年首爾大學提出 R-SSD 演算法，主要解決小尺寸物體檢測效果差的問題。清華大學提出了 RON 演算法，結合 two stage 名的方法和 one stage 方法的優勢，更加關注多尺度對象定位和負空間樣本挖掘問題。
目標檢測領域的深度學習演算法，需要進行目標定位和物體識別，演算法相對來說還是很復雜的。當前各種新演算法也是層不出窮，但模型之間有很強的延續性，大部分模型演算法都是借鑒了前人的思想，站在巨人的肩膀上。我們需要知道經典模型的特點，這些tricks是為了解決什麼問題，以及為什麼解決了這些問題。這樣才能舉一反三，萬變不離其宗。綜合下來，目標檢測領域主要的難點如下：
一文讀懂目標檢測AI演算法：R-CNN，faster R-CNN，yolo，SSD，yoloV2
從YOLOv1到v3的進化之路
SSD-Tensorflow超詳細解析【一】：載入模型對圖片進行測試 https://blog.csdn.net/k87974/article/details/80606407
YOLO https://pjreddie.com/darknet/yolo/ https://github.com/pjreddie/darknet
C#項目參考：https://github.com/AlturosDestinations/Alturos.Yolo
項目實踐貼個圖。
❷ 推薦演算法簡介
在這個時代，無論是信息消費者還是信息生產者都遇到了很大的挑戰:作為信息消費者，如何從大量信息中找到自己感興趣的信息是一件非常困難的事情;作為信息生產者， 如何讓自己生產的信息脫穎而出，受到廣大用戶的關注，也是一件非常困難的事情。推薦系統就是解決這一矛盾的重要工具。推薦系統的任務就是聯系用戶和信息，一方面幫助用戶發現對自己有價值的信息，另一方面讓信息能夠展現在對它感興趣的用戶面前，從而實現信息消費者和信息 生產者的雙贏。和搜索引擎不同的是，推薦系統不需要用戶提供明確的需求，而是通過分析用戶的歷史行為給用 戶的興趣建模，從而主動給用戶推薦能夠滿足他們興趣和需求的信息 個性化推薦的成功需要兩個條件。第一是存在 信息過載 ，因為如果用戶可以很容易地從所有物品中找到喜歡的物品，就不需要個性化推薦。第二用 戶大部分時候沒有特別明確的需求 ，因為用戶沒有明確的需求，可以直接通過搜索引擎找到感興趣的物品。
一個完整的推薦系統一般存在3個參與方：用戶、物品提供者和提供推薦系統的網站。以圖書推薦為例， 首先，推薦系統需要滿足用戶的需求，給用戶推薦那些令他們感興趣的圖書。其次，推薦系統要讓各出版社的書都能夠被推薦給對其感興趣的用戶，而不是只推薦幾個大型出版社的書。最後， 好的推薦系統設計，能夠讓推薦系統本身收集到高質量的用戶反饋，不斷完善推薦的質量，增加 用戶和網站的交互，提高網站的收入。因此在評測一個推薦演算法時，需要同時考慮三方的利益， 一個好的推薦系統是能夠令三方共贏的系統。
推薦系統中，主要有3種評測推薦效果的實驗方法，即離線實驗(offline experiment)、用戶調查(user study)和在線實驗(online experiment)。
2.1 離線實驗
離線實驗的方法一般由如下幾個步驟構成: (1) 通過日誌系統獲得用戶行為數據，並按照一定格式生成一個標準的數據集; (2) 將數據集按照一定的規則分成訓練集和測試集; (3) 在訓練集上訓練用戶興趣模型，在測試集上進行預測; (4) 通過事先定義的離線指標評測演算法在測試集上的預測結果。
從上面的步驟可以看到，推薦系統的離線實驗都是在數據集上完成的，也就是說它不需要一個實際的系統來供它實驗，而只要有一個從實際系統日誌中提取的數據集即可。這種實驗方法的 好處是不需要真實用戶參與，可以直接快速地計算出來，從而方便、快速地測試大量不同的演算法。它的主要缺點是無法獲得很多商業上關注的指標，如點擊率、轉化率等，而找到和商業指標非常相關的離線指標也是很困難的事情
2.2 用戶調查
3.3 在線實驗
在完成離線實驗和必要的用戶調查後，可以將推薦系統上線做 AB測試 ，將它和舊的演算法進行比較。 AB測試 是一種很常用的在線評測演算法的實驗方法。它通過一定的規則將用戶隨機分成幾組，並對不同組用戶採取不同的演算法，然後通過統計不同組用戶的各種不同的評測指標比較不同演算法的好壞。 AB測試的優點是可以公平獲得不同演算法實際在線時的性能指標，包括商業上關注的指標。 AB測試的缺點主要是周期比較長，必須進行長期的實驗才能得到可靠的結果。因此一般不會用 AB測試測試所有的演算法，而只是用它測試那些在離線實驗和用戶調查中表現很好的演算法。其次， 一個大型網站的AB測試系統的設計也是一項復雜的工程。
一般來說，一個新的推薦演算法最終上線，需要完成上面所說的3個實驗。 1）首先，需要通過離線實驗證明它在很多離線指標上優於現有的演算法。 2）然後，需要通過用戶調查確定它的用戶滿意度不低於現有的演算法。 3）最後，通過在線的AB測試確定它在我們關心的指標上。
本節將介紹各種推薦系統的評測指標。這些評測指標可用於評價推薦系統各方面的性能。這 些指標有些可以定量計算，有些只能定性描述，有些可以通過離線實驗計算，有些需要通過用戶 調查獲得，還有些只能在線評測。
(1) 用戶滿意度
用戶作為推薦系統的重要參與者，其滿意度是評測推薦系統的最重要指標。但是，用戶滿意度沒有辦法離線計算，只能通過用戶調查或者在線實驗獲得。
在在線系統中，用戶滿意度主要通過一些 對用戶行為的統計得到 。比如在電子商務網站中，用戶如果購買了推薦的商品，就表示他們在一定程度上滿意。因此，我們可以 利用購買率度量用 戶的滿意度 。此外，有些網站會通過設計一些用戶 反饋界面收集用戶滿意度 。比如在視頻網站中，都有對推薦結果滿意或者不滿意的 反饋按鈕 ，通過統計兩種按鈕的單擊情況就可以度量系統的用戶滿意度。更一般的情況下，我們可以用 點擊率、用戶停留時間和轉化率等指標度量 用戶的滿意度。
(2) 預測准確度
預測准確度度量一個推薦系統或者推薦演算法預測用戶行為的能力。這個指標是最重要的推薦系統離線評測指標
在計算該指標時需要有一個離線的數據集，該數據集包含用戶的歷史行為記錄。然後，將該數據集通過時間分成訓練集和測試集。最後，通過在訓練集上建立用戶的行為和興趣模型預測用戶在測試集上的行為，並計算預測行為和測試集上實際行為的重合度作為預測准確度。 預測准確度指標有分為以下幾種：
評分預測：
預測用戶對物品評分的行為成為評分預測，在評分預測中，預測准確度一般通過均方根誤差RMSE和平均絕對誤差MAE計算，對於測試集中的一個用戶u和物品i,令[圖片上傳失敗...(image-62a797-1560412790460)] 是用戶u對物品i的實際評分，而[圖片上傳失敗...(image-28cfbc-1560412790460)] 是推薦演算法給出的預測評分，那麼RMSE定義為：
其中T為樣本個數
MAE採用絕對值計算預測誤差，它的定義為:
TopN推薦
網站在提供推薦服務時，一般是給用戶一個個性化的推薦列表，這種推薦叫做TopN推薦。TopN推薦的預測准確率一般通過准確率(precision)/召回率(recall)度量。 令R(u)是根據用戶在訓練集上的行為給用戶作出的推薦列表，而T(u)是用戶在測試集上的行為列表。那麼，推薦結果的召回率定義為:
推薦結果准確率定義：
(3) 覆蓋率
覆蓋率（coverage）描述一個推薦系統對物品長尾的發掘能力。覆蓋率有不同的定義方法，最簡單的定義為推薦系統能夠推薦出來的物品占總物品集合的比例。假設系統的用戶集合U，推薦系統給每個用戶推薦一個長度為N的物品集合R（u）。那麼推薦系統的覆蓋率可以通過下面的公式計算：
I為總物品數
此外，從上面的定義也可以看到，熱門排行榜的推薦覆蓋率是很低的，它只會 推薦那些熱門的物品，這些物品在總物品中占的比例很小。一個好的推薦系統不僅需要有比較高的用戶滿意度，也要有較高的覆蓋率。
但是上面的定義過於粗略。覆蓋率為100%的系統可以有無數的物品流行度分布。為了更細致地描述推薦系統發掘長尾的能力，需要統計推薦列表中不同物品出現次數的分布。如果所有的 物品都出現在推薦列表中，且出現的次數差不多，那麼推薦系統發掘長尾的能力就很好。因此， 可以通過研究物品在推薦列表中出現次數的分布描述推薦系統挖掘長尾的能力。如果這個分布比 較平，那麼說明推薦系統的覆蓋率較高，而如果這個分布較陡峭，說明推薦系統的覆蓋率較低。 在資訊理論和經濟學中有兩個著名的指標可以用來定義覆蓋率。第一個是信息熵:
其中：n代表推薦列表中物品類別個數，p(i)代表每個類別的所佔的比率
第二個指標是基尼系數：
(4) 多樣性
為了滿足用戶廣泛的興趣，推薦列表需要能夠覆蓋用戶不同的興趣領域，即推薦結果需要具有多樣性。多樣性推薦列表的好處用一句俗話表示就是（不在一棵樹上弔死）。盡管用戶的興趣在較長的時間跨度中是一樣的。但具體到用戶訪問推薦系統的某一時刻，其興趣往往是單一的，那麼如果推薦列表只能覆蓋用戶的一個興趣點，而這個興趣點不是用戶這個時刻的興趣點，推薦結果就不會讓用戶滿意。反之如果推薦列表表較多樣，覆蓋用戶絕大多數的興趣點，那麼久會增加用戶找到感興趣物品的概率。因此給用戶的推薦列表也需要滿足用戶廣泛的興趣，即具有多樣性。
多樣性描述了推薦列表中物品兩兩之間的不相似性，因此，多樣性和相似性是對應的。假設s(i, j) ∈Î[0,1] 定義了物品i和j之間的相似度，那麼用戶u的推薦列表R(u)的多樣性定義如下：
而推薦系統的整體多樣性可以定義為所有用戶推薦列表多樣性的平均值：
(5) 新穎性
新穎的推薦是指給用戶推薦那些他們以前沒有聽說過的物品。在一個網站中 實現新穎性 的最簡單辦法是，把那些用戶之前在網站中對其有過行為的物品從推薦列表中過濾掉。比如在一個視 頻網站中，新穎的推薦不應該給用戶推薦那些他們已經看過、打過分或者瀏覽過的視頻。 評測新穎度的最簡單方法是利用推薦結果的平均流行度，因為越不熱門的物品越 可能讓用戶覺得新穎。因此，如果推薦結果中物品的平均熱門程度較低，那麼推薦結果就可能有比較高的新穎性。
(6) 驚喜度
驚喜度(serendipity)是最近這幾年推薦系統領域最熱門的話題。如果推薦結果和用戶的歷史興趣不相似，但卻讓用戶覺得滿意，那麼就可以說推薦結果的驚喜度很高，而推薦的新穎性僅僅取決於用戶是否聽說過這個推薦結果。提高推薦驚喜度需要提高推薦結果的用戶滿意度，同時降低推薦結果和用戶歷史興趣的相似度。
(7) 信任度
度量推薦系統的信任度只能通過問卷調查的方式，詢問用戶是否信任推薦系統的推薦結果。 提高推薦系統的信任度主要有兩種方法。首先需要增加推薦系統的透明度(transparency)， 而增加推薦系統透明度的主要辦法是提供推薦解釋。只有讓用戶了解推薦系統的運行機制，讓用 戶認同推薦系統的運行機制，才會提高用戶對推薦系統的信任度。其次是考慮用戶的社交網路 信息，利用用戶的好友信息給用戶做推薦，並且用好友進行推薦解釋。這是因為用戶對他們的 好友一般都比較信任，因此如果推薦的商品是好友購買過的，那麼他們對推薦結果就會相對比較信任
(8) 實時性
在很多網站中，因為物品(新聞、微博等)具有很強的時效性，所以需要在物品還具有時效 性時就將它們推薦給用戶。 推薦系統的實時性包括兩個方面。首先，推薦系統需要實時地更新推薦列表來滿足用戶新的 行為變化。實時性的第二個方面是推薦系統需要能夠將新加入系統的物品推薦給用戶。這主要考驗了推 薦系統處理物品冷啟動的能力。
(9) 健壯性
健壯性(即robust,魯棒 性)指標衡量了一個推薦系統抗擊作弊的能力。演算法健壯性的評測主要利用模擬攻擊。首先，給定一個數據集和一個演算法，可以用這個演算法 給這個數據集中的用戶生成推薦列表。然後，用常用的攻擊方法向數據集中注入雜訊數據，然後 利用演算法在注入雜訊後的數據集上再次給用戶生成推薦列表。最後，通過比較攻擊前後推薦列表 的相似度評測演算法的健壯性。如果攻擊後的推薦列表相對於攻擊前沒有發生大的變化，就說明算 法比較健壯
(10) 商業目標
很多時候，網站評測推薦系統更加註重網站的商業目標是否達成，而商業目標和網站的盈利模式是息息相關的
(11) 總結
上一節介紹了很多評測指標，但是在評測系統中還需要考慮評測維度，比如一個推薦演算法， 雖然整體性能不好，但可能在某種情況下性能比較好，而增加評測維度的目的就是知道一個演算法 在什麼情況下性能最好。這樣可以為融合不同推薦演算法取得最好的整體性能帶來參考。
一般來說，評測維度分為如下3種。 1） 用戶維度 ：主要包括用戶的人口統計學信息、活躍度以及是不是新用戶等。 2） 物品維度 ：包括物品的屬性信息、流行度、平均分以及是不是新加入的物品等。 3） 時間維度 ：包括季節，是工作日還是周末，是白天還是晚上等。 如果能夠在推薦系統評測報告中包含不同維度下的系統評測指標，就能幫我們全面地了解推 薦系統性能，找到一個看上去比較弱的演算法的優勢，發現一個看上去比較強的演算法的缺點。