無監督強化的演算法

『壹』 什麼是無監督學習

無監督學習目標

目標是不告訴計算機怎麼做，而是讓它（計算機）學會如何做某事。無監督學習一般有兩種思維方式。第一個思路不是為代理人明確地分類，而是在成功的時候使用某種獎勵制度。應該指出的是，這種培訓通常放在決策的框架內，因為它的目標不是產生分類系統，而是決定最大回報。這個想法是對現實世界的一個很好的概括，而代理可以激勵正確的行為並懲罰其他行為。

第二類無監督學習稱為聚類。這種學習的目的不是最大化效用函數，而是尋找訓練數據中的近似點。聚合常常找到與假設相匹配的很好的視覺分類。例如，基於人口統計的聚集個體可能在一個群體中形成豐富的聚集，以及其他貧困聚集。

『貳』 非監督學習有哪些

在機器學習，無監督學習的問題是，在未加標簽的數據中，試圖找到隱藏的結構。因為提供給學習者的實例是未標記的，因此沒有錯誤或報酬信號來評估潛在的解決方案。這區別於監督學習和強化學習無監督學習。

無監督學習是密切相關的統計數據密度估計的問題。然而無監督學習還包括尋求，總結和解釋數據的主要特點等諸多技術。在無監督學習使用的許多方法是基於用於處理數據的數據挖掘方法。

非監督學習對應的是監督學習。
聚類(例如,混合模型,層次聚類),

隱馬爾可夫模型,

盲目的信號分離使用特徵提取的技術降維(例如,主成分分析,獨立分量分析,非負矩陣分解,奇異值分解)。
在神經網路模型,自組織映射(SOM)和自適應共振理論(藝術)是常用的無監督學習演算法。SOM是一個地形組織附近的位置在地圖上代表輸入有相似屬性。藝術模型允許集群的數量隨問題規模和讓用戶控制之間的相似程度相同的集群成員通過一個用戶定義的常數稱為警戒參數。藝術網路也用於許多模式識別任務,如自動目標識別和地震信號處理。藝術的第一個版本是"ART1",由木匠和Grossberg(1988)。

『叄』 有監督和無監督學習都各有哪些有名的演算法和深度學習

• 深度學習

• 編輯

• 深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。[1]

• 深度學習的概念由Hinton等人於2006年提出。基於深度置信網路(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網路是第一個真正多層結構學習演算法，它利用空間相對關系減少參數數目以提高訓練性能。[1]

• 深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。[2]

『肆』 下面演算法哪些屬於無監督學習演算法

• PCA
  
• Support Vector Machine
  
• Gradient Boosting Decsion Tree
  
• K-means
  
• Latent Dirichlet Allocation
  

• Label Propagation

• 其中無監督學習演算法為PCA、K-means、Latent Dirichlet Allocation

『伍』 UDA（Unsupervised Data Augmentation 無監督數據增強）

Google在2019年提出了UDA方法（Unsupervised Data Augmentation 無監督數據增強），這是一種半監督學習方法。問世後，就擊敗了市面上其他的把深度半監督方法，該方法通過很少量的標記樣本，便可以達到跟大數據樣本一樣的效果。
在UDA論文中，效果體現在IMDb數據集上，通過僅僅20個標記樣本與約7萬余個無標記樣本（經過數據增強）的UDA演算法學習，最終達到了與有2.5W標記數據集更好的效果，十分令人興奮。

如上面圖，損失分為兩部分：標記數據的損失 和 未標記的數據的損失

U在實際的場景下，UDA代表的半監督學習有十分廣大的應用場景。例如，在某個細分領域，如金融領域，涵蓋了大量的財經新聞、公司財報、法律文書、客戶溝通記錄等等，在該領域下沒有標記的原始文本數據非常的龐大。而如果使用傳統的監督學習方法，則需要十分昂貴而且專業的人員來進行數據樣本的標記，這樣的話，它的成本與項目進度將非常巨大與緩慢。但UDA類似的半監督學習恰好能近乎完美的解決這個問題。

『陸』 無監督和有監督演算法的區別

1、有監督學習 ：通過已有的訓練樣本去訓練得到一個最優模型，再利用這個模型將所有的輸入映射為相應的輸出，對輸出進行簡單的判斷從而實現預測和分類的目的，也就具有了對未知數據進行預測和分類的能力。就如有標准答案的練習題，然後再去考試，相比沒有答案的練習題然後去考試准確率更高。又如我們小的時候不知道牛和鳥是否屬於一類，但當我們隨著長大各種知識不斷輸入，我們腦中的模型越來越准確，判斷動物也越來越准確。

有監督學習可分為 回歸和分類 。

回歸： 即給出一堆自變數X和因變數Y，擬合出一個函數，這些自變數X就是特徵向量，因變數Y就是標簽。 而且標簽的值 連續 的，例LR。

分類 ：其數據集，由特徵向量X和它們的標簽Y組成，當你利用數據訓練出模型後，給你一個只知道特徵向量不知道標簽的數據，讓你求它的標簽是哪一個？其輸出結果是 離散 的。例如logistics、SVM、KNN等。

2、無監督學習： 我們事先沒有任何訓練樣本，而需要直接對數據進行建模。比如我們去參觀一個畫展，我們完全對藝術一無所知，但是欣賞完多幅作品之後，我們也能把它們分成不同的派別。無監督學習主要演算法是聚類，聚類目的在於把相似的東西聚在一起，主要通過計算樣本間和群體間距離得到，主要演算法包括Kmeans、層次聚類、EM演算法。

『柒』 有監督學習和無監督學習演算法怎麼理解

在判斷是有監督學習還是在無監督學習上，我們可以具體是否有監督（supervised），就看輸入數據是否有標簽（label）。輸入數據有標簽，則為有監督學習，沒標簽則為無監督學習。

什麼是學習（learning）？

一個成語就可概括：舉一反三。機器學習的思路有點類似高考一套套做模擬試題，從而熟悉各種題型，能夠面對陌生的問題時算出答案。

簡而言之，機器學習就是看能不能利用一些訓練數據（已經做過的題），使機器能夠利用它們（解題方法）分析未知數據（高考題目），而這種根據類別未知(沒有被標記)的訓練樣本解決模式識別中的各種問題，稱之為無監督學習。

常用的無監督學習演算法主要有三種：聚類、離散點檢測和降維，包括主成分分析方法PCA等，等距映射方法、局部線性嵌入方法、拉普拉斯特徵映射方法、黑塞局部線性嵌入方法和局部切空間排列方法等。

從原理上來說，PCA等數據降維演算法同樣適用於深度學習，但是這些數據降維方法復雜度較高，所以現在深度學習中採用的無監督學習方法通常採用較為簡單的演算法和直觀的評價標准。比如無監督學習中最常用且典型方法聚類。

在無監督學習中，我們需要將一系列無標簽的訓練數據，輸入到一個演算法中，然後我們告訴這個演算法，快去為我們找找這個數據的內在結構給定數據。這時就需要某種演算法幫助我們尋找一種結構。

監督學習（supervised learning），是從給定的有標注的訓練數據集中學習出一個函數（模型參數），當新的數據到來時可以根據這個函數預測結果。 常見任務包括分類與回歸。

無監督學習方法在尋找數據集中的規律性，這種規律性並不一定要達到劃分數據集的目的，也就是說不一定要「分類」。比如，一組顏色各異的積木，它可以按形狀為維度來分類，也可以按顏色為維度來分類。（這一點比監督學習方法的用途要廣。如分析一堆數據的主分量，或分析數據集有什麼特點都可以歸於無監督學習方法的范疇） ，而有監督學習則是通過已經有的有標簽的數據集去訓練得到一個最優模型。

『捌』 有監督和無監督

1）.監督式演算法：

    具有一個標準的本體，演算法通過學習對數據進行預測，從而與本體進行比較。（我知道我想要得到什麼）對數據，一部分數據用於訓練模型，另一部分用於比較模型的正確率，有多少的匹配度就是多少的正確率。

  2）.無監督式演算法：

    不具有標準的本體，對於數據量龐大的數據集，我們想要找到其中隱藏的一些關系，則採用無監督式演算法。需要將數據轉化為一種有意義可比較的格式，最終得到的會是具有一定關系的集合。但是是否是我們想要的集合取決於我們自己。可以進行強制的刪減某些數據以達到我們預期的特定分割。

  3）.強化式演算法：

   研究試圖對強化學習模型進行逆向反饋以改進問題和技術的一種演算法。是一種延時的機制。是一個連續做決策的過程，在一個過程中輸入的數據的返回值會影響到下一個輸入數據的返回值。演算法定義了reward，由於自己能夠察覺到signal並進行自己定義的action，演算法需要將結果與reward進行比較，最終反饋以改進模型。RL沒有被嚴格地監督，因為它不嚴格地依賴於受監督(或標記)數據集(訓練集)。它實際上依賴於能夠監控所採取行動的反應，並根據對獎勵的定義來衡量。但這也不是沒有監督的學習，因為我們知道，當我們對學習者進行建模時，這就是預期的回報。