无监督强化的算法

‘壹’ 什么是无监督学习

无监督学习目标

目标是不告诉计算机怎么做，而是让它（计算机）学会如何做某事。无监督学习一般有两种思维方式。第一个思路不是为代理人明确地分类，而是在成功的时候使用某种奖励制度。应该指出的是，这种培训通常放在决策的框架内，因为它的目标不是产生分类系统，而是决定最大回报。这个想法是对现实世界的一个很好的概括，而代理可以激励正确的行为并惩罚其他行为。

第二类无监督学习称为聚类。这种学习的目的不是最大化效用函数，而是寻找训练数据中的近似点。聚合常常找到与假设相匹配的很好的视觉分类。例如，基于人口统计的聚集个体可能在一个群体中形成丰富的聚集，以及其他贫困聚集。

‘贰’ 非监督学习有哪些

在机器学习，无监督学习的问题是，在未加标签的数据中，试图找到隐藏的结构。因为提供给学习者的实例是未标记的，因此没有错误或报酬信号来评估潜在的解决方案。这区别于监督学习和强化学习无监督学习。

无监督学习是密切相关的统计数据密度估计的问题。然而无监督学习还包括寻求，总结和解释数据的主要特点等诸多技术。在无监督学习使用的许多方法是基于用于处理数据的数据挖掘方法。

非监督学习对应的是监督学习。
聚类(例如,混合模型,层次聚类),

隐马尔可夫模型,

盲目的信号分离使用特征提取的技术降维(例如,主成分分析,独立分量分析,非负矩阵分解,奇异值分解)。
在神经网络模型,自组织映射(SOM)和自适应共振理论(艺术)是常用的无监督学习算法。SOM是一个地形组织附近的位置在地图上代表输入有相似属性。艺术模型允许集群的数量随问题规模和让用户控制之间的相似程度相同的集群成员通过一个用户定义的常数称为警戒参数。艺术网络也用于许多模式识别任务,如自动目标识别和地震信号处理。艺术的第一个版本是"ART1",由木匠和Grossberg(1988)。

‘叁’ 有监督和无监督学习都各有哪些有名的算法和深度学习

• 深度学习

• 编辑

• 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。[1]

• 深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。[1]

• 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。[2]

‘肆’ 下面算法哪些属于无监督学习算法

• PCA
  
• Support Vector Machine
  
• Gradient Boosting Decsion Tree
  
• K-means
  
• Latent Dirichlet Allocation
  

• Label Propagation

• 其中无监督学习算法为PCA、K-means、Latent Dirichlet Allocation

‘伍’ UDA（Unsupervised Data Augmentation 无监督数据增强）

Google在2019年提出了UDA方法（Unsupervised Data Augmentation 无监督数据增强），这是一种半监督学习方法。问世后，就击败了市面上其他的把深度半监督方法，该方法通过很少量的标记样本，便可以达到跟大数据样本一样的效果。
在UDA论文中，效果体现在IMDb数据集上，通过仅仅20个标记样本与约7万余个无标记样本（经过数据增强）的UDA算法学习，最终达到了与有2.5W标记数据集更好的效果，十分令人兴奋。

如上面图，损失分为两部分：标记数据的损失 和 未标记的数据的损失

U在实际的场景下，UDA代表的半监督学习有十分广大的应用场景。例如，在某个细分领域，如金融领域，涵盖了大量的财经新闻、公司财报、法律文书、客户沟通记录等等，在该领域下没有标记的原始文本数据非常的庞大。而如果使用传统的监督学习方法，则需要十分昂贵而且专业的人员来进行数据样本的标记，这样的话，它的成本与项目进度将非常巨大与缓慢。但UDA类似的半监督学习恰好能近乎完美的解决这个问题。

‘陆’ 无监督和有监督算法的区别

1、有监督学习 ：通过已有的训练样本去训练得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现预测和分类的目的，也就具有了对未知数据进行预测和分类的能力。就如有标准答案的练习题，然后再去考试，相比没有答案的练习题然后去考试准确率更高。又如我们小的时候不知道牛和鸟是否属于一类，但当我们随着长大各种知识不断输入，我们脑中的模型越来越准确，判断动物也越来越准确。

有监督学习可分为 回归和分类 。

回归： 即给出一堆自变量X和因变量Y，拟合出一个函数，这些自变量X就是特征向量，因变量Y就是标签。 而且标签的值 连续 的，例LR。

分类 ：其数据集，由特征向量X和它们的标签Y组成，当你利用数据训练出模型后，给你一个只知道特征向量不知道标签的数据，让你求它的标签是哪一个？其输出结果是 离散 的。例如logistics、SVM、KNN等。

2、无监督学习： 我们事先没有任何训练样本，而需要直接对数据进行建模。比如我们去参观一个画展，我们完全对艺术一无所知，但是欣赏完多幅作品之后，我们也能把它们分成不同的派别。无监督学习主要算法是聚类，聚类目的在于把相似的东西聚在一起，主要通过计算样本间和群体间距离得到，主要算法包括Kmeans、层次聚类、EM算法。

‘柒’ 有监督学习和无监督学习算法怎么理解

在判断是有监督学习还是在无监督学习上，我们可以具体是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习。

什么是学习（learning）？

一个成语就可概括：举一反三。机器学习的思路有点类似高考一套套做模拟试题，从而熟悉各种题型，能够面对陌生的问题时算出答案。

简而言之，机器学习就是看能不能利用一些训练数据（已经做过的题），使机器能够利用它们（解题方法）分析未知数据（高考题目），而这种根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。

常用的无监督学习算法主要有三种：聚类、离散点检测和降维，包括主成分分析方法PCA等，等距映射方法、局部线性嵌入方法、拉普拉斯特征映射方法、黑塞局部线性嵌入方法和局部切空间排列方法等。

从原理上来说，PCA等数据降维算法同样适用于深度学习，但是这些数据降维方法复杂度较高，所以现在深度学习中采用的无监督学习方法通常采用较为简单的算法和直观的评价标准。比如无监督学习中最常用且典型方法聚类。

在无监督学习中，我们需要将一系列无标签的训练数据，输入到一个算法中，然后我们告诉这个算法，快去为我们找找这个数据的内在结构给定数据。这时就需要某种算法帮助我们寻找一种结构。

监督学习（supervised learning），是从给定的有标注的训练数据集中学习出一个函数（模型参数），当新的数据到来时可以根据这个函数预测结果。 常见任务包括分类与回归。

无监督学习方法在寻找数据集中的规律性，这种规律性并不一定要达到划分数据集的目的，也就是说不一定要“分类”。比如，一组颜色各异的积木，它可以按形状为维度来分类，也可以按颜色为维度来分类。（这一点比监督学习方法的用途要广。如分析一堆数据的主分量，或分析数据集有什么特点都可以归于无监督学习方法的范畴） ，而有监督学习则是通过已经有的有标签的数据集去训练得到一个最优模型。

‘捌’ 有监督和无监督

1）.监督式算法：

    具有一个标准的本体，算法通过学习对数据进行预测，从而与本体进行比较。（我知道我想要得到什么）对数据，一部分数据用于训练模型，另一部分用于比较模型的正确率，有多少的匹配度就是多少的正确率。

  2）.无监督式算法：

    不具有标准的本体，对于数据量庞大的数据集，我们想要找到其中隐藏的一些关系，则采用无监督式算法。需要将数据转化为一种有意义可比较的格式，最终得到的会是具有一定关系的集合。但是是否是我们想要的集合取决于我们自己。可以进行强制的删减某些数据以达到我们预期的特定分割。

  3）.强化式算法：

   研究试图对强化学习模型进行逆向反馈以改进问题和技术的一种算法。是一种延时的机制。是一个连续做决策的过程，在一个过程中输入的数据的返回值会影响到下一个输入数据的返回值。算法定义了reward，由于自己能够察觉到signal并进行自己定义的action，算法需要将结果与reward进行比较，最终反馈以改进模型。RL没有被严格地监督，因为它不严格地依赖于受监督(或标记)数据集(训练集)。它实际上依赖于能够监控所采取行动的反应，并根据对奖励的定义来衡量。但这也不是没有监督的学习，因为我们知道，当我们对学习者进行建模时，这就是预期的回报。