机器学习记忆算法

㈠ 机器学习一般常用的算法有哪些

机器学习是人工智能的核心技术，是学习人工智能必不可少的环节。机器学习中有很多算法，能够解决很多以前难以企的问题，机器学习中涉及到的算法有不少，下面小编就给大家普及一下这些算法。

一、线性回归

一般来说，线性回归是统计学和机器学习中最知名和最易理解的算法之一。这一算法中我们可以用来预测建模，而预测建模主要关注最小化模型误差或者尽可能作出最准确的预测，以可解释性为代价。我们将借用、重用包括统计学在内的很多不同领域的算法，并将其用于这些目的。当然我们可以使用不同的技术从数据中学习线性回归模型，例如用于普通最小二乘法和梯度下降优化的线性代数解。就目前而言，线性回归已经存在了200多年，并得到了广泛研究。使用这种技术的一些经验是尽可能去除非常相似（相关）的变量，并去除噪音。这是一种快速、简单的技术。

二、Logistic 回归

它是解决二分类问题的首选方法。Logistic 回归与线性回归相似，目标都是找到每个输入变量的权重，即系数值。与线性回归不同的是，Logistic 回归对输出的预测使用被称为 logistic 函数的非线性函数进行变换。logistic 函数看起来像一个大的S，并且可以将任何值转换到0到1的区间内。这非常实用，因为我们可以规定logistic函数的输出值是0和1并预测类别值。像线性回归一样，Logistic 回归在删除与输出变量无关的属性以及非常相似的属性时效果更好。它是一个快速的学习模型，并且对于二分类问题非常有效。

三、线性判别分析（LDA）

在前面我们介绍的Logistic 回归是一种分类算法，传统上，它仅限于只有两类的分类问题。而LDA的表示非常简单直接。它由数据的统计属性构成，对每个类别进行计算。单个输入变量的 LDA包括两个，第一就是每个类别的平均值，第二就是所有类别的方差。而在线性判别分析，进行预测的方法是计算每个类别的判别值并对具备最大值的类别进行预测。该技术假设数据呈高斯分布，因此最好预先从数据中删除异常值。这是处理分类预测建模问题的一种简单而强大的方法。

四、决策树

决策树是预测建模机器学习的一种重要算法。决策树模型的表示是一个二叉树。这是算法和数据结构中的二叉树，没什么特别的。每个节点代表一个单独的输入变量x和该变量上的一个分割点。而决策树的叶节点包含一个用于预测的输出变量y。通过遍历该树的分割点，直到到达一个叶节点并输出该节点的类别值就可以作出预测。当然决策树的有点就是决策树学习速度和预测速度都很快。它们还可以解决大量问题，并且不需要对数据做特别准备。

五、朴素贝叶斯

其实朴素贝叶斯是一个简单但是很强大的预测建模算法。而这个模型由两种概率组成，这两种概率都可以直接从训练数据中计算出来。第一种就是每个类别的概率，第二种就是给定每个 x 的值，每个类别的条件概率。一旦计算出来，概率模型可用于使用贝叶斯定理对新数据进行预测。当我们的数据是实值时，通常假设一个高斯分布，这样我们可以简单的估计这些概率。而朴素贝叶斯之所以是朴素的，是因为它假设每个输入变量是独立的。这是一个强大的假设，真实的数据并非如此，但是，该技术在大量复杂问题上非常有用。所以说，朴素贝叶斯是一个十分实用的功能。

六、K近邻算法

K近邻算法简称KNN算法，KNN 算法非常简单且有效。KNN的模型表示是整个训练数据集。KNN算法在整个训练集中搜索K个最相似实例（近邻）并汇总这K个实例的输出变量，以预测新数据点。对于回归问题，这可能是平均输出变量，对于分类问题，这可能是众数类别值。而其中的诀窍在于如何确定数据实例间的相似性。如果属性的度量单位相同，那么最简单的技术是使用欧几里得距离，我们可以根据每个输入变量之间的差值直接计算出来其数值。当然，KNN需要大量内存或空间来存储所有数据，但是只有在需要预测时才执行计算。我们还可以随时更新和管理训练实例，以保持预测的准确性。

七、Boosting 和 AdaBoost

首先，Boosting 是一种集成技术，它试图集成一些弱分类器来创建一个强分类器。这通过从训练数据中构建一个模型，然后创建第二个模型来尝试纠正第一个模型的错误来完成。一直添加模型直到能够完美预测训练集，或添加的模型数量已经达到最大数量。而AdaBoost 是第一个为二分类开发的真正成功的 boosting 算法。这是理解 boosting 的最佳起点。现代 boosting 方法建立在 AdaBoost 之上，最显着的是随机梯度提升。当然，AdaBoost 与短决策树一起使用。在第一个决策树创建之后，利用每个训练实例上树的性能来衡量下一个决策树应该对每个训练实例付出多少注意力。难以预测的训练数据被分配更多权重，而容易预测的数据分配的权重较少。依次创建模型，每一个模型在训练实例上更新权重，影响序列中下一个决策树的学习。在所有决策树建立之后，对新数据进行预测，并且通过每个决策树在训练数据上的精确度评估其性能。所以说，由于在纠正算法错误上投入了太多注意力，所以具备已删除异常值的干净数据十分重要。

八、学习向量量化算法（简称 LVQ）

学习向量量化也是机器学习其中的一个算法。可能大家不知道的是，K近邻算法的一个缺点是我们需要遍历整个训练数据集。学习向量量化算法（简称 LVQ）是一种人工神经网络算法，它允许你选择训练实例的数量，并精确地学习这些实例应该是什么样的。而学习向量量化的表示是码本向量的集合。这些是在开始时随机选择的，并逐渐调整以在学习算法的多次迭代中最好地总结训练数据集。在学习之后，码本向量可用于预测。最相似的近邻通过计算每个码本向量和新数据实例之间的距离找到。然后返回最佳匹配单元的类别值或作为预测。如果大家重新调整数据，使其具有相同的范围，就可以获得最佳结果。当然，如果大家发现KNN在大家数据集上达到很好的结果，请尝试用LVQ减少存储整个训练数据集的内存要求

㈡ 想了解机器学习，需要知道哪些基础算法

学一些概率论，导数和线性代数。机器学习的本质是拿训练样本去做数据拟合函数，然后用拟合函数解析输入量。机器学习比较基础的是最小二乘法，梯度下降之类的。到后面要学线性拟合，logistic函数，SVM等等。

㈢ 人工智能学会如何提高大脑的记忆力

说到黑匣子，没有比人脑更黑的了。科学家感叹道，我们的灰质问题非常复杂，它本身并不能完全理解。

但是如果我们不能挖掘我们自己的大脑，也许机器可以为我们做到这一点。在最新一期的“自然通信” 杂志上，宾夕法尼亚大学心理学家迈克尔卡哈纳领导的研究人员表明，机器学习算法- 众所周知的不可思议的系统本身- 可用于解码并增强人类记忆力。怎么样？通过触发向大脑提供精确定时的电脉冲。

换句话说，研究人员可以使用一个黑匣子来解锁另一个黑匣子的潜力。一方面这听起来像是对一个荒谬困难的问题的一个相当优雅的解决方案，另一方面听起来像是一场技术爆发式恐怖片的开始。

当谈到大脑测量时，最好的录音来自颅内。但是，人们和机构审查委员会通常不会以科学为名打开头骨。因此Kahana和他的同事们与25位癫痫患者合作，每位患者的大脑中植入了100到200个电极（监测癫痫相关的电活动）。Kahana和他的团队搭载这些植入物，使用电极在记忆任务中记录高分辨率的大脑活动。

首先，研究人员了解大脑记忆某些东西时的样子。当患者阅读并试图内化单词列表时，Kahana和他的团队从每个植入电极每秒收集数千次电压测量数据。后来，他们测试了患者的回忆建立数据，了解哪些大脑活动模式与记忆单词和忘记单词有关。

然后他们又做了。然后再次。在对每个测试对象进行两次或三次访问之后，他们收集了足够的训练数据以生成针对患者的算法，这些算法可以根据每个患者的电极活性单独预测每个患者可能记住哪些字。

这是踢球者。这些电极不只是读神经活动，他们也可以刺激它。因此，研究人员试图刺激大脑改善- 或者正如他们所说的那样，“拯救”- 实时记忆的形成。每隔几秒钟，主题会看到一个新单词，新训练的算法将决定大脑是否准备好记住它。卡哈纳说：“闭环系统让我们记录受试者大脑的状态，分析它，并决定是否触发刺激，全部在几百毫秒内完成。

它的工作。研究人员的系统使患者平均回忆词的能力提高了15％。

这并不是Kahana实验室第一次探索大脑刺激对记忆的影响。去年，该组织表明，电极脉冲似乎会改善或恶化召回，这取决于研究人员何时提供。在该研究中，当研究人员在低功能期间刺激大脑的记忆特异性区域（高功能时期的刺激具有相反效果）时，测试对象得分更高。这是一个重大发现，但在治疗上无用;研究人员只能在进行记忆测试后才能识别记忆和大脑状态之间的联系。从脑部增强的角度来看，你真正想要的是在记忆过程中传递脉冲。

现在，Kahana和他的同事似乎利用他们的机器学习算法关闭了循环。Kahana说：“我们只是用它来识别猫的图像，而不是用它来识别猫的图像，而是用它来构建一个解码器- 这个东西可以看电子活动，并说出大脑是否处于有利于学习的状态。如果大脑看起来像是在有效地编码记忆，那么研究人员就会放弃它。如果不是这样，他们的系统会迅速提供电脉冲，将其推入更高功能的状态- 就像大脑的起搏器一样。

“这不是一个whom效应，但它绝对是有前途的，”加州大学圣地亚哥神经科学家布拉德利沃伊克说，谁是研究无关。现在的问题是这个领域的未来工作是否会产生更好的结果。如果患者的大脑植入了更多和更精确的电极，则算法可以在更小的时间尺度上解码更多的神经特征，具有更多的特异性。更多的培训数据也可能有所帮助;大多数癫痫患者最多只能参加像这样的研究几周，这限制了研究人员与他们一起度过的时间。在三次以上的会话中训练的机器学习算法可能比Kahana最近的研究表现要好。

但即使有更高的分辨率和更多的训练数据，科学家也需要解决使用不透明算法研究和操纵大脑的意义。事实是，虽然Kahana的系统可以在特定情况下改善词汇回忆，但他并不确切知道它如何改善功能。这就是机器学习的本质。

幸运的是，Kahana的团队已经考虑到了这一点，有些算法比其他算法更容易审查。对于这项特定的研究，研究人员使用了一种简单的线性分类器，这使得他们可以得出一些关于个体电极活动如何可能有助于模型区分大脑活动模式的能力的推论。“在这一点上，我们现在还不能确定我们用于记录大脑活动的功能之间是否存在相互作用，”负责该研究的机器学习分析的UPenn心理学家Youssef Ezzyat说。

更复杂的深度学习技术不一定会转化为更大的认知增强。但是如果他们这样做了，研究人员可能会绞尽脑汁地理解机器决定提供大脑增强的电子冲动。或者，如果他们真的变成恶魔般的话，他们会阻止他们。

㈣ 机器学习中需要掌握的算法有哪些

在学习机器学习中，我们需要掌握很多算法，通过这些算法我们能够更快捷地利用机器学习解决更多的问题，让人工智能实现更多的功能，从而让人工智能变得更智能。因此，本文为大家介绍一下机器学习中需要掌握的算法，希望这篇文章能够帮助大家更深入地理解机器学习。
首先我们为大家介绍的是支持向量机学习算法。其实支持向量机算法简称SVM，一般来说，支持向量机算法是用于分类或回归问题的监督机器学习算法。SVM从数据集学习，这样SVM就可以对任何新数据进行分类。此外，它的工作原理是通过查找将数据分类到不同的类中。我们用它来将训练数据集分成几类。而且，有许多这样的线性超平面，SVM试图最大化各种类之间的距离，这被称为边际最大化。而支持向量机算法那分为两类，第一就是线性SVM。在线性SVM中，训练数据必须通过超平面分离分类器。第二就是非线性SVM，在非线性SVM中，不可能使用超平面分离训练数据。
然后我们给大家介绍一下Apriori机器学习算法，需要告诉大家的是，这是一种无监督的机器学习算法。我们用来从给定的数据集生成关联规则。关联规则意味着如果发生项目A，则项目B也以一定概率发生，生成的大多数关联规则都是IF_THEN格式。Apriori机器学习算法工作的基本原理就是如果项目集频繁出现，则项目集的所有子集也经常出现。
接着我们给大家介绍一下决策树机器学习算法。其实决策树是图形表示，它利用分支方法来举例说明决策的所有可能结果。在决策树中，内部节点表示对属性的测试。因为树的每个分支代表测试的结果，并且叶节点表示特定的类标签，即在计算所有属性后做出的决定。此外，我们必须通过从根节点到叶节点的路径来表示分类。
而随机森林机器学习算法也是一个重要的算法，它是首选的机器学习算法。我们使用套袋方法创建一堆具有随机数据子集的决策树。我们必须在数据集的随机样本上多次训练模型，因为我们需要从随机森林算法中获得良好的预测性能。此外，在这种集成学习方法中，我们必须组合所有决策树的输出，做出最后的预测。此外，我们通过轮询每个决策树的结果来推导出最终预测。
在这篇文章中我们给大家介绍了关于机器学习的算法，具体包括随机森林机器学习算法、决策树算法、apriori算法、支持向量机算法。相信大家看了这篇文章以后对机器学习有个更全面的认识，最后祝愿大家都学有所成、学成归来。

㈤ 机器学习有几种算法

1. 线性回归

工作原理：该算法可以按其权重可视化。但问题是，当你无法真正衡量它时，必须通过观察其高度和宽度来做一些猜测。通过这种可视化的分析，可以获取一个结果。

2. 逻辑回归

根据一组独立变量，估计离散值。它通过将数据匹配到logit函数来帮助预测事件。

3. 决策树

利用监督学习算法对问题进行分类。决策树是一种支持工具，它使用树状图来决定决策或可能的后果、机会事件结果、资源成本和实用程序。根据独立变量，将其划分为两个或多个同构集。

4. 支持向量机(SVM)

基本原理(以二维数据为例)：如果训练数据是分布在二维平面上的点，它们按照其分类聚集在不同的区域。基于分类边界的分类算法的目标是，通过训练，找到这些分类之间的边界(直线的――称为线性划分，曲线的――称为非线性划分)。对于多维数据(如N维)，可以将它们视为N维空间中的点，而分类边界就是N维空间中的面，称为超面(超面比N维空间少一维)。线性分类器使用超平面类型的边界，非线性分类器使用超曲面。

5. 朴素贝叶斯

朴素贝叶斯认为每个特征都是独立于另一个特征的。即使在计算结果的概率时，它也会考虑每一个单独的关系。

它不仅易于使用，而且能有效地使用大量的数据集，甚至超过了高度复杂的分类系统。

6. KNN(K -最近邻)

该算法适用于分类和回归问题。在数据科学行业中，它更常用来解决分类问题。

这个简单的算法能够存储所有可用的案例，并通过对其k近邻的多数投票来对任何新事件进行分类。然后将事件分配给与之匹配最多的类。一个距离函数执行这个测量过程。

7. k – 均值

这种无监督算法用于解决聚类问题。数据集以这样一种方式列在一个特定数量的集群中：所有数据点都是同质的，并且与其他集群中的数据是异构的。

8. 随机森林

利用多棵决策树对样本进行训练并预测的一种分类器被称为随机森林。为了根据其特性来分类一个新对象，每棵决策树都被排序和分类，然后决策树投票给一个特定的类，那些拥有最多选票的被森林所选择。

9. 降维算法

在存储和分析大量数据时，识别多个模式和变量是具有挑战性的。维数简化算法，如决策树、因子分析、缺失值比、随机森林等，有助于寻找相关数据。

10. 梯度提高和算法

这些算法是在处理大量数据，以作出准确和快速的预测时使用的boosting算法。boosting是一种组合学习算法，它结合了几种基本估计量的预测能力，以提高效力和功率。

综上所述，它将所有弱或平均预测因子组合成一个强预测器。

㈥ 干货 | 基础机器学习算法

本篇内容主要是面向机器学习初学者,介绍常见的机器学习算法，当然,欢迎同行交流。

哲学要回答的基本问题是从哪里来、我是谁、到哪里去，寻找答案的过程或许可以借鉴机器学习的套路：组织数据->挖掘知识->预测未来。组织数据即为设计特征，生成满足特定格式要求的样本，挖掘知识即建模，而预测未来就是对模型的应用。

特征设计依赖于对业务场景的理解，可分为连续特征、离散特征和组合高阶特征。本篇重点是机器学习算法的介绍，可以分为监督学习和无监督学习两大类。

无监督学习算法很多，最近几年业界比较关注主题模型，LSA->PLSA->LDA 为主题模型三个发展阶段的典型算法，它们主要是建模假设条件上存在差异。LSA假设文档只有一个主题，PLSA 假设各个主题的概率分布不变（theta 都是固定的），LDA 假设每个文档和词的主题概率是可变的。

LDA 算法本质可以借助上帝掷骰子帮助理解，详细内容可参加 Rickjin 写的《 LDA 数据八卦》文章，浅显易懂，顺便也科普了很多数学知识，非常推荐。

监督学习可分为分类和回归，感知器是最简单的线性分类器，现在实际应用比较少，但它是神经网络、深度学习的基本单元。

线性函数拟合数据并基于阈值分类时，很容易受噪声样本的干扰，影响分类的准确性。逻辑回归（Logistic Regression）利用 sigmoid 函数将模型输出约束在 0 到 1 之间，能够有效弱化噪声数据的负面影响，被广泛应用于互联网广告点击率预估。

逻辑回归模型参数可以通过最大似然求解，首先定义目标函数 L ( theta )，然后 log 处理将目标函数的乘法逻辑转化为求和逻辑（最大化似然概率 -> 最小化损失函数），最后采用梯度下降求解。

相比于线性分类去，决策树等非线性分类器具有更强的分类能力，ID3 和 C4.5 是典型的决策树算法，建模流程基本相似，两者主要在增益函数（目标函数）的定义不同。

线性回归和线性分类在表达形式上是类似的，本质区别是分类的目标函数是离散值，而回归的目标函数是连续值。目标函数的不同导致回归通常基于最小二乘定义目标函数，当然，在观测误差满足高斯分布的假设情况下，最小二乘和最大似然可以等价。

当梯度下降求解模型参数时，可以采用 Batch 模式或者 Stochastic 模式，通常而言，Batch 模式准确性更高，Stochastic 模式复杂度更低。

上文已经提到，感知器虽然是最简单的线性分类器，但是可以视为深度学习的基本单元，模型参数可以由自动编码（ Auto Encoder ）等方法求解。

深度学习的优势之一可以理解为特征抽象，从底层特征学习获得高阶特征，描述更为复杂的信息结构。例如，从像素层特征学习抽象出描述纹理结构的边缘轮廓特征，更进一步学习获得表征物体局部的更高阶特征。

俗话说三个臭皮匠赛过诸葛亮，无论是线性分类还是深度学习，都是单个模型算法单打独斗，有没有一种集百家之长的方法，将模型处理数据的精度更进一步提升呢？当然，Model Ensembe l就是解决这个问题。Bagging 为方法之一，对于给定数据处理任务，采用不同模型/参数/特征训练多组模型参数，最后采用投票或者加权平均的方式输出最终结果。

Boosting为Model Ensemble 的另外一种方法，其思想为模型每次迭代时通过调整错误样本的损失权重提升对数据样本整体的处理精度，典型算法包括 AdaBoost 、GBDT 等。

不同的数据任务场景，可以选择不同的 Model Ensemble 方法，对于深度学习，可以对隐层节点采用 DropOut 的方法实现类似的效果。

介绍了这么多机器学习基础算法，说一说评价模型优劣的基本准则。欠拟合和过拟合是经常出现的两种情况，简单的判定方法是比较训练误差和测试误差的关系，当欠拟合时，可以设计更多特征来提升模型训练精度，当过拟合时，可以优化特征量降低模型复杂度来提升模型测试精度。

特征量是模型复杂度的直观反映，模型训练之前设定输入的特征量是一种方法，另外一种比较常用的方法是在模型训练过程中，将特征参数的正则约束项引入目标函数/损失函数，基于训练过程筛选优质特征。

模型调优是一个细致活，最终还是需要能够对实际场景给出可靠的预测结果，解决实际问题。期待学以致用！ 作者 晓惑 本文转自阿里技术，转载需授权