模式识别经典算法

㈠ 图像识别算法有几种

从模式特征选择及判别决策方法的不同可将图像模式识别方法大致归纳为两类:统计模式(决策理论)识别方法和句法(结构)模式识别方法。此外，近些年随着对模式识别技术研究的进一步深入，公司模糊模式识别方法和神经网络模式识别方法也开始得到广泛的应用。江苏视图科技算法提供商。

㈡ 大数据最常用的算法有哪些

奥地利符号计算研究所(Research Institute for Symbolic Computation，简称RISC)的Christoph Koutschan博士在自己的页面上发布了一篇文章，提到他做了一个调查，参与者大多数是计算机科学家，他请这些科学家投票选出最重要的算法，以下是这次调查的结果，按照英文名称字母顺序排序。

大数据等最核心的关键技术：32个算法

1、A* 搜索算法——图形搜索算法，从给定起点到给定终点计算出路径。其中使用了一种启发式的估算，为每个节点估算通过该节点的最佳路径，并以之为各个地点排定次序。算法以得到的次序访问这些节点。因此，A*搜索算法是最佳优先搜索的范例。

2、集束搜索(又名定向搜索，Beam Search)——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过，集束搜索只能在每个深度中发现最前面的m个最符合条件的节点，m是固定数字——集束的宽度。

3、二分查找(Binary Search)——在线性数组中找特定值的算法，每个步骤去掉一半不符合要求的数据。

4、分支界定算法(Branch and Bound)——在多种最优化问题中寻找特定最优化解决方案的算法，特别是针对离散、组合的最优化。

5、Buchberger算法——一种数学算法，可将其视为针对单变量最大公约数求解的欧几里得算法和线性系统中高斯消元法的泛化。

6、数据压缩——采取特定编码方案，使用更少的字节数(或是其他信息承载单元)对信息编码的过程，又叫来源编码。

7、Diffie-Hellman密钥交换算法——一种加密协议，允许双方在事先不了解对方的情况下，在不安全的通信信道中，共同建立共享密钥。该密钥以后可与一个对称密码一起，加密后续通讯。

8、Dijkstra算法——针对没有负值权重边的有向图，计算其中的单一起点最短算法。

9、离散微分算法(Discrete differentiation)。

10、动态规划算法(Dynamic Programming)——展示互相覆盖的子问题和最优子架构算法

11、欧几里得算法(Euclidean algorithm)——计算两个整数的最大公约数。最古老的算法之一，出现在公元前300前欧几里得的《几何原本》。

12、期望-最大算法(Expectation-maximization algorithm，又名EM-Training)——在统计计算中，期望-最大算法在概率模型中寻找可能性最大的参数估算值，其中模型依赖于未发现的潜在变量。EM在两个步骤中交替计算，第一步是计算期望，利用对隐藏变量的现有估计值，计算其最大可能估计值;第二步是最大化，最大化在第一步上求得的最大可能值来计算参数的值。

13、快速傅里叶变换(Fast Fourier transform，FFT)——计算离散的傅里叶变换(DFT)及其反转。该算法应用范围很广，从数字信号处理到解决偏微分方程，到快速计算大整数乘积。

14、梯度下降(Gradient descent)——一种数学上的最优化算法。

15、哈希算法(Hashing)。

16、堆排序(Heaps)。

17、Karatsuba乘法——需要完成上千位整数的乘法的系统中使用，比如计算机代数系统和大数程序库，如果使用长乘法，速度太慢。该算法发现于1962年。

18、LLL算法(Lenstra-Lenstra-Lovasz lattice rection)——以格规约(lattice)基数为输入，输出短正交向量基数。LLL算法在以下公共密钥加密方法中有大量使用：背包加密系统(knapsack)、有特定设置的RSA加密等等。

19、最大流量算法(Maximum flow)——该算法试图从一个流量网络中找到最大的流。它优势被定义为找到这样一个流的值。最大流问题可以看作更复杂的网络流问题的特定情况。最大流与网络中的界面有关，这就是最大流-最小截定理(Max-flow min-cut theorem)。Ford-Fulkerson 能找到一个流网络中的最大流。

20、合并排序(Merge Sort)。

21、牛顿法(Newton’s method)——求非线性方程(组)零点的一种重要的迭代法。

22、Q-learning学习算法——这是一种通过学习动作值函数(action-value function)完成的强化学习算法，函数采取在给定状态的给定动作，并计算出期望的效用价值，在此后遵循固定的策略。Q-leanring的优势是，在不需要环境模型的情况下，可以对比可采纳行动的期望效用。

23、两次筛法(Quadratic Sieve)——现代整数因子分解算法，在实践中，是目前已知第二快的此类算法(仅次于数域筛法Number Field Sieve)。对于110位以下的十位整数，它仍是最快的，而且都认为它比数域筛法更简单。

24、RANSAC——是“RANdom SAmple Consensus”的缩写。该算法根据一系列观察得到的数据，数据中包含异常值，估算一个数学模型的参数值。其基本假设是：数据包含非异化值，也就是能够通过某些模型参数解释的值，异化值就是那些不符合模型的数据点。

25、RSA——公钥加密算法。首个适用于以签名作为加密的算法。RSA在电商行业中仍大规模使用，大家也相信它有足够安全长度的公钥。

26、Sch?nhage-Strassen算法——在数学中，Sch?nhage-Strassen算法是用来完成大整数的乘法的快速渐近算法。其算法复杂度为：O(N log(N) log(log(N)))，该算法使用了傅里叶变换。

27、单纯型算法(Simplex Algorithm)——在数学的优化理论中，单纯型算法是常用的技术，用来找到线性规划问题的数值解。线性规划问题包括在一组实变量上的一系列线性不等式组，以及一个等待最大化(或最小化)的固定线性函数。

28、奇异值分解(Singular value decomposition，简称SVD)——在线性代数中，SVD是重要的实数或复数矩阵的分解方法，在信号处理和统计中有多种应用，比如计算矩阵的伪逆矩阵(以求解最小二乘法问题)、解决超定线性系统(overdetermined linear systems)、矩阵逼近、数值天气预报等等。

29、求解线性方程组(Solving a system of linear equations)——线性方程组是数学中最古老的问题，它们有很多应用，比如在数字信号处理、线性规划中的估算和预测、数值分析中的非线性问题逼近等等。求解线性方程组，可以使用高斯—约当消去法(Gauss-Jordan elimination)，或是柯列斯基分解( Cholesky decomposition)。

30、Strukturtensor算法——应用于模式识别领域，为所有像素找出一种计算方法，看看该像素是否处于同质区域( homogenous region)，看看它是否属于边缘，还是是一个顶点。

31、合并查找算法(Union-find)——给定一组元素，该算法常常用来把这些元素分为多个分离的、彼此不重合的组。不相交集(disjoint-set)的数据结构可以跟踪这样的切分方法。合并查找算法可以在此种数据结构上完成两个有用的操作：

查找：判断某特定元素属于哪个组。

合并：联合或合并两个组为一个组。

32、维特比算法(Viterbi algorithm)——寻找隐藏状态最有可能序列的动态规划算法，这种序列被称为维特比路径，其结果是一系列可以观察到的事件，特别是在隐藏的Markov模型中。

以上就是Christoph博士对于最重要的算法的调查结果。你们熟悉哪些算法?又有哪些算法是你们经常使用的?

㈢ 求大神简述一下LLE算法（或降维算法）在模式识别和数据挖掘中是怎样被应用的呢，谢谢

1. 关于LLE算法具体的理论部分你可参考http://www.pami.sjtu.e.cn/people/xzj/introcelle.htm

2. Locally linear embedding (LLE)，使用这种算法可以进行非线性降维，关键是其能够使降维后的数据保持原有拓扑结构

   先给出一张下面算法得到的图 ，图中第一幅

   LLE算法可以归结为三步:

   （1）寻找每个样本点的k个近邻点；

   （2）由每个样本点的近邻点计算出该样本点的局部重建权值矩阵；

   （3）由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值。

3. 为原始数据，第三个为降维后的数据，可以看出处理后的低维数据保持了原有的拓扑结构。

4. 另，本人对LLE算法不是很熟悉，在此介绍一下其他降维算法的使用，以SVD算法为例。

   电影推荐。

   （1）假设现在有一个用户和电影评分的二维矩阵，矩阵内容是用户对电影的评分，现有得知某个用户对部分电影的评分，由此为该用户推荐他可能喜欢的电影。

   （2）假设用户有100W，电影有100W部，那么对于任意一种推荐算法来说，这个数据量都很大，该问题无法在单机上进行运算解决；

   （3）这100W维特征中必然存在一些几乎不重要的特征，这时，我们就需要用降维算法进行降维，降维的目的就是去掉大量的不重要的特征，以简化运算；

   （4）在此例中，可以使用SVD(或SVD++)算法对矩阵进行降维

图片相似度

（1）通常，进行图片相似度判断首先会将图片通过傅里叶变换转换成数值代表的矩阵，矩阵代表着该图片，一般来说矩阵维数越高越精确

（2）同样，维数过高的情况下，相似度计算成本很高，因此同样需要降维，在图片相似度识别中常用的降维算法是PCA算法；

总之，降维的目的就是减少特征的维数，减少运算的成本。

以上皆为我的拙见，如有疑义请指正。

㈣ 请问，线性判别分析LDA和偏最小二乘判别分析PLSDA有什么区别

把4维的x向量X=(x1,x2,x3,x4),拓展成14维的向量(x1,x2,x3,x4,x1*x1,x1*x2,x1*x3,x1*x4,x2*x2,x2*x3,x2*x4,x3*x3,x3*x4,x4*x4),可以把原问题化简为老师提示的问题,从而进行求解. 楼主学过模式识别（Pattern Recognition）里的LDA（Linear Discriminant Analysis）算法吗?中文叫线性判别分析.LDA算法基本就是求解这么个问题： minimize t subject to Ax=-1 (数值) LDA算法是模式识别里的经典算法,它有很成熟的解析解,你随便网上搜搜,就能得到很详细的解答. 楼主本身的这个问题,算是QDA算法（Quadratic Discriminant Analysis）,中文叫二次项判别分析.因为QDA带了二次项,因此比LDA本身要复杂一些. 但是QDA问题可以简化成LDA算法,具体方法就是把4维向量X=(x1,x2,x3,x4),扩展成如下的14维向量Y=(x1,x2,x3,x4,x1*x1,x1*x2,x1*x3,x1*x4,x2*x2,x2*x3,x2*x4,x3*x3,x3*x4,x4*x4). 这样XT*A*X+bT*X+c,就可以化为dT*Y+c的形式了（这个14维向量d和A,b的关系很容易算）,然后套用下现成的LDA算法求出d,然后反推出A和b,基本就搞定了.

㈤ 人工智能之模式识别|北京理工大学|Mooc|笔记|更新中

识别的基础是认知
认知Cognition：获取某种事物的特征——概念抽象
识别Re-cognition：根据特征决定某个具体的事物是不是某种事物——概念归类
模式：一类事物的共同特征
识别：对事物进行概念归类
模式识别：依据事物的特征进行概念归类

特征
相似性
类
特征空间
向量空间
集合空间

通过训练（学习）得到分类器模型参数

两种模式：有监督学习和无监督学习——从训练集中学习

对于每一个类别都给定一些样本——形成一个具有类别标签的训练样本集——分类器通过分析每一个样本去寻找属于同一类样本具有哪些共同特征——从训练集中学习到具体分类决策规则——有监督的学习

分类器通过有监督学习模式学习到的每个类别样本的特征就是关于某个类别概念的知识—— 学习过程就是认知过程

样本标签如何得到？——人来给定

有监督学习——从人的经验中学习分类知识——智能水平有上限

给定训练样本集但没有给每一个样本贴上类别标签——属于同一个类别的样本之间的相似程度会大于属于不同类别的样本之间的相似程度——根据相似程度的大小，按照一些规则把相似程度高的一些样本作为同一类——将训练样本集的一些样本划分成不同的类别——再从每一个类别的样本中去寻找共同特征，形成分类决策规则——无监督学习

无监督学习——自主地从数据所代表的自然规律中学习关于类别划分的知识——分类器能达到更高的分类水平——未来模式识别发展的主要方向

属于同一个类别的样本之间的相似程度会大于属于不同类别的样本之间的相似程度——不同类样本之间的相似度越小，分类决策规则的裕量也就越大

这样可以作为评判用于监督学习的带标签训练样本集以及作为无监督学习结果的样本集，它的优劣程度的一个指标，称为“紧致性”准则，即：紧致性好的样本集样本的类内相似度远大于类间相似度。

若要进行定量评判——确定如何度量相似性——可以设置多种指标——如：距离指标（最常用，距离可以定义在任意集合上，只要去计算满足三条标准：1.正定性：距离是个大于等于0的正实数，当且仅当自己和自己计算距离时才为0；2.对称性：样本之间的距离值计算与计算顺序无关；3.传递性：满足三角关系——两个样本之间的距离一定小于等于分别于第三个样本之间的距离之和。||在向量空间中可以定义欧氏距离、曼哈顿距离、切比雪夫距离等|| 非向量空间也可以定义距离，如：两个字符串之间的编辑距离也是一种合法的距离定义）非距离的相似度量标准（如：余弦相似度——使用向量空间中两个向量之间的夹角来表达相似程度：cosθ=x ^T y/||x||·||y|| ;皮尔逊相关系数Pxy=cov(x,y)/∆x∆y;Jaccard相似系数）

如果我们希望有紧致性好的样本集——那么就希望能有有效的信息能够将不同类的样本很好地区分开——增加特征的种类==增加特征的维度——特征的维度越多，用于识别的信息就越丰富，就有越多的细节信息可以将不同的样本之间的相似度降低，提高样本集的紧致性

不需要无限制地增加，只要不断地增加模式识别问题中地特征维数会产生维数灾难（cruse of dimensionality)——当一个问题描述地维度不断增加时会带来计算量剧增与解法性能下降等严重问题——模式识别中的维数灾难：随着特征维度的增加分类器的性能将在一段快速增加的区域后急速地下降并且最终无法使用

当特征空间以同样密度能够容纳的样本总数呈指数增长时，而如果给定样本集中的样本数量没有同步按照指数规律增加的话，那么问题越往高维度特征空间映射时样本集中的样本就越稀疏，从而使得样本集的紧致性越来越差，因此分类器的性能越来越差。

要解决维数灾难问题或者要同步地大量增加样本集样本的数量，难以实现，或者尽可能减少问题所使用的特征维度。

在降低维度的同时尽可能地提升每一个维度在分类中的效能，从而使模式识别问题在较低的维度下解决。

特征生成+特征降维 重点领域——其结果直接影响分类器性能的好坏

我们期望分类器能够从训练集样本中发现所要分类的各个类别的普遍特点即找到最优的分类器，使分类器在经过训练后不仅能将训练集中的样本正确分类，而且对于不在训练集中的新样本也能够正确地分类

因为有误差所以不能同时满足【正确分类样本集】和【正确分类未知新样本】

采集数据时由于数据采集方法的问题或者存在噪声干扰得到的样本特征会存在误差甚至会出现“异常数据”

如果我们要求分类器必须正确分类则会在分类规则上出现“失真”，从而在面对新的未知样本进行分类时出现错误（使分类器泛化能力降低）====称为分类器训练过程中的“过拟合”

“结构风险最小化准则”

分类决策规则是从自动计算中获取的而不是人工设定的

设计模式识别系统就是设计分类器的模型、所使用的的特征和分类器参数的调整算法

通过采集转换得到计算机能接受和处理的数据

模式采集：传感器、变送器、模数转换

得到的数据：待识别样本的原始信息（包含大量干扰和无用数据）

通过各种滤波降噪措施降低干扰的影响，增强有用的信息，在此基础上生成在分类上具有意义的各种特征

得到的特征：可以仍然用数值来表示，也可以用拓扑关系、逻辑结构等其他形式表示

经过一、二环节获得的模式特征维数都是很大的

主要方法：特征选择和特征提取

特征选择：从已有的特征中选择一些特征，抛弃其他特征

特征提取：是对原始的高维特征进行映射变换，生成一组维数更少的特征

分类器训练是由计算机根据样本的情况自动进行的，分类有监督学习和无监督学习

在分类器训练结束后，对待分类的样本按照已建立起来的分类决策规则进行分类的过程，在待分类的样本在进行分类决策之前，与训练样本一样要完成模式采集、预处理与特征生成、特征降维等环节的处理，还要持续不断地对分类决策的结果进行评估，已改进分类器的性能。

模式识别算法：统计模式识别（主流）、结构模式识别

统计模式识别：将样本转换成多维特征空间中的点，再根据样本的特征取值情况和样本集的特征值分布情况确定分类决策规则。

线性分类器：是最基本的统计分类器，它通过寻找线性分类决策边界来实现特征空间中的类别划分

贝叶斯分类器：它的决策规则是基于不同类样本在特征空间中的概率分布以逆概率推理的贝叶斯公式来得到类别划分的决策结果

最近邻分类器：把学习过程隐藏到了分类决策中，通过寻找训练集中与待分类样本最相似的子集来实现分类决策

神经网络分类器：来源于对生物神经网络系统的模拟，它的本质是高度非线性的统计分类器并且随着计算机技术的发展从浅层网络向深层网络不断演化

统计聚类分析：是无监督学习的典型代表

聚类分析：是无监督学习的典型代表，目前多采用统计学习的方法。

模糊模式识别：不是一独立的方法，而是将模糊数学引入模式识别技术后对现有算法的模糊化改造，它在更精确地描述问题和更有效地得出模式识别结果方面都有许多有价值的思路。

特征降维：也不是独立的模式识别算法，但是是完成模式识别任务的流程中不可缺少的一个步骤，特征降维通过寻找数量更少对分类更有效的特征来提升整个模式识别系统的性能。

结构模式识别：

结构聚类算法：将样本结构上某些特点作为类别和个体的特征通过结构上的相似性来完成分类任务。

句法模式识别：利用了形式语言理论中的语法规则，将样本的结构特征转化为句法类型的判定，从而实现模式识别的功能。

一个典型的基于视觉的模式识别工程问题

多分类问题

模板匹配基本原理：为每一个类别建立一个或多个标准的模板，分类决策时将待识别的样本与每个类别的模板进行比对，根据与模板的匹配程度将样本划分到最相似的类别中。

建立模板时依赖人的经验所以适应性差

“分类决策边界”

判别函数G(x)=0

如果判别函数是线性函数则称为线性判别函数

线性判别函数+对应的分类规则=线性分类器

如果特征空间是一维的，线性分类器的分类决策边界就是一个点

如果特征空间是二维的，线性分类器的分类决策边界是一条直线

如果特征空间是三维的，线性分类器的分类决策边界是一个平面

如果维度很高，从数学上可以得到分类决策边界是一个超平面

是不是任何一个模式识别问题都可以找到线性分类决策边界呢？

给定一个样本集，它是线性可分的吗？

涉及问题：样本集的线性可分性

如果一个样本集，它的各个类别样本的分布区域是相交的，那么肯定是线性不可分的；如果各个类别样本的分布区域是互不相交的，并且都是凸集，那么它一定是线性可分的；如果互不相交但有的是凹集，也不一定是线性可分的，需要找出凹集区域最小的凸集包络线称为凸包，如果凸包都不想交，那么样本集才是可分的，否则不可分。

线性可分性——异或问题

非线性分类问题转化为线性分类问题：

当我们将一个模式识别问题从低维特征空间映射到高维特征空间时，就将一个非线性分类问题转化为一个线性分类问题。======》这种方法被称为“广义线性化”

需要多个线性判别函数——用二分类问题的组合来确定多分类的分类决策规则

根据一定的逻辑关系构成多分类的线性分类器

绝对可分：对于样本集中的每一个类都有一个线性判别函数，可以把属于这一类和不属于这一类的样本分开。——带来的不可识别区域很多，整体分类器的性能不好。

两两可分：判别函数并不是用于判别属于某一个或者不属于某一个类的样本，而是在两个特定的类别中选边站。减少了不可识别区域，提升了线性分类器的性能。

如果有k个分类，两两可分的线性判别一共需要C2k个判别函数，绝对可分的线性判别需要k个判别函数

最大值可分：样本集中每一个类别对应有一个判别函数，而一个样本将被划分到取值最大的那个判别函数所对应的类别中。——不可识别区域消失，判别函数的数量也仅仅与样本集中的类别数量一样。

如何求最大值可分的判别函数？——工作量大

判别函数是样本到决策超平面距离远近的一种度量

样本x到决策边界的距离r正比于判别函数G(x)的值，判别函数的符号代表了距离r的符号，表示该模式位于决策边界的正侧还是负侧

权向量w仅代表决策超平面的法向方向，长度不会影响决策边界在特征空间中的位置，可以取w为1，此时判别函数的值就是样本到决策边界的距离。

线性分类器——由线性判别函数及相应道德分类决策规则构成的

线性判别函数如何得到？——如何设计线性分类器？——训练问题

线性分类器学习/训练的一般思路：

G _ij (x)=w ^T x+w ₀

w ^T 权向量

w ₀ 偏置量

解区域中寻找最优解

1.设定一个标量的准则函数J(w,w ₀ ),使其值能够代表解的优劣程度，准则函数值越小，说明解越符合要求，越好。

2.通过寻找准则函数J(w,w ₀ )的极小值，就能找到最优的一个解，是准则函数取得极小值的增广权向量w，这就是最优解。 （w,w ₀ ） ^*

训练集数据的规范化

1.了解感知器模型

感知器（perception）模型是一种神经元模型

多路输入+单路输出

将所有输入信号加权求和后于一个阈值相比较，如果大于阈值，则神经元输出为1；小于等于阈值，则神经元输出为0

没有反馈与内部状态

只能依靠输入信号是否超过阈值来决定是否激活神经元的输出

如果把感知器的输入信号看作是一个待识别样本的特征向量，感知器的数学模型就构成了一个典型的线性分类器，可以做出非常明确的二分类决策

通过样本集使感知器能够学习到输入权重值和输出的阈值

感知器是一个通过输入加权和与阈值的比较来决定是否激活输出的神经元模型，这是一个线性分类器，输入的权构成了线性分类决策边界的权向量，激活输出的阈值 heta就是分类决策边界的偏置量w ₀

求解目标：对所有样本，都有w ^T x > 0

感知器算法设定准则函数的依据：最终分类器要能正确分类所有的样本

所以J设定为所有错分样本的判别函数值之和

X ₀ 是所有错分样本的集合

只要存在错分样本，准则函数一定大于0，只有当所有样本正确分类了，准则函数值才能取得极小值0

梯度下降法

w(k+1)=w(k)-p(k+1)∆J(w(k))

对于线性可分的两类问题其分类决策边界为一n维特征空间中的超平面H

一般情况下会有无穷多个解，当我们确定一个解所对应的权向量w，超平面的斜率和朝向就是确定的了，可以在一定范围内平移超平面H，只要不达到或者越过两类中距离H最近的样本，分类决策边界都可以正确地实现线性分类，所以任何一个求解得到的权向量w都会带来一系列平行的分类决策边界，其可平移的范围具有一定的宽度，称为分类间隔（Marigin of Classification）。

当我们改变w，使分类决策边界的斜率和朝向随之变化时，我们得到的分类间隔是不同的。

分类间隔越大，两类样本做决策时的裕量也就越大

找到可以使分类间隔最大的最优权向量 w*——支持向量机的出发点

分类间隔是由距离分类决策边界最近的少量样本决定的，这些样本被称为“支持向量 support vector”_支撑起了线性分类器在最大分类间隔意义下的最优解

支持向量机的优化求解目标是求取能带来最大分类间隔的权向量w

分类间隔是支持向量到分类决策边界的2倍

Max d = max 2|G _ij (x)|/||w|| 支持向量机采用令|G _ij (x)|=1 =>min ||w|| 将求取最大的d的问题转化为求取权向量的长度最短的问题——为了方便进行二次优化——=>min 1/2 ||w|| ²

求取优化目标要求两类中的所有样本到分类决策边界的距离都应该比支持向量更大，其他样本的判别函数绝对值都需要大于1，即不等式约束条件为：图

支持向量机采用拉格朗日乘子法将其转化为无约束优化问题来求解，即通过将所有约束条件与拉格朗日乘子相乘后添加到优化目标中，在求取拉格朗日乘子最大值的条件下，求取最短的权向量w——凸规划问题——存在唯一解——其充要条件可以通过拉格朗日函数分别对权向量w和偏置值w0求偏导来得到，即满足这样的条件——得到权向量的表达公式

KKT条件

经验风险:训练之后的分类器的错误分类样本比例

经验风险最小化 R_emp==o

只有当训练集的样本数趋近于无穷，训练集中样本的分布趋近于样本的真实分布时，经验风险才会趋近于真实样本分类的风险

为了从根本上解决“过拟合”问题——提出“结构风险最小化SRM”min(R(w))

结构风险：在一个训练好的分类器面对未知样本时分类错误的概率

泛化误差界：R(w)<=Remp(w)+φ(h/l) 置信风险 l是训练集中的样本数，h为分类器形式的vc维，而φ置信风险的具体计算公式：图

如果分类器函数形式已经确定，则样本数越大，置信风险也就越小；如果训练集中的样本数量不够多，那么结构风险的大小就受置信风险大小的很大影响，而此时置信风险的大小取决于分类器函数形式本身具有的VC维，函数的VC维h越大，则置信风险也就越大，则相应的结构风险也就越大，分类器的泛化能力越差。

什么是VC维？一类函数所具有的分类能力

它的值是一类函数能打散两类样本集中最大样本数量

分类器函数形式的阶次越低，其VC维也就越小，在样本集数量有限的情况下，训练后的分类器结构风险就越小，泛化能力越强。

（支持向量机是阶次最低的线性函数）——是支持向量机在不需要大量训练样本的情况下也能取得泛化能力特别强的分类器训练结果的主要原因

所以支持向量机是应用结构风险最小化准则的一个结果

线性不可分问题：1.异常点干扰 2.非线性分类

线性支持向量机是把具有最大分类间隔的最优线性判别函数的求解转化为求解最短权向量的二次规划问题

异常点的判别函数值距离一定小于1

可以在约束条件中减去一项正数kesei，使判别函数的绝对值允许小于1，kesei就称为松弛变量

把kesei也作为优化目标，希望kesei越少越好，越小越好。

最理想的情况：绝大多数支持向量外侧的样本包括支持向量对应的松弛变量都该为0.只有少数支持向量内侧才有一个尽可能小的松弛变量。

因此，可以把所有松弛变量的和值也作为优化目标的一个分项，即在原来的最短权向量的二次优化目标基础上再加上一项C乘以所有松弛变量的和。C为惩罚因子，表示对分类器中存在异常点的容忍程度。C越小，松弛变量的存在对整体优化过程的影响越小，对异常点的容忍度越高。如果C取0，约束条件被破坏。

软间隔的支持向量机：使用松弛变量和惩罚因子的支持向量机

采用——广义线性化（把低维空间中的非线性问题往高维映射，从而转化为一个线性分类问题）

㈥ 非监督模式识别的经典方法是聚类，聚类的三个要点是什么

第一，聚类分析是一种无监督学习的方法。
第二，聚类的对象是没有分类标记的训练样本。
第三，聚类的目的是将数据集划分为若干个互不相交的子集。

㈦ 数据挖掘十大经典算法及各自优势

数据挖掘十大经典算法及各自优势

不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。
1. C4.5
C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：
1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2) 在树构造过程中进行剪枝；3) 能够完成对连续属性的离散化处理；4) 能够对不完整数据进行处理。
C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。
2. The k-means algorithm 即K-Means算法
k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均 方误差总和最小。
3. Support vector machines
支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更 高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假 定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了比较。
4. The Apriori algorithm
Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。
5. 最大期望(EM)算法
在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然 估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。
6. PageRank
PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里·佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个等级方法是以佩奇来命名的。
PageRank根据网站的外部链接和内部链接的数量和质量俩衡量网站的价值。PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票， 被链接的越多，就意味着被其他网站投票越多。这个就是所谓的“链接流行度”——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自 学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。
7. AdaBoost
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权 值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。
8. kNN: k-nearest neighbor classification
K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
9. Naive Bayes
在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以 及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。 但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属 性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。10. CART: 分类与回归树
CART, Classification and Regression Trees。 在分类树下面有两个关键的思想。第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。

以上是小编为大家分享的关于数据挖掘十大经典算法及各自优势的相关内容，更多信息可以关注环球青藤分享更多干货

㈧ Latent Dirichlet Allocation（潜在狄利克雷分配）和Linear Discriminant Analysis（线性判别分析）

不是同一个东西。
第一个是用于自然语言分析的隐主题模型。LDA是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。文档到主题服从Dirichlet分布，主题到词服从多项式分布。睁册
第二个线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入悉困宏模式识别和人工智能领域。
基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳尺顷的可分离性。

㈨ 模式识别KMP算法,懂计算机的朋友帮帮忙

学过数据结构的人，都对KMP算法印象颇深。尤其是新手，更是难以理解其涵义，搞得一头雾水。今天我们就来面对它，不将它彻底搞懂，誓不罢休。
如今，大伙基本上都用严蔚敏老师的书，那我就以此来讲解KMP算法。(小弟正在备战考研，为了节省时间，很多课本上的话我都在此省略了，以后一定补上。)

严老的《数据结构》79页讲了基本的匹配方法，这是基础。先把这个搞懂了。
80页在讲KMP算法的开始先举了个例子，让我们对KMP的基本思想有了最初的认识。目的在于指出“由此，在整个匹配的过程中，i指针没有回溯，”。
我们继续往下看：
现在讨论一般情况。
假设 主串：s: ‘s(1) s(2) s(3) ……s(n)’ ; 模式串 ：p: ‘p(1) p(2) p(3)…..p(m)’
把课本上的这一段看完后，继续

现在我们假设 主串第i个字符与模式串的第j(j<=m)个字符‘失配’后，主串第i个字符与模式串的第k(k<j)个字符继续比较

此时，s(i)≠p(j), 有

主串： S(1)…… s(i-j+1)…… s(i-1) s(i) ………….
|| (相配) || ≠(失配)
匹配串： P(1) ……. p(j-1) p(j)

由此，我们得到关系式
‘p(1) p(2) p(3)…..p(j-1)’ = ’ s(i-j+1)……s(i-1)’

由于s(i)≠p(j)，接下来s(i)将与p(k)继续比较，则模式串中的前(k-1)个字符的子串必须满足下列关系式，并且不可能存在 k’>k 满足下列关系式：(k<j),
‘p(1) p(2) p(3)…..p(k-1)’ = ’ s(i-k+1)s(i-k+2)……s(i-1)’

即：

主串： S(1)……s(i-k +1) s(i-k +2) ……s(i-1) s(i) ………….
|| (相配) || || ?(有待比较)
匹配串： P(1) p(2) …… p(k-1) p(k)

现在我们把前面总结的关系综合一下

有：

S(1)…s(i-j +1)… s(i-k +1) s(i-k +2) …… s(i-1) s(i) ……
|| (相配) || || || ≠(失配)
P(1) ……p(j-k+1) p(j-k+2) ….... p(j-1) p(j)
|| (相配) || || ?(有待比较)
P(1) p(2) ……. p(k-1) p(k)

由上，我们得到关系：
‘p(1) p(2) p(3)…..p(k-1)’ = ’ s(j-k+1)s(j-k+2)……s(j-1)’

接下来看“反之，若模式串中存在满足式(4-4)。。。。。。。”这一段。看完这一段，如果下面的看不懂就不要看了。直接去看那个next函数的源程序。(伪代码)

K 是和next有关系的，不过在最初看的时候，你不要太追究k到底是多少，至于next值是怎么求出来的，我教你怎么学会。
课本83页不是有个例子吗？就是 图4.6
你照着源程序，看着那个例子慢慢的推出它来。看看你做的是不是和课本上正确的next值一样。
然后找几道练习题好好练练，一定要做熟练了。现在你的脑子里已经有那个next算法的初步思想了，再回去看它是怎么推出来的，如果还看不懂，就继续做练习，做完练习再看。相信自己！！！

附：

KMP算法查找串S中含串P的个数count
#include <iostream>
#include <stdlib.h>
#include <vector>
using namespace std;

inline void NEXT(const string& T,vector<int>& next)
{
//按模式串生成vector,next(T.size())
next[0]=-1;
for(int i=1;i<T.size();i++ ){
int j=next[i-1];
while(T[i]!=T[j+1]&& j>=0 )
j=next[j] ; //递推计算
if(T[i]==T[j+1])next[i]=j+1;
else next[i]=0; //
}
}
inline string::size_type COUNT_KMP(const string& S,
const string& T)
{
//利用模式串T的next函数求T在主串S中的个数count的KMP算法
//其中T非空，
vector<int> next(T.size());
NEXT(T,next);
string::size_type index,count=0;
for(index=0;index<S.size();++index){
int pos=0;
string::size_type iter=index;
while(pos<T.size() && iter<S.size()){
if(S[iter]==T[pos]){
++iter;++pos;
}
else{
if(pos==0)++iter;
else pos=next[pos-1]+1;
}
}//while end
if(pos==T.size()&&(iter-index)==T.size())++count;
} //for end
return count;
}
int main(int argc, char *argv[])
{
string S="";
string T="ab";
string::size_type count=COUNT_KMP(S,T);
cout<<count<<endl;

system("PAUSE");
return 0;
}

㈩ 模式识别的发展

模式识别是智能控制中的经典，模式识别技术是人工智能的基础技术，21世纪是智能化、信息化御培、计算化、网络化的世纪，在这个以数字计算为特征拿拆薯的世纪里，作为人工智能消者技术基础学科的模式识别技术，必将获得巨大的发展空间。在国际上，各大权威研究机构，各大公司都纷纷开始将模式识别技术作为公司的战略研发重点加以重视。 发展潜力无限，在1、语音识别技术。2、生物认证技术 3、数字水印技术等方面前途无量。