dsvm算法

❶ 支持向量机原理

支持向量机原册闷理SVM简介
支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。

SVM算法原理
SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如下图所示， \boldsymbol{w}\cdot x+b=0 即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷知姿码多个（即感知机），但是几何间隔最大的分离超平面却是唯一的。

在推导之前，先给出一些定义。假设给定一个特征空间上的训练数据集

T=\left\{ \left( \boldsymbol{x}_1,y_1 \right) ,\left( \boldsymbol{x}_2,y_2 \right) ,...,\left( \boldsymbol{x}_N,y_N \right) \right\}

其中， \boldsymbol{x}_i\in \mathbb{R}^n ， y_i\in \left\{ +1,-1 \right\} ,i=1,2,...N ， x_i 为第 i 个特征向量， y_i 为类标记，当它等于+1时为正例；为-1时搭哪为负例。再假设训练数据集是线性可分的。

几何间隔：对于给定的数据集 T 和超平面 w\cdot x+b=0 ，定义超平面关于样本点 \left( x_i,y_i \right) 的几何间隔为

\gamma _i=y_i\left( \frac{\boldsymbol{w}}{\lVert \boldsymbol{w} \rVert}\cdot \boldsymbol{x}_{\boldsymbol{i}}+\frac{b}{\lVert \boldsymbol{w} \rVert} \right)

超平面关于所有样本点的几何间隔的最小值为

\gamma =\underset{i=1,2...,N}{\min}\gamma _i

实际上这个距离就是我们所谓的支持向量到超平面的距离。

根据以上定义，SVM模型的求解最大分割超平面问题可以表示为以下约束最优化问题

\underset{\boldsymbol{w,}b}{\max}\ \gamma

s.t.\ \ \ y_i\left( \frac{\boldsymbol{w}}{\lVert \boldsymbol{w} \rVert}\cdot \boldsymbol{x}_{\boldsymbol{i}}+\frac{b}{\lVert \boldsymbol{w} \rVert} \right) \ge \gamma \ ,i=1,2,...,N

将约束条件两边同时除以 \gamma ，得到

y_i\left( \frac{\boldsymbol{w}}{\lVert \boldsymbol{w} \rVert \gamma}\cdot \boldsymbol{x}_{\boldsymbol{i}}+\frac{b}{\lVert \boldsymbol{w} \rVert \gamma} \right) \ge 1

因为 \lVert \boldsymbol{w} \rVert \text{，}\gamma 都是标量，所以为了表达式简洁起见，令

\boldsymbol{w}=\frac{\boldsymbol{w}}{\lVert \boldsymbol{w} \rVert \gamma}

b=\frac{b}{\lVert \boldsymbol{w} \rVert \gamma}

得到

y_i\left( \boldsymbol{w}\cdot \boldsymbol{x}_{\boldsymbol{i}}+b \right) \ge 1,\ i=1,2,...,N

又因为最大化 \gamma ，等价于最大化 \frac{1}{\lVert \boldsymbol{w} \rVert} ，也就等价于最小化 \frac{1}{2}\lVert \boldsymbol{w} \rVert ^2 （ \frac{1}{2} 是为了后面求导以后形式简洁，不影响结果），因此SVM模型的求解最大分割超平面问题又可以表示为以下约束最优化问题

\underset{\boldsymbol{w,}b}{\min}\ \frac{1}{2}\lVert \boldsymbol{w} \rVert ^2

s.t.\ \ y_i\left( \boldsymbol{w}\cdot \boldsymbol{x}_{\boldsymbol{i}}+b \right) \ge 1,\ i=1,2,...,N

这是一个含有不等式约束的凸二次规划问题，可以对其使用拉格朗日乘子法得到其对偶问题（al problem）。

首先，我们将有约束的原始目标函数转换为无约束的新构造的拉格朗日目标函数

L\left( \boldsymbol{w,}b,\boldsymbol{\alpha } \right) =\frac{1}{2}\lVert \boldsymbol{w} \rVert ^2-\sum_{i=1}^N{\alpha _i\left( y_i\left( \boldsymbol{w}\cdot \boldsymbol{x}_{\boldsymbol{i}}+b \right) -1 \right)}

其中 \alpha _i 为拉格朗日乘子，且 \alpha _i\ge 0 。现在我们令

\theta \left( \boldsymbol{w} \right) =\underset{\alpha _{_i}\ge 0}{\max}\ L\left( \boldsymbol{w,}b,\boldsymbol{\alpha } \right)

当样本点不满足约束条件时，即在可行解区域外：

y_i\left( \boldsymbol{w}\cdot \boldsymbol{x}_{\boldsymbol{i}}+b \right) <1

此时，将 \alpha _i 设置为无穷大，则 \theta \left( \boldsymbol{w} \right) 也为无穷大。

当满本点满足约束条件时，即在可行解区域内：

y_i\left( \boldsymbol{w}\cdot \boldsymbol{x}_{\boldsymbol{i}}+b \right) \ge 1

此时， \theta \left( \boldsymbol{w} \right) 为原函数本身。于是，将两种情况合并起来就可以得到我们新的目标函数

\theta \left( \boldsymbol{w} \right) =\begin{cases} \frac{1}{2}\lVert \boldsymbol{w} \rVert ^2\ ,\boldsymbol{x}\in \text{可行区域}\\ +\infty \ \ \ \ \ ,\boldsymbol{x}\in \text{不可行区域}\\ \end{cases}

于是原约束问题就等价于

\underset{\boldsymbol{w,}b}{\min}\ \theta \left( \boldsymbol{w} \right) =\underset{\boldsymbol{w,}b}{\min}\underset{\alpha _i\ge 0}{\max}\ L\left( \boldsymbol{w,}b,\boldsymbol{\alpha } \right) =p^*

看一下我们的新目标函数，先求最大值，再求最小值。这样的话，我们首先就要面对带有需要求解的参数 \boldsymbol{w} 和 b 的方程，而 \alpha _i 又是不等式约束，这个求解过程不好做。所以，我们需要使用拉格朗日函数对偶性，将最小和最大的位置交换一下，这样就变成了：

\underset{\alpha _i\ge 0}{\max}\underset{\boldsymbol{w,}b}{\min}\ L\left( \boldsymbol{w,}b,\boldsymbol{\alpha } \right) =d^*

要有 p^*=d^* ，需要满足两个条件：

① 优化问题是凸优化问题

② 满足KKT条件

首先，本优化问题显然是一个凸优化问题，所以条件一满足，而要满足条件二，即要求

\begin{cases} \alpha _i\ge 0\\ y_i\left( \boldsymbol{w}_{\boldsymbol{i}}\cdot \boldsymbol{x}_{\boldsymbol{i}}+b \right) -1\ge 0\\ \alpha _i\left( y_i\left( \boldsymbol{w}_{\boldsymbol{i}}\cdot \boldsymbol{x}_{\boldsymbol{i}}+b \right) -1 \right) =0\\ \end{cases}

为了得到求解对偶问题的具体形式，令 L\left( \boldsymbol{w,}b,\boldsymbol{\alpha } \right) 对 \boldsymbol{w} 和 b 的偏导为0，可得

\boldsymbol{w}=\sum_{i=1}^N{\alpha _iy_i\boldsymbol{x}_{\boldsymbol{i}}}

\sum_{i=1}^N{\alpha _iy_i}=0

将以上两个等式带入拉格朗日目标函数，消去 \boldsymbol{w} 和 b ， 得

L\left( \boldsymbol{w,}b,\boldsymbol{\alpha } \right) =\frac{1}{2}\sum_{i=1}^N{\sum_{j=1}^N{\alpha _i\alpha _jy_iy_j\left( \boldsymbol{x}_{\boldsymbol{i}}\cdot \boldsymbol{x}_{\boldsymbol{j}} \right)}}-\sum_{i=1}^N{\alpha _iy_i\left( \left( \sum_{j=1}^N{\alpha _jy_j\boldsymbol{x}_{\boldsymbol{j}}} \right) \cdot \boldsymbol{x}_{\boldsymbol{i}}+b \right) +}\sum_{i=1}^N{\alpha _i}

\ \ \ \ \ \ \ \ \ \ \ =-\frac{1}{2}\sum_{i=1}^N{\sum_{j=1}^N{\alpha _i\alpha _jy_iy_j\left( \boldsymbol{x}_{\boldsymbol{i}}\cdot \boldsymbol{x}_{\boldsymbol{j}} \right)}}+\sum_{i=1}^N{\alpha _i}

即
\underset{\boldsymbol{w,}b}{\min}\ L\left( \boldsymbol{w,}b,\boldsymbol{\alpha } \right) =-\frac{1}{2}\sum_{i=1}^N{\sum_{j=1}^N{\alpha _i\al

❷ 支持向量机（SVM）

参考Jerrylead 和 july-支持向量机通俗导论

再回忆一下逻辑回归：Logistic回归目的是从特征学习出一个0/1分类模型，而 这个模型是将特征的线性组合作为自变量 ，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函数） 将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率 。

中间那条线是θ T x=0，logistic回归强调 所有点 尽可能地远离中间那条线。学习出的结果也就中间那条线。
但是：
考虑上面3个点A、B和C。从图中我们可以确定A是×类别的， 然而C我们是不太确定的 ，B还算能够确定。这样我们可以得出结论， 我们更应该关心靠近中间分割线的点，让他们尽可能地远离中间线，而不是在所有点上达到最优（引出了下面的函数间隔与几何间隔） 。

我想这就是支持向量机的思路和logistic回归的不同点：
支持向量机考虑局部（不关心已经确定远离的点），
逻辑回归一个考虑全局（已经远离的点可能通过调整中间线使其能够更加远离，但是也可能使一部分点靠近中间线来换取另外一部分点更加远离中间线。）

上面已经知道，θ T x=0是分类的线，在svm中，只考虑局部，只考虑θ T x的正负问题，而不用关心g（z）。因此，在这里，用w T x+b代替θ T x，并 对g(z)做一个简化 ，将其简单映射到类别标签y=1和y=-1上。

这里的y取值为1和-1（在svm中，只考虑局部，只考虑θ T x的正负问题），是为了方便定义：在分类正确的情况下，函数间隔（确信度 ）的大小

比如，在分类正确的情况下，y等于1，wx+b应该为正数越大，则情况越好，是正例的确定度就越大。就如上图的A点。y等于-1，wx+b应该为负数越大，则情况越好是负例的确信度就越大。

所以， 函数间隔越大，说明分类正确的置信度越大。函数间隔越小 ，比如上图c点，说明越不能确定c点属于哪一类。

可以为 别的值，只是为了方便。这一点在参考的第二个博客上也已经说明了。

由上面解释，已知可以用y(wT x + b) 的正负性来判定（或表示）分类的正确性。

定义函数间隔如下：

也就是，这个样本点x与超平面之间的间隔（但是现在有些不准确，所以有下面的几何间隔）。

此时，若根据SVM的思想，最大化这个间隔，就能提高分类正确的确信度了吗？

答案是否定的，因为，如果成比例的改变w 和b（如将它们改成2w 和2b），则函数间隔的值f(x) 却变成了原来的2 倍（ 虽然函数值增大了，达到了目标，但是此时超平面没有改变 ），所以只有函数间隔还远远不够。

我们真正关心的，其实是“几何上”的点到平面的距离，于是可以用几何知识推理出来的几何间隔。 而不是一开始人们想当然定义的函数间隔。

事实上，我们可以对法向量w 加些约束条件（ 这就是调优问题的思考了 )，从而引出真正定义点到超平面的距离——几何间隔（geometrical margin）的概念。

又因为x 0 是超平面w T x + b=0上的点，利用向量之间的运算

再令上式乘上对应的类别y，即可得出几何间隔

从上述函数间隔和几何间隔的定义可以看出：几何间隔就是函数间隔除以∥w∥，而 函数间隔实际上就是，只是人为定义的一个间隔度量，而几何间隔才是直观上的点到超平面的距离。

接下来就是我们的目标：寻找一个超平面， 使得离超平面比较近的点能有更大的间距。 也就是我们不考虑所有的点都必须远离超平面，我们关心求得的超平面能够让所有点中离它最近的点具有最大间距。也就是找到最大的几何间隔。

由上一小节可以知道，我们这里要找的最大间隔分类超平面中的“间隔”指的是几何间隔。

上面两个式子的意思是（ 注意，函数间距上面是折线，几何间距上面是波浪线 ）：
最大化几何间隔
约束条件是，每个样例的函数间隔都要大于全局的那一个函数间隔（也就是所有训练集里的最小的那个）

用函数间隔表示几何间隔

于是得到了这个式子：

然而这个时候目标函数不是凸函数，约束条件也不是线性的，没法直接代入优化软件里计算。我们还要改写。前面说到 同时扩大w和b对结果没有影响 ，因此，我们将全局的函数间隔值定义为1。于是，上述的函数转变成了

由于求1/||w||的最大值，相当于求||w||²的最小值，因此结果为：

因为现在的 目标函数是二次的，约束条件是线性的，所以它是一个凸二次规划问题 。这个问题可以用现成的QP (Quadratic Programming) 5优化包进行求解。一言以蔽之：在一定的约束条件下，目标最优，损失最小。

根据前面几个文章的话，SVM作为判别模型，它的的模型，就是 w T x i + b 。参数就是w和b。学习完参数以后，新来的样例作为x i ，得到结果大于1，说明在超平面上面，所以是正例。反之亦然。

根据SVM的思想，SVM的初步目标函数，就是所有样例的几何间隔尽可能的大

至此，得到了SVM的目标函数，算是初步解决了SVM的这个问题，用优化包求解得到wb，即可得到具有最大几何间距的超平面，提高分类每个点的确信度，分类目标完成。

接下来介绍的是手工求解w和b的方法了，一种更优的求解方法。

从上可以看出 ，就同时扩大w和b就相当于等式两边同时除以函数间隔 γ，而新的w和b仍然是旧的wb的函数，所以最大化仍然可以进行。

效果等价于，令函数间隔γ=1，综上所述，零γ=1是合理的，而且也方便了原优化问题的计算 。

由拉格朗日对偶（线性可分条件下SVM的对偶算法）引入核函数（非线性可分条件下SVM的算法）

上一篇说到，得到了 如下的线性可分的SVM的目标函数 ，可以利用优化包进行求解。

此外，由于这个问题的特殊结构，还可以通过拉格朗日对偶性（Lagrange Duality）变换到对偶变量(al variable) 的优化问题，即通过求解与原问题等价的对偶问题（al problem）得到原始问题的最优解，这就是线性可分条件下支持向量机的对偶算法。

引入对偶的优点：

因为 引入拉格朗日算子可以求出极值。 （参考最优化方法的解释）

这种极值问题怎么求

首先，同样定义拉格朗日公式，希望可以利用拉格朗日算子法求得最优解，得到：

但是，出现问题了，此时加入的约束条件g已经不再等于0了，所以，此时可以调整算子alpha变成很大很大的 值，使结果负无穷， 这显然是不合理的。

所以，我们需要 排除在满足条件下，也会无解的情况。

因此，我们定义下面的函数

要看这个函数有什么优点，就要看看这个函数相比于L(ω,α,b)有什么变化： 加了max，加了α I 大于等于零。

所以，当g和h不满足约束时，总可以调整α i 和β i 来使thetap具最大值为正无穷。

只有当g和h满足约束时，此时g<0，我们可以调整α i 和β i （使α i 等于0，β i 任意），得到最大值，即θ p =f(w)。

于是函数等价于这样

于是原来的极值问题min f(w) 就等价于求min θ p 了，
即：

也就是说，最小化 θ p ，就是为了得到最小的 f(w)，而能有f(w)就说明了满足约束条件。所以这个等价于原来的极值问题。

至此， 相比于拉格朗日公式L(ω,α,b)，现在即加入了拉格朗日算子，又排除了纯粹的拉格朗日公式中出现无穷的情况。

但是，又出现了新的问题，也就是，如果直接求解，首先面对的就是两个参数（最里面的是max，这个max问题有两个参数），而且alpha也是不等式约束，再在w上求最小值，这个过程并不容易做。那么应该怎么办呢？

在最优化课程里，当遇到不好解的优化问题时，可以转化为原问题的对偶问题试试。
此处，d代表对偶。D--al

我们定义函数

θ D 将问题转化为先求L(ω,α,b)关于 ω 的最小值（此时α和β是固定值），之后再求θ D 的最大值。 上来面对的是一个参数，相对简单些。

相对于原问题，更换了min和max的顺序，得到了它的对偶问题。

--------------------------------------------------------------------------------------------------------------
一般的更换顺序的结果是MaxMin(X) <= MinMax(X)。也就是，此时有

对偶问题已经表示出来了，这个对偶问题也相对原问题好求，那么，这两个问题等价吗？或者说，对偶问题的解是不是原问题的解呢？

需要用KKT条件来判断了。

对于拉格朗日算子的深入理解可以看看《最优化方法》，讲义的最后一页。

含有不等式约束的问题，常常 用KKT条件求得候选最优解

对于一般化的拉格朗日公式：

最优值 w 必须满足以下三个条件：

----------1、L对 w 求导为零
----------2、h(w)=0
----------3、α i g i =0 ，i = 1，...，k

注意此时

第三个条件表明了KKT的思想：极值会在可行域边界取得。 ----解释：
-----对于一个特定的自变量w1，当自变量w1在 第 i 个 可行域边界（g i (w1)=0）时，说明此时这个约束是起到了作用的。 这个约束是w1被g i 约束了。此时只能到g i 的平面上（即边界），再多就出界了。。。 而对于最优解来说，就是f(w)达到最优，所以L中，除了f(w)部分，其余应该都等于0，所以此时α>0(或许等于零也可以？疑问）

----而此时，w1在其他的约束条件g 非i 下，有g 非i (w1)<0），说明W1可以随意些，说明此时这个约束并没有起到作用，但是作为最优解，为了 除了f(w)部分，其余应该都等于0 ，所以其系数α应该等于零。

----------------------------------------------------------------------------------------

注意：这个是传统最优化问题的一般式，这个问题有k个不等式约束方程，所有的点都要满足这k个不等式约束。 。假设有一百个样本点，只有有三个极值N1，N2，N3，那么说明其余97个点带入这k个方程中去都会小于零。 另外对于这三个极值点，可能会有g i (N1) = 0,除了第i个g以外，g(N1)都小于0 。然后对于极值N2，g j (N2)=0，除了第j个约束以外，其余的g(N2)都小于0。

而本节一开始讨论的问题，只有一个约束方程（因为参数只有w和b）即：y（w T x+b）>=1，所有的点（一共m个）都要满足这个约束方程。 而关于为什么非支持向量的系数alpha会等于零呢？也就是相当于前面的，k=1（有k个约束条件）的情况下，m个样本点中，非支持向量的约束g<0，为了最优解，除了f(w)应该都等于零，所以alpha应该等于零。

另外可以参考这段话：

即，若d* = p* <==> x * 满足KKT条件

由上面那句话可以知道，

折腾这么长时间，也就是为了说明，已经知道原问题

是凸优化问题，所以，只要对偶问题的自变量w满足了KKT条件，那么它就是对偶问题的最优解w * ，同时也是原问题的最优解了。

所以，由上可知，只要解出了2.1.3中的问题的参数w和b，也就是原问题的解了。

重新回到SVM的优化问题（其中每个约束式实际就是一个训练样本）：

我们将约束条件改写为拉格朗日的形式：

由KKT条件可知，只有当函数间隔是1（g=0）的时候，α i >0。此时，这个样例 w i 在约束平面上受到约束 。对于其它的不在线上的样例点（g<0），极值不会在其范围内去的，所以这些样例点前面的系数α i =0.

实线是最大间隔超平面，假设×号的是正例，圆圈的是负例。在虚线上的点就是函数间隔是1的点，他们前面的系数α i >0， 这三个点被称作 支持向量。

由上面问题，构造拉格朗日函数如下（没有等式约束，所以没有β）：

————————————————————————————————

下面我们按照对偶问题的求解步骤来一步步进行，由2.1.3可知，对偶问题的形式为：

首先求解L的最小值（最里面的先求），此时αi是固定的，L的最小值只与w和b有关。对w和b分别求偏导数。

得到

将上式带回到拉格朗日函数中得到，此时得到的是该函数的最小值（目标函数是凸函数）， 即里面的min L已经求出，接下来就是求max了
代入后，化简过程如下：

最后得到

由于最后一项是0，因此简化为

这里，上式中左右边的向量内积，用方括号表示。

到这一步，拉格朗日函数只包含了一个变量α i 。接着进行下一步 ，最大化的过程，求得α i 。

假设求得了α i 就能根据求导得到的结果

求得w，然后就能得到b。

b 就是 距离超平面最近的正的函数间隔要等于离超平面最近的负的函数间隔。 （其实，由前面的那个x和圈的图，可以认为b就是截距，这个截距b等于上下两条虚线的截距的平均值。）

注意，这里的w，b，alpha都是 向量，都是m维的向量

至于这里的α怎么求得，即上面的最大化问题怎么求解，将留给下一篇中的SMO算法来阐明。

也就是说，手动解的话，还是需要利用SMO算法，求得α才行。

————————————————————————————————

这里考虑另外一个问题，由于前面求解中得到

用α i 代替w带入判别模型w T x+b，得到：

也就是说， 利用判别模型对新来样本进行判别时 ，以前新来的要分类的样本首先根据w和b做一次线性运算，然后看求的结果是大于1还是小于1来判断正例还是负例。大于1，说明在超平面的上面，说明是正例。同理，小于1说明在超平面的下面，说明是负例。

约束条件是wx+b-1小于等于零，所以判断就是wx+b与1进行大小比较

现在有了alpha，不需要求出w （那b呢，b怎么求呢，前面已经解释，b是由离超平面最近的间隔和负的函数间隔相等。。。得到的。所以，将新来的样本与训练数据中 支持向量 做内积以后，再确定最大的正数函数间隔以及最小的负数函数间隔，即可。）

就冲上面这段话，支持向量的系数alpha，也不能等于0。

另外，那有人会说，与前面所有的样本都做运算是不是太耗时了？其实不然，我们从KKT条件中得到，只有支持向量的α i >0 （不等于零）其他情况α i 是等于零的。 比如，像前面那个x和圈的图，新来的样本只需要和三个支持向量做运算即可 。

由此可以看到，求出α i 以后，只需要利用支持向量，就可以来判断新来的样例是正例还是负例了。也许这也是是为什么叫支持向量机吧。

上面这个公式，为下面要提到的核函数（kernel）做了很好的铺垫。

下面，先把没求得的alpha放一放，趁着刚刚得到的这个公式的热乎劲，再去看看核函数。

❸ 机器视觉Q&A

 A. 数据增广

 B. 提前停止训练

C. 添加Dropout

答案：ABC

A. SGD（stochatic gradient descent）

B. BGD（batch gradient descent）

C. Adadetla

D. Momentum

答案：C

【解析】

1）SGD受到学习率α影响

2）BGD受到batch规模m影响

3）Adagrad的一大优势时可以避免手动调节学习率，比如设置初始的缺省学习嫌拆率为0.01，然后就不管它，另其在学习的过程中自己变化。

为了避免削弱单调猛烈下降的减少学习率，Adadelta产生了1。Adadelta限制把历史梯度累积窗口限制到固定的尺寸w，而不是累加所有的梯度平方和

4）Momentum：也受到学习率α的影响

A.惩罚了模型的复杂度，避免模型过度学习训练集，提高泛化能力

B.剃刀原理：如果两个理论都能解释一件事情，那么较为简单的理论往往是正确的

C.正则项降低了每一次系数w更新的步伐，使参数更小，模型更简单

D.贝叶斯学派的观点，认为加入了先验分布（l1拉普拉斯分布，l2高斯分布），减少参数的选择空间

答案：ABCD

【解析】A/C选项没有问题，只不过C中的"步伐"理解起来并不清晰。B/D选项是有点追本溯源的意思，剃刀原理其实是奥卡姆剃刀原理：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合刚刚好；从贝叶斯角度理解，为参数ω引入拉普拉斯先验分布的最大似然，相当于给均方误差函数加上L1正则项；为参数ω引入高斯先验分布的最大似然，相当于给均方误差函数加上L2正则项。

a.计算预测值和真实值之间的误差

b.重复迭代，直至得到网络权重的最佳值

c.把输入传入网络，得到输出值

d.用随机值初始化权重和偏差

e.对每一个产生误差的神经元，调整相应的（权重）值以减小误差

答案：dcaeb

A.惩罚了模型的复杂度，避免模型过度学习训练集，提高泛化能力

B.剃刀原理：如果两个理论都能解释一件事情，那么较为简单的理论往往是正确的

C.正则项降低了每一次系数w更新的步伐，使参数更小，模型更简单

D.贝叶斯学派的观点，认为神者野加入了先验分布（l1拉普拉斯分布，l2高斯分布），减少参数的选择空间

答案：ABCD

【解析】A/C选项没有问题，只不过C中的"步伐"理解起来并不清晰。B/D选项是有点追本溯源的意思，剃刀原理其实是奥卡姆剃刀原理：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合刚刚好；从贝叶斯角度理解，为参数ω引入拉普拉斯先验分布的最大似然，相当于给均方误差函数加上L1正则项；为参数ω引入高斯先验游喊分布的最大似然，相当于给均方误差函数加上L2正则项。

参考：

[正则化为什么能防止过拟合（重点地方标红了）](https://www.cnblogs.com/alexanderkun/p/6922428.html)

[【机器学习】从贝叶斯角度理解正则化缓解过拟合](https://blog.csdn.net/u014433413/article/details/78408983)

A. 220x220x5

B. 218x218x5

C. 217x217x8

D. 217x217x3

答案：B

【解析】卷积计算公式：Hout=（Himg+2Padding−Kfilterh）/S + 1；Wout=（Wimg+2Padding−Kfilterw）/S + 1。其中Padding是边界填空值，Kfilterw表示卷积核的宽度，S表示步长。

A.少于2秒

B.大于2秒

C.仍是2秒

D.说不准

答案：C

【解析】在架构中添加Dropout这一改动仅会影响训练过程，而并不影响测试过程。

A.准确率适合于衡量不平衡类别问题

B.精确率和召回率适合于衡量不平衡类别问题

C.精确率和召回率不适合于衡量不平衡类别问题

D.上述选项都不对

答案：B

A. Boosting

B. Bagging

C. Stacking

D. Mapping

答案：B

【解析】dropout的思想继承自bagging方法。

bagging是一种集成方法（ensemble methods）,可以通过集成来减小泛化误差（generalization error）。

bagging的最基本的思想是通过分别训练几个不同分类器，最后对测试的样本，每个分类器对其进行投票。在机器学习上这种策略叫model averaging。 我们可以把dropout类比成将许多大的神经网络进行集成的一种bagging方法。

1. 随机初始化感知机权重

2. 去到数据集的下一批（batch）

3. 如果预测值和输出不一致，则调整权重

4. 对一个输入样本，计算输出值

A. 1,2,3,4

B. 4,3,2,1

C. 3,1,2,4

D. 1,4,3,2

答案：D

11.【单选题】下列哪项关于模型能力（model capacity）的描述是正确的？（指神经网络模型能拟合复杂函数的能力）

A.隐藏层层数增加，模型能力增加

B. Dropout的比例增加，模型能力增加

C.学习率增加，模型能力增加

D.都不正确

答案：A

A. Logistic回归可用于预测事件发生概率的大小

B. Logistic回归的目标函数是最小化后验概率

C. SVM的目标的结构风险最小化

D. SVM可以加入正则化项，有效避免模型过拟合

答案：B

【解析】Logistic回归本质上是一种根据样本对权值进行极大似然估计的方法，而后验概率正比于先验概率和似然函数的乘积。Logistic仅仅是最大化似然函数，并没有最大化后验概率，更谈不上最小化后验概率。A正确 Logit回归的输出就是样本属于正类别的几率，可以计算出概率；C正确. SVM的目标是找到使得训练数据尽可能分开且分类间隔最大的超平面，应该属于结构风险最小化. D正确. SVM可以通过正则化系数控制模型的复杂度，避免过拟合。

A增加训练集量

B减少神经网络隐藏层节点数

C删除稀疏的特征

D SVM算法中使用高斯核/RBF核代替线性核

答案：D

【解析】一般情况下，越复杂的系统，过拟合的可能性就越高，一般模型相对简单的话泛化能力会更好一点。

B.一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向， svm高斯核函数比线性核函数模型更复杂，容易过拟合

D.径向基(RBF)核函数/高斯核函数的说明,这个核函数可以将原始空间映射到无穷维空间。对于参数 ，如果选的很大，高次特征上的权重实际上衰减得非常快，实际上（数值上近似一下）相当于一个低维的子空间；反过来，如果选得很小，则可以将任意的数据映射为线性可分——当然，这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题。不过，总的来说，通过调整参数 ，高斯核实际上具有相当高的灵活性，也是 使用最广泛的核函数 之一。

A.感知准则函数

B.贝叶斯分类

C.支持向量机

D.Fisher准则

答案：ACD

【解析】

线性分类器有三大类：感知器准则函数、SVM、Fisher准则，而贝叶斯分类器不是线性分类器。

感知准则函数 ：准则函数以使错分类样本到分界面距离之和最小为原则。其优点是通过错分类样本提供的信息对分类器函数进行修正，这种准则是人工神经元网络多层感知器的基础。

支持向量机 ：基本思想是在两类线性可分条件下，所设计的分类器界面使两类之间的间隔为最大，它的基本出发点是使期望泛化风险尽可能小。（使用核函数可解决非线性问题）

Fisher准则 ：更广泛的称呼是线性判别分析（LDA），将所有样本投影到一条远点出发的直线，使得同类样本距离尽可能小，不同类样本距离尽可能大，具体为最大化“广义瑞利商”。

根据两类样本一般类内密集，类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。这种度量通过类内离散矩阵 Sw和类间离散矩阵 Sb实现。

A.卷积神经网络

B.循环神经网络

C.全连接神经网络

D.选项A和B

答案：D

A.L2正则项，作用是最大化分类间隔，使得分类器拥有更强的泛化能力

B.Hinge损失函数，作用是最小化经验分类错误

C.分类间隔为1/||w||，||w||代表向量的模

D.当参数C越小时，分类间隔越大，分类错误越多

答案：C

A正确。考虑加入正则化项的原因：想象一个完美的数据集，y>1是正类，y<-1是负类，决策面y=0，加入一个y=-30的正类噪声样本，那么决策面将会变“歪”很多，分类间隔变小，泛化能力减小。加入正则项之后，对噪声样本的容错能力增强，前面提到的例子里面，决策面就会没那么“歪”了，使得分类间隔变大，提高了泛化能力。

B正确。

C错误。间隔应该是2/||w||才对，后半句应该没错，向量的模通常指的就是其二范数。

D正确。考虑软间隔的时候，C对优化问题的影响就在于把a的范围从[0，+inf]限制到了[0,C]。C越小，那么a就会越小，目标函数拉格朗日函数导数为0可以求出w=求和ai∗yi∗xi，a变小使得w变小，因此间隔2/||w||变大。

A.Dropout

B.分批归一化(Batch Normalization)

C.正则化(regularization)

D.上述选项都可以

答案：D

A.95

B.96

C.97

D.98

答案：C

A.(AB)C

B.AC(B)

C.A(BC)

D.上述所有选项效率相同

答案：A

【解析】首先，根据简单的矩阵知识，因为 A*B， A的列数必须和 B的行数相等。因此，可以排除 B选项，

然后，再看 A、 C选项。在 A选项中，m∗n的矩阵 A和n∗p的矩阵 B的乘积，得到 m∗p的矩阵 A\*B，而 A∗B的每个元素需要 n次乘法和 n-1次加法，忽略加法，共需要 m∗n∗p次乘法运算。同样情况分析 A*B之后再乘以 C时的情况，共需要 m∗p∗q次乘法运算。因此， A选项 (AB)C需要的乘法次数是 m∗n∗p+m∗p∗q。同理分析， C选项 A (BC)需要的乘法次数是 n∗p∗q+m∗n∗q。

A.把除了最后一层外所有的层都冻结，重新训练最后一层

B.对新数据重新训练整个模型

C.只对最后几层进行调参(fine tune)

D.对每一层模型进行评估，选择其中的少数来用

答案：C

【解析】如果有个预先训练好的神经网络,就相当于网络各参数有个很靠谱的先验代替随机初始化.若新的少量数据来自于先前训练数据(或者先前训练数据量很好地描述了数据分布,而新数据采样自完全相同的分布),则冻结前面所有层而重新训练最后一层即可;但一般情况下,新数据分布跟先前训练集分布有所偏差,所以先验网络不足以完全拟合新数据时,可以冻结大部分前层网络,只对最后几层进行训练调参(这也称之为fine tune)。

增加神经网络层数,可能会增加测试数据集的分类错误率

减少神经网络层数,总是能减小测试数据集的分类错误率

增加神经网络层数,总是能减小训练数据集的分类错误率

A. 1

B. 1和 3

C. 1和 2

D. 2

答案：A

【解析】深度神经网络的成功,已经证明增加神经网络层数,可以增加模型范化能力,也就是，训练数据集和测试数据集都表现得更好。但这篇文献中（https://arxiv.org/pdf/1512.03385v1.pdf）,作者提到更多的层,也不一定能保证有更好的表现.所以不能绝对地说层数多的好坏,只能选A

A.分类过程中类别不平衡

B.实例分割过程中，相同类别图像距离过小

C.提取语义信息时，高层语义过少的时候

D.物体定位时，目标面积过小

答案：A

【解析】Focal Loss最初是在[RetinaNet](https://arxiv.org/abs/1708.02002)论文中提出，旨在解决one-stage目标检测中正负样本不均衡的问题，也可扩展到样本的类别不均衡问题上。该损失函数降低了大量简单负样本在训练中所占的权重。

参考自：https://github.com/amusi/daily-question/blob/master/README.md

❹ 自然语言处理（NLP）的基础难点：分词算法

自然语言处理（NLP，Natural Language Processing）是人工智能领域中的一个重要方向，主要研究人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理的底层任务由易到难大致可以分为词法分析、句法分析和语义分析。分词是词法分析（还包括词性标注和命名实体识别）中最基本的任务，也是众多NLP算法中必不可少的第一步，其切分准确与否往往与整体结果息息相关。

金融领域分词的难点

分词既简单又复杂。简单是因为分词的算法研究已经很成熟了，大部分的算法（如HMM分词、CRF分词）准确率都可以达到95%以上；复杂则是因为剩下的5%很难有突破，主要可以归结于三点：

▲粒度，即切分时的最小单位，不同应用对粒度的要求不一样，比如“融资融券”可以是一个词也可以是两个词

▲歧义，比如“恒生”一词，既可指恒生公司，又可指恒生指数

▲未登录词，即未出现在算法使用的词典中的词，比如不常见的专业金融术语，以及各种上市公司的名称

在金融领域中，分词也具有上述三个难点，并且在未登录词方面的难点更为突出，这是因为金融类词汇本来就多，再加上一些专有名词不仅有全称还有简称，这就进一步增大了难度。

在实际应用中，以上难点时常会造成分词效果欠佳，进而影响之后的任务。尤其是在一些金融业务中，有许多需要与用户交互的场景，某些用户会用口语化的词汇描述业务，如果分词错误会影响用户意图的解析，这对分词的准确性提出了更高的要求。因此在进行NLP上层应用开发时，需要对分词算法有一定的了解，从而在效果优化时有能力对分词器进行调整。接下来，我们介绍几种常用的分词算法及其应用在金融中的优劣。

几种常见的分词算法

分词算法根据其核心思想主要分为两种：

第一种是基于字典的分词，先把句子按照字典切分成词，再寻找词的最佳组合方式，包括最大匹配分词算法、最短路径分词算法、基于N-Gram model的分词算法等；

第二种是基于字的分词，即由字构词，先把句子分成一个个字，再将字组合成词，寻找最优的切分策略，同时也可以转化成序列标注问题，包括生成式模型分词算法、判别式模型分词算法、神经网络分词算法等。

最大匹配分词寻找最优组合的方式是将匹配到的最长词组合在一起，主要的思路是先将词典构造成一棵Trie树（也称为字典树），Trie树由词的公共前缀构成节点，降低了存储空间的同时可以提升查找效率。

最大匹配分词将句子与Trie树进行匹配，在匹配到根结点时由下一个字重新开始进行查找。比如正向（从左至右）匹配“他说的确实在理”，得出的结果为“他／说／的确／实在／理”。如果进行反向最大匹配，则为“他／说／的／确实／在理”。

这种方式虽然可以在O(n)时间对句子进行分词，但是只单向匹配太过绝对，尤其是金融这种词汇较丰富的场景，会出现例如“交易费/用”、“报价单/位”等情况，所以除非某些词的优先级很高，否则要尽量避免使用此算法。

最短路径分词算法首先将一句话中的所有词匹配出来，构成词图（有向无环图DAG），之后寻找从起始点到终点的最短路径作为最佳组合方式，例：

我们认为图中每个词的权重都是相等的，因此每条边的权重都为1。

在求解DAG图的最短路径问题时，总是要利用到一种性质：即两点之间的最短路径也包含了路径上其他顶点间的最短路径。比如S->A->B->E为S到E到最短路径，那S->A->B一定是S到B到最短路径，否则会存在一点C使得d(S->C->B)<d(S->A->B)，那S到E的最短路径也会变为S->C->B->E，这就与假设矛盾了。利用上述的最优子结构性质，可以利用贪心算法或动态规划两种求解算法：

（1）基于Dijkstra算法求解最短路径，该算法适用于所有带权有向图，求解源节点到其他所有节点的最短路径，并可以求得全局最优解；

（2）N-最短路径分词算法，该方法是对Dijkstra算法的扩展，在每一步保存最短的N条路径，并记录这些路径上当前节点的前驱，在最后求得最优解时回溯得到最短路径。这种方法的准确率优于Dijkstra算法，但在时间和空间复杂度上都更大。

相较于最大匹配分词算法，最短路径分词算法更加灵活，可以更好地把词典中的词组合起来，能更好地解决有歧义的场景。比如上述“他说的确实在理”这句话，用最短路径算法的计算结果为“他／说／的／确实／在理”，避免了正向最大匹配的错误。但是对于词典中未存在的词基本没有识别能力，无法解决金融领域分词中的“未登录词”难点。

N-Gram（又称N元语法模型）是基于一个假设：第n个词出现与前n-1个词相关，而与其他任何词不相关。在此种假设下，可以简化词的条件概率，进而求解整个句子出现的概率。

现实中，常用词的出现频率或者概率肯定比罕见词要大。因此，可以将求解词图最短路径的问题转化为求解最大概率路径的问题，即分词结果为“最有可能的词的组合“。

计算词出现的概率，仅有词典是不够的，还需要充足的语料，所以分词任务已经从单纯的“算法”上升到了“建模”，即利用统计学方法结合大数据挖掘，对“语言”（句子出现的概率）进行建模。

我们将基于N-gram模型所统计出的概率分布应用到词图中，可以得到词的概率图。对该词图用最短路径分词算法求解最大概率的路径，即可得到分词结果。

相较于前两种分词算法，基于N-Gram model的分词算法对词频进行了统计建模，在切分有歧义的时候力求得到全局最优值，比如在切分方案“证券/自营/业务”和“证券/自/营业/务”中，统计出“证券/自营/业务”出现的概率更大，因此结果有更高的准确率。但也依然无法解决金融场景中未登录词的问题。

生成式模型主要有隐马尔可夫模型（HMM，Hidden Markov Model）、朴素贝叶斯分类等。HMM是常用的分词模型，基于Python的jieba分词器和基于Java的HanLP分词器都使用了HMM。

HMM模型认为在解决序列标注问题时存在两种序列，一种是观测序列，即人们显性观察到的句子，另一种是隐状态序列，即观测序列的标签。假设观测序列为X，隐状态序列是Y，则因果关系为Y->X。因此要得到标注结果Y，必须对X的概率、Y的概率、P(X|Y)进行计算，即建立P(X,Y)的概率分布模型。

HMM算法可以在一定程度上解决未登录词的问题，但生成式模型的准确率往往没有接下来要谈到的判别式模型高。

判别式模型主要有感知机、支持向量机（SVM，Support Vector Machine）、条件随机场（CRF，Conditional Random Field）、最大熵模型等，其中感知机模型和CRF模型是常用的分词模型。

（1）平均感知机分词算法

感知机是一种简单的二分类线性模型，通过构造超平面，将特征空间（输入空间）中的样本分为正负两类。通过组合，感知机也可以处理多分类问题。但由于每次迭代都会更新模型的所有权重，被误分类的样本会造成很大影响，因此采用平均的方法，在处理完一部分样本后对更新的权重进行平均。

（2）CRF分词算法

CRF可以看作一个无向图模型，假设给定的标注序列为Y，观测序列为X，CRF对条件概率P(Y|X)进行定义，而不是对联合概率建模。

平均感知机算法虽然速度快，但仍不够准确。适合一些对速度要求高、对准确性要求相对不那么高的场景。CRF分词算法可以说是目前最常用的分词、词性标注和实体识别算法，它对未登陆词也有很好的识别能力，是目前在速度、准确率以及未登录词识别上综合表现最突出的算法，也是我们目前所采用的解决方案，但速度会比感知机慢一些。

在NLP中，最常用的神经网络为循环神经网络（RNN，Recurrent Neural Network），它在处理变长输入和序列输入问题中有着巨大的优势。LSTM（Long Short-Term Memory，长短期记忆网络）为RNN变种的一种，在一定程度上解决了RNN在训练过程中梯度消失和梯度爆炸的问题。

目前对于序列标注任务，业内公认效果最好的模型是BiLSTM+CRF。相比于上述其它模型，双向循环神经网络BiLSTM，可以更好地编码当前字等上下文信息，并在最终增加CRF层，核心是用Viterbi算法进行解码，以得到全局最优解，避免B,S,E这种不可能的标记结果的出现，提高准确率。

神经网络分词虽然能在准确率、未登录词识别上有更好的表现，但RNN无法并行计算，在速度上没有优势，所以该算法通常在算法研究、句子精确解析等对速度要求不高的场景下使用。

分词作为NLP底层任务之一，既简单又重要，很多时候上层算法的错误都是由分词结果导致的。因此，对于底层实现的算法工程师，不仅需要深入理解分词算法，更需要懂得如何高效地实现和调试。

而对于上层应用的算法工程师，在实际分词时，需要根据业务场景有选择地应用上述算法，比如在搜索引擎对大规模网页进行内容解析时，对分词对速度要求大于精度，而在智能问答中由于句子较短，对分词的精度要求大于速度。

❺ SVM算法原理

一、决策面方程

以二维空间为例，二维空间中任意一条直线方程可以写为

我们将其向量化，可以得到

设用向量w代表矩阵a1和a2，用向量x代表矩阵x1和x2，标量γ代表b，则方程可化表示为

从方程可知，一个n维空间的超平面在二维空间上的表现，可以是一条直线，或者一个曲线（二维空间中只能看到这个n维超平面穿过而无法看到其模样）， 超平面方程即是我们的决策面方程

二、函数间隔和几何间隔

在SVM监督学习中，我们规定标签数据为+1和-1两个值，这么做的目的， 可以计算出任意一个样本点在超平面方程上的表现结果的符号，与标签符号是否一致来判断分类的正确性 ，为此我们可以引入函数间隔的概念

但是当我们成比例的缩放w和γ，函数间隔的值也将成比例的变化，可是超平面的位置并没有发生任何变化，所以函数间隔并不是我们想要的分类间隔，为此，我们需要引入几何间隔的概念

还是以二维空间出发，任意一点到直线的距离可以写成

我们将其拓展到n维空间，直线方程即是我们的超平面方程，则n维空间中任何一点到超平面的距离可以写成

为此，我们引入几何间隔概念，其中||w||表示向量w的二范数

从几何间隔可以看出，就算等比例缩放w和γ，由于除上了||w||使得几何间隔的值不会改变，它只随着超平面位置的变化而变化，因此， 我们要寻找的分类间隔是几何间隔

三、不等式约束条件

SVM算法的目的是找到一个将分类效果达到最合理化的超平面，这个超平面即是分类器 。而评估分类器的好坏的标准就是分类间隔的大小

我们定义分类间隔的距离为d，好的分类器应该让所有样本点到决策面的几何间隔都大于等于d

化简上式，不等式两边同时除以d可得

由于||w||和d都是标量，可定义

则上式可化简为

在不等式两边同时乘以yi，即将两个式子化简为一个式子（这里体现了正是因为标签数据为+1和-1，才方便将约束条件变成一个约束方程）

这个约束方程的意义 即是任何样本点到超平面（分类器）的几何间隔都大于等于分类间隔

四、SVM最优化模型的数学描述

评估分类器的优劣是分类间隔的大小，且对于任意样本点都满足约束方程

由约束方程可知，当样本点落在支持向量边界上有如下关系

则分类间隔d可以表示为支持向量点到超平面的几何间隔

要让任何样本点都在d之外，即求分类间隔d的最大值，则目标函数可以写成

为了方便在后续最优化处理中对目标函数的求导，我们将目标函数做等效变化

由目标函数是二次的，而约束条件是线性的，则 SVM的数学模型即是：不等式约束条件下的二次型函数优化 ，而求解这一类优化问题，接下来我们需要构造 拉格朗乘子函数

五、引入拉格朗函数

目标函数是求解在约束条件g(x)下的二次型函数f(x)的最小值，直观上我们希望构造一个函数L(x)，使得L(x)在f(x)的可行解区域内的求出的值和f(x)求出的值完全一样，而在f(x)的可行解区域外，L(x)的值又接近无穷大，这么做的目的，使得我们可以用一个函数L(x)来等效表示原问题的g(x)和f(x)

拉格朗函数的目的，就是将约束条件融合到目标函数中，构造一个新函数来表示目标函数，将有约束的优化问题转化为无约束的优化问题

下面，我们构造拉格朗函数来表示目标函数

其中αi是拉格朗日乘子，每一个约束条件对应一个拉格朗日乘子，其中αi大于等于0

则原优化问题可以转化为

讨论如下条件(1)(2)：

(1) 当样本点不满足约束条件时，即说明在 可行解区域外

此时将αi置为正无穷大，那么θ(w)显然也是正无穷大

(2) 当样本点满足约束条件时，即说明在 可行解区域内

此时θ(w)的最小值就是原目标函数，于是综上所述，引入拉格朗乘子函数后，可以得到新的目标函数

我们用p*表示优化目标函数后的最优解，且与最初的目标函数等价

观察新的目标函数，如果直接求偏导数求解，那么一上来将面对w和b两个未知参数，而αi又是不等式约束，求解过程将非常复杂。换一个角度思考，如果将max和min的位置对调，变成如下新的目标函数

上式变化使用了 拉格朗日函数的对偶性，交换后的新问题即是原目标函数的对偶问题 ，我们用d*来表示对偶目标函数的最优解，可见d*的求导过程比p*相对容易，且d*<=p*，而当满足下列条件时，d*= p*

因为目标函数本身已经是一个凸函数，而优化问题又是求解最小值，所以目标函数的最优化问题就是凸优化问题，则接下来就要重点讨论KKT条件

六、KKT条件的描述

一个最优化模型能够表示成下列标准形式

其中f(x)是需要最小化的函数，h(x)是等式约束，g(x)是不等式约束，m和n分别是等式约束和不等式约束的数量

KKT条件即是规定f(x)的 最优值 必须满足以下(1)(2)(3)条件， 只有满足KKT条件，目标函数的最优化问题依然可以用拉格朗日乘子法解决

很明显，我们需要优化的目标函数属于带有不等式约束函数g(x)，所以条件二显然满足，下面我们来分析条件一和条件三的理论

七、目标函数的等高线与约束条件的最优值分析（条件一）

对于KKT条件一的分析，我们假设目标函数是f(x1,x2)的二元函数，它的图像在三维空间里是一个曲面，准确的来说是一个凸曲面

其中g(x1,x2)是约束方程，要求目标函数f(x1,x2)的最小值，即转化为 求g(x1,x2)=c这条曲线上的一点，使得f(x1,x2)取得最小值，换个比喻，就是在山上（目标函数曲面）寻找一条山路（约束条件曲线）的最低点

我们画出目标函数的等高线，来分析目标函数最优值和约束条件的关系

对于研究目标函数z=f(x1,x2)，当z取不同的值，即将曲线z投影在(x1,x2)组成的空间中（这里指的是二维空间），也就是曲面的等高线，上图中d1和d2即是两条目标函数的等高线，可以看出，当约束函数g(x1,x2)与目标函数的等高线有共同的交点， 即证明这组值同时满足在目标函数的可行域中，也符合约束条件的约束关系

如果等高线与g(x1,x2) 相交 ，则是一组目标函数的解，但是这个解一定不是最优解， 因为相交意味着肯定存在其它等高线在该条等高线的内部或者外部 ，可能会使得新的等高线与g(x1,x2)的交点更大或者更小，这就意味着只有当等高线与g(x1,x2) 相切 ，才可能得到最优解（切线可能多条）

所以最优解必须满足： 目标函数的负梯度方向与约束函数的梯度方向一致

而上式恒成立的条件就是： 拉格朗日乘子α >= 0 ，且这个式子就是目标函数对各个参数求偏导数的结果，即KKT的第一个条件：目标函数对各个参数的导数为0

八、分类讨论约束条件和拉格朗日乘子的组合（条件三）

对于KKT条件三，可以看出，因为所有的约束函数gi(x)<=0，所有的拉格朗日乘子αi>=0，要使得求和后结果为0，要么某个约束函数gi(x)=0，要么其对应的αi=0

从一个案例出发来分析KKT条件三的逻辑，假设目标函数和约束函数是

将不等式约束构造出拉格朗日函数，并分别对x1和x2求偏导数

而KKT的条件三要求最优解满足 ∑α*g(x) = 0，在这个案例里α和g(x)只有一个，结合条件一，可以得到

根据之前的分析，最优值满足条件三的话，要么α=0，要么g(x)=0

（i）：如果α=0，则x1=1，x2=-2，代入g(x1,x2) =10-1-10*(-2)=29>0，发现这组解违背了约束函数g(x)<0，则舍弃这组解

（ii）: 如果g(x1,x2)=0，则代入x1和x2的表达式到g(x)中，解出α=58/101>0，发现这组解不违背约束函数，则代入α解出x1=130/101，x2=88/101，则这组解有可能是最优解

综上(i)(ii)讨论，目标函数的最优值符合KKT条件三，也说明了 满足强对偶条件的优化问题的最优值必须满足KKT条件

九、求解对偶问题

上面分析了目标函数满足凸优化和KKT条件，则问题转化为求解原问题的对偶问题（即p*=d*）

根据对偶问题描述，先要求内侧w和b关于L(w,b,α)的最小化值，即求L对w和b的偏导数

将w和b的偏导数带入拉格朗函数化简得

整理一下最终化简结果为

从上述结果可以看出，样本的x和y是已知的，此时的 L(w,b,α)函数只有一个变量，即αi

我们归纳一下现在的目标函数为

现在目标函数变成了如上形式，其中αi>=0，这里隐含着一个假设，即数据100%线性可分，但是现实生活中，数据往往是不会那么规则的线性化，为此我们需要引入松弛变量

十、引入松弛变量

由于现实世界中的数据都是带有噪音的，也就是数据可能出偏离其正常的位置很远，而出现这种极端现象后往往会影响超平面的选择，也许将无法构造出将数据彻底分开的超平面出来

所以对于处理这种情况， SVM需要允许（妥协）出某些噪音很大的数据点能够偏离超平面，即允许其出现在超平面的错误的一侧 ，为此我们引入松弛变量C，这样我们的目标函数又变为

接下来为了研究讨论αi的取值范围，我们加上一个负号将目标函数等价转化为

十一、讨论拉格朗乘子的取值意义和其值域

回顾一下最初的约束条件为

设ui为该约束条件，可以归纳出αi关于约束函数的取值意义

αi只有满足上述3种情况，才能求出最优解，所以 当αi与约束条件ui冲突的时候，需要更新这些αi ，这也就是满足目标函数的第一个约束限制，即0<=αi<=C

而同时目标函数还受到第二个约束条件的限制，即

所以不能只更新一个αi因子，需要同时再次更新第二个αj因子，也就是 α因子总是成对的更新（αi对总是和αj配对），一增一减，此消彼长，才能保证加权和为0的约束 ，同时这也就是下面提及SMO算法的思想和多元函数化简为二元函数，在从二元函数化简为一元函数的难点

根据这个约束和α因子需要成对更新，假设我们选取的两个拉格朗乘子为α1和α2，则更新之前是old，更新之后是new，且更新前后需要满足和为0的约束

两个因子同时更新显然非常困难，所以需要先求出第一个αj的解，再用αj的解去表示更新第二个αi的解 ，后文的SMO算法会阐述这一点。因此需要先确定αj的取值范围，假设L和H分别为它的下界和上界，结合目标函数的约束限制来综合讨论L和H的取值关系

（i）：当y1和y2异号时，可以得到

移项可得a2 = a1 - A，此时α的取值范围如下图所示

所以此时α的上下界H和L为

（ii）：当y1和y2同号时，可以得到

移项可得a2 = -a1 + A，此时α的取值范围如下图所示

所以此时α的上下界H和L为

综上(i)(ii)的讨论，通过y1和y2的异号或者同号，可以推导出α更新后的上下界分别为

这个公式显得非常的重要，它将α因子限制在有效的矩形范围内，在SMO算法中，当我们更新完α后，由于α可能会被更新得很大或很小，因此需要经过裁剪来保证α的在约束条件内

12、SMO算法的思想

回顾之前第九，第十，第十一步的分析，目标函数为

目标函数只包含n个变量α的 多元函数 ，且带有两个约束条件，我们的 目的是求出目标函数的最小值，即找到一组α的组合，使得目标函数取得最小值

由第十一步的分析，我们需要不断更新这n个α因子，通过迭代来逼近函数达到最小值，但是如果一次性更新n个参数，将会有n!种组合，那么时间复杂度将会非常高，为此我们首先想到 坐标上升（下降）法

来通过一个例子来说明坐标上升法的思路

可知案例中要求一个三元函数的最大值， 算法的思想是每次迭代时只更新一个维度，通过多次迭代直到收敛来优化函数的最值 ，求出三个变量的偏导数推出其关系

通过迭代即就可以求出其最值

SMO算法借鉴了坐标上升（下降）法的思想来优化α因子组合，但是由于目标函数的第二个约束条件有加权和为0的限制，导致每次迭代时候不能只更新一个因子αi，必须同时更新与之配对的另一个因子αj，此消彼长才能保证加权和为0（第十一步中已提及）

所以SMO算法思想是将原始问题中，求解n个参数的二次规划问题，分解成了多个子二次规划问题来分别求解，每一个子问题只需要求解2个参数，即将多元函数推导为二元函数，再将二元函数推导为一元函数

13、多元函数推导为二元函数

目标函数是关于α的N元函数，通过SMO的算法思想，假设每次迭代更新，选取一对α1和α2的组合，其余的乘子不变， 首先需要将α1和α2从目标函数中分离出来 ，也就是将多元函数推导为二元函数

从N元函数中分离出α1和α2因子

由于上式推导结果过于复杂，我们定义2个表达式来表示上式常量部分，用来简化上式

又由于单独存下的常数项对以后的求导没有贡献，所以我们提出单独的常数项定义为Constant

带入vi和Constant表达式，则结果化简为

至此，我们将 多元函数推导为含有α1和α2变量的二元函数 ，接下来将这个二元函数推导为一元函数

14、二元函数推导为一元函数

我们需要推导出α1和α2的关系，然后用α2来表示α1带入二元函数，就可以推导出关于α2的一元函数了

由目标函数的第二个约束条件

同理根据SMO算法思想，从约束条件中分离出α1和α2

将等式两边同时乘以y1，可推导出α1和α2的关系

同理，我们定义两个表达式r和s来表示上式的常量部分，用来简化上式关系

带入r和s后，α1和α2的关系推导为

下面将α1带入我们的二元函数中，可得

至此， 我们将二元函数推导为只含有一个变量α2的一元函数 ，接下来终于可以对目标函数求导了

15、求解一元函数的偏导数，推导出第一个拉格朗乘子的递推关系

我们对一元函数求α2的偏导数为0

带入s=y1*y2和y2*y2=1，整理上式可求出α2

❻ 你知道支持向量机（SVM）是什么意思吗

超级通俗的解释：支持向量机是用来解决分类问题的。先考虑最简单的情况，豌豆和米粒，用晒子很快可以分开，小颗粒漏下去，大颗粒保留。用一个函数来表示就是当直径d大于某个值D，就判定为豌豆，小于某个值就是米粒。d>D, 豌豆d<D,米粒在数轴上就是在d左前销边就是米粒，右边就是慧宴游绿豆，这是一维的情况。但是实际问题没这么简单，祥链考虑的问题不单单是尺寸，一个花的两个品种，怎么分类，假设决定他们分类的有两个属性，花瓣尺寸和颜色。单独用一个属性来分类，像刚才分米粒那样，就不行了。这个时候我们设置两个值尺寸x和颜色y.我们把所有的数据都丢到x-y平面上作为点，按道理如果只有这两个属性决定了两个品种，数据肯定会按两类聚集在这个二维平面上。

❼ 数据挖掘十大算法-

整理里一晚上的数据挖掘算法，其中主要引自wiki和一些论坛。发布到上作为知识共享，但是发现Latex的公式转码到网页的时候出现了丢失，暂时没找到解决方法，有空再回来填坑了。

——编者按

一、 C4.5

C4.5算法是由Ross Quinlan开发的用于产生决策树的算法[1]，该算法是对Ross Quinlan之前开发的ID3算法的一个扩展。C4.5算法主要应用于统计分类中，主要是通过分析数据的信息熵建立和修剪决策树。

1.1 决策树的建立规则

在树的每个节点处，C4.5选择最有效地方式对样本集进行分裂，分裂规则是分析所有属性的归一化的信息增益率，选择其中增益率最高的属性作为分裂依据，然后在各个分裂出的子集上进行递归操作。

依据属性A对数据集D进行分类的信息熵可以定义如下：

划分前后的信息增益可以表示为：

那么，归一化的信息增益率可以表示为：

1.2 决策树的修剪方法

C4.5采用的剪枝方法是悲观剪枝法(Pessimistic Error Pruning，PEP)，根据样本集计算子树与叶子的经验错误率，在满足替换标准时，使用叶子节点替换子树。

不妨用K表示训练数据集D中分类到某一个叶子节点的样本数，其中其中错误分类的个数为J，由于用估计该节点的样本错误率存在一定的样本误差，因此用表示修正后的样本错误率。那么，对于决策树的一个子树S而言，设其叶子数目为L(S)，则子树S的错误分类数为：

设数据集的样本总数为Num，则标准错误可以表示为：

那么，用表示新叶子的错误分类数，则选择使用新叶子节点替换子树S的判据可以表示为：

二、KNN

最近邻域算法(k-nearest neighbor classification, KNN)[2]是一种用于分类和回归的非参数统计方法。KNN算法采用向量空间模型来分类，主要思路是相同类别的案例彼此之间的相似度高，从而可以借由计算未知样本与已知类别案例之间的相似度，来实现分类目标。KNN是一种基于局部近似和的实例的学习方法，是目前最简单的机器学习算法之一。

在分类问题中，KNN的输出是一个分类族群，它的对象的分类是由其邻居的“多数表决”确定的，k个最近邻居（k为正整数，通常较小）中最常见的分类决定了赋予该对象的类别。若k = 1，则该对象的类别直接由最近的一个节点赋予。在回归问题中，KNN的输出是其周围k个邻居的平均值。无论是分类还是回归，衡量邻居的权重都非常重要，目标是要使较近邻居的权重比较远邻居的权重大，例如，一种常见的加权方案是给每个邻居权重赋值为1/d，其中d是到邻居的距离。这也就自然地导致了KNN算法对于数据的局部结构过于敏感。

三、Naive Bayes

在机器学习的众多分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian Model，NBC)[3]。朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。

在假设各个属性相互独立的条件下，NBC模型的分类公式可以简单地表示为：

但是实际上问题模型的属性之间往往是非独立的，这给NBC模型的分类准确度带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型；而在属性相关性较小时，NBC模型的性能最为良好。

四、CART

CART算法(Classification And Regression Tree)[4]是一种二分递归的决策树，把当前样本划分为两个子样本，使得生成的每个非叶子结点都有两个分支，因此CART算法生成的决策树是结构简洁的二叉树。由于CART算法构成的是一个二叉树，它在每一步的决策时只能是“是”或者“否”，即使一个feature有多个取值，也是把数据分为两部分。在CART算法中主要分为两个步骤：将样本递归划分进行建树过程；用验证数据进行剪枝。

五、K-means

k-平均算法(k-means clustering)[5]是源于信号处理中的一种向量量化方法，现在则更多地作为一种聚类分析方法流行于数据挖掘领域。k-means的聚类目标是：把n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离他最近的均值（此即聚类中心）对应的聚类。

5.1 k-means的初始化方法

通常使用的初始化方法有Forgy和随机划分(Random Partition)方法。Forgy方法随机地从数据集中选择k个观测作为初始的均值点；而随机划分方法则随机地为每一观测指定聚类，然后执行“更新”步骤,即计算随机分配的各聚类的图心，作为初始的均值点。Forgy方法易于使得初始均值点散开，随机划分方法则把均值点都放到靠近数据集中心的地方；随机划分方法一般更适用于k-调和均值和模糊k-均值算法。对于期望-最大化(EM)算法和标准k-means算法，Forgy方法作为初始化方法的表现会更好一些。

5.2 k-means的标准算法

k-means的标准算法主要包括分配(Assignment)和更新(Update)，在初始化得出k个均值点后，算法将会在这两个步骤中交替执行。

分配(Assignment)：将每个观测分配到聚类中，使得组内平方和达到最小。

更新(Update)：对于上一步得到的每一个聚类，以聚类中观测值的图心，作为新的均值点。

六、Apriori

Apriori算法[6]是一种最有影响的挖掘布尔关联规则频繁项集的算法，其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。Apriori采用自底向上的处理方法，每次只扩展一个对象加入候选集，并且使用数据集对候选集进行检验，当不再产生匹配条件的扩展对象时，算法终止。

Apriori的缺点在于生成候选集的过程中，算法总是尝试扫描整个数据集并尽可能多地添加扩展对象，导致计算效率较低；其本质上采用的是宽度优先的遍历方式，理论上需要遍历次才可以确定任意的最大子集S。

七、SVM

支持向量机(Support Vector Machine, SVM)[7]是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

除了进行线性分类之外，SVM还可以使用所谓的核技巧有效地进行非线性分类，将其输入隐式映射到高维特征空间中，即支持向量机在高维或无限维空间中构造超平面或超平面集合，用于分类、回归或其他任务。直观来说，分类边界距离最近的训练数据点越远越好，因为这样可以缩小分类器的泛化误差。

八、EM

最大期望算法(Expectation–Maximization Algorithm, EM)[7]是从概率模型中寻找参数最大似然估计的一种算法。其中概率模型依赖于无法观测的隐性变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望(E)，利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化(M)，最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。

九、PageRank

PageRank算法设计初衷是根据网站的外部链接和内部链接的数量和质量对网站的价值进行衡量。PageRank将每个到网页的链接作为对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。

算法假设上网者将会不断点网页上的链接，当遇到了一个没有任何链接出页面的网页，这时候上网者会随机转到另外的网页开始浏览。设置在任意时刻，用户到达某页面后并继续向后浏览的概率，该数值是根据上网者使用浏览器书签的平均频率估算而得。PageRank值可以表示为：

其中，是被研究的页面集合，N表示页面总数，是链接入页面的集合，是从页面链接处的集合。

PageRank算法的主要缺点是的主要缺点是旧的页面等级会比新页面高。因为即使是非常好的新页面也不会有很多外链，除非它是某个站点的子站点。

十、AdaBoost

AdaBoost方法[10]是一种迭代算法，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率。每一个训练样本都被赋予一个权重，表明它被某个分类器选入训练集的概率。如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它被选中的概率就被降低；相反，如果某个样本点没有被准确地分类，那么它的权重就得到提高。通过这样的方式，AdaBoost方法能“聚焦于”那些较难分的样本上。在具体实现上，最初令每个样本的权重都相等，对于第k次迭代操作，我们就根据这些权重来选取样本点，进而训练分类器Ck。然后就根据这个分类器，来提高被它分错的的样本的权重，并降低被正确分类的样本权重。然后，权重更新过的样本集被用于训练下一个分类器Ck[，并且如此迭代地进行下去。

AdaBoost方法的自适应在于：前一个分类器分错的样本会被用来训练下一个分类器。AdaBoost方法对于噪声数据和异常数据很敏感。但在一些问题中，AdaBoost方法相对于大多数其它学习算法而言，不会很容易出现过拟合现象。AdaBoost方法中使用的分类器可能很弱（比如出现很大错误率），但只要它的分类效果比随机好一点（比如两类问题分类错误率略小于0.5），就能够改善最终得到的模型。而错误率高于随机分类器的弱分类器也是有用的，因为在最终得到的多个分类器的线性组合中，可以给它们赋予负系数，同样也能提升分类效果。

引用

[1] Quinlan, J. R. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers, 1993.

[2] Altman, N. S. An introction to kernel and nearest-neighbor nonparametric regression. The American Statistician. 1992, 46 (3): 175–185. doi:10.1080/00031305.1992.10475879

[3] Webb, G. I.; Boughton, J.; Wang, Z. Not So Naive Bayes: Aggregating One-Dependence Estimators. Machine Learning (Springer). 2005, 58 (1): 5–24. doi:10.1007/s10994-005-4258-6

[4] decisiontrees.net Interactive Tutorial

[5] Hamerly, G. and Elkan, C. Alternatives to the k-means algorithm that find better clusterings (PDF). Proceedings of the eleventh international conference on Information and knowledge management (CIKM). 2002

[6] Rakesh Agrawal and Ramakrishnan Srikant. Fast algorithms for mining association rules in large databases. Proceedings of the 20th International Conference on Very Large Data Bases, VLDB, pages 487-499, Santiago, Chile, September 1994.

[7] Cortes, C.; Vapnik, V. Support-vector networks. Machine Learning. 1995, 20 (3): 273–297. doi:10.1007/BF00994018

[8] Arthur Dempster, Nan Laird, and Donald Rubin. "Maximum likelihood from incomplete data via the EM algorithm". Journal of the Royal Statistical Society, Series B, 39 (1):1–38, 1977

[9] Susan Moskwa. PageRank Distribution Removed From WMT. [October 16, 2009]

[10] Freund, Yoav; Schapire, Robert E. A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting. 1995. CiteSeerX: 10.1.1.56.9855