梯度下降算法

Ⅰ 什么是梯度下降算法

梯度下降是迭代法的一种，梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。
梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。

Ⅱ 梯度下降法原理和步骤

一、梯度法思想
梯度法思想的三要素：出发点、下降方向、下降步长。
机器学习中常用的权重更新表达式为
：，这里的λ就是学习率，本文从这个式子出发来把机器学习中的各种“梯度”下降法阐释清楚。
机器学习目标函数，一般都是凸函数，什么叫凸函数？限于篇幅，我们不做很深的展开，在这儿我们做一个形象的比喻，凸函数求解问题，可以把目标损失函数想象成一口锅，来找到这个锅的锅底。非常直观的想法就是，我们沿着初始某个点的函数的梯度方向往下走（即梯度下降）。在这儿，我们再作个形象的类比，如果把这个走法类比为力，那么完整的三要素就是步长（走多少）、方向、出发点，这样形象的比喻，让我们对梯度问题的解决豁然开朗，出发点很重要，是初始化时重点要考虑的，而方向、步长就是关键。事实上不同梯度的不同就在于这两点的不同！
梯度方向是

，步长设为常数Δ，这时就会发现，如果用在梯度较大的时候，离最优解比较远，W的更新比较快；然而到了梯度较小的时候，也就是较靠近最优解的时候，W的更新竟然也保持着跟原来一样的速率，这样会导致W很容易更新过度反而远离了最优解，进而出现在最优解附近来回震荡。所以，既然在远离最优解的时候梯度大，在靠近最优解的时候梯度小，我们让步长随着这个律动，于是我我们就用λ|W|来代替Δ，最后得到了我们熟悉的式子：

所以说这时的λ是随着坡度的陡缓而变化的，别看它是个常数。
二、全量梯度下降法（Batch gradient descent）
全量梯度下降法每次学习都使用整个训练集，因此每次更新都会朝着正确的方向进行，最后能够保证收敛于极值点，凸函数收敛于全局极值点，非凸函数可能会收敛于局部极值点，缺陷就是学习时间太长，消耗大量内存。
第二、随机梯度下降法（Stochastic Gradient Descent）
SGD一轮迭代只用一条随机选取的数据，尽管SGD的迭代次数比BGD大很多，但一次学习时间非常快。
SGD的缺点在于每次更新可能并不会按照正确的方向进行，参数更新具有高方差，从而导致损失函数剧烈波动。不过，如果目标函数有盆地区域，SGD会使优化的方向从当前的局部极小值点跳到另一个更好的局部极小值点，这样对于非凸函数，可能最终收敛于一个较好的局部极值点，甚至全局极值点。
缺点是，出现损失函数波动，并且无法判断是否收敛。

Ⅲ 机器学习中的降维算法和梯度下降法

机器学习中有很多算法都是十分经典的，比如说降维算法以及梯度下降法，这些方法都能够帮助大家解决很多问题，因此学习机器学习一定要掌握这些算法，而且这些算法都是比较受大家欢迎的。在这篇文章中我们就给大家重点介绍一下降维算法和梯度下降法。
降维算法
首先，来说一说降维算法，降维算法是一种无监督学习算法，其主要特征是将数据从高维降低到低维层次。在这里，维度其实表示的是数据的特征量的大小，当特征量大的话，那么就给计算机带来了很大的压力，所以我们可以通过降维计算，把维度高的特征量降到维度低的特征量，比如说从4维的数据压缩到2维。类似这样将数据从高维降低到低维有两个好处，第一就是利于表示，第二就是在计算上也能带来加速。
当然，有很多降维过程中减少的维度属于肉眼可视的层次，同时压缩也不会带来信息的损失。但是如果肉眼不可视，或者没有冗余的特征，这怎么办呢？其实这样的方式降维算法也能工作，不过这样会带来一些信息的损失。不过，降维算法可以从数学上证明，从高维压缩到的低维中最大程度地保留了数据的信息。所以说，降维算法还是有很多好处的。
那么降维算法的主要作用是什么呢？具体就是压缩数据与提升机器学习其他算法的效率。通过降维算法，可以将具有几千个特征的数据压缩至若干个特征。另外，降维算法的另一个好处是数据的可视化。这个优点一直别广泛应用。
梯度下降法
下面我们给大家介绍一下梯度下降法，所谓梯度下降法就是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。好比将函数比作一座山，我们站在某个山坡上，往四周看，从哪个方向向下走一小步，能够下降的最快;当然解决问题的方法有很多，梯度下降只是其中一个，还有很多种方法。
在这篇文章中我们给大家介绍了关于机器算法中的降维算法以及梯度下降法，这两种方法是机器学习中十分常用的算法，降维算法和梯度下降法都是十分实用的，大家在进行学习机器学习的时候一定要好好学习这两种算法，希望这篇文章能够帮助大家理解这两种算法。

Ⅳ 随机梯度下降法原理和步骤

随机梯度下降主要用来求解类似于如下求和形式的优化问题：
[公式]
梯度下降法：
[公式]
当[公式]很大时，每次迭代计算所有的[公式]会非常耗时。
随机梯度下降的想法就是每次在[公式]中random选取一个计算代替如上的[公式]，以这个随机选取的方向作为下降的方向。
[公式][公式]
由于[公式], 当选取step size [公式]时，算法在期望的意义下收敛。
注意到在[公式] 靠近极小值点[公式]时，[公式]，这导致随机梯度下降法精度低。由于方差的存在，要使得算法收敛，就需要[公式]随[公式]逐渐减小。因此导致函数即使在强凸且光滑的条件下，收敛速度也只有[公式]. 后来提出的变种SAG，SVRG，SDCA都是在降方差，为了保证在[公式]时，方差趋于0。以上提到的几种变种都能达到线性收敛速度。

Ⅳ 梯度下降法和粒子群优化算法的区别

粒子群(PSO)算法是近几年来最为流行的进化算法，最早是由Kenned和Eberhart于1995年提出.PSO 算法和其他进化算法类似，也采用“群体”和“进化”的概念，通过个体间的协作与竞争，实现复杂空间中最优解的搜索．PSO 先生成初始种群，即在可行解空间中随机初始化一群粒子，每个粒子都为优化问题的一个可行解，并由目标函数为之确定一个适应值(fitness value)．PSO 不像其他进化算法那样对于个体使用进化算子，而是将每个个体看作是在n 维搜索空间中的一个没有体积和重量的粒子，每个粒子将在解空间中运动，并由一个速度决定其方向和距离.通常粒子将追随当前的最优粒子而运动，并经逐代搜索最后得到最优解．在每一代中，粒子将跟踪两个极值，一为粒子本身迄今找到的最优解 pbest ，另一为全种群迄今找到的最优解 gbest．由于认识到 PSO 在函数优化等领域所蕴含的广阔的应用前景，在 Kenned 和 Eberhart 之后很多学者都进行了这方面的研究.目前已提出了多种 PSO改进算法，并广泛应用到许多领域。

Ⅵ 梯度下降算法 如何避免局部最优

单纯的梯度下降算法是收敛于局部最优解的，如果要求实现全局最优解的话可以考虑加入退火算法或者遗传算法之类的思想，简单说就是在搜索过程中不但有基于梯度下降的方向，同时也融入少量的逆向搜索，最终设定一个收敛域即可。

Ⅶ 批量梯度下降法一定可以到全局最优点吗

Linear Regression 的cost function如下：

拟合函数最终一定会收敛到全局最优解

如果损失函数是非凸函数则不一定，因为参数初值的设置必然影响最终收敛的位置，能否达到全局最优解主要取决于参数初值的设置。

批量梯度下降法就是最普通的梯度下降法而已，相比于随机梯度下降法来说只是更容易收敛到全局最优点，这是由于批量操作在一定程度上起到了淹没噪声影响的作用。但是，批量梯度下降法在损失函数为非凸函数的情况下仍然不能保证一定可以达到全局最优点。

Ⅷ 梯度上升算法与梯度下降算法求解回归系数怎么理解

如果grad为梯度阵mean(mean(grad))就是所有点灰度梯度的平均值。
其实是一回事了。最小化损失函数，就用梯度下降，最大化似然函数，就用梯度上升。
本质上都是一样的。

Ⅸ 用matlab实现梯度下降算法（gradient descent）。

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)
%GRADIENTDESCENT Performs gradient descent to learn theta
% theta = GRADIENTDESENT(X, y, theta, alpha, num_iters) updates theta by
% taking num_iters gradient steps with learning rate alpha
% Initialize some useful values
m = length(y); % number of training examples
J_history = zeros(num_iters, 1);
for iter = 1:num_iters,
% ====================== YOUR CODE HERE ======================
% Instructions: Perform a single gradient step on the parameter vector
% theta.
%
% Hint: While debugging, it can be useful to print out the values
% of the cost function (computeCost) and gradient here.

p=theta(1)-alpha*(1/m)*(sum((X*theta-y).*X(:,1)));
q=theta(2)-alpha*(1/m)*(sum((X*theta-y).*X(:,2)));
theta(1)=p;
theta(2)=q;

% ============================================================
% Save the cost J in every iteration
J_history(iter) = computeCost(X, y, theta);
end
end

Ⅹ 随机梯度下降算法和梯度下降算法的区别

梯度下降算法是一个比较广的概念， 意思是： 你优化一个函数/分类器时，如何减少它的误差？不妨选择梯度下降方向，该方向很可能是走向最优点的方向。

然后加上一个随机，表示： 既然你知道 方向是：梯度方向了，那么走多长呢？ 答案是：随机。所以，梯度下降算法包括 随机梯度下降算法。