梯度算法

❶ 图像锐化技术中的梯度法、拉普拉斯算法、Robert算法，哪种比较简单请大神指教

梯度比较简单 只说原理的话 其实robert算法等都挺容易理解。就是将像素用其周围的像素的某种结合来代替，来找到边缘

❷ 梯度上升算法与梯度下降算法求解回归系数怎么理解

如果grad为梯度阵mean(mean(grad))就是所有点灰度梯度的平均值。
其实是一回事了。最小化损失函数，就用梯度下降，最大化似然函数，就用梯度上升。
本质上都是一样的。

❸ 如何理解近端梯度算法

L1正则化是一种常用的获取稀疏解的手段，同时L1范数也是L0范数的松弛范数。求解L1正则化问题最常用的手段就是通过加速近端梯度算法来实现的。

考虑一个这样的问题：

minx f(x)+λg(x)

x∈Rn，f(x)∈R，这里f(x)是一个二阶可微的凸函数，g(x)是一个凸函数（或许不可导），如上面L1的正则化||x||。

此时，只需要f(x)满足利普希茨（Lipschitz）连续条件，即对于定义域内所有向量x,y，存在常数M使得||f'(y)-f'(x)||<=M·||y-x||，那么这个模型就可以通过近端梯度算法来进行求解了。

ps：下面涉及很多数学知识，不想了解数学的朋友请跳到结论处，个人理解，所以也不能保证推理很严谨，如有问题，请一定帮忙我告诉我。

利普希茨连续条件的几何意义可以认为是函数在定义域内任何点的梯度都不超过M（梯度有上限），也就是说不会存在梯度为正负无穷大的情况。

因而，我们有下图所示的推算：

我们可以用f(y) = f(x)+f'(x)(y-x)+M/2*||y-x||2来近似的表示f(y)，也可以认为是高维下的泰勒分解，取到二次项。

我们换一种写法，f(xk+1) = f(xk)+f'(xk)(xk+1-xk)+M/2*||xk+1-xk||2，也就是说可以直接迭代求minx f(x)，就是牛顿法辣。

再换一种写法，f(xk+1)=(M/2)(xk+1-(xk+(1/M)f'(xk)))2+CONST，其中CONST是一个与xk+1无关的常数，也就是说，此时我们可以直接写出这个条件下xk+1的最优取值就是xk+1=xk+(1/M)f'(xk)。令z=xk+(1/M)f'(xk)。

回到原问题，minx f(x)+λg(x)，此时问题变为了求解minx (M/2)||x-z||2+λg(x)。

实际上在求解这个问题的过程中，x的每一个维度上的值是互不影响的，可以看成n个独立的一维优化问题进行求解，最后组合成一个向量就行。

如果g(x)=||x||1，就是L1正则化，那么最后的结论可以通过收缩算子来表示。

即xk+1=shrink(z,λ/M)。具体来说，就是Z向量的每一个维度向原点方向移动λ/M的距离（收缩，很形象），对于xk+1的第i个维度xi=sgn(zi)*max(|zi|-λ/M,0)，其中sgn()为符号函数，正数为1，负数为-1。

一直迭代直到xk收敛吧。

❹ 用matlab实现梯度下降算法（gradient descent）。

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)
%GRADIENTDESCENT Performs gradient descent to learn theta
% theta = GRADIENTDESENT(X, y, theta, alpha, num_iters) updates theta by
% taking num_iters gradient steps with learning rate alpha
% Initialize some useful values
m = length(y); % number of training examples
J_history = zeros(num_iters, 1);
for iter = 1:num_iters,
% ====================== YOUR CODE HERE ======================
% Instructions: Perform a single gradient step on the parameter vector
% theta.
%
% Hint: While debugging, it can be useful to print out the values
% of the cost function (computeCost) and gradient here.

p=theta(1)-alpha*(1/m)*(sum((X*theta-y).*X(:,1)));
q=theta(2)-alpha*(1/m)*(sum((X*theta-y).*X(:,2)));
theta(1)=p;
theta(2)=q;

% ============================================================
% Save the cost J in every iteration
J_history(iter) = computeCost(X, y, theta);
end
end

❺ 梯度下降法是什么

梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最陡下降法。

要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。

梯度下降一般归功于柯西，他在 1847 年首次提出它。Hadamard在 1907 年独立提出了类似的方法。Haskell Curry在 1944 年首先研究了它对非线性优化问题的收敛性，随着该方法在接下来的几十年中得到越来越多的研究和使用，通常也称为最速下降。

梯度下降适用于任意维数的空间，甚至是无限维的空间。在后一种情况下，搜索空间通常是一个函数空间，并且计算要最小化的函数的Fréchet 导数以确定下降方向。

梯度下降适用于任意数量的维度（至少是有限数量）可以看作是柯西-施瓦茨不等式的结果。那篇文章证明了任意维度的两个向量的内（点）积的大小在它们共线时最大化。在梯度下降的情况下，当自变量调整的向量与偏导数的梯度向量成正比时。

修改

为了打破梯度下降的锯齿形模式，动量或重球方法使用动量项，类似于重球在被最小化的函数值的表面上滑动，或牛顿动力学中的质量运动在保守力场中通过粘性介质。具有动量的梯度下降记住每次迭代时的解更新，并将下一次更新确定为梯度和前一次更新的线性组合。

对于无约束二次极小化，重球法的理论收敛速度界与最优共轭梯度法的理论收敛速度界渐近相同。

该技术用于随机梯度下降，并作为用于训练人工神经网络的反向传播算法的扩展。

❻ 什么是梯度下降算法

梯度下降是迭代法的一种，梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。
梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。

❼ 什么叫流量梯度算法

这里不能传图片呀，无法把公式给你！
我就描述下，就是对函数的每个分量分别就求偏导，加起来就是了。

❽ 随机梯度下降算法和梯度下降算法的区别

梯度下降算法是一个比较广的概念， 意思是： 你优化一个函数/分类器时，如何减少它的误差？不妨选择梯度下降方向，该方向很可能是走向最优点的方向。

然后加上一个随机，表示： 既然你知道 方向是：梯度方向了，那么走多长呢？ 答案是：随机。所以，梯度下降算法包括 随机梯度下降算法。

❾ 共轭梯度法的算法介绍

又称共轭斜量法，是解线性代数方程组和非线性方程组的一种数值方法，例如对线性代数方程组 Ax=ƒ, (1)式中A为n阶矩阵，x和ƒ为n维列向量,当A对称正定时,可以证明求(1)的解X*和求二次泛函
的极小值问题是等价的。此处(x,у)表示向量x和у的内积。由此，给定了初始向量x（0），按某一方向去求(2)式取极小值的点x(1),就得到下一个迭代值x(2),再由x(2)出发，求x(3)等等，这样来逼近x*。若取求极小值的方向为F在 x(k=1,2,…)处的负梯度方向就是所谓最速下降法，然而理论和实际计算表明这个方法的收敛速度较慢，共轭梯度法则是在 x(k-1)处的梯度方向r(k-1)和这一步的修正方向p(k-1)所构成的二维平面内，寻找使F减小最快的方向作为下一步的修正方向p(k),即求极小值的方向p（其第一步仍取负梯度方向）。计算公式为
再逐次计算(k=1,2,…)。可以证明当i≠j时，
从而平p(1),p(2)形成一共轭向量组;r(0),r(1),…形成一正交向量组。后者说明若没有舍入误差的话，至多 n次迭代就可得到(1)的精确解。然而在实际计算中,一般都有舍入误差，所以r(0),r(1),…并不真正互相正交，而尣(0)尣(1),…等也只是逐步逼近(1)的真解,故一般将共轭梯度法作为迭代法来使用。
近来在解方程组(1)时,常将共轭梯度法同其他一些迭代法结合作用。特别是对病态方程组这种方法往往能收到比较显着的效果。其方法是选取一对称正定矩阵B并进行三角分解，得B=LLT。将方程组(1)化为 hу=b, (3)
此处y=lTx,b=l-1ƒ,h=l-1Al-T,而
再对(3)用共轭梯度法，计算公式为
k=0,1,2,…)适当选取B，当B很接近A时，h的条件数较之A大大减小,从而可使共轭梯度法的收敛速度大为加快，由一些迭代法的矩阵分裂A=M -N，可选取M 为这里的B，例如对称超松弛迭代(SSOR)，强隐式迭代(SIP)等,这类方法常称为广义共轭梯度法或预条件共轭梯度法，它也可用于解代数特征值问题。

❿ 索伯尔梯度算法的结果赋给中间值吗

摘要 一般来说，用来表示微分的最常用的算子是索贝尔(Sobel)算子，它可以实现任意阶导数和混合偏导数(例如: ∂2/∂x∂y)。