梯度下降演算法

Ⅰ 什麼是梯度下降演算法

梯度下降是迭代法的一種，梯度下降法是一個最優化演算法，通常也稱為最速下降法。最速下降法是求解無約束優化問題最簡單和最古老的方法之一，常用於機器學習和人工智慧當中用來遞歸性地逼近最小偏差模型。
梯度下降法的計算過程就是沿梯度下降的方向求解極小值（也可以沿梯度上升方向求解極大值）。

Ⅱ 梯度下降法原理和步驟

一、梯度法思想
梯度法思想的三要素：出發點、下降方向、下降步長。
機器學習中常用的權重更新表達式為
：，這里的λ就是學習率，本文從這個式子出發來把機器學習中的各種「梯度」下降法闡釋清楚。
機器學習目標函數，一般都是凸函數，什麼叫凸函數？限於篇幅，我們不做很深的展開，在這兒我們做一個形象的比喻，凸函數求解問題，可以把目標損失函數想像成一口鍋，來找到這個鍋的鍋底。非常直觀的想法就是，我們沿著初始某個點的函數的梯度方嚮往下走（即梯度下降）。在這兒，我們再作個形象的類比，如果把這個走法類比為力，那麼完整的三要素就是步長（走多少）、方向、出發點，這樣形象的比喻，讓我們對梯度問題的解決豁然開朗，出發點很重要，是初始化時重點要考慮的，而方向、步長就是關鍵。事實上不同梯度的不同就在於這兩點的不同！
梯度方向是

，步長設為常數Δ，這時就會發現，如果用在梯度較大的時候，離最優解比較遠，W的更新比較快；然而到了梯度較小的時候，也就是較靠近最優解的時候，W的更新竟然也保持著跟原來一樣的速率，這樣會導致W很容易更新過度反而遠離了最優解，進而出現在最優解附近來回震盪。所以，既然在遠離最優解的時候梯度大，在靠近最優解的時候梯度小，我們讓步長隨著這個律動，於是我我們就用λ|W|來代替Δ，最後得到了我們熟悉的式子：

所以說這時的λ是隨著坡度的陡緩而變化的，別看它是個常數。
二、全量梯度下降法（Batch gradient descent）
全量梯度下降法每次學習都使用整個訓練集，因此每次更新都會朝著正確的方向進行，最後能夠保證收斂於極值點，凸函數收斂於全局極值點，非凸函數可能會收斂於局部極值點，缺陷就是學習時間太長，消耗大量內存。
第二、隨機梯度下降法（Stochastic Gradient Descent）
SGD一輪迭代只用一條隨機選取的數據，盡管SGD的迭代次數比BGD大很多，但一次學習時間非常快。
SGD的缺點在於每次更新可能並不會按照正確的方向進行，參數更新具有高方差，從而導致損失函數劇烈波動。不過，如果目標函數有盆地區域，SGD會使優化的方向從當前的局部極小值點跳到另一個更好的局部極小值點，這樣對於非凸函數，可能最終收斂於一個較好的局部極值點，甚至全局極值點。
缺點是，出現損失函數波動，並且無法判斷是否收斂。

Ⅲ 機器學習中的降維演算法和梯度下降法

機器學習中有很多演算法都是十分經典的，比如說降維演算法以及梯度下降法，這些方法都能夠幫助大家解決很多問題，因此學習機器學習一定要掌握這些演算法，而且這些演算法都是比較受大家歡迎的。在這篇文章中我們就給大家重點介紹一下降維演算法和梯度下降法。
降維演算法
首先，來說一說降維演算法，降維演算法是一種無監督學習演算法，其主要特徵是將數據從高維降低到低維層次。在這里，維度其實表示的是數據的特徵量的大小，當特徵量大的話，那麼就給計算機帶來了很大的壓力，所以我們可以通過降維計算，把維度高的特徵量降到維度低的特徵量，比如說從4維的數據壓縮到2維。類似這樣將數據從高維降低到低維有兩個好處，第一就是利於表示，第二就是在計算上也能帶來加速。
當然，有很多降維過程中減少的維度屬於肉眼可視的層次，同時壓縮也不會帶來信息的損失。但是如果肉眼不可視，或者沒有冗餘的特徵，這怎麼辦呢？其實這樣的方式降維演算法也能工作，不過這樣會帶來一些信息的損失。不過，降維演算法可以從數學上證明，從高維壓縮到的低維中最大程度地保留了數據的信息。所以說，降維演算法還是有很多好處的。
那麼降維演算法的主要作用是什麼呢？具體就是壓縮數據與提升機器學習其他演算法的效率。通過降維演算法，可以將具有幾千個特徵的數據壓縮至若干個特徵。另外，降維演算法的另一個好處是數據的可視化。這個優點一直別廣泛應用。
梯度下降法
下面我們給大家介紹一下梯度下降法，所謂梯度下降法就是一個最優化演算法，通常也稱為最速下降法。最速下降法是求解無約束優化問題最簡單和最古老的方法之一，雖然現在已經不具有實用性，但是許多有效演算法都是以它為基礎進行改進和修正而得到的。最速下降法是用負梯度方向為搜索方向的，最速下降法越接近目標值，步長越小，前進越慢。好比將函數比作一座山，我們站在某個山坡上，往四周看，從哪個方向向下走一小步，能夠下降的最快;當然解決問題的方法有很多，梯度下降只是其中一個，還有很多種方法。
在這篇文章中我們給大家介紹了關於機器演算法中的降維演算法以及梯度下降法，這兩種方法是機器學習中十分常用的演算法，降維演算法和梯度下降法都是十分實用的，大家在進行學習機器學習的時候一定要好好學習這兩種演算法，希望這篇文章能夠幫助大家理解這兩種演算法。

Ⅳ 隨機梯度下降法原理和步驟

隨機梯度下降主要用來求解類似於如下求和形式的優化問題：
[公式]
梯度下降法：
[公式]
當[公式]很大時，每次迭代計算所有的[公式]會非常耗時。
隨機梯度下降的想法就是每次在[公式]中random選取一個計算代替如上的[公式]，以這個隨機選取的方向作為下降的方向。
[公式][公式]
由於[公式], 當選取step size [公式]時，演算法在期望的意義下收斂。
注意到在[公式] 靠近極小值點[公式]時，[公式]，這導致隨機梯度下降法精度低。由於方差的存在，要使得演算法收斂，就需要[公式]隨[公式]逐漸減小。因此導致函數即使在強凸且光滑的條件下，收斂速度也只有[公式]. 後來提出的變種SAG，SVRG，SDCA都是在降方差，為了保證在[公式]時，方差趨於0。以上提到的幾種變種都能達到線性收斂速度。

Ⅳ 梯度下降法和粒子群優化演算法的區別

粒子群(PSO)演算法是近幾年來最為流行的進化演算法，最早是由Kenned和Eberhart於1995年提出.PSO 演算法和其他進化演算法類似，也採用「群體」和「進化」的概念，通過個體間的協作與競爭，實現復雜空間中最優解的搜索．PSO 先生成初始種群，即在可行解空間中隨機初始化一群粒子，每個粒子都為優化問題的一個可行解，並由目標函數為之確定一個適應值(fitness value)．PSO 不像其他進化演算法那樣對於個體使用進化運算元，而是將每個個體看作是在n 維搜索空間中的一個沒有體積和重量的粒子，每個粒子將在解空間中運動，並由一個速度決定其方向和距離.通常粒子將追隨當前的最優粒子而運動，並經逐代搜索最後得到最優解．在每一代中，粒子將跟蹤兩個極值，一為粒子本身迄今找到的最優解 pbest ，另一為全種群迄今找到的最優解 gbest．由於認識到 PSO 在函數優化等領域所蘊含的廣闊的應用前景，在 Kenned 和 Eberhart 之後很多學者都進行了這方面的研究.目前已提出了多種 PSO改進演算法，並廣泛應用到許多領域。

Ⅵ 梯度下降演算法 如何避免局部最優

單純的梯度下降演算法是收斂於局部最優解的，如果要求實現全局最優解的話可以考慮加入退火演算法或者遺傳演算法之類的思想，簡單說就是在搜索過程中不但有基於梯度下降的方向，同時也融入少量的逆向搜索，最終設定一個收斂域即可。

Ⅶ 批量梯度下降法一定可以到全局最優點嗎

Linear Regression 的cost function如下：

擬合函數最終一定會收斂到全局最優解

如果損失函數是非凸函數則不一定，因為參數初值的設置必然影響最終收斂的位置，能否達到全局最優解主要取決於參數初值的設置。

批量梯度下降法就是最普通的梯度下降法而已，相比於隨機梯度下降法來說只是更容易收斂到全局最優點，這是由於批量操作在一定程度上起到了淹沒雜訊影響的作用。但是，批量梯度下降法在損失函數為非凸函數的情況下仍然不能保證一定可以達到全局最優點。

Ⅷ 梯度上升演算法與梯度下降演算法求解回歸系數怎麼理解

如果grad為梯度陣mean(mean(grad))就是所有點灰度梯度的平均值。
其實是一回事了。最小化損失函數，就用梯度下降，最大化似然函數，就用梯度上升。
本質上都是一樣的。

Ⅸ 用matlab實現梯度下降演算法（gradient descent）。

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)
%GRADIENTDESCENT Performs gradient descent to learn theta
% theta = GRADIENTDESENT(X, y, theta, alpha, num_iters) updates theta by
% taking num_iters gradient steps with learning rate alpha
% Initialize some useful values
m = length(y); % number of training examples
J_history = zeros(num_iters, 1);
for iter = 1:num_iters,
% ====================== YOUR CODE HERE ======================
% Instructions: Perform a single gradient step on the parameter vector
% theta.
%
% Hint: While debugging, it can be useful to print out the values
% of the cost function (computeCost) and gradient here.

p=theta(1)-alpha*(1/m)*(sum((X*theta-y).*X(:,1)));
q=theta(2)-alpha*(1/m)*(sum((X*theta-y).*X(:,2)));
theta(1)=p;
theta(2)=q;

% ============================================================
% Save the cost J in every iteration
J_history(iter) = computeCost(X, y, theta);
end
end

Ⅹ 隨機梯度下降演算法和梯度下降演算法的區別

梯度下降演算法是一個比較廣的概念， 意思是： 你優化一個函數/分類器時，如何減少它的誤差？不妨選擇梯度下降方向，該方向很可能是走向最優點的方向。

然後加上一個隨機，表示： 既然你知道 方向是：梯度方向了，那麼走多長呢？ 答案是：隨機。所以，梯度下降演算法包括 隨機梯度下降演算法。