最小二乘演算法

⑴ 最小二乘法的基本原則

普通最小二乘法（Ordinary Least Square，簡稱OLS），是應用最多的參數估計方法，也是從最小二乘原理出發的其他估計方法的基礎。
在已經獲得樣本觀測值 （i=1,2,…,n）的情況下（見圖2.2.1中的散點），假如模型（2.2.1）的參數估計量已經求得到，為 和 ，並且是最合理的參數估計量，那麼直線方程（見圖2.2.1中的直線）
i=1,2,…,n (2.2.2)
應該能夠最好地擬合樣本數據。其中 為被解釋變數的估計值，它是由參數估計量和解釋變數的觀測值計算得到的。那麼，被解釋變數的估計值與觀測值應該在總體上最為接近，判斷的標準是二者之差的平方和最小。

(2.2.3)
為什麼用平方和？因為二者之差可正可負，簡單求和可能將很大的誤差抵消掉，只有平方和才能反映二者在總體上的接近程度。這就是最小二乘原則。那麼，就可以從最小二乘原則和樣本觀測值出發，求得參數估計量。
由於

是 、 的二次函數並且非負，所以其極小值總是存在的。根據羅彼塔法則，當Q對 、 的一階偏導數為0時，Q達到最小。即
(2.2.4)

容易推得特徵方程：

解得：
（2.2.5）
所以有： （2.2.6）
於是得到了符合最小二乘原則的參數估計量。
為減少計算工作量，許多教科書介紹了採用樣本值的離差形式的參數估計量的計算公式。由於現在計量經濟學計算機軟體被普遍採用，計算工作量已經不是什麼問題。但離差形式的計算公式在其他方面也有應用，故在此寫出有關公式，不作詳細說明。記

（2.2.6）的參數估計量可以寫成
(2.2.7)
至此，完成了模型估計的第一項任務。下面進行模型估計的第二項任務，即求隨機誤差項方差的估計量。記 為第i個樣本觀測點的殘差，即被解釋變數的估計值與觀測值之差。則隨機誤差項方差的估計量為
(2.2.8)
在關於 的無偏性的證明中，將給出（2.2.8）的推導過程，有興趣的讀者可以參考有關資料。
在結束普通最小二乘估計的時候，需要交代一個重要的概念，即「估計量」和「估計值」的區別。由（2.2.6）給出的參數估計結果是由一個具體樣本資料計算出來的，它是一個「估計值」，或者「點估計」，是參數估計量 和 的一個具體數值；但從另一個角度，僅僅把（2.2.6）看成 和 的一個表達式，那麼，則是 的函數，而 是隨機變數，所以 和 也是隨機變數，在這個角度上，稱之為「估計量」。在本章後續內容中，有時把 和 作為隨機變數，有時又把 和 作為確定的數值，道理就在於此。

⑵ 最小二乘法計算公式是

最小二乘法公式為a＝y（平均）－b＊x（平均）。

在研究兩個變數（x，y）之間的相互關系時，通常可以得到一系列成對的數據（x1，y1），（x2，y2）...（xm，ym）；將這些數據描繪在x－y直角坐標系中，若發現這些點在一條直線附近，可以令這條直線方程如a＝y（平均）－b＊x（平均）。其中：a、b是任意實數。

(2)最小二乘演算法擴展閱讀：

最小二乘法通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。還可用於曲線擬合，其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

根據樣本數據，採用最小二乘估計式可以得到簡單線性回歸模型參數的估計量。但是估計量參數與總體真實參數的接近程度如何，是否存在更好的其它估計式，這就涉及到最小二乘估計式或估計量的最小方差（或最佳）性、線性及無偏性。

⑶ 最小二乘法的公式

最小二乘法公式：∑(X--X平)(Y--Y平）=∑X^2--nX平^2（針對y=ax+b形式）a=(NΣxy-ΣxΣy)/(NΣx^2-(Σx)^2)b=y(平均)-a*x（平均）

⑷ 什麼是最小二乘法及其原理

最小二乘法（又稱最小平方法）是一種數學優化技術。

它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

原理：

在我們研究兩個變數（x,y）之間的相互關系時，通常可以得到一系列成對的數據（x1,y1.x2,y2... xm,ym）；將這些數據描繪在x -y直角坐標系中，若發現這些點在一條直線附近，可以令這條直線方程如（式1-1）。

最小時，可用函數 φ 對a0、a1求偏導數，令這兩個偏導數等於零。

∑2(a0 + a1*Xi - Yi）=0（式1-4)

∑2Xi（a0 +a1*Xi - Yi）=0（式1-5)

亦即：na0 + （∑Xi ) a1 = ∑Yi （式1-6)

（∑Xi ) a0 + （∑Xi^2 ) a1 = ∑（Xi*Yi) （式1-7)

得到的兩個關於a0、 a1為未知數的兩個方程組，解這兩個方程組得出：

a0 = （∑Yi) / n - a1（∑Xi) / n （式1-8)

a1 = [n∑(Xi Yi) - （∑Xi ∑Yi)] / (n∑Xi^2 -∑Xi∑Xi)（式1-9)

這時把a0、a1代入（式1-1）中， 此時的(式1-1）就是我們回歸的一元線性方程即：數學模型。

在回歸過程中，回歸的關聯式不可能全部通過每個回歸數據點（x1,y1. x2,y2...xm,ym），為了判斷關聯式的好壞，可藉助相關系數「R」，統計量「F」，剩餘標准偏差「S」進行判斷；「R」越趨近於 1 越好；「F」的絕對值越大越好；「S」越趨近於 0 越好。

R = [∑XiYi - m （∑Xi / m）（∑Yi / m)]/ SQR{[∑Xi2 - m （∑Xi / m)2][∑Yi2 - m （∑Yi / m)2]} （式1-10) *

在（式1-10）中，m為樣本容量，即實驗次數；Xi、Yi分別為任意一組實驗數據X、Y的數值。

⑸ 最小二乘法怎麼算

網頁鏈接

最小二乘法原理是所有點距離趨勢線和最小，是這個距離求導得到的，也就是β的由來，而這條趨勢線又經過平均點，所以α=y0-βx0

⑹ 最小二乘法的矩陣

曲線擬合的最小二乘法：

設有一實驗，共有m個數據，畫出m個數據的直角坐標圖獲得每個數據的xi和yi對應關系。線把這m個點擬合成曲線方程(1)，且要求誤差滿足方程(2)關系。





式中yi是實測第i個點的縱坐標，為已知量；yi』為把實測第i點的橫坐標xi帶入方程(1)後獲得的該點的縱坐標。方程(1)右側的顯形式一般採用一個n+1項的已知表達式的多項式進行表達，即為把公式(1)變為公式(3)，對應具體的點，公式(3)變為(4)；通過調整公式(4)中的系數aj來使得誤差表達式公式(2)的值為最小，於是獲得公式(5)，展開公式(5)得到公式(6)。









上(6)式左側可以進行如下簡化：





若引入如下記號：



上式中，f(x1) = y1, f(x2) = y2, f(x3) = y3, ---,

則上邊表達式(7)可寫為(10)形式，實際上，(10)表示一個矩陣關系(11)：





(11)式中左邊的每個矩陣元實際都是(8)式所表達的東西，注意，從式(8)可以看出，此矩陣元是已知量。因為xi是已知量，即為實驗測量數據的自變數，φj的表達式在(3)中已經指定，即為我們已經假設了展開多項式每一項的具體形式(多項式中每項的系數是未定的，通過系數調整可以得到最合理的擬合曲線)。(11)式中右邊每項即為表達式(9)，依據(9)的右側，xi是已知量，φj的表達式的具體形式在(3)中已經指定，yi為實驗測得對應橫坐標xi的縱坐標。所以(11)式右側也為已知量。左右都為已知量，可以求得中間的列矢，就可以獲得系數ai了。

一般採用正交函數系做展開基組，也可以採用非正交函數系作為展開基組，比如可以用(12)式作為展開基函數，一般取n小於m。

⑺ 什麼叫最小二乘法

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。

(7)最小二乘演算法擴展閱讀：

線性最小二乘的基本公式

考慮超定方程組（超定指未知數小於方程個數）：其中m代表有m個等式，n代表有 n 個未知數，顯然該方程組一般而言沒有解，所以為了選取最合適的讓該等式"盡量成立"，引入殘差平方和函數S

（在統計學中，殘差平方和函數可以看成n倍的均方誤差MSE）

⑻ 最小二乘法是什麼

網路名片
最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。 查看精彩圖冊
目錄最小二乘法最小二乘法歷史簡介最小二乘法原理最小二乘法公式最小二乘法擬合最小二乘法的矩陣形式最小二乘法的Matlab實現最小二乘法在交通運輸學中的運用展開最小二乘法最小二乘法歷史簡介最小二乘法原理最小二乘法公式最小二乘法擬合最小二乘法的矩陣形式最小二乘法的Matlab實現最小二乘法在交通運輸學中的運用展開
編輯本段最小二乘法最小二乘法的基本
公式。[1]編輯本段最小二乘法歷史簡介1801年，義大利天文學家朱賽普·皮亞齊發現了第一顆小行星穀神星。經過40天的跟蹤觀測後，由於穀神星運行至太陽背後，使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。時年24歲的高斯也計算了穀神星的軌道。奧地利天文學家海因里希·奧爾伯斯根據高斯計算出來的軌道重新發現了穀神星。
最小二乘法的應用(6張)高斯使用的最小二乘法的方法發表於1809年他的著作《天體運動論》中。
法國科學家勒讓德於1806年獨立發現「最小二乘法」，但因不為世人所知而默默無聞。
勒讓德曾與高斯為誰最早創立最小二乘法原理發生爭執。
1829年，高斯提供了最小二乘法的優化效果強於其他方法的證明，因此被稱為高斯-莫卡夫定理。（來自於wikipedia）[1]編輯本段最小二乘法原理在我們研究兩個變數（x,y）之間的相互關系時，通常可以得到一系列成對的數據（x1,y1.x2,y2... xm,ym）；將這些數據描繪在x -y直角坐標系中，若發現這些點在一條直線附近，可以令這條直線方程如（式1-1）。
Yj= a0 + a1 X （式1-1)
其中：a0、a1 是任意實數
為建立這直線方程就要確定a0和a1，應用《最小二乘法原理》，將實測值Yi與利用（式1-1）計算值（Yj=a0+a1X）的離差（Yi-Yj）的平方和〔∑（Yi - Yj）2〕最小為「優化判據」。
令：φ = ∑（Yi - Yj）2 （式1-2)
把（式1-1）代入（式1-2）中得：
φ = ∑（Yi - a0 - a1Xi)2 （式1-3)
當∑（Yi-Yj）平方最小時，可用函數 φ 對a0、a1求偏導數，令這兩個偏導數等於零。
（式1-4)
（式1-5)
亦即：
m a0 + （∑Xi ) a1 = ∑Yi （式1-6)
（∑Xi ) a0 + （∑Xi2 ) a1 = ∑（Xi,Yi) （式1-7)
得到的兩個關於a0、 a1為未知數的兩個方程組，解這兩個方程組得出：
a0 = （∑Yi) / m - a1（∑Xi) / m （式1-8)
a1 = [m∑Xi Yi - （∑Xi ∑Yi)] / [m∑Xi2 - （∑Xi)2 )] （式1-9)
這時把a0、a1代入（式1-1）中， 此時的(式1-1）就是我們回歸的元線性方程即：數學模型。
在回歸過程中，回歸的關聯式是不可能全部通過每個回歸數據點（x1,y1. x2,y2...xm,ym），為了判斷關聯式的好壞，可藉助相關系數「R」，統計量「F」，剩餘標准偏差「S」進行判斷；「R」越趨近於 1 越好；「F」的絕對值越大越好；「S」越趨近於 0 越好。
R = [∑XiYi - m （∑Xi / m）（∑Yi / m)]/ SQR{[∑Xi2 - m （∑Xi / m)2][∑Yi2 - m （∑Yi / m)2]} （式1-10) *
在（式1-1）中，m為樣本容量，即實驗次數；Xi、Yi分別任意一組實驗X、Y的數值。[1]編輯本段最小二乘法公式最小二乘法公式
註：以下「平」是指某參數的算數平均值。如：X平——x的算術平均值。
1、∑（X--X平）（Y--Y平）=
∑（XY--X平Y--XY平+X平Y平）=
∑XY--X平∑Y--Y平∑X+nX平Y平=
∑XY--nX平Y平--nX平Y平+nX平Y平=∑XY--nX平Y平；
2、∑（X --X平）^2=
∑（X^2--2XX平+X平^2)=
∑X^2--2nX平^2+nX平^2=∑X^2--nX平^2；
3、Y=kX+b
k=（（XY）平--X平*Y平）/（（X^2）平--(X平）^2），
b=Y平--kX平；
X平=1/n∑Xi，
(XY）平=1/n∑XiYi；[1]編輯本段最小二乘法擬合對給定數據點{(Xi，Yi)}(i=0,1，…，m），在取定的函數類Φ 中，求p(x）∈Φ，使誤差的平方和E^2最小，E^2=∑[p(Xi)-Yi]^2。從幾何意義上講，就是尋求與給定點 {(Xi，Yi)}(i=0,1，…，m）的距離平方和為最小的曲線y=p(x）。函數p(x）稱為擬合函數或最小二乘解，求擬合函數p(x）的方法稱為曲線擬合的最小二乘法。[1]最小二乘法的矩陣形式Ax=b，其中A為nxk的矩陣，x為kx1的列向量，b為nx1的列向量。如果n>k（方程的個數大於未知量的個數），這個方程系統稱為Over Determined System，如果n<k（方程的個數小於未知量的個數），這個系統就是Under Determined System。
正常來看，這個方程是沒有解的，但在數值計算領域，我們通常是計算 min ||Ax-b||，解出其中的x。比較直觀的做法是求解A'Ax=A'b，但通常比較低效。其中一種常見的解法是對A進行QR分解（A=QR），其中Q是nxk正交矩陣（Orthonormal Matrix），R是kxk上三角矩陣（Upper Triangular Matrix），然後min ||Ax-b|| = min ||QRx-b|| = min ||Rx-Q'b||，用MATLAB命令x=R\(Q'*b）可解得x。[1]最小二乘法的Matlab實現① 一次函數使用polyfit（x,y,1）
②多項式函數使用 polyfit（x,y,n），n為次數
擬合曲線
x=[0.5,1.0,1.5,2.0,2.5,3.0]，
y=[1.75,2.45,3.81,4.80,7.00,8.60]。
解：MATLAB程序如下：
x=[0.5,1.0,1.5,2.0,2.5,3.0];
y=[1.75,2.45,3.81,4.80,7.00,8.60];
p=polyfit(x,y,2)
x1=0.5:0.5:3.0;
y1=polyval(p,x1);
plot(x,y,'*r',x1,y1,'-b')
計算結果為：
p =0.5614 0.8287 1.1560
即所得多項式為y=0.5614x^2+0.8287x+1.15560
③非線性函數使用 lsqcurvefit(fun,x0,x,y)[1]編輯本段最小二乘法在交通運輸學中的運用交通發生預測的目的是建立分區產生的交通量與分區土地利用、社會經濟特徵等變數之間的定量關系，推算規劃年各分區所產生的交通量。因為一次出行有兩個端點，所以我們要分別分析一個區生成的交通和吸引的交通。交通發生預測通常有兩種方法：回歸分析法和聚類分析法。[1]回歸分析法是根據對因變數與一個或多個自變數的統計分析，建立因變數和自變數的關系，最簡單的情況就是一元回歸分析，一般式為：Y=α+βX式中Y是因變數，X是自變數，α和β是回歸系數。若用上述公式預測小區的交通生成，則以下標 i 標記所有變數；如果用它研究分區交通吸引，則以下標 j 標記所有變數。而運用公式的過程中需要利用最小二乘法來求解，上述公式中的回歸系數根據最小二乘法可得：

回歸方程的最後結果 回歸方程的最後結果其中，式中的X拔是規劃年的自變數值，Y拔是規劃年分區交通生成（或吸引）預測值。[1]

⑼ 最小二乘法怎麼用

LINEST 函數可通過使用最小二乘法計算與現有數據最佳擬合的直線，來計算某直線的統計值，然後返回描述此直線的數組。也可以將 LINEST 與其他函數結合使用來計算未知參數中其他類型的線性模型的統計值，包括多項式、對數、指數和冪級數。因為此函數返回數值數組，所以必須以數組公式的形式輸入。請按照本文中的示例使用此函數。

直線的公式為：

y = mx + b

- 或 -

y = m1x1 + m2x2 + ... + b（如果有多個區域的 x 值）

其中，因變數 y 是自變數 x 的函數值。m 值是與每個 x 值相對應的系數，b 為常量。注意，y、x 和 m 可以是向量。LINEST 函數返回的數組為 {mn,mn-1,...,m1,b}。LINEST 函數還可返回附加回歸統計值。

語法
LINEST(known_y's, [known_x's], [const], [stats])LINEST 函數語法具有以下參數 （參數：為操作、事件、方法、屬性、函數或過程提供信息的值。）：

Known_y's 必需。關系表達式 y = mx + b 中已知的 y 值集合。
如果 known_y's 對應的單元格區域在單獨一列中，則 known_x's 的每一列被視為一個獨立的變數。

如果 known_y's 對應的單元格區域在單獨一行中，則 known_x's 的每一行被視為一個獨立的變數。
Known_x's 可選。關系表達式 y = mx + b 中已知的 x 值集合。
known_x's 對應的單元格區域可以包含一組或多組變數。如果僅使用一個變數，那麼只要 known_y's 和 known_x's 具有相同的維數，則它們可以是任何形狀的區域。如果使用多個變數，則 known_y's 必須為向量（即必須為一行或一列）。

如果省略 known_x's，則假設該數組為 {1,2,3,...}，其大小與 known_y's 相同。
const 可選。一個邏輯值，用於指定是否將常量 b 強制設為 0。
如果 const 為 TRUE 或被省略，b 將按通常方式計算。

如果 const 為 FALSE，b 將被設為 0，並同時調整 m 值使 y = mx。
stats 可選。一個邏輯值，用於指定是否返回附加回歸統計值。
如果 stats 為 TRUE，則 LINEST 函數返回附加回歸統計值，這時返回的數組為 {mn,mn-1,...,m1,b;sen,sen-1,...,se1,seb;r2,sey;F,df;ssreg,ssresid}。

如果 stats 為 FALSE 或被省略，LINEST 函數只返回系數 m 和常量 b。