最小二乘算法

⑴ 最小二乘法的基本原则

普通最小二乘法（Ordinary Least Square，简称OLS），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础。
在已经获得样本观测值 （i=1,2,…,n）的情况下（见图2.2.1中的散点），假如模型（2.2.1）的参数估计量已经求得到，为 和 ，并且是最合理的参数估计量，那么直线方程（见图2.2.1中的直线）
i=1,2,…,n (2.2.2)
应该能够最好地拟合样本数据。其中 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。

(2.2.3)
为什么用平方和？因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。
由于

是 、 的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q对 、 的一阶偏导数为0时，Q达到最小。即
(2.2.4)

容易推得特征方程：

解得：
（2.2.5）
所以有： （2.2.6）
于是得到了符合最小二乘原则的参数估计量。
为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记

（2.2.6）的参数估计量可以写成
(2.2.7)
至此，完成了模型估计的第一项任务。下面进行模型估计的第二项任务，即求随机误差项方差的估计量。记 为第i个样本观测点的残差，即被解释变量的估计值与观测值之差。则随机误差项方差的估计量为
(2.2.8)
在关于 的无偏性的证明中，将给出（2.2.8）的推导过程，有兴趣的读者可以参考有关资料。
在结束普通最小二乘估计的时候，需要交代一个重要的概念，即“估计量”和“估计值”的区别。由（2.2.6）给出的参数估计结果是由一个具体样本资料计算出来的，它是一个“估计值”，或者“点估计”，是参数估计量 和 的一个具体数值；但从另一个角度，仅仅把（2.2.6）看成 和 的一个表达式，那么，则是 的函数，而 是随机变量，所以 和 也是随机变量，在这个角度上，称之为“估计量”。在本章后续内容中，有时把 和 作为随机变量，有时又把 和 作为确定的数值，道理就在于此。

⑵ 最小二乘法计算公式是

最小二乘法公式为a＝y（平均）－b＊x（平均）。

在研究两个变量（x，y）之间的相互关系时，通常可以得到一系列成对的数据（x1，y1），（x2，y2）...（xm，ym）；将这些数据描绘在x－y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如a＝y（平均）－b＊x（平均）。其中：a、b是任意实数。

(2)最小二乘算法扩展阅读：

最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

根据样本数据，采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何，是否存在更好的其它估计式，这就涉及到最小二乘估计式或估计量的最小方差（或最佳）性、线性及无偏性。

⑶ 最小二乘法的公式

最小二乘法公式：∑(X--X平)(Y--Y平）=∑X^2--nX平^2（针对y=ax+b形式）a=(NΣxy-ΣxΣy)/(NΣx^2-(Σx)^2)b=y(平均)-a*x（平均）

⑷ 什么是最小二乘法及其原理

最小二乘法（又称最小平方法）是一种数学优化技术。

它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

原理：

在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2... xm,ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1-1）。

最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。

∑2(a0 + a1*Xi - Yi）=0（式1-4)

∑2Xi（a0 +a1*Xi - Yi）=0（式1-5)

亦即：na0 + （∑Xi ) a1 = ∑Yi （式1-6)

（∑Xi ) a0 + （∑Xi^2 ) a1 = ∑（Xi*Yi) （式1-7)

得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出：

a0 = （∑Yi) / n - a1（∑Xi) / n （式1-8)

a1 = [n∑(Xi Yi) - （∑Xi ∑Yi)] / (n∑Xi^2 -∑Xi∑Xi)（式1-9)

这时把a0、a1代入（式1-1）中， 此时的(式1-1）就是我们回归的一元线性方程即：数学模型。

在回归过程中，回归的关联式不可能全部通过每个回归数据点（x1,y1. x2,y2...xm,ym），为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。

R = [∑XiYi - m （∑Xi / m）（∑Yi / m)]/ SQR{[∑Xi2 - m （∑Xi / m)2][∑Yi2 - m （∑Yi / m)2]} （式1-10) *

在（式1-10）中，m为样本容量，即实验次数；Xi、Yi分别为任意一组实验数据X、Y的数值。

⑸ 最小二乘法怎么算

网页链接

最小二乘法原理是所有点距离趋势线和最小，是这个距离求导得到的，也就是β的由来，而这条趋势线又经过平均点，所以α=y0-βx0

⑹ 最小二乘法的矩阵

曲线拟合的最小二乘法：

设有一实验，共有m个数据，画出m个数据的直角坐标图获得每个数据的xi和yi对应关系。线把这m个点拟合成曲线方程(1)，且要求误差满足方程(2)关系。





式中yi是实测第i个点的纵坐标，为已知量；yi’为把实测第i点的横坐标xi带入方程(1)后获得的该点的纵坐标。方程(1)右侧的显形式一般采用一个n+1项的已知表达式的多项式进行表达，即为把公式(1)变为公式(3)，对应具体的点，公式(3)变为(4)；通过调整公式(4)中的系数aj来使得误差表达式公式(2)的值为最小，于是获得公式(5)，展开公式(5)得到公式(6)。









上(6)式左侧可以进行如下简化：





若引入如下记号：



上式中，f(x1) = y1, f(x2) = y2, f(x3) = y3, ---,

则上边表达式(7)可写为(10)形式，实际上，(10)表示一个矩阵关系(11)：





(11)式中左边的每个矩阵元实际都是(8)式所表达的东西，注意，从式(8)可以看出，此矩阵元是已知量。因为xi是已知量，即为实验测量数据的自变量，φj的表达式在(3)中已经指定，即为我们已经假设了展开多项式每一项的具体形式(多项式中每项的系数是未定的，通过系数调整可以得到最合理的拟合曲线)。(11)式中右边每项即为表达式(9)，依据(9)的右侧，xi是已知量，φj的表达式的具体形式在(3)中已经指定，yi为实验测得对应横坐标xi的纵坐标。所以(11)式右侧也为已知量。左右都为已知量，可以求得中间的列矢，就可以获得系数ai了。

一般采用正交函数系做展开基组，也可以采用非正交函数系作为展开基组，比如可以用(12)式作为展开基函数，一般取n小于m。

⑺ 什么叫最小二乘法

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

(7)最小二乘算法扩展阅读：

线性最小二乘的基本公式

考虑超定方程组（超定指未知数小于方程个数）：其中m代表有m个等式，n代表有 n 个未知数，显然该方程组一般而言没有解，所以为了选取最合适的让该等式"尽量成立"，引入残差平方和函数S

（在统计学中，残差平方和函数可以看成n倍的均方误差MSE）

⑻ 最小二乘法是什么

网络名片
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 查看精彩图册
目录最小二乘法最小二乘法历史简介最小二乘法原理最小二乘法公式最小二乘法拟合最小二乘法的矩阵形式最小二乘法的Matlab实现最小二乘法在交通运输学中的运用展开最小二乘法最小二乘法历史简介最小二乘法原理最小二乘法公式最小二乘法拟合最小二乘法的矩阵形式最小二乘法的Matlab实现最小二乘法在交通运输学中的运用展开
编辑本段最小二乘法最小二乘法的基本
公式。[1]编辑本段最小二乘法历史简介1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
最小二乘法的应用(6张)高斯使用的最小二乘法的方法发表于1809年他的着作《天体运动论》中。
法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。
勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。（来自于wikipedia）[1]编辑本段最小二乘法原理在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2... xm,ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1-1）。
Yj= a0 + a1 X （式1-1)
其中：a0、a1 是任意实数
为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用（式1-1）计算值（Yj=a0+a1X）的离差（Yi-Yj）的平方和〔∑（Yi - Yj）2〕最小为“优化判据”。
令：φ = ∑（Yi - Yj）2 （式1-2)
把（式1-1）代入（式1-2）中得：
φ = ∑（Yi - a0 - a1Xi)2 （式1-3)
当∑（Yi-Yj）平方最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。
（式1-4)
（式1-5)
亦即：
m a0 + （∑Xi ) a1 = ∑Yi （式1-6)
（∑Xi ) a0 + （∑Xi2 ) a1 = ∑（Xi,Yi) （式1-7)
得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出：
a0 = （∑Yi) / m - a1（∑Xi) / m （式1-8)
a1 = [m∑Xi Yi - （∑Xi ∑Yi)] / [m∑Xi2 - （∑Xi)2 )] （式1-9)
这时把a0、a1代入（式1-1）中， 此时的(式1-1）就是我们回归的元线性方程即：数学模型。
在回归过程中，回归的关联式是不可能全部通过每个回归数据点（x1,y1. x2,y2...xm,ym），为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。
R = [∑XiYi - m （∑Xi / m）（∑Yi / m)]/ SQR{[∑Xi2 - m （∑Xi / m)2][∑Yi2 - m （∑Yi / m)2]} （式1-10) *
在（式1-1）中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。[1]编辑本段最小二乘法公式最小二乘法公式
注：以下“平”是指某参数的算数平均值。如：X平——x的算术平均值。
1、∑（X--X平）（Y--Y平）=
∑（XY--X平Y--XY平+X平Y平）=
∑XY--X平∑Y--Y平∑X+nX平Y平=
∑XY--nX平Y平--nX平Y平+nX平Y平=∑XY--nX平Y平；
2、∑（X --X平）^2=
∑（X^2--2XX平+X平^2)=
∑X^2--2nX平^2+nX平^2=∑X^2--nX平^2；
3、Y=kX+b
k=（（XY）平--X平*Y平）/（（X^2）平--(X平）^2），
b=Y平--kX平；
X平=1/n∑Xi，
(XY）平=1/n∑XiYi；[1]编辑本段最小二乘法拟合对给定数据点{(Xi，Yi)}(i=0,1，…，m），在取定的函数类Φ 中，求p(x）∈Φ，使误差的平方和E^2最小，E^2=∑[p(Xi)-Yi]^2。从几何意义上讲，就是寻求与给定点 {(Xi，Yi)}(i=0,1，…，m）的距离平方和为最小的曲线y=p(x）。函数p(x）称为拟合函数或最小二乘解，求拟合函数p(x）的方法称为曲线拟合的最小二乘法。[1]最小二乘法的矩阵形式Ax=b，其中A为nxk的矩阵，x为kx1的列向量，b为nx1的列向量。如果n>k（方程的个数大于未知量的个数），这个方程系统称为Over Determined System，如果n<k（方程的个数小于未知量的个数），这个系统就是Under Determined System。
正常来看，这个方程是没有解的，但在数值计算领域，我们通常是计算 min ||Ax-b||，解出其中的x。比较直观的做法是求解A'Ax=A'b，但通常比较低效。其中一种常见的解法是对A进行QR分解（A=QR），其中Q是nxk正交矩阵（Orthonormal Matrix），R是kxk上三角矩阵（Upper Triangular Matrix），然后min ||Ax-b|| = min ||QRx-b|| = min ||Rx-Q'b||，用MATLAB命令x=R\(Q'*b）可解得x。[1]最小二乘法的Matlab实现① 一次函数使用polyfit（x,y,1）
②多项式函数使用 polyfit（x,y,n），n为次数
拟合曲线
x=[0.5,1.0,1.5,2.0,2.5,3.0]，
y=[1.75,2.45,3.81,4.80,7.00,8.60]。
解：MATLAB程序如下：
x=[0.5,1.0,1.5,2.0,2.5,3.0];
y=[1.75,2.45,3.81,4.80,7.00,8.60];
p=polyfit(x,y,2)
x1=0.5:0.5:3.0;
y1=polyval(p,x1);
plot(x,y,'*r',x1,y1,'-b')
计算结果为：
p =0.5614 0.8287 1.1560
即所得多项式为y=0.5614x^2+0.8287x+1.15560
③非线性函数使用 lsqcurvefit(fun,x0,x,y)[1]编辑本段最小二乘法在交通运输学中的运用交通发生预测的目的是建立分区产生的交通量与分区土地利用、社会经济特征等变量之间的定量关系，推算规划年各分区所产生的交通量。因为一次出行有两个端点，所以我们要分别分析一个区生成的交通和吸引的交通。交通发生预测通常有两种方法：回归分析法和聚类分析法。[1]回归分析法是根据对因变量与一个或多个自变量的统计分析，建立因变量和自变量的关系，最简单的情况就是一元回归分析，一般式为：Y=α+βX式中Y是因变量，X是自变量，α和β是回归系数。若用上述公式预测小区的交通生成，则以下标 i 标记所有变量；如果用它研究分区交通吸引，则以下标 j 标记所有变量。而运用公式的过程中需要利用最小二乘法来求解，上述公式中的回归系数根据最小二乘法可得：

回归方程的最后结果 回归方程的最后结果其中，式中的X拔是规划年的自变量值，Y拔是规划年分区交通生成（或吸引）预测值。[1]

⑼ 最小二乘法怎么用

LINEST 函数可通过使用最小二乘法计算与现有数据最佳拟合的直线，来计算某直线的统计值，然后返回描述此直线的数组。也可以将 LINEST 与其他函数结合使用来计算未知参数中其他类型的线性模型的统计值，包括多项式、对数、指数和幂级数。因为此函数返回数值数组，所以必须以数组公式的形式输入。请按照本文中的示例使用此函数。

直线的公式为：

y = mx + b

- 或 -

y = m1x1 + m2x2 + ... + b（如果有多个区域的 x 值）

其中，因变量 y 是自变量 x 的函数值。m 值是与每个 x 值相对应的系数，b 为常量。注意，y、x 和 m 可以是向量。LINEST 函数返回的数组为 {mn,mn-1,...,m1,b}。LINEST 函数还可返回附加回归统计值。

语法
LINEST(known_y's, [known_x's], [const], [stats])LINEST 函数语法具有以下参数 （参数：为操作、事件、方法、属性、函数或过程提供信息的值。）：

Known_y's 必需。关系表达式 y = mx + b 中已知的 y 值集合。
如果 known_y's 对应的单元格区域在单独一列中，则 known_x's 的每一列被视为一个独立的变量。

如果 known_y's 对应的单元格区域在单独一行中，则 known_x's 的每一行被视为一个独立的变量。
Known_x's 可选。关系表达式 y = mx + b 中已知的 x 值集合。
known_x's 对应的单元格区域可以包含一组或多组变量。如果仅使用一个变量，那么只要 known_y's 和 known_x's 具有相同的维数，则它们可以是任何形状的区域。如果使用多个变量，则 known_y's 必须为向量（即必须为一行或一列）。

如果省略 known_x's，则假设该数组为 {1,2,3,...}，其大小与 known_y's 相同。
const 可选。一个逻辑值，用于指定是否将常量 b 强制设为 0。
如果 const 为 TRUE 或被省略，b 将按通常方式计算。

如果 const 为 FALSE，b 将被设为 0，并同时调整 m 值使 y = mx。
stats 可选。一个逻辑值，用于指定是否返回附加回归统计值。
如果 stats 为 TRUE，则 LINEST 函数返回附加回归统计值，这时返回的数组为 {mn,mn-1,...,m1,b;sen,sen-1,...,se1,seb;r2,sey;F,df;ssreg,ssresid}。

如果 stats 为 FALSE 或被省略，LINEST 函数只返回系数 m 和常量 b。