线性回归的常用算法

㈠ 回归算法有哪些

回归算法有：
线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。
用一个方程式来表示它，即Y=a+b*X + e，其中a表示截距，b表示直线的斜率，e是误差项。这个方程可以根据给定的预测变量（s）来预测目标变量的值。
逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，我们就应该使用逻辑回归。这里，Y的值从0到1，它可以方程表示。

㈡ 线性回归公式，怎么推导的

线性回归是一种用来研究两种或两种以上变量之间相互依存关系的统计分析方法。其中一种变量称为自变量，另一种称为因变量。线性回归假设自变量与因变量之间存在线性关系，即因变量可以用一个或多个自变量的线性组合来表示。公式的推导过程可以分为如下几个步骤：定义自变量和因变量设有 n 组观测数据，其中自变量为 x，因变量为 y。因此，可以得到如下的观测数据：(x1, y1), (x2, y2), … , (xn, yn)假设存在一个线性函数 y=wx+b 能够较好地描述自变量与因变量之间的关系线性回归假设存在一个线性函数 y=wx+b 能够较好地描述自变量与因变量之间的关系，其中 w 和 b 是常数。因此，我们的目标是找到一组最优的 w 和 b 值，使得该函数能够尽可能准确地描述观测数据。定义损失函数为了找到最优的 w 和 b 值，我们需要定义一个损失函数来衡量线性函数 y=wx+b 和观测数据之间的差异。常用的损失函数有均方差损失函数和平均绝对误差损失函数。均方差损失函数为：L = (1/n) * ∑(yi - (wx + b))^2其中，yi 表示第 i 组观测数据的因变量，wx+b 表示线性函数对于第 i 组观测数据的预测值。平均绝对误差损失函数为：L = (1/n) * ∑|yi - (wx + b)|求解最优解接下来，我们可以使用梯度下降法或其他优化算法来求解最优解。梯度下降法的基本思想是，通过不断迭代调整 w 和 b 的值，使得损失函数的值越来越小，从而得到最优的 w 和 b 值。最终，我们就可以得到最优的线性回归模型 y=wx+b。希望以上回答能帮到你！

㈢ 线性回归方程定义和算法是怎么样的

且为观测值的样本方差.

线性方程称为关于的线性回归方程,称为回归系数,对应的直线称为回归直线.顺便指出,将来还需用到,其中为观测值的样本方差.

利用公式求解：b=
a=y（平均数）-b*（平均数）
线性同余方程

在数论中，线性同余方程是最基本的同余方程，“线性”表示方程的未知数次数是一次，即形如：

的方程。此方程有解当且仅当 b 能够被 a 与 n 的最大公约数整除（记作 gcd(a,n) | b）。这时，如果 x0 是方程的一个解，那么所有的解可以表示为：

其中 d 是a 与 n 的最大公约数。在模 n 的完全剩余系 {0,1,…,n-1} 中，恰有 d 个解。

目录
1 例子
2 求特殊解
3 线性同余方程组
4 参见

例子
在方程
3x ≡ 2 (mod 6)
中， d = gcd(3,6) = 3 ，3 不整除 2，因此方程无解。

在方程
5x ≡ 2 (mod 6)
中， d = gcd(5,6) = 1，1 整除 2，因此方程在{0,1,2,3,4,5} 中恰有一个解: x=4。

在方程
4x ≡ 2 (mod 6)
中， d = gcd(4,6) = 2，2 整除 2，因此方程在{0,1,2,3,4,5} 中恰有两个解: x=2 and x=5。

求特殊解
对于线性同余方程

ax ≡ b (mod n) (1)
若 d = gcd(a, n 整除 b ，那么为整数。由裴蜀定理，存在整数对 (r,s) （可用辗转相除法求得）使得 ar+sn=d，因此 是方程 (1) 的一个解。其他的解都关于与 x 同余。

举例来说，方程

12x ≡ 20 (mod 28)
中 d = gcd(12,28) = 4 。注意到 ，因此 是一个解。对模 28 来说，所有的解就是 {4,11,18,25} 。

线性同余方程组
线性同余方程组的求解可以分解为求若干个线性同余方程。比如，对于线性同余方程组：

2x ≡ 2 (mod 6)
3x ≡ 2 (mod 7)
2x ≡ 4 (mod 8)
首先求解第一个方程，得到x ≡ 1 (mod 3)，于是令x = 3k + 1，第二个方程就变为：

9k ≡ �6�11 (mod 7)
解得k ≡ 3 (mod 7)。于是，再令k = 7l + 3，第三个方程就可以化为：

42l ≡ �6�116 (mod 8)
解出：l ≡ 0 (mod 4)，即 l = 4m。代入原来的表达式就有 x = 21(4m) + 10 = 84m + 10，即解为：

x ≡ 10 (mod 84)
对于一般情况下是否有解，以及解得情况，则需用到数论中的中国剩余定理。

参见
二次剩余
中国剩余定理

谈谈解线性同余方程

因为ACM/ICPC中有些题目是关于数论的，特别是解线性同余方程，所以有必要准备下这方面的知识。关于这部分知识，我先后翻看过很多资料，包括陈景润的《初等数论》、程序设计竞赛例题解、“黑书”和很多网上资料，个人认为讲的最好最透彻的是《算法导论》中的有关章节，看了之后恍然大悟。经过几天的自学，自己觉得基本掌握了其中的“奥妙”。拿出来写成文章。

那么什么是线性同余方程？对于方程：ax≡b(mod m)，a，b，m都是整数，求解x 的值。

解题例程：pku1061 青蛙的约会 解题报告

符号说明：

mod表示：取模运算

ax≡b(mod m)表示：(ax - b) mod m = 0，即同余

gcd(a,b)表示：a和b的最大公约数

求解ax≡b(mod n)的原理：

对于方程ax≡b(mod n)，存在ax + by = gcd(a,b)，x，y是整数。而ax≡b(mod n)的解可以由x，y来堆砌。具体做法，见下面的MLES算法。

第一个问题：求解gcd(a,b)

定理一：gcd(a,b) = gcd(b,a mod b)

实现：古老的欧几里德算法

int Euclid(int a,int b)
{
if(b == 0)
return a;
else
return Euclid(b,mod(a,b));
}

附：取模运算

int mod(int a,int b)
{
if(a >= 0)
return a % b;
else
return a % b + b;
}

第二个问题：求解ax + by = gcd(a,b)

定理二：gcd(b,a mod b) = b * x' + (a mod b) * y'

= b * x' + (a - a / b * b) * y'

= a * y' + b * (x' - a / b * y')

= a * x + b * y

则：x = y'

y = x' - a / b * y'

实现：

triple Extended_Euclid(int a,int b)
{
triple result;
if(b == 0)
{
result.d = a;
result.x = 1;
result.y = 0;
}
else
{
triple ee = Extended_Euclid(b,mod(a,b));
result.d = ee.d;
result.x = ee.y;
result.y = ee.x - (a/b)*ee.y;
}
return result;
}

附：三元组triple的定义

struct triple
{
int d,x,y;
};

第三个问题：求解ax≡b(mod n)

实现：由x，y堆砌方程的解

int MLES(int a,int b,int n)
{
triple ee = Extended_Euclid(a,n);
if(mod(b,ee.d) == 0)
return mod((ee.x * (b / ee.d)),n / ee.d);
else
return -1;
}//返回-1为无解，否则返回的是方程的最小解

说明：ax≡b(mod n)解的个数：

如果ee.d 整除 b 则有ee.d个解；

如果ee.d 不能整除 b 则无解。

㈣ 线性回归方程公式是什么

y=bx+a

例如：

y=3x+1

因为不知道x前面的系数，和常数项所以设成a，b，a和b通常是需要求的。

先求x，y的平均值X，Y

再用公式代入求解：b=(x1y1+x2y2+...xnyn-nXY)/(x1+x2+...xn-nX)

后把x，y的平均数X，Y代入a=Y-bX

求出a并代入总的公式y=bx+a得到线性回归方程。

(4)线性回归的常用算法扩展阅读：

在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。

不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X和y的联合概率分布。

㈤ 机器学习一般常用的算法有哪些

机器学习是人工智能的核心技术，是学习人工智能必不可少的环节。机器学习中有很多算法，能够解决很多以前难以企的问题，机器学习中涉及到的算法有不少，下面小编就给大家普及一下这些算法。

一、线性回归

一般来说，线性回归是统计学和机器学习中最知名和最易理解的算法之一。这一算法中我们可以用来预测建模，而预测建模主要关注最小化模型误差或者尽可能作出最准确的预测，以可解释性为代价。我们将借用、重用包括统计学在内的很多不同领域的算法，并将其用于这些目的。当然我们可以使用不同的技术从数据中学习线性回归模型，例如用于普通最小二乘法和梯度下降优化的线性代数解。就目前而言，线性回归已经存在了200多年，并得到了广泛研究。使用这种技术的一些经验是尽可能去除非常相似（相关）的变量，并去除噪音。这是一种快速、简单的技术。

二、Logistic 回归

它是解决二分类问题的首选方法。Logistic 回归与线性回归相似，目标都是找到每个输入变量的权重，即系数值。与线性回归不同的是，Logistic 回归对输出的预测使用被称为 logistic 函数的非线性函数进行变换。logistic 函数看起来像一个大的S，并且可以将任何值转换到0到1的区间内。这非常实用，因为我们可以规定logistic函数的输出值是0和1并预测类别值。像线性回归一样，Logistic 回归在删除与输出变量无关的属性以及非常相似的属性时效果更好。它是一个快速的学习模型，并且对于二分类问题非常有效。

三、线性判别分析（LDA）

在前面我们介绍的Logistic 回归是一种分类算法，传统上，它仅限于只有两类的分类问题。而LDA的表示非常简单直接。它由数据的统计属性构成，对每个类别进行计算。单个输入变量的 LDA包括两个，第一就是每个类别的平均值，第二就是所有类别的方差。而在线性判别分析，进行预测的方法是计算每个类别的判别值并对具备最大值的类别进行预测。该技术假设数据呈高斯分布，因此最好预先从数据中删除异常值。这是处理分类预测建模问题的一种简单而强大的方法。

四、决策树

决策树是预测建模机器学习的一种重要算法。决策树模型的表示是一个二叉树。这是算法和数据结构中的二叉树，没什么特别的。每个节点代表一个单独的输入变量x和该变量上的一个分割点。而决策树的叶节点包含一个用于预测的输出变量y。通过遍历该树的分割点，直到到达一个叶节点并输出该节点的类别值就可以作出预测。当然决策树的有点就是决策树学习速度和预测速度都很快。它们还可以解决大量问题，并且不需要对数据做特别准备。

五、朴素贝叶斯

其实朴素贝叶斯是一个简单但是很强大的预测建模算法。而这个模型由两种概率组成，这两种概率都可以直接从训练数据中计算出来。第一种就是每个类别的概率，第二种就是给定每个 x 的值，每个类别的条件概率。一旦计算出来，概率模型可用于使用贝叶斯定理对新数据进行预测。当我们的数据是实值时，通常假设一个高斯分布，这样我们可以简单的估计这些概率。而朴素贝叶斯之所以是朴素的，是因为它假设每个输入变量是独立的。这是一个强大的假设，真实的数据并非如此，但是，该技术在大量复杂问题上非常有用。所以说，朴素贝叶斯是一个十分实用的功能。

六、K近邻算法

K近邻算法简称KNN算法，KNN 算法非常简单且有效。KNN的模型表示是整个训练数据集。KNN算法在整个训练集中搜索K个最相似实例（近邻）并汇总这K个实例的输出变量，以预测新数据点。对于回归问题，这可能是平均输出变量，对于分类问题，这可能是众数类别值。而其中的诀窍在于如何确定数据实例间的相似性。如果属性的度量单位相同，那么最简单的技术是使用欧几里得距离，我们可以根据每个输入变量之间的差值直接计算出来其数值。当然，KNN需要大量内存或空间来存储所有数据，但是只有在需要预测时才执行计算。我们还可以随时更新和管理训练实例，以保持预测的准确性。

七、Boosting 和 AdaBoost

首先，Boosting 是一种集成技术，它试图集成一些弱分类器来创建一个强分类器。这通过从训练数据中构建一个模型，然后创建第二个模型来尝试纠正第一个模型的错误来完成。一直添加模型直到能够完美预测训练集，或添加的模型数量已经达到最大数量。而AdaBoost 是第一个为二分类开发的真正成功的 boosting 算法。这是理解 boosting 的最佳起点。现代 boosting 方法建立在 AdaBoost 之上，最显着的是随机梯度提升。当然，AdaBoost 与短决策树一起使用。在第一个决策树创建之后，利用每个训练实例上树的性能来衡量下一个决策树应该对每个训练实例付出多少注意力。难以预测的训练数据被分配更多权重，而容易预测的数据分配的权重较少。依次创建模型，每一个模型在训练实例上更新权重，影响序列中下一个决策树的学习。在所有决策树建立之后，对新数据进行预测，并且通过每个决策树在训练数据上的精确度评估其性能。所以说，由于在纠正算法错误上投入了太多注意力，所以具备已删除异常值的干净数据十分重要。

八、学习向量量化算法（简称 LVQ）

学习向量量化也是机器学习其中的一个算法。可能大家不知道的是，K近邻算法的一个缺点是我们需要遍历整个训练数据集。学习向量量化算法（简称 LVQ）是一种人工神经网络算法，它允许你选择训练实例的数量，并精确地学习这些实例应该是什么样的。而学习向量量化的表示是码本向量的集合。这些是在开始时随机选择的，并逐渐调整以在学习算法的多次迭代中最好地总结训练数据集。在学习之后，码本向量可用于预测。最相似的近邻通过计算每个码本向量和新数据实例之间的距离找到。然后返回最佳匹配单元的类别值或作为预测。如果大家重新调整数据，使其具有相同的范围，就可以获得最佳结果。当然，如果大家发现KNN在大家数据集上达到很好的结果，请尝试用LVQ减少存储整个训练数据集的内存要求

㈥ 线性回归方程公式是什么

线性回归方程公式：b=(x1y1+x2y2+...xnyn-nXY)/(x1+x2+...xn-nX)。线性回归方程是利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一。

线性回归方程公式求法：

第一：用所给样本求出两个相关变量的(算术）平均值：

x_=(x1+x2+x3+...+xn)/n

y_=(y1+y2+y3+...+yn)/n

第二：分别计算分子和分母：（两个公式任选其一）

分子=(x1y1+x2y2+x3y3+...+xnyn)-nx_Y_

分母=(x1^2+x2^2+x3^2+...+xn^2)-n*x_^2

第三：计算b：b=分子/分母

用最小二乘法估计参数b，设服从正态分布，分别求对a、b的偏导数并令它们等于零，得方程组解为

其中，且为观测值的样本方差.线性方程称为关于的线性回归方程，称为回归系数，对应的直线称为回归直线.顺便指出，将来还需用到，其中为观测值的样本方差。

先求x，y的平均值X，Y

再用公式代入求解:b=(x1y1+x2y2+...xnyn-nXY)/(x1+x2+...xn-nX)

后把x，y的平均数X，Y代入a=Y-bX

求出a并代入总的公式y=bx+a得到线性回归方程

(X为xi的平均数，Y为yi的平均数)

应用

线性回归方程是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。这是因为线性依赖于其未知参数的模型比非线性依赖于其位置参数的模型更容易拟合，而且产生的估计的统计特性也更容易确定。

线性回归有很多实际用途。分为以下两大类：

如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。当完成这样一个模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y值。

给定一个变量y和一些变量X1,...,Xp，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之间相关性的强度，评估出与y不相关的Xj，并识别出哪些Xj的子集包含了关于y的冗余信息。

以上内容参考网络-线性回归方程

㈦ 线性回归方程公式是什么

线性回归方程是利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一。线性回归也是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。按自变量个数可分为一元线性回归分析方程和多元线性回归分析方程。

㈧ matlab，有哪些是线性回归算法！

2015a版的matlab有如下的线形回归算法。
方法名 函数名 说明
1.多元线性回归 fitlm 具有多个预测变量的线性回归
2.逐步回归 stepwise 交互式逐步回归
3多目标的多元线性回归 mvregress 使用多变量输出的线性回归
4有正则化的多元线性回归 lasso 使用弹性网正则化的多元线性回归
5有正则化的多元线性回归 ridge Ridge回归

㈨ 线性回归算法原理（越详细越好）

线性回归是利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一，运用十分广泛。

分析按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

我们以一简单数据组来说明什么是线性回归。假设有一组数据型态为y=y(x)，其中

x={0,1,2,3,4,5},y={0,20,60,68,77,110}

如果我们要以一个最简单的方程式来近似这组数据，则非一阶的线性方程式莫属。先将这组数据绘图如下

图中的斜线是我们随意假设一阶线性方程式y=20x，用以代表这些数据的一个方程式。以下将上述绘图的MATLAB指令列出，并计算这个线性方程式的y值与原数据y值间误差平方的总合。

>>x=[012345];

>>y=[020606877110];

>>y1=20*x;%一阶线性方程式的y1值

>>sum_sq=sum(y-y1).^2);%误差平方总合为573

>>axis([-1,6,-20,120])

>>plot(x,y1,x,y,'o'),title('Linearestimate'),grid

如此任意的假设一个线性方程式并无根据，如果换成其它人来设定就可能采用不同的线性方程式；所以我们须要有比较精确方式决定理想的线性方程式。我们可以要求误差平方的总合为最小，做为决定理想的线性方程式的准则，这样的方法就称为最小平方误差(leastsquareserror)或是线性回归。MATLAB的polyfit函数提供了从一阶到高阶多项式的回归法，其语法为polyfit(x,y,n)，其中x,y为输入数据组n为多项式的阶数，n=1就是一阶的线性回归法。polyfit函数所建立的多项式可以写成

从polyfit函数得到的输出值就是上述的各项系数，以一阶线性回归为例n=1，所以只有二个输出值。如果指令为coef=polyfit(x,y,n)，则coef(1)=,coef(2)=,...,coef(n+1)=。注意上式对n阶的多项式会有n+1项的系数。我们来看以下的线性回归的示范：

>>x=[012345];

>>y=[020606877110];

>>coef=polyfit(x,y,1);%coef代表线性回归的二个输出值

>>a0=coef(1);a1=coef(2);

>>ybest=a0*x+a1;%由线性回归产生的一阶方程式

>>sum_sq=sum(y-ybest).^2);%误差平方总合为356.82

>>axis([-1,6,-20,120])

>>plot(x,ybest,x,y,'o'),title('Linearregressionestimate'),grid

[编辑本段]线性回归拟合方程

一般来说，线性回归都可以通过最小二乘法求出其方程，可以计算出对于y=bx+a的直线，其经验拟合方程如下：