应用回归分析pdf

‘壹’ 什么是调整后的R方

1、调整R方的解释与R方类似，不同的是：调整R方同时考虑了样本量（n）和回归中自变量的个数（k）的影响，这使得调整R方永远小于R方，而且调整R方的值不会由于回归中自变量个数的增加而越来越接近1。

因此，在多元回归分析中，通常用调整的多重判定系数来评价拟合效果。

2、R方的平方根称为多重相关系数，也称为复相关系数，它度量了因变量同k个自变量的相关程度。

注：SPSS中进行相关分析，一般只能得到两两之间的相关系数，因此，若要求复相关系数，可在多元回归中实现！

区别是系数不同。自变量个数的增加将影响到因变量中被回归方程所解释的变异比例，即会影响判定系数（R方）的大小。当增加自变量时，会使残差平方和减少，从而使R方变大。

如果模型中增加一个自变量，即使这个自变量在统计上并不显着，R方也会变大。因此，为避免增加自变量而高估R方，统计学家提出用样本量（n）和自变量的个数（k）去调整R方，计算出调整的多重判定系数（调整的R方）。

(1)应用回归分析pdf扩展阅读

例如：当给模型增加自变量时，复决定系数也随之逐步增大，当自变量足够多时总会得到模型拟合良好，而实际却可能并非如此。于是考虑对R2进行调整，记为Ra2，称调整后复决定系数。

R2＝SSR/SST=1-SSE/SST

Ra2=1-(SSE/dfE)/(SST/dfT)

‘贰’ 应用回归分析第四版pdf 何晓群

何晓群，刘文卿，应用回归分析（第四版），北京：中国人民大学出版社，2015. 讲得非常清楚，只要知道一点回归的概念和基本知识，也很容易理解。强烈推荐。

‘叁’ 《应用回归分析》epub下载在线阅读，求百度网盘云资源

《应用回归分析》（何晓群）电子书网盘下载免费在线阅读

链接：https://pan..com/s/1TSD_GdMlxTIvfGMHiCtZgA

书名：应用回归分析

作者：何晓群

豆瓣评分：8.4

出版社：中国人民大学出版社

出版年份：2011-9

页数：288

内容简介：

《应用回归分析(第3版)》写作的指导思想是在不失严谨的前提下，明显不同于纯数理类教材，努力突出实际案例的应用和统计思想的渗透，结合统计软件全面系统地介绍回归分析的实用方法，尽量结合中国社会经济、自然科学等领域的研究实例，把回归分析的方法与实际应用结合起来，注意定性分析与定量分析的紧密结合，努力把同行以及我们在实践中应用回归分析的经验和体会融入其中。

回归分析是统计学中一个非常重要的分支，在自然科学、管理科学和社会经济等领域有着非常广泛的应用。《应用回归分析(第3版)》是针对统计学专业和财经管理类专业教学的需要而编写的。

作者简介：

何晓群，男，1954年6月生于西安。1985至1987年在中国科学院应用数学研究所师从方开泰先生学习应用数理统计，获理学硕士学位。九三学社中国人民大学支社主委。现为中国人民大学统计学院教授，博士生导师，中国人民大学6Sigma质量管理研究中心主任，日本国立山口大学、香港浸会大学、台湾辅仁大学访问教授。摩托罗拉和美国六西格玛国际学院认证讲师，中国现场统计研究会常务理事，副秘书长，中国现场统计研究会多元统计分析分会理事长。

刘文卿，中国人民大学统计学院六西格玛质量管理研究中心副主任，获得国家质量监督检验检疫总局认证的质量工程师职业资格培训教师，中国质量协会聘任的质量管理技术方法课程教师。

‘肆’ 回归分析的应用

相关分析研究的是现象之间是否相关、相关的方向和密切程度，一般不区别自变量或因变量。而回归分析则要分析现象之间相关的具体形式，确定其因果关系，并用数学模型来表现其具体关系。比如说，从相关分析中我们可以得知“质量”和“用户满意度”变量密切相关，但是这两个变量之间到底是哪个变量受哪个变量的影响，影响程度如何，则需要通过回归分析方法来确定。
一般来说，回归分析是通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各个参数，然后评价回归模型是否能够很好的拟合实测数据；如果能够很好的拟合，则可以根据自变量作进一步预测。
例如，如果要研究质量和用户满意度之间的因果关系，从实践意义上讲，产品质量会影响用户的满意情况，因此设用户满意度为因变量，记为Y；质量为自变量，记为X。根据图8－3的散点图，可以建立下面的线性关系： Y=A+BX+§
式中：A和B为待定参数，A为回归直线的截距；B为回归直线的斜率，表示X变化一个单位时，Y的平均变化情况；§为依赖于用户满意度的随机误差项。
对于经验回归方程： y=0.857+0.836x
回归直线在y轴上的截距为0.857、斜率0.836，即质量每提高一分，用户满意度平均上升0.836分；或者说质量每提高1分对用户满意度的贡献是0.836分。
上面所示的例子是简单的一个自变量的线性回归问题，在数据分析的时候，也可以将此推广到多个自变量的多元回归，具体的回归过程和意义请参考相关的统计学书籍。此外，在SPSS的结果输出里，还可以汇报R2，F检验值和T检验值。R2又称为方程的确定性系数（coefficient of determination），表示方程中变量X对Y的解释程度。R2取值在0到1之间，越接近1，表明方程中X对Y的解释能力越强。通常将R2乘以100%来表示回归方程解释Y变化的百分比。F检验是通过方差分析表输出的，通过显着性水平（significant level）检验回归方程的线性关系是否显着。一般来说，显着性水平在0.05以上，均有意义。当F检验通过时，意味着方程中至少有一个回归系数是显着的，但是并不一定所有的回归系数都是显着的，这样就需要通过T检验来验证回归系数的显着性。同样地，T检验可以通过显着性水平或查表来确定。在上面所示的例子中，各参数的意义如表8－2所示。
线性回归方程检验 指标 显着性水平 意义 R2 0.89 “质量”解释了89%的“用户满意度”的变化程度 F 276.82 0.001 回归方程的线性关系显着 T 16.64 0.001 回归方程的系数显着 示例 SIM手机用户满意度与相关变量线性回归分析
我们以SIM手机的用户满意度与相关变量的线性回归分析为例，来进一步说明线性回归的应用。从实践意义讲上，手机的用户满意度应该与产品的质量、价格和形象有关，因此我们以“用户满意度”为因变量，“质量”、“形象”和“价格”为自变量，作线性回归分析。利用SPSS软件的回归分析，得到回归方程如下：
用户满意度=0.008×形象+0.645×质量+0.221×价格
对于SIM手机来说，质量对其用户满意度的贡献比较大，质量每提高1分，用户满意度将提高0.645分；其次是价格，用户对价格的评价每提高1分，其满意度将提高0.221分；而形象对产品用户满意度的贡献相对较小，形象每提高1分，用户满意度仅提高0.008分。
方程各检验指标及含义如下： 指标 显着性水平 意义 R2 0.89 “质量”和“价格”解释了89%的“用户满意度”的变化程度 F 248.53 0.001 回归方程的线性关系显着 T（形象） 0.00 1.000 “形象”变量对回归方程几乎没有贡献 T（质量） 13.93 0.001 “质量”对回归方程有很大贡献 T（价格） 5.00 0.001 “价格”对回归方程有很大贡献 从方程的检验指标来看，“形象”对整个回归方程的贡献不大，应予以删除。所以重新做“用户满意度”与“质量”、“价格”的回归方程如下： 满意度=0.645×质量+0.221×价格
用户对价格的评价每提高1分，其满意度将提高0.221分（在本示例中，因为“形象”对方程几乎没有贡献，所以得到的方程与前面的回归方程系数差不多）。
方程各检验指标及含义如下： 指标 显着性水平 意义 R 0.89 “质量”和“价格”解释了89%的“用户满意度”的变化程度 F 374.69 0.001 回归方程的线性关系显着 T（质量） 15.15 0.001 “质量”对回归方程有很大贡献 T（价格） 5.06 0.001 “价格”对回归方程有很大贡献

‘伍’ 《SPSS统计分析与应用》pdf下载在线阅读，求百度网盘云资源

《SPSS统计分析与应用》（冯国生//吕振通//胡博）电子书网盘下载免费在线阅读

资源链接：

链接：

书名：SPSS统计分析与应用

作者：冯国生//吕振通//胡博

出版社：机械工业

出版年份：2011-9

页数：290

内容简介：

《SPSS统计分析与应用》精选75个专业案例，覆盖95%以上的统计模型，以实验教程的形式讲解如何以SPSS为工具，解决各种统计分析问题。《SPSS统计分析与应用》共13章，第1章介绍SPSS基本操作及其统计分析常用功能；第2～13章通过38个实验介绍如何在SPSS中高效完成以下统计分析工作：描述性统计分析、均值比较与检验、方差分析、相关分析、回归分析、非参数检验、聚类分析、距离分析与判别分析、因子分析与主成分分析、生存分析以及信度分析等统计分析过程。

对于每一个实验，都从“原理、目的与要求、内容及数据来源、操作指导、结论”5个方面进行讲解，同时提供全程语音讲解的多媒体教学文件。章后精选37个上机题，在光盘中提供原始数据文件及多媒体教学动画，全面提升读者自己动手解决实际问题的能力。

《SPSS统计分析与应用》重实践兼理论，涉及自然科学和社会科学的各个领域，不仅有助于读者理解统计学方法和模型的适用问题，还为读者提供了一个即查即用的实例工具手册，适合高等院校相关专业本科生、研究生以及从事统计分析和决策等领域的读者学习参考。

‘陆’ 什么是回归分析，运用回归分析有什么作用

回归分析（regressionanalysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

运用十分广泛，回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且自变量之间存在线性相关，则称为多重线性回归分析。

(6)应用回归分析pdf扩展阅读：

回归分析步骤

1、确定变量

明确预测的具体目标，也就确定了因变量。如预测具体目标是下一年度的销售量，那么销售量Y就是因变量。通过市场调查和查阅资料，寻找与预测目标的相关影响因素，即自变量，并从中选出主要的影响因素。

2、建立预测模型

依据自变量和因变量的历史统计资料进行计算，在此基础上建立回归分析方程，即回归分析预测模型。

3、进行相关分析

回归分析是对具有因果关系的影响因素（自变量）和预测对象（因变量）所进行的数理统计分析处理。只有当自变量与因变量确实存在某种关系时，建立的回归方程才有意义。因此，作为自变量的因素与作为因变量的预测对象是否有关，相关程度如何，以及判断这种相关程度的把握性多大，就成为进行回归分析必须要解决的问题。进行相关分析，一般要求出相关关系，以相关系数的大小来判断自变量和因变量的相关的程度。

4、计算预测误差

回归预测模型是否可用于实际预测，取决于对回归预测模型的检验和对预测误差的计算。回归方程只有通过各种检验，且预测误差较小，才能将回归方程作为预测模型进行预测。

5、确定预测值

利用回归预测模型计算预测值，并对预测值进行综合分析，确定最后的预测值。

‘柒’ 回归分析的基本过程及其应用意义

回归分析（英语：Regression Analysis）是一种统计学上分析数据的方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量。回归分析是建立因变量Y（或称依变量，反应变量）与自变量X（或称独变量，解释变量）之间关系的模型。如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对具有相关关系的现象，择一适当的数学关系式，用以说明一个或一组变量变动时，另一变量或一组变量平均变动的情况，这种关系式称为回归方程。

‘捌’ 《漫画统计学之回归分析》pdf下载在线阅读，求百度网盘云资源

《漫画统计学之回归分析》（[日] 高桥信）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/19MrsTeA2xx8wg7PPWlA0uw

书名：漫画统计学之回归分析

作者：[日] 高桥信

译者：张仲桓

豆瓣评分：8.2

出版社：科学出版社

出版年份：2009-8

页数：215

内容简介：

《欧姆社学习漫画:漫画统计学之回归分析》是世界上最简单的回归分析教科书，它通过漫画式的情景说明，让你边看故事边学知识，每读完一篇就能理解一个概念，每篇末还附有文字说明，只要跟着这些简单的习题进行操练，你就能在最短时间内成为回归分析达人！

有趣的故事情节、时尚的漫画人物造型、细致的内容讲解定能给你留下深刻的印象，让你看过忘不了。通过这种轻松的阅读学习，读者可以掌握回归分析的基本知识。《欧姆社学习漫画:漫画统计学之回归分析》也可以作为广大青少年学习、掌握统计学中回归分析知识的读本。

作者简介：

高桥信，1972年生于日本新泻县。毕业于日本九州艺术工科大学(现已更名为日本九州大学)，专攻艺术工科，研究科学信息传输。曾担任资料分析业务和研讨会讲师，现为作家。

着作有《漫画统计学之回归分析》、《漫画统计学之因子分析》、《用Excel学回归分析》(以上由欧姆社出版)《即刻读懂生存时间分析》、《文科生也可以理解的多变量解析》(以上由东京图书出版)、合着有《AHP和交叉分析》(由现代数学社出版)等等。

‘玖’ 回归分析的认识及简单运用

回归分析的认识及简单运用

回归分析（regression analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，分为回归和多重回归分析；按照自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多重线性回归分析。

定义

回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，以分析数据内在规律，并可用于预报、控制等问题。

方差齐性

线性关系

效应累加

变量无测量误差

变量服从多元正态分布

观察独立

模型完整（没有包含不该进入的变量、也没有漏掉应该进入的变量）

误差项独立且服从（0，1）正态分布。

现实数据常常不能完全符合上述假定。因此，统计学家研究出许多的回归模型来解决线性回归模型假定过程的约束。

研究一个或多个随机变量Y1 ，Y2 ，…，Yi与另一些变量X1、X2，…，Xk之间的关系的统计方法，又称多重回归分析。通常称Y1，Y2，…，Yi为因变量，X1、X2，…，Xk为自变量。回归分析是一类数学模型，特别当因变量和自变量为线性关系时，它是一种特殊的线性模型。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，这叫一元线性回归，即模型为Y=a+bX+ε，这里X是自变量，Y是因变量，ε是随机误差，通常假定随机误差的均值为0，方差为σ^2（σ^2大于0）σ^2与X的值无关。若进一步假定随机误差遵从正态分布，就叫做正态线性模型。一般的情形，它有k个自变量和一个因变量，因变量的值可以分解为两部分：一部分是由于自变量的影响，即表示为自变量的函数，其中函数形式已知，但含一些未知参数；另一部分是由于其他未被考虑的因素和随机性的影响，即随机误差。当函数形式为未知参数的线性函数时，称线性回归分析模型；当函数形式为未知参数的非线性函数时，称为非线性回归分析模型。当自变量的个数大于1时称为多元回归，当因变量个数大于1时称为多重回归。

回归分析的主要内容为：

①从一组数据出发，确定某些变量之间的定量关系式，即建立数学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。

②对这些关系式的可信程度进行检验。

③在许多自变量共同影响着一个因变量的关系中，判断哪个（或哪些）自变量的影响是显着的，哪些自变量的影响是不显着的，将影响显着的自变量入模型中，而剔除影响不显着的变量，通常用逐步回归、向前回归和向后回归等方法。

④利用所求的关系式对某一生产过程进行预测或控制。回归分析的应用是非常广泛的，统计软件包使各种回归方法计算十分方便。

在回归分析中，把变量分为两类。一类是因变量，它们通常是实际问题中所关心的一类指标，通常用Y表示；而影响因变量取值的的另一类变量称为自变量，用X来表示。

回归分析研究的主要问题是：

（1）确定Y与X间的定量关系表达式，这种表达式称为回归方程；

（2）对求得的回归方程的可信度进行检验；

（3）判断自变量X对因变量Y有无影响；

（4）利用所求得的回归方程进行预测和控制。

回归分析可以说是统计学中内容最丰富、应用最广泛的分支。这一点几乎不带夸张。包括最简单的t检验、方差分析也都可以归到线性回归的类别。而卡方检验也完全可以用logistic回归代替。

众多回归的名称张口即来的就有一大片，线性回归、logistic回归、cox回归、poission回归、probit回归等等等等，可以一直说的你头晕。为了让大家对众多回归有一个清醒的认识，这里简单地做一下总结：

1、线性回归，这是我们学习统计学时最早接触的回归，就算其它的你都不明白，最起码你一定要知道，线性回归的因变量是连续变量，自变量可以是连续变量，也可以是分类变量。如果只有一个自变量，且只有两类，那这个回归就等同于t检验。如果只有一个自变量，且有三类或更多类，那这个回归就等同于方差分析。如果有2个自变量，一个是连续变量，一个是分类变量，那这个回归就等同于协方差分析。所以线性回归一定要认准一点，因变量一定要是连续变量。

2、logistic回归，与线性回归并成为两大回归，应用范围一点不亚于线性回归，甚至有青出于蓝之势。因为logistic回归太好用了，而且太有实际意义了。解释起来直接就可以说，如果具有某个危险因素，发病风险增加2.3倍，听起来多么地让人通俗易懂。线性回归相比之下其实际意义就弱了。logistic回归与线性回归恰好相反，因变量一定要是分类变量，不可能是连续变量。分类变量既可以是二分类，也可以是多分类，多分类中既可以是有序，也可以是无序。二分类logistic回归有时候根据研究目的又分为条件logistic回归和非条件logistic回归。条件logistic回归用于配对资料的分析，非条件logistic回归用于非配对资料的分析，也就是直接随机抽样的资料。无序多分类logistic回归有时候也成为多项logit模型，有序logistic回归有时也称为累积比数logit模型。

3、cox回归，cox回归的因变量就有些特殊，因为他的因变量必须同时有2个，一个代表状态，必须是分类变量，一个代表时间，应该是连续变量。只有同时具有这两个变量，才能用cox回归分析。cox回归主要用于生存资料的分析，生存资料至少有两个结局变量，一是死亡状态，是活着还是死亡？二是死亡时间，如果死亡，什么时间死亡？如果活着，从开始观察到结束时有多久了？所以有了这两个变量，就可以考虑用cox回归分析。

4、poisson回归，poisson回归相比就不如前三个用的广泛了。但实际上，如果你能用logistic回归，通常也可以用poission回归，poisson回归的因变量是个数，也就是观察一段时间后，发病了多少人？或者死亡了多少人？等等。其实跟logistic回归差不多，因为logistic回归的结局是是否发病，是否死亡，也需要用到发病例数、死亡例数。大家仔细想想，其实跟发病多少人，死亡多少人一个道理。只是poission回归名气不如logistic回归大，所以用的人也不如logistic回归多。但不要因此就觉得poisson回归没有用。

5、probit回归，在医学里真的是不大用，最关键的问题就是probit这个词太难理解了，通常翻译为概率单位。probit函数其实跟logistic函数十分接近，二者分析结果也十分接近。可惜的是，probit回归的实际含义真的不如logistic回归容易理解，由此导致了它的默默无名，但据说在社会学领域用的似乎更多一些。

6、负二项回归。所谓负二项指的是一种分布，其实跟poission回归、logistic回归有点类似，poission回归用于服从poission分布的资料，logistic回归用于服从二项分布的资料，负二项回归用于服从负二项分布的资料。说起这些分布，大家就不愿意听了，多么抽象的名词，我也很头疼。如果简单点理解，二项分布你可以认为就是二分类数据，poission分布你可以认为是计数资料，也就是个数，而不是像身高等可能有小数点，个数是不可能有小数点的。负二项分布呢，也是个数，只不过比poission分布更苛刻，如果你的结局是个数，而且结局可能具有聚集性，那可能就是负二项分布。简单举例，如果调查流感的影响因素，结局当然是流感的例数，如果调查的人有的在同一个家庭里，由于流感具有传染性，那么同一个家里如果一个人得流感，那其他人可能也被传染，因此也得了流感，那这就是具有聚集性，这样的数据尽管结果是个数，但由于具有聚集性，因此用poission回归不一定合适，就可以考虑用负二项回归。既然提到这个例子，用于logistic回归的数据通常也能用poission回归，就像上面案例，我们可以把结局作为二分类，每个人都有两个状态，得流感或者不得流感，这是个二分类结局，那就可以用logistic回归。但是这里的数据存在聚集性怎么办呢，幸亏logistic回归之外又有了更多的扩展，你可以用多水平logistic回归模型，也可以考虑广义估计方程。这两种方法都可以处理具有层次性或重复测量资料的二分类因变量。

7、weibull回归，有时中文音译为威布尔回归。weibull回归估计你可能就没大听说过了，其实这个名字只不过是个噱头，吓唬人而已。上一篇说过了，生存资料的分析常用的是cox回归，这种回归几乎统治了整个生存分析。但其实夹缝中还有几个方法在顽强生存着，而且其实很有生命力，只是国内大多不愿用而已。weibull回归就是其中之一。cox回归为什么受欢迎呢，因为它简单，用的时候不用考虑条件（除了等比例条件之外），大多数生存数据都可以用。而weibull回归则有条件限制，用的时候数据必须符合weibull分布。怎么，又是分布？！估计大家头又大了，是不是想直接不往下看了，还是用cox回归吧。不过我还是建议看下去。为什么呢？相信大家都知道参数检验和非参数检验，而且可能更喜欢用参数检验，如t检验，而不喜欢用非参数检验，如秩和检验。那这里的weibull回归和cox回归基本上可以说是分别对应参数检验和非参数检验。参数检验和非参数检验的优缺点我也在前面文章里通俗介绍了，如果数据符合weibull分布，那么直接套用weibull回归当然是最理想的选择，他可以给出你最合理的估计。如果数据不符合weibull分布，那如果还用weibull回归，那就套用错误，肯定结果也不会真实到哪儿去。所以说，如果你能判断出你的数据是否符合weibull分布，那当然最好的使用参数回归，也就是weibull回归。但是如果你实在没什么信心去判断数据分布，那也可以老老实实地用cox回归。cox回归可以看作是非参数的，无论数据什么分布都能用，但正因为它什么数据都能用，所以不可避免地有个缺点，每个数据用的都不是恰到好处。weibull回归就像是量体裁衣，把体形看做数据，衣服看做模型，weibull回归就是根据你的体形做衣服，做出来的肯定对你正合身，对别人就不一定合身了。cox回归呢，就像是到商场去买衣服，衣服对很多人都合适，但是对每个人都不是正合适，只能说是大致合适。至于到底是选择麻烦的方式量体裁衣，还是图简单到商场直接去买现成的，那就根据你的喜好了，也根据你对自己体形的了解程度，如果非常熟悉，当然就量体裁衣了。如果不大了解，那就直接去商场买大众化衣服吧。

8、主成分回归。主成分回归是一种合成的方法，相当于主成分分析与线性回归的合成。主要用于解决自变量之间存在高度相关的情况。这在现实中不算少见。比如你要分析的自变量中同时有血压值和血糖值，这两个指标可能有一定的相关性，如果同时放入模型，会影响模型的稳定，有时也会造成严重后果，比如结果跟实际严重不符。当然解决方法很多，最简单的就是剔除掉其中一个，但如果你实在舍不得，毕竟这是辛辛苦苦调查上来的，删了太可惜了。如果舍不得，那就可以考虑用主成分回归，相当于把这两个变量所包含的信息用一个变量来表示，这个变量我们称它叫主成分，所以就叫主成分回归。当然，用一个变量代替两个变量，肯定不可能完全包含他们的信息，能包含80%或90%就不错了。但有时候我们必须做出抉择，你是要100%的信息，但是变量非常多的模型？还是要90%的信息，但是只有1个或2个变量的模型？打个比方，你要诊断感冒，是不是必须把所有跟感冒有关的症状以及检查结果都做完？还是简单根据几个症状就大致判断呢？我想根据几个症状大致能能确定90%是感冒了。不用非得100%的信息不是吗？模型也是一样，模型是用于实际的，不是空中楼阁。既然要用于实际，那就要做到简单。对于一种疾病，如果30个指标能够100%确诊，而3个指标可以诊断80%，我想大家会选择3个指标的模型。这就是主成分回归存在的基础，用几个简单的变量把多个指标的信息综合一下，这样几个简单的主成分可能就包含了原来很多自变量的大部分信息。这就是主成分回归的原理。

9、岭回归。岭回归的名称由来我也没有查过，可能是因为它的图形有点像岭。不要纠结于名称。岭回归也是用于处理自变量之间高度相关的情形。只是跟主成分回归的具体估计方法不同。线性回归的计算用的是最小二乘估计法，当自变量之间高度相关时，最小二乘回归估计的参数估计值会不稳定，这时如果在公式里加点东西，让它变得稳定，那就解决了这一问题了。岭回归就是这个思想，把最小二乘估计里加个k，改变它的估计值，使估计结果变稳定。至于k应该多大呢？可以根据岭迹图来判断，估计这就是岭回归名称的由来。你可以选非常多的k值，可以做出一个岭迹图，看看这个图在取哪个值的时候变稳定了，那就确定k值了，然后整个参数估计不稳定的问题就解决了。

10、偏最小二乘回归。偏最小二乘回归也可以用于解决自变量之间高度相关的问题。但比主成分回归和岭回归更好的一个优点是，偏最小二乘回归可以用于例数很少的情形，甚至例数比自变量个数还少的情形。听起来有点不可思议，不是说例数最好是自变量个数的10倍以上吗？怎么可能例数比自变量还少，这还怎么计算？可惜的是，偏最小二乘回归真的就有这么令人发指的优点。所以，如果你的自变量之间高度相关、例数又特别少、而自变量又很多（这么多无奈的毛病），那就现在不用发愁了，用偏最小二乘回归就可以了。它的原理其实跟主成分回归有点像，也是提取自变量的部分信息，损失一定的精度，但保证模型更符合实际。因此这种方法不是直接用因变量和自变量分析，而是用反映因变量和自变量部分信息的新的综合变量来分析，所以它不需要例数一定比自变量多。偏最小二乘回归还有一个很大的优点，那就是可以用于多个因变量的情形，普通的线性回归都是只有一个因变量，而偏最小二乘回归可用于多个因变量和多个自变量之间的分析。因为它的原理就是同时提取多个因变量和多个自变量的信息重新组成新的变量重新分析，所以多个因变量对它来说无所谓。

看了以上的讲解，希望能对大家理解回归分析的运用有些帮助。

以上是小编为大家分享的关于回归分析的认识及简单运用的相关内容，更多信息可以关注环球青藤分享更多干货