线性回归分析法

一元线性回归分析和多元线性回归分析

一元线性回归分析

1.简单介绍

当只有一个自变量时，称为一元回归分析（研究因变量y和自变量x之间的相关关系）；当自变量有两个或多个时，则称为多元回归分析（研究因变量y和自变量x1，x2，…，xn之间的相关关系）。如果回归分析所得到的回归方程关于未知参数是线性的，则称为线性回归分析；否则，称为非线性回归分析。在实际预测中，某些非线性关系也可以通过一定形式的变换转化为线性关系，所以，线性回归分析法成为最基本的、应用最广的方法。这里讨论线性回归分析法。

2.回归分析法的基本步骤

回归分析法的基本步骤如下： （1） 搜集数据。

根据研究课题的要求，系统搜集研究对象有关特征量的大量历史数据。由于回归分析是建立在大量的数据基础之上的定量分析方法，历史数据的数量及其准确性都直接影响到回归分析的结果。 （2） 设定回归方程。

以大量的历史数据为基础，分析其间的关系，根据自变量与因变量之间所表现出来的规律，选择适当的数学模型，设定回归方程。设定回归方程是回归分析法的关键，选择最优模型进行回归方程的设定是运用回归分析法进行预测的基础。 （3） 确定回归系数。

将已知数据代入设定的回归方程，并用最小二乘法原则计算出回归系数，确定回归方程。这一步的工作量较大。 （4） 进行相关性检验。

相关性检验是指对已确定的回归方程能够代表自变量与因变量之间相关关系的可靠性进行检验。一般有R检验、t检验和F检验三种方法。 （5） 进行预测，并确定置信区间。

通过相关性检验后，我们就可以利用已确定的回归方程进行预测。因为回归方程本质上是对实际数据的一种近似描述，所以在进行单点预测的同时，我们也需要给出该单点预测值的置信区间，使预测结果更加完善。

3. 一元线性回归分析的数学模型

用一元线性回归方程来描述xi和yi之间的关系，即 （2-1） yi?a0?a1xi??i（i=1，2，…，n）

式中，xi和yi分别是自变量x和因变量y的第i观测值，a0和a1是回归系数，n是

观测点的个数，?i为对应于y的第i观测值yi的随机误差。假设随机误差?i满足如下条件：①服从正态分布；②?i的均值为零，即E??i??0；③?i的方差等于?2；④各个?i间相互独立，即对于任何两个随机误差?i和?j，其协方差等于零，即，

cov??i,?j??0?i?j?。

基于上述假定，随机变量的数学期望和方差分别是

E?yi??a0?a1E?xi? （2-2）

??????2I

如果不考虑式中的误差项，我们就得到简化的式子

yi?a0?a1xi（2-3）

该式称为y对x的一元回归模型或一元回归方程，其相应的回归分析称为一元线性回归分析。依据这一方程在直角坐标系中所作的直线就称为回归直线。

4. 回归参数的估计

回归模型中的参数a0与a1在一般情况下都是未知数，必须根据样本观测数据?xi,yi?来估计。确定参数a0与a1值的原则是要使样本的回归直线同观察值的拟合状态最好，即要使得偏差最小。为此，可以采用最小二乘法的办法来解决。对应于每一个xi，根据回归直线方程式（2-3）可以求出一个yi，它就是yi的一个

???估计值。估计值和观测值之间的偏差?i??yi?yi?。要使模型的拟合状态最好，

???就是说要使n个偏差平方和最小为标准来确定回归模型。

为了方便起见，记

?y1??1x1???1??y??1x????????a2?，a???0? y??2?，???2?，B?????????????a??1????????yn??1xn???n?则式（2-1）用矩阵形式表示为

y?Ba??（2-4）

?设V为误差?的负估值，称为y的改正数或残差，a为回归参数a的估值，

?则可以写出类似于参数平差的误差方程

V?Ba?y（2-5）

?根据最小二乘原理VTV?min，求自由极值，得

?VTV?a即BTV?0（2-6）

??2VTB?0

将误差方程（2-5）代入，即得法方程为

BBa?BTy（2-7）

T?记

nn221n1nx??xi，y??yi，Sxx??xi?x??xi2?nx，

ni?1ni?1i?1i?1n??Syy??yi?y??y?ny，Sxy??xi?xyi?y??xiyi?nxy

2ii?1i?1i?1i?1??2n2n????n则

?nBTB???nx?ny?nx?TBy?，?? 2?Sxx?nx???Sxy?nxy???于是可得回归参数的最小二乘估值为

a?BTB???1BTy（2-8）

即

1x?Sxx?2???Sxx?nx??n?x??ny?1?ySxx?xSxy??????????

Sxy??Sxy?nxy??Sxx?????x1????

参数a0与a1的具体表达形式为

??a0?y?xSxy/Sxx

（2-9）

??a1?SxySxx

求出参数a0与a1以后，就可以得到一元线性回归模型

y?a0?a1x（2-10）

?????由此，只要给定了一个xi值，就可以根据回归模型求得一个yi作为实际值yi的预测值。

?5.精度分析

对于给定的xi，根据回归模型就可以求出yi的预测值。但是用yi来预测y的精度如何，产生的误差有多大是我们所关心的。这里采用测量上常用的精度指标来度量回归方程的可靠性。一个回归模型的精度或剩余标准离差定义式为

?1n?VTV???（2-11） ?yi?yi???n?2i?1?n?2??2?由于参数的个数是2，观测值总数是n，多余观测是?n?2?，因此式中分母是

?n?2?。运用估计平均误差可以对回归方程的预测结果进行区间估计。若观察值

围绕回归直线服从正态分布，且方差相等，则有68.27%的点落在??的范围内，有95.45%的点落在?2?的范围内，有99.73%的点落在?3?的范围内。

根据参数平差理论可知，a的协因数矩阵为

Q???BTBaa???????12???S?nx??n?x?1xx???（2-12） ??Sxx??x1???从而，a的方差估值为

??（2-13）

?2a0??1x2?? ??0???nSxx????2??2a1???0?21 Sxx6.线性回归效果的显著性检验

对一元线性回归模型的统计检验包括两个内容：一是线性回归方程的显著性检验；二是对回归系数进行统计推断。

在一元线性回归分析中，线性回归效果的好坏取决于y与x的线性关系是否

密切。若|a1|越大，y随x的变化趋势就越明显；若|a1|越小，y随x的变化趋势就越不明显。特别的，当a1?0时，意味着y与x之间不存在线性相关关系，所建立的线性回归方程没有意义。所以，只有当a1?0时，y与x之间才有线性相关关系，所建立的线性回归方程才有实际意义。因此，对线性回归效果好坏的检验，就归结为对统计假设H0:a1?0;H1:a1?0的检验。若拒绝H0，就认为线性回归有意义；若不能拒绝H0，就认为线性回归无意义。下面介绍两种检验方法：F检验法和相关系数检验法。 1.F检验法

进行F检验的关键在于确定一个合适的统计量及其所服从的分布。当原假设成立时，根据F分布的定义可知

????????yi?y??F?ni?1?2?~F?1,n?2?（2-14）

????yi?yi?/?n?2???i?1?当给定显著性水平?=0.05或0.01，由F分布分位数值表得临界值

n2F1???1,n?2?，由样本观测值计算出统计量F的实测值。若F?F1???1,n?2?，则以显著水平?拒绝H0；若F?F1???1,n?2?则以显著水平?接受H0。一般按下述标准判断。

（1） 若F?F0.99?1,n?2?，则认为线性回归方程效果极显著。

（2） 若F0.95?1,n?2??F?F0.99?1,n?2?，则认为线性回归方程效果显著。 （3） 若F?F0.95?1,n?2?，则认为线性回归效果不显著。 2.相关系数检验法

相关系数检验法是通过y与x之间的相关系数对回归方程的显著性进行检验的，由样本观测值，即?x1,y1?,?x2,y2?,?,?xn,yn?，可以得到相关系数的实测值为

SxySxxSyyr????x?x??y?y?niii?1??x?x???y?y?n2niii?1i?12（2-15）

相关系数0?r?1，现作如下进一步分析。

本文来源：https://www.bwwdw.com/article/iuh2.html