经典线性回归模型（设定与推断）

2 经典线性回归模型

§2.1 概念与记号

1．线性回归模型是用来描述一个特定变量y与其它一些变量x1，…，xp之间的关系。 2．称特定变量y为因变量（dependent variable）、被解释变量（explained variable）、响应变量（response variable）、被预测变量（predicted variable）、回归子（regressand）。

3．称与特定变量相关的其它一些变量x1，…，xp为自变量（independent variable）、解释变量（explanatory variable）、控制变量（control variable）、预测变量（predictor variable）、回归量（regressor）、协变量（covariate）。 4．假定我们观测到上述这些变量的n组值：?yi,xi1,?,xip? (i=1，…，n)。称这n组值为样本（sample）或数据（data）。

§2.2 经典线性回归模型的假定

假定2.1（线性性(linearity)）

yi??0??1xi1????pxip??i (i=1，…，n)。 （2.1）

称方程（2.1）为因变量y对自变量x1，…，xp的线性回归方程（linear regression equation），其中?k?k?0，1,?,p?是待估的未知参数（unknown parameters），

。称自?i?i?1,?,n?是满足一定限制条件的无法观测的误差项（unobserved error term）

变量的函数?0??1xi1????pxip为回归函数（regression function）或简称为回归（regression）。称?0为回归的截距(ntercept)，称?k?k?1,?,p?为自变量的回归系数（regression coefficients）。某个自变量的回归系数表示在其它条件保持不变的情况下，

这个自变量变化一个单位对因变量的影响程度，这个影响是在排除其它自变量的影响后，这个自变量对因变量的偏效应。

下面引入线性回归方程的矩阵表示。记

?*???1,?,?p?T (自变量的回归系数向量)

????0,?1,?,?p?T （未知系数向量(unknown coefficient vector)）

TTxi*??xi1,?,xip?，xi??1,xi1,?,xip?，(i=1，…，n)，则

yi?xiT???i (i=1，…，n)。

T ???1,?,1?T，~xj??x1j,?,xnj? (j=1，…，p)， T?1x11?x1p??x1?????x1,?,~xp?， X=?????????????,~?1x?x??xT?np??n1?n??y1???1?????Y=???， ?????，则 ?y?????n??n?Y?X???

假定2.2（严格外生性(strictly exogeneity)）

**E?i|x1,?,xn?E??i|x11,?,x1p,?,xn1,?,xnp?=0 (i=1，…，n)。

??严格外生性的含义

·误差项的无条件期望为零

E??i??0 (i=1，…，n)。

·正交条件（orthogonality conditions）

?E?xt1?i????*Ext?i?????0 ( i =1，…，n ; t =1，…，n )。

?E?x???tpi????·不相关条件（zero-correlation conditions）

cov??i,xtj??0 (对所有i，t，j)。

由以上严格外生性的含义可知，如果在时间序列数据中存在的滞后效应（lagged effect）和反馈效应（feetback effect），那么严格外生性条件就不成立。因而，在严格外生性假定下推出的性质就不能用于这类时间序列数据。滞后效应是指自变量历史值对因变量当前值的影响，反馈效应是指因变量当前值对自变量未来值的影响。

假定2.3（无多重共线性(no multicollinearity)） n×(p+1)矩阵X的秩为(p+1)的概率为1。 假定2.4（球面误差方差(spherical error variance)）

**Var?|x1,?,xn??2In

??·条件同方差（conditional homoskedasticity）

**E?i2|x1,?,xn??2?0 (i=1，…，n)。 （误差方差）

?? ·误差项不相关(no correlation between error term)

**E?i?t|x1,?,xn?0 (对所有i≠t)

?? 在经典线性回归模型的四个假定中，假定2.1和假定2.3是必不可少的，但假定2.2和假定2.4中的严格外生性、条件同方差和误差项不相关以后可以适当放宽。

§2.3 随机样本的经典线性回归模型

若样本?yi,xi*T?(i=1，…，n)为IID，那么假定2.2和假定2.4可简化为 假定2.2: E??i|xi*??0 (i=1，…，n) 假定2.4：E??i2|xi*???2?0 (i=1，…，n)

§2.4 确定性自变量的经典线性回归模型

若更进一步假定自变量x1，…，xp为确定性的变量，那么假定2.2和假定2.4可进一步简化为

假定2.2：E??i??0 (i=1，…，n) 假定2.4：Var?????2In

§2.5 最小二乘估计量及其代数性质

虽然我们无法直接观测到误差项，但对未知系数向量β的一个假想值（hypothetical

value）?~，容易计算出

~~~ yi??0??1xi1????pxip

称这个量为第i次观测的残差（residual），并且称使残差平方和（residual sum of squares）

2~~~~T~Q???yi??0??1xi1????pxip=Y?X?Y?X?

??~n??????i?1达到最小的假想值： ~b?argminQ? ~

???为未知系数向量β的普通最小二乘估计量（ordinary least squares estimators），简记为OLS估计量。下面介绍OLS估计量的一些代数性质。 ·一阶条件（first-order conditions）

XT?Y?Xb??0 （正规方程（normal equations）） ·β的OLS估计量：在假定2.3成立时 b??XTX? 记

?1n?1n?TT??1XY???xixi???xiyi? ?ni?1??ni?1??11n~xj??xij(j=1，…，p)，X?~x1?x1?,?,~xp?xp?，

ni?1??1n~y??yi，Y?Y?y?， ni?1则?*的OLS估计为 b??b1,?,bp?*T~~?XTX???1~~XTY，

?0的OLS估计为

b0?y?b*Tx，其中x??x1,?,xn?

T·估计量的抽样误差（sampling error）：b????XTX?XT?

?1?i?xiTb ·第i次观测的拟合值（fitted value）：y??Xb?X?XTX?XTY?HY ·拟合值向量（vector of fitted value）：Y?1·投影矩阵（projection matrix）：H?X?XTX?XT （对称幂等，秩为p+1，HX=X）

?i ·第i次观测的OLS残差（OLS residual）：ei?yi?xiTb?yi?y?=(I-H)Y≡MY?M? ·残差向量（vector of OLS residuals）：e=Y-Xb=Y?Y·零化子（annihilator）：M=In – H （对称幂等，秩为n-p-1，MX=0）

1n·一阶条件：Xe?0，即 ?xiei?0 （E?xi?i??0）

ni?1T??e ·OLS估计的几何意义：Y?Xb?e?Y

Y ?TY??eTeYTY?Ye

L(X) ?Y

·残差平方和（residuals sum of squares）

RSS=eTe?YTMY??TM?，(其自由度为n-p-1)

·σ2 的OLS估计量

s2?RSS?RMS （残差均方，residual mean square）

n?p?1·回归（方程）标准误（standard error of the regression (equation)）

s?RSS (残差标准误，residual standard error)

n?p?1·平方和分解公式

当回归方程包含常数项时，可以证明

?i ?? ?yy ? ? yi ? y ? ? ? ? ? e i

222i?1i?1i?1nnn称这个等式为平方和分解公式。记

1??2SST???yi?y??YT?I???T?Y（称为总平方和，其自由度为n-1）

n??i?1n(其中，???1,?,1?T表示每个元素均为1的n维向量)

?i?y??SST?RSS（称为回归平方和，其自由度为p） SSreg???y2i?1n? SS? RSS则平方和分解公式又可写成：SST reg ，(n-1)=p+(n-p-1)。

平方和分解公式将总平方和分解为回归平方和与残差平方和两部分。总平方和表示样本中因变量的总变异，回归平方和表示总变异中能够解释的部分，因此又称为解释平方和，回归平方和是由样本中自变量的变异产生的，回归平方和可表示回归的效应。残差平方和表示总变异中不能解释的部分，残差平方和是由不可观测的误差的波动产生的。

·决定系数（coefficient of determination, R square）

R2?1?RSS， SST当回归方程包含常数项时，由平方和分解公式有0?R2?1。当回归方程不包含常数项时，平方和分解公式不再成立，且有可能会出现 ? ? yi ? y ? ? ? ei 2，即

2i?1i?1nnSST?RSS，从而使R2变成负数。因此决定系数只能用于包含常数项的回归。

由平方和分解公式可知，因变量的变异由解释变量的变异和误差的变异两部分组成。决定系数R2度量了由解释变量变异（回归函数）决定的因变量变异的比例。或者说决定系数R2度量了解释变量（回归函数）能够解释的因变量变异的比例。 ·复相关系数(multiple correlation coefficient，multiple R )

RSS?)? R?1??corr(Y,YSST??yi?1ni?1ni?i?y??y?yn???22?i??y?y?i??yi?1

??y对只有一个自变量的一元线性回归，R2就是y与x的样本相关系数的平方，复相关系数就是y与x的样本相关系数的绝对值，即

?)2??corr?Y,X??2，R?corr(Y,Y?)?corr?Y,X? R2?corr(Y,Y??且自变量的回归系数和y与x的样本相关系数之间的关系为

1n?yi?y?2?n?1i?11?xi?x?2?n?1i?1n b1??corr?Y,X??rsysx

·修正决定系数(adjusted coefficient of determination, adjusted R square)

由假定2.1、假定2.2和假定2.4有

yi?xiT???i，Var?yi??Var?xiT???Var??i??Var?xiT????2

因此理论上，由自变量变异决定的因变量变异的比例（称为理论决定系数）为

理论决定系数?1?2?2Varyi??

RSS1n分别用s?和?yi?y?2来估计?2和Var(yi)，得修正决定系数 ?n?p?1n?1i?12Radj?1?RSS/(n?p?1)

SST/(n?1)RMS

SST/(n?1)n?11?R2

n?p?1?1??1????n?1p R2?n?p?1n?p?1由决定系数R2的含义可知，决定系数R2越大，回归方程对样本拟合的越好。可以证明回归方程中包含的解释变量越多，残差平方和就越小，从而决定系数R2就越大。但在样本容量不变的情况下，回归方程中包含的解释变量越多，对未知系数向量的估计就越不精确，因此并不是回归方程中包含的解释变量越多越好。而修正决定系数综合考虑了解释变量个数和对样本拟合的程度这两方面的因素。 ·非中心化R2（Uncentered R2）

eTe?TY??eTe） R?1?T，（YTY?YYY2uc2显然0?Ruc非中心化R2的含义是解释变量的变异能够解释的因变量的变异?1，

的比例。在回归方程不包含常数项时，可用非中心化R2代替决定系数R2。

§2.6 最小二估计量的有限样本性质

·无偏性（unbiasedness）：在假定2.1~假定2.3下

E?b|~x1,?,~xn???

·条件方差阵表达式（expression for the variance）：在假定2.1~假定2.4下，

Var?b|~x1,?,~xn???2XTX???1??2C??2?cij?

·Gauss-Markov定理：在假定2.1~假定2.4下，OLS估计量b是有效的线性无偏估计

?，量。即对于任意的Y的线性函数构成的无偏估计量?都有

?|~ Va?rb|~x1,?,~xn??Va?r?x1,?,~xn?

·σ2 的OLS估计量的无偏性：在假定2.1~假定2.4下

Es2|~x1,?,~xn??2

??cov(b, e |~x1,?,~xn)=0

Var(b|X) ? Var ?b | ~ 1 , n ? ? s 2 ? ? ?1 ? s 2C?s2?cx?,~xX T Xij? （它是OLS估计量b的条件方差阵的条件无偏估计量）

·?kOLS估计的标准误（standard error）

SE(bk)=sckk (k=0，1，…，p)

为探讨OLS估计量b的精确抽样分布，我们还需对回归方程误差项的分布作出假定，经典线性回归模型假定误差项是正态的。 假定2.5（误差项的正态性(normality of the error term)） ??|~x1,?,~xn?~正态分布

·观测向量Y的分布：在假定2.1~假定2.5下 ?Y|~x1,?,~xn?~N?X?,?2In? ·残差向量的分布：在假定2.1~假定2.5下 ?e|~x1,?,~xn?~N?0,?2M?

·估计量的抽样分布：在假定2.1~假定2.5下

?1??b???|~x1,?,~xn?~N?0,?2?XTX???N?0,?2C?

·?k的置信区间

bk?SE?bk?t1??2?n?p?1?

·?k显著性检验(对H0:?k?0vsH1:?k?0的检验)的统计量

tk?bk~t?n?p?1? (k=0，1，…，p) SE?bk?·检验线性约束H0:R??r(R与r为已知，#r×(p+1)矩阵R是满行秩的)的F统计量

T?Rb?r? F =

?R?XTX??1RTs2??Rb?r?/#r

?1T? RVar ? ? Rb ? r ? ?b | X ?R T ? ? ? r ?/# r （Wald检验统计量） Rb?1 ??RSSR?RSSU?/#r~F?#r,RSSU/?n?p?1?n?p?1? （似然比检验统计量）

其中，RSSU=RSS表示无约束最小二乘估计的残差平方和，RSSR表示在线性约束R??r下最小二乘估计的残差平方和，即

~minQ?RSSR ≡ ~

R??r~??·回归方程显著性检验（对H0:?1????p?0的检验）的F统计量 F??SST?RSS?/p?SSreg/p?MSreg RSS/?n?p?1?RSS/?n?p?1?RMSn?p?1R2 ?~F?p,n?p?1?

p1?R2（其中，MSreg?SSregp称为回归均方）

·最大似然估计（maximun likelihood estimators，ML估计）

实际上，我们还能证明：在假定2.1~假定2.5下，系数向量的OLS估计量也是ML估计量，而?2的ML估计量则为

? ? 2 ? 1 RSS

n最大对数似然函数值是 ?log(2?)??log(n2n2n2RSS) n·回归函数的估计和因变量的预测

如果线性拟合模型经过检验是显著的，那么我们就可用它来做估计回归函数和预测因变量。对给定自变量的一组新的观测值x0??1,x01,?,x0p?T，估计对应的回归

TT函数值x0?和预测对应的因变量值y0。显然回归函数x0?的估计值和y0的预测值均

为

?0?xTb?b0?b1x01???bpx0p y0估计值的抽样误差和预测值的预测误差分别为 xT??xTb??xT?b???

000TT?0?xT?b??? y?y????xb???x000在假定2.1~假定2.5下，抽样误差和预测误差的分布分别为

TT??x0b~N0,?2xT?XTX?x x0?1?0~N0,?21?xT?XTX? y?y0???0?1?x??

00可进一步证明

TTx0??x0bTsxTXX0???1~t?n?p?1? x0~t?n?p?1? x0?0y?yTs1?xTXX0???1T由此得到回归函数x0?的区间估计和因变量y0的区间预测分别为

?0?ty??n?p?1?s1?2xTXTX0???1x0

?0?ty??n?p?1?s1?21?xTXTX0???1x0

T特别在只有一个自变量的情况下，回归函数x0?的区间估计和因变量y0的区间预测

分别为

?0?ty??n?2?s1?21?n?xni?10?xi?2??xn?x?

21?0?t??n?2?s1??y1?n2?xi?10?xi?2??x?x?

2

§2.7 R中有关线性回的函数

下面通过一个例子来说明R中与线性回归相关的函数。

例 根据经验，在人的身高相等的情况下，血压的收缩压Y与体重x1(kg)和年龄x2(岁数)有关。现收集13个男子的数据，试建立Y关于x1和x2的线性回归方程。 > blood<-data.frame(

lm.sol<-lm(Y ~ X1+X2, data=blood) X1=c(76.0, 91.5, 85.5, 82.5, 79.0, 80.5, 74.5, 79.0, 85.0, 76.5, 82.0, 95.0, 92.5), X2=c(50, 20, 20, 30, 30, 50, 60, 50, 40, 55, 40, 40, 20), Y= c(120, 141, 124, 126, 117, 125, 123, 125, 132, 123, 132, 155, 147) ) > cor(blood) X1 X2 Y X1 1.0000000 -0.7002831 0.9064018 X2 -0.7002831 1.0000000 -0.3827729 Y 0.9064018 -0.3827729 1.0000000 plot(blood) lm( )函数用于估计线性模型，此函数返回一个线性拟合模型（lm对象）。此函数的一般用法为

lm(formula,data, subset,...)

formula 指定R的模型公式，其形式是y~x1+x2+...+xp。如果线性模型中不包含常数

项，那么要在模型公式中增加自变量0，y~0+x1+x2+...+xp。R允许在模型 公式中使用表达式作为变量，log(y) ~ x1 + log( x2)。为了避免表达式 中的算术运算符与公式中的+，-，*，^等运算符号相混淆，可使用I( ) 函数将整个表达式包围起来作为一个变量，log(y) ~ x1 + I(x2+x3)。

data 可选的数据框，指定样本数据。

subset 可选的向量，指定样本数据的子集，并用这个子集来估计模型。

lm对象是一个保存线性拟合模型信息的列表，此列表中的常用信息有 coefficients 系数向量的OLS估计值。 residuals OLS残差向量 fitted.values OLS拟合值向量 df.residual 残差的自由度n-p-1 > lm.sol$coefficients (Intercept) X1 X2 -62.9633591 2.1365581 0.4002162 > lm.sol$residuals 1 2 3 4 5 6 7 0.5741329 0.4639664 -3.7166848 0.6908281 -0.8312185 -4.0403788 2.7768085 8 9 10 11 12 13 -0.8355416 -2.6527288 0.5047730 3.7569456 -1.0183102 4.3274082 > lm.sol$fitted.values 1 2 3 4 5 6 7 8 119.4259 140.5360 127.7167 125.3092 117.8312 129.0404 120.2232 125.8355 9 10 11 12 13 134.6527 122.4952 128.2431 156.0183 142.6726 > lm.sol$df.residual [1] 10> 另外，还可通过一些函数获取更多线性拟合模型的信息。这些函数有 summary( ) 计算线性拟合模型的基本统计量，返回的是一个列表。 anova( ) 计算单个或多个线性拟合模型的方差分析表。 coef( ) 提取系数向量的估计值。 resid( ) 提取残差向量。 fitted( ) 提取拟合值向量。

vcov( ) 提取β的OLS估计量条件方差阵的估计。 deviance( ) 计算残差平方和。 formula( ) 提取模型公式。 summary( ) 函数的主要用法为

summary(object, correlation = FALSE) 其返回的列表中的常用统计量有

residuals 线性拟合模型的残差向量。

coefficients 关于系数向量估计的(p+1)×4矩阵。

sigma 误差标准差的估计值（回归标准误，残差标准误）。 r.squared 决定系数。 adj.r.squared 修正决定系数。

fstatistic 回归方程显著性检验的F统计量、分子自由度和分母自由度。

?1cov.unscaled 未乘s2的β的OLS估计量的条件方差阵的估计，即?XTX?。

correlation 如果correlation =TRUE，β的OLS估计量的条件相关系数阵的估计。 > (out=summary(lm.sol) ) Call: lm(formula = Y ~ X1 + X2, data = blood) Residuals: Min 1Q Median 3Q Max -4.0404 -1.0183 0.4640 0.6908 4.3274 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -62.96336 16.99976 -3.704 0.004083 ** X1 2.13656 0.17534 12.185 2.53e-07 *** X2 0.40022 0.08321 4.810 0.000713 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’1 Residual standard error: 2.854 on 10 degrees of freedom Multiple R-squared: 0.946, Adjusted R-squared: 0.935 F-statistic: 87.84 on 2 and 10 DF, p-value: 4.531e-07 > out$sigma [1] 2.853596 > out$r.squared [1] 0.9461441 > out$adj.r.squared [1] 0.935373 > out$fstatistic value numdf dendf 87.84038 2.00000 10.00000

> out$correlation NULL > out$cov.unscaled (Intercept) X1 X2 (Intercept) 35.4895683 -0.362265125 -0.1372261097 X1 -0.9896500 1.0000000 0.7002831 X2 -0.7899354 0.7002831 1.0000000 > out1=summary(lm.sol,correlation =TRUE) > out1$correlation (Intercept) X1 X2 (Intercept) 1.0000000 -0.9896500 -0.7899354 X1 -0.9896500 1.0000000 0.7002831 X2 -0.7899354 0.7002831 1.0000000 anova( ) 函数的主要用法为

anova(object, ...)

如果只指定一个对象，则返回那个线性拟合模型的方差分析表。如果指定多个对象，那么返回多个线性拟合模型比较的方差分析表，特别适用于嵌套模型的F检验（Wald检验，似然比检验），一般将简单的模型排在前面，复杂的模型排在后面。 anova(lm.sol) Analysis of Variance Table Response: Y Df Sum Sq Mean Sq F value Pr(>F) X1 1 1242.21 1242.21 152.549 2.227e-07 *** X2 1 188.36 188.36 23.132 0.0007133 *** Residuals 10 81.43 8.14 --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 > anova(lm(Y~I(X1+X2),data=blood),lm.sol) Analysis of Variance Table Model 1: Y ~ I(X1 + X2) Model 2: Y ~ X1 + X2 Res.Df RSS Df Sum of Sq F Pr(>F) 1 11 1505.95 2 10 81.43 1 1424.52 174.94 1.164e-07 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 > coef(lm.sol) (Intercept) X1 X2 -62.9633591 2.1365581 0.4002162 > resid(lm.sol) 1 2 3 4 5 6 7 0.5741329 0.4639664 -3.7166848 0.6908281 -0.8312185 -4.0403788 2.7768085 8 9 10 11 12 13 -0.8355416 -2.6527288 0.5047730 3.7569456 -1.0183102 4.3274082 > fitted(lm.sol) 1 2 3 4 5 6 7 8 119.4259 140.5360 127.7167 125.3092 117.8312 129.0404 120.2232 125.8355 9 10 11 12 13 134.6527 122.4952 128.2431 156.0183 142.6726 > vcov(lm.sol) (Intercept) X1 X2

(Intercept) 288.991861 -2.94992804 -1.117433397 X1 -2.949928 0.03074496 0.010217576 X2 -1.117433 0.01021758 0.006924278 > deviance(lm.sol) [1] 81.43009 > formula(lm.sol) Y ~ X1 + X2 在R的附加程序包CAR（Companion to Applied Regression）中的lhts( )函数可用于检验线性约束H0:R??r。此函数的一般用法为

linear.hypothesis(model, hypothesis.matrix, rhs=NULL,) lht(model, hypothesis.matrix, rhs=NULL,)

model：指定线性拟合模型对象。

hypothesis.matrix：数值型的矩阵或向量，每一行表示模型系数的一个线性组合，

同rhs一起构成了模型系数的线性约束。也可以是一个字符型向 量，每个元素指定系数的一个线性组合或线性约束。

Rhs：指定线性约束左边常数的向量，缺省表示左边常数全等于0。

> library(car) > lht(lm.sol,c(\> lht(lm.sol,c(\> lht(lm.sol,c(0,1,3),1) Linear hypothesis test

Hypothesis: X1 + 3 X2 = 1 Model 1: Y ~ X1 + X2 Model 2: restricted model Res.Df RSS Df Sum of Sq F Pr(>F) 1 10 81.43 2 11 369.58 -1 -288.15 35.386 0.0001415 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 R的函数predict( )用于预测，其一般用法为

predict(object,newdata,interval=c(\

object：指定线性拟合模型对象。 newdata：指新观测值所在的数据框。

interval：指定预测的形式，缺省为\，表示只给出预测值；\

表示给出预测值和回归函数的估计值；\表示给出预测值和 预测区间。

> new=data.frame(X1=80,X2=40) > lm.pred=predict(lm.sol,new,interval=\> lm.pred fit lwr upr 1 123.9699 117.2889 130.6509 > (lm.pred=predict(lm.sol,new,level=0.95)) 1 123.9699 > (lm.pred=predict(lm.sol,new,interval=\ fit lwr upr 1 123.9699 121.9183 126.0215 > (lm.pred=predict(lm.sol,new,interval=\ fit lwr upr 1 123.9699 120.6924 127.2474

本文来源：https://www.bwwdw.com/article/pj1g.html