应用回归分析-第2章课后习题参考答案解析

完美WORD格式

2.1 一元线性回归模型有哪些基本假定？

答：1. 解释变量 x1,x2,?xp,是非随机变量，观测值xi1,xi2,?,xip是常数。

2. 等方差及不相关的假定条件为

i?1,2,?,n?E(?i)?0,???2,i?j? ??cov(?,?)?(i,j?1,2,?,n)?ij??0,i?j??? 这个条件称为高斯-马尔柯夫(Gauss-Markov)条件，简称G-M条件。在此条件下，便可以得到关于回归系数的最小二乘估计及误差项方差?2估计的一些重要性质，如回归系数的最小二乘估计是回归系数的最小方差线性无偏估计等。

3. 正态分布的假定条件为

??i~N(0,?2),i?1,2,?,n ? ??1,?2,?,?n相互独立在此条件下便可得到关于回归系数的最小二乘估计及?2估计的进一步结果，如它们分别是回归系数的最及?2的最小方差无偏估计等，并且可以作回归的显著性检验及区间估计。

4. 通常为了便于数学上的处理，还要求n?p,及样本容量的个数要多于解释变量的个数。

在整个回归分析中，线性回归的统计模型最为重要。一方面是因为线性回归的应用最广泛；另一方面是只有在回归模型为线性的假设下，才能的到比较深入和一般的结果；再就是有许多非线性的回归模型可以通过适当的转化变为线性回归问题进行处理。因此，线性回归模型的理论和应用是本书研究的重点。 1. 如何根据样本(xi1,xi2,?,xip;yi)(i?1,2,?,n)求出?0,?1,?2,?,?p及方差?2的估计;

2. 对回归方程及回归系数的种种假设进行检验；

3. 如何根据回归方程进行预测和控制，以及如何进行实际问题的结构分析。

2.2 考虑过原点的线性回归模型 yi??1xi??i,乘估计。

答：Q(?1)??(yi?E(yi))??(yi??1x1)2

2i?1i?1nni?1,2,?,n误差?1,?2,?,?n仍满足基本假定。求?1的最小二

专业整理 知识分享

完美WORD格式

nnn?Q??2?(yi??1xi)xi??2?xiyi?2?1?xi2 ??1i?1i?1i?1nn?Q令?0,即?xiyi??1?xi2?0 ??1i?1i?1nn??解得?1?xyii?1ni?xi?12i???的最小二乘估计为?,即?11?xyii?1ni.

?xi?12i?2.3 证明： Q (

??0?，

1??y0)= ∑(--1xi)2

i2因为Q (?0,?1)=min Q (?0,?1 )

?,?而Q (

0?1 ) 非负且在R上可导,当Q取得最小值时，有 ??yy即-2∑(-?-?xi)=0 -2∑(-?-?xi) xi=0

i0??Q?0???0?Q?0???11i01又∵ei=i-( ?0+?1xi)= i-?0-?1xi ∴∑ei=0，∑eixi =0

（即残差的期望为0，残差以变量x的加权平均值为零）

2.4 解：参数β0，β1的最小二乘估计与最大似然估计在εi~N(0, 2 ) i=1,2，……n的条件下等价。 证明：因为

y??y???i~N(0,?),i?1,2,.....nYi????2

0101 所以

其最大似然函数为 1n2n2?n/22L(?0,?1,?)??i?1fi(Yi)?(2??)exp{?[Y?(????,X)]} ?i010i22?i?1 nn1222Ln{L(?,?,?)}??ln(2??)?[Y?(????,X)] ?01i010i22?2i?1

X1??i~N(???X1,?)2?就是?，?的最大似然估计值。 ?，? 已知使得Ln（L）最大的?1001????X))2?)??(Y?(?Q??(Yi?Yii01i211nn 即使得下式最小 ： ①

因为①恰好就是最小二乘估计的目标函数相同。 所以，在

?i~N(0,?),i?1,2,.....n2 的条件下， 参数β0，β1的最小二

专业整理 知识分享

完美WORD格式

乘估计与最大似然估计等价。

?2.5.证明?0是?0的无偏估计。

?? 证明：若要证明?0是?0的无偏估计，则只需证明E(?0)=?0。

????1?Lxy/Lxx????????y???1x 其中 因为0，?1的最小二乘估计为?0Lxy??(xi?x)(yi?y)??xiyi?nxy??xiyi?Lxx??(xi?x)2??xi?nx2??xi?221?xi?yin1(?xi)2n

nnxi?xxi?x1n1y?xy(?x)yi???ii??Lxxi?1LxxE(?0)=E(y??1x)=E(ni?1)=E[i?1n]

xi?x1(?x)(?0??1xi??i)?Lxx =E[i?1n]

nnnxi?xxi?xxi?x111(?x)?(?x)?x(?x)?i???01inLnLnLxxxxxx =E(i?1)+E(i?1)+E(i?1)

n 其中

nxi?xxi?x111x(?x)??(?x)?(n??00?0LxxnLnLxxi?1ni?1xx==nn?(xi?1ni?x))

由于

n?(xi?x)i?1xi?x1(?x)?0?nLxx=0，所以i?1=?0

nnxi?xxixi?x1x(?x)?x?(?xx)?(x??1i1?i1LxxnLLxxi?1ni?1xx==

?(xi?1ni?x)xi)

x?1(x?Lxx =

?(xi?1ni?x)(xi-x))=?1(x?x)=0

?yi??0??1xi??i?各?i独立同分布，其分布为N(0,?2)?又因为一元线性回归模型为

所以E(?i)=0所以

nnxi?xxi?xxi?x111(?x)?(?x)?x(?x)?i???01iLxxLxxLxxE(i?1n)+E(i?1n)+E(i?1n

n 专业整理 知识分享

完美WORD格式

n=E(?0)?E(0)? ?(1?xxi?x)E(?i)i?1nLxx

=?0

?所以?0是?0的无偏估计。

y?1?ny???n?x?y??x?x1??iy2.6 解：因为ni?1i ①，?01 ②，i?1Lxxi ??n0??(1?xxi?x)y联立 ①②③式，得到

i?1nLxxi。

?n1x?xnVar(??1x2i?x0)?Var[?(?xiL)y]?[(?x)]Var(yi)i?1nxxii?1nLxx

2n??[1xi?x2?(xxxi?xnL]2

i?1n?2L)?xxxx

nn?2因为

Lxx?i?1(xi?x)，

?(i?1xi?x)?0，所以

?n2n?n?x)Var(?)?[?12i?1(xi?x)?2x?(i?1xi02]i?1n?(x)L2?2xxnLxx

?2??????1?(x)???1?n?2??(x)2???2n2 ?Lxx????n??i?1(x??i?x)??

2.7 证明平方和分解公式：证明： nSST=SSE+SSR

SST???y2ni?y???[?yi?y?i)?(y?i?y?]2i?1i n?1nn??2

??yi?y??2??yi?y?i)(y?i?y??i?1i?1??yi?y?i)?2i?1 nn ???y?i?y?2???yi?y?i)?2?SSR?SSEi?1i?1

2.8 验证三种检验的关系，即验证：

专业整理 知识分享 ③

完美WORD格式

t?(n?2)r1?r2（1）

?2Lxx?SSR/11F???t22?SSE/(n?2)?；（2）

SSR?证明：（1）因为

??2Lxx和??2?SSEn-2，所以

t???Lxx?又因为

t??2?SSR（n?2）SSR（n?2）SST??SSESSESSEn?2SSTxx?L?2

r2?SSRSST?SSRSSE21?r??SST，所以SSTSST

(n?2)r1?r2得证。

nnnn故

（2）

????x?y)2?(y???i?y)??(?SSR??(y??1(xi?x)?y)2??(??1(xi?x))2???12Lxx01i2i?1i?1i?1i?1?2L?SSR/1?F??12xx?t2?SSE/(n?2)?

2.9 验证（2.63）式：

?1??1- var（ei）?n-???x-x??2Lixx?????2

?var（证明：var（i） ?var（e?var（y）-2cov（y， y-y）?var（y）y）iiiiii???????var（???x）?2cov（y，y??（x-x)) y）i01ii1i22????(xi?x)??22?1?(xi?x)? 22?1 ?????????n?nLLxxxx????????

?1??1??n????x-x??2Lixx?????2

专业整理 知识分享

完美WORD格式

???cov，y?其中： ?yi?1???x?x???

i???y?cov? ?covyi，?yi，?1?1n???cov，?yin?yi??

i?1??12??n????xi-x??

???n?，xi-xcov??yi?i?1???x-x?iLxx?yi?? ? ?

?x?x??2i2L

xx??1 ????n??x?x??2iLxx?????2

注：各个因变量

var(X

y，y......y12n是独立的随机变量

?Y)?var(X)?var(Y)?2cov(X,Y)

?22.10 用第9题证明???ei22n-2是?的无偏估计量

n??2?1??E 证明：E????n-2?i?1???y?y??ii2

1n?2?E?ei? ??n-2i?1??1nvar?ei? ??n-2i?1?n1?1-1-??

n-2i?1?n???x-x?Lixx2??2?? ?? 专业整理 知识分享

完美WORD格式

?1?n?2??2 n-22 ?? 注：var(X)?E(X)?2?E(X)?

22.11验证证明：

F?r2?FF?n?2

SSRSSE(n?2)SSE(n?2)??SSR?SSRF ???*(n?2)所以有

?SSE?1F?rF?n?2?(n?2)??SSR1??F??

以上表达式说明r 2与F 等价，但我们要分别引入这两个统计量，而不是只引入其中一个。理由如下：

①r 2与F，n都有关，且当n较小时，r较大，尤其当n趋向于2时，|r|趋向于1，说明x与y的相关程度很高；但当n趋向于2或等于2时，可能回归方程并不能通过F的显著性检验，即可能x与y都不存在显著的线性关系。所以，仅凭r较大并不能断定x与y之间有密切的相关关系，只有当样本量n较大时才可以用样本相关系数r判定两变量间的相关程度的强弱。

② F检验检验是否存在显著的线性关系，相关系数的 显著性检验是判断回归直线与回归模型拟合的优劣，只有二者结合起来，才可以更好的回归结果的好坏。

2?SSRSSR1??SSTSSR?SSE1?SSE?????2.12 如果把自变量观测值都乘以2，回归参数的最小二乘法估计?0和?1会发生??什么变化？如果把自变量观测值都加上2，回归参数的最小二乘估计?0和?1会发生什么变化？ 解:

解法（一）：我们知道当

yi??0??1xi??i，E(yi)??0??1x时，用最小二乘法估

????0计的和1分别为

?⑴当xi?2xi时

专业整理 知识分享

完美WORD格式

有错误！未找到引用源。

将②③带入①得到

??⑵当xi?2?xi时源。

有错误！未找到引用源。 错误！未找到引用源。 将②③带入①得到·

错误！未找到引用

解法（二）： 当

yi??0??1xi??i，E(yi)??0??1x时，有

n2nQ(?0，?1)=?(yi?E(yi))??(yi??0??1xi)2i?1i?1

y???0?2?1xi??i?yi??1xiE(yi?)??0?2?1xi? 当xi?2xi时 i

专业整理 知识分享

完美WORD格式

Q(?0，?1)?=?(yi??E(yi?))??(yi??1xi??0?2?1xi)??(yi??0??1xi)222i?1i?1i?1nnn

E(yi??)??0??1xi?2?1y????0??1xi?2?1??i?yi?2?1?? 当xi?xi?2 ，i ，

Q(?0，?1)??=?(yi???E(yi??))??(yi?2?1??0??1xi?2?1)??(yi??0??1xi)222i?1i?1i?1nnn由

???最小二乘法可知，离差平方和Q(?0，?1)=Q(?0，?1)?Q(?0，?1)时，其估计值应

当有错误！未找到引用源。 。

????0即回归参数的最小二乘估计和1在自变量观测值变化时不会变。

2.13 如果回归方程错误！未找到引用源。相应的相关系数r很大，则用它预测

时，预测误差一定较小。这一结论能成立吗？对你的回答说明理由。

解：这一结论不成立。因为相关系数r表示x与错误！未找到引用源。线性关系的密切程度，而它接近1的程度与数据组数有关。n越小，r越接近1。n=2时，|r|=1。因此仅凭相关系数说明x与有密切关系是不正确的。只有在样本量较大时，用相关系数r判定两变量之间的相关程度才可以信服，这样预测的误差才会较小。

2.14 解：（1）散点图为：

（2）x与y大致在一条直线上，所以x与y大致呈线性关系。 （3）得到计算表： X Y (Yi?Y)2 ?y(Xi?X)2 (Xi?X)(Yi?Y) ?Yi 6 13 ??Y)2(Yi??Y)2(Yii1 2 10 10 4 1 100 100 20 10 （-14）2 （-4）2 （-7）2 （3）2 专业整理 知识分享

完美WORD格式

3 4 5 20 20 40 0 1 4 0 0 400 Lyy=600 0 0 40 和Lxy=70 20 27 34 0 72 142 0 72 （-6）2 和100 和15 Lxx=10 均3 均 20 和SSR=490 SSE=110 100 均20

????X??1?7X??? 所以回归方程为： Y01?1n1110??(yi?yi)SSE??n-2i=13 （4）=n?2??22 所以，

??1330?6.13

??0（5）因为

?1(x)22N(?0,(?)?)nLxx，

???0?t?的置信区间为

0??21(x)?2(?)nLxx?2；

Lxx，所以，?1的置信区间为 同理，因为Lxy70???Y???X?20?3?7??1.?1 ???t7,?0(3)?3.1821查表知，t?/L(n?2)?2100.025xx所以，

?1N(?1,?2)???1?t??2?Lxx。

??0的置信区间为（-21.21,19.21），

??1的置信区间为（0.91,13.09）。

SSRSSR490（6）决定系数 R2????0.817SSTLyy600

（7）计算得出，方差分析表如下： 方差来源 SSR SSE SST 平方和 490 110 600 自由度 1 3 4 均方 490 36.667 F值 13.364 专业整理 知识分享

本文来源：https://www.bwwdw.com/article/9ooa.html