数理统计-第六章 回归分析-2

中国矿业大学 数理统计 课件

第六章 回归分析

中国矿业大学 周圣武

中国矿业大学 数理统计 课件

§3 多元回归分析 设随机变量 y 与 x 1 , x 2 , , x k 之间呈线性相关 关系, 则

其中 机误差. 称方程

是 k 1 个未知参数, 是随

为多元线性回归方程

中国矿业大学 数理统计 课件

如果我们获得了n组观察数据

则有

( x i1 , x i 2 , , x ik , y i )( i 1, 2 , , n ) i 1, 2 , , n

y i 0 1 x i1 2 x i 2 k x ik i ,

矩阵形式其中 1 1 X 1 x11 x 21 x n1

Y XB x1 k 0 y1 1 1 y2 x2 k 2 , , B , Y y x nk k n n

中国矿业大学 数理统计 课件

基本假设 (1) x 1 , x 2 , , x k是确定性变量, 且 rank ( X ) k 1 n (2) 1 , 2 , , n 相互独立, i ~ N ( 0 , 2 ) 即 ~ N (0, I n )2

其中 I n 是 n 阶单位方阵

中国矿业大学 数理统计 课件

1.最小二乘估计用最小二乘法估计回归参数 0 , 1 , , k 考虑Qe Q ( 0 , 1 , , k )

(yi 1

n

i

0 1 x i 1 k x ik )

2

使

Q ( 0 , 1 , , k ) min Q ( 0 , 1 , , k )

分别求 Q e 关于 0 , 1 , , k 的偏导数,并令其为零 Q e 0 B B

Q e k B B

0

中国矿业大学 数理统计 课件

整理得正规方程组n n n n 0 1 x i 1 k x ik y i i 1 i 1 i 1 n n n n 0 x i 1 1 x i21 k x i 1 x ik x i 1 y i i 1 i 1 i 1 i 1 n n n n 2 0 x ik 1 x ik x i 1 k x ik x ik y i i 1 i 1 i 1 i 1

其矩阵形式为 解得

X TY X XBTT 1 T B (X X ) X Y

中国矿业大学 数理统计 课件

所以多元线性回归方程的矩阵形式为 XB X ( X T X ) 1 X T Y Y

中国矿业大学 数理统计 课件

2. 2 的无偏估计 和一元线性回归类似,平方和分解ST

(yi 1 n

n

i

y) 2

(yi 1

n

i

yi )

2

( yi y ) Q e S回2 i 1

而

Qe

2

~ (n k 1)2

中国矿业大学 数理统计 课件

从而 Qe E 2 n k 1 Qe E n k 1 2

的无偏估计为2

2

Qe n k 1

中国矿业大学 数理统计 课件

与一元线性回归相比, k 元线性回归的参数估计量也 有类似的性质.例如: 0 , 1 , , k 都是 y 1 , y 2 , , y n 的线性组合; 0 , 1 , , k 分别是 0 , 1 , , k 的无偏估计;2 B ~ N (B , ( X T

X)

1

) 等

中国矿业大学 数理统计 课件

3.多元线性回归方程的显著性检验(F 检验)检验假设H 0 : 1 2 k

0 H 1 : 1 , 2 , , k 不全为零

由平方和分解ST

n

( yi y) 2

i 1

n

2 ( yi yi )

i 1

n

( yi y) S 残 S回2

i 1

构造统计量

F

S回 / k S 残 /( n k 1)

可以证明, 当 H 0 成立时 F ~ F ( k , n k 1)

中国矿业大学 数理统计 课件

所以对给定的显著性水平 ( 0 1)H 0 的拒绝域为

F F (n k 1)

中国矿业大学 数理统计 课件

4.多元线性回归系数的显著性检验(t 检验)多元线性回归系数的显著性假设检验,是对每一个变量x i 在线性回归方程中的作用进行检验,如果 x i

对 y 的作

用不显著,则它的系数 i 就可以取值为0. 因此检验变量 x i 是否显著等价于检验假设H0 : i 0 H1 : i 0

中国矿业大学 数理统计 课件

Qe

2

~ ( n k 1) ,且 Q 与 独立. 另一方面 i e2

~ N (B , 2 ( X B

T

X)

1

)

记 则 所以

(X X )

T

1

(cij ) ( k 1) ( k 1)2

i ~ N ( i , c ii ) ( i i ) Qe2

c ii

~ t ( n k 1)

即

i i cii

( n k 1)

~ t (n k 1)

中国矿业大学 数理统计 课件

选取检验统计量 其中 Qe

t

i c ii

(y i 1

n

i

yi )

2

n k 1

n k 1

则当 H 0 成立时 t ~ t ( n k 1) 故对给定的显著性水平 ( 0 1) , 假设检验问 题的拒绝域为t i cii t / 2 (n k 1)

中国矿业大学 数理统计 课件

5.预测(1)回归系数的置信区间ti

i i c ii

~ t ( n k 1)

i 的 1 置信区间为

i

c ii t / 2 ( n k 1)

(2)y 0 的置信区间 对于 X ( x 1 , x 2 , , x k ) T 的一个观测值X 0 (1, x 01 , x 02 , , x 0 k ) ,有

中国矿业大学 数理统计 课件

y0 X 0 B 0 记预测误差 e 0 y 0 y 0

y0 X 0 B

可以证明

e 0 ~ N 0 ,

2

1

X 0(X

T

X)

1

X

T 0

且e 0 与 Q e 相互独立.于是 y0 y0

X 0(X

T

X)

1

~ N ( 0 ,1) XT 0T 1 T 0

所以t

( y0 y0 ) Qe

X 0(X

X)

X

~ t ( n k 1)

2

( n k 1)

中国矿业大学 数理统计 课件

即

t

( y0 y0 )

X 0(X

T

X)

1

~ t ( n k 1) XT 0

所以 y 0 的 1 置信区间为 y t / 2 n k 1 X 0 ( X X ) XT 1 T 0

0

可以通过增大样本容量n或增大样本观测值的范围的办法提高多元线性回归模型的预测精度

中国矿业大学 数理统计 课件

例6 观测落叶松的树龄 x (年)与高度 y(m)有如下资料:x

2 3 4 5 6 7 8 9 10 11 y 5.6 8 10.4 12.8 15.3 17.8 19.9 21.4 22.4 23.2 如果 y 与 x 的关系为抛物线y 0 1x 2 x 2

~ N (0, )2

2 y 0 1x 2 x (1)试求回归方程

(2)检验回归方程的显著性 ( 0 . 05 )

本文来源：https://www.bwwdw.com/article/v38i.html