中国海洋大学计量经济学3 多元线性回归模型-2

第三章 经典单方程计量经济学模型： 多元线性回归模型 多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 多元回归模型的其他形式 回归模型的参数约束

§3.1 多元线性回归模型一、多元线性回归模型

二、多元线性回归模型的基本假定

一、多元线性回归模型

△ 多元线性回归模型 △ 回归模型的矩阵表达式

1、多元线性回归模型⑴多元线性回归模型:表现在线性回归模型中的解释变量有多 个。一般表现形式为： Yi 0 1 X 1i 2 X 2 i k X ki i i=1,2…,n ○其中:k为解释变量的数目， i称为回归参数(regression coefficient)。而习惯上：把常数项看成为一虚变量的系 数，该虚变量的样本观测值始终取1。于是：模型中解释变 量的数目为(k+1)。所以，上式也被称为总体回归函数的 随机表达形式。 ⑵它的非随机表达式即：总体回归函数为： E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki ○表示：各变量Xi值固定时Y的平均响应。 ○ i也被称为偏回归系数，表示在其他解释变量保持不变的情 况下，Xi每变化1个单位时，Y的均值E(Y)的变化； ○或者说 i给出了Xi的单位变化对Y均值的“直接”或“净” (不含其他变量)影响。

2、矩阵表达式⑴用来估计总体回归函数的样本回归函数为： Yi 0 1 X 1i 2 X 2i ki X ki ○其随机表示式: Yi 0 1 X 1i 2 X 2i ki X ki ei ○ ei称为残差或剩余项(residuals),可看成是总体回归函数 中随机扰动项 i的近似替代。 ⑵总体回归模型n个随机方程的矩阵表达式为: Y X β μ 1 1 X 1 X 11 X 12 X 1n X 21 X 22 X 2n X k1 X k2 X kn n ( k 1 ) 0 1 β 2 μ k ( k 1) 1

○样本回归函数(模型)的矩阵表达式: Y Xβ Y Xβ e 0 1 β k

1 2 n n 1

e1 e2 e e n

二、多元线性回归模型的基本假定

△ 随机项假定 △ 解释变量假定 △ 其他假定

1、随机假定(是针对随机误差项的假定)⑴零均值：E ( i ) 0 i j i, j 1,2, , n 2 2 ⑵同方差：Var ( i ) E ( i ) 1 E (μ ) E μ n

1 E ( 1

) E (μ) E 0 E ( ) n n

1

12 n E n 1

1 n 2 n

var( 1 ) cov( , ) n 1

cov( 1 , n ) 2 var( n ) 0

0 2I 2

⑶序列不相关性假定：Cov ( i , j ) E ( i j ) 0 ⑷正态分布假定： i ~ N (0, 2 ) 2 μ ○向量 有一多维正态分布，即： ~ N (0, I )

2、解释变量假定⑴解释变量是非随机的或固定的，且各X之间互不相关 (无多重共线性)。即：n (k+1)矩阵X是非随机的， 且X的秩 =k+1,即X满秩。 ⑵解释变量与随机项不相关 Cov ( X ji , i ) 0 j 1,2 , k ○ i E ( i ) X 1i i X 1i E ( i ) E(X’ )=0,即： E 0 X X E ( ) Ki i Ki i

3、其他假定○同一元回归一样，多元回归还具有如下两个重要假设： ⑴样本容量趋于无穷时，各解释变量的方差趋于有界常数(该 假定是为了避免产生伪回归问题),即n ∞时，有： 1 1 1 2 2 x x Q x ji n ( X ji X j ) Q j n n ○其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差 为元素组成的n k阶矩阵：

x11 x x 1n

x k1 x kn

⑵假定回归模型的设定是正确的。

§3.2 多元线性回归模型的估计一、普通最小二乘估计

*二、最大或然估计*三、矩估计 四、参数估计量的性质 五、样本容量问题 六、案例分析

说

明

估计方法主要有三大类方法：OLS、ML或者MM – 在经典模型中多应用OLS

––

在非经典模型中多应用ML或者MM在本节中， ML与MM为选学内容

一、普通最小二乘估计△ △ △ △ △ △ 普通最小二乘估计 普通最小二乘估计的矩阵表达式 参数估计的矩阵表达式 案例分析 离差形式的普通最小二乘估计 随机误差项 的方差 的无偏估计

1、普通最小二乘估计○对于随机抽取的n组观测值： (Yi , X ji ), i 1,2, , n, j 0,1,2, k ○如果样本函数的参数估计值已经得到，则有： i=1,2…n Yi 0 1 X 1i 2 X 2i ki X Ki ○根据最小二乘原理，参数估计值应该是一阶条件正规方程组 的解，即： Q 0 0 1 2 k Q 0 Q 0 Q 0n 2

○其中：Q ei2 (Yi Y i ) 2

(Yi ( 0 1 X 1i 2 X 2i k X ki ))i 1 i 1

n

n

i 1

2、普通最小二乘估计的矩阵表达式⑴待估参数估计值的正规方程组为： ( 0 1 X 1i 2 X 2 i k X ki ) Yi ( 0 1 X 1i 2 X 2 i k X ki ) X 1i Yi X 1i ( 0 1 X 1i 2 i X 2 i k X ki ) X 2 i Yi X 2 i ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki

○解该方程组，即可得到 k+1个待估参数的估计值。 ⑵正规方程组的矩阵形式： n X 1i X ki

X X

1i 2 1i

X X Xki

X

ki

X 1i

0 1 X 11 1i ki 1 2 X ki k X k1

1 X 12 X k2

1 Y1 X 1n Y2 X kn Yn

3、参数估计的矩阵表达式 ○正规方程组的矩阵形式，即： (X X) β X Y 1 由于X’X满秩，故有：β ( X X) X Y ○将上述过程用矩阵形式表示为：

○即求解方程组： ) ( Y Xβ) 0 (Y Y β X Y Y Xβ β X Xβ) 0 ( Y Xβ β β ) ( Y Y 2Y Xβ β X Xβ 0 β

○得到： X Y X Xβ 0 X Y X Xβ ○于是有：β ( X X) 1 X Y

4、案例分析○案例3.2.1:在例2.1.1的家庭收入-消费支出中，X1 X2 n 21500 1 1 X i 10 ' ( X X) 2 21500 53650000 X X X i Xi 2 1 Xn Y1 1 1 Y2 Yi 15674 1 X Y X X Y 39468400 i i 1 X 2 X n Y n 0.0003 0.7226 ○可求得： X) 1 (X 0.0003 1.35 E 07 1 1 1 Xn 1

○于是得到参数估计值： 1 0.7226 0.0003 15674 β 0.0003 1.35 E 07 39648400 2

103 .172 0.7770

5、离差形式的普通最小二乘估计 ⑴对于正规方程组 X Y X Xβ

X Xβ X e X Xβ

○于是有： X e 0

(*) ,或者：

ei

i

0ji i

X

e 0

(**)

○(*)或(**)是多元线性回归模型正规方程组的另

一种写法。 ⑵样本回归模型的离差形式： i=1,2…n yi 1 x1i 2 x2i k xki ei ○其矩阵形式为：y xβ e x x x 11 21 y1 k1 y 2 x x12 x 22 x k 2 ○其中 ： y x x x y 1n 2 n ○在离差形式下，参数的最小二乘估计结果为 kn n 1 2 β k

β (x x) 1 x Y

0 Y 1 X 1 k X k

6、随机误差项 的方差 的无偏估计○可以证明，随机误差项 的方差的无偏估计量为：

e e n k 1 n k 12 2 i

e

*二、最大或然估计(ML)○对于多元线性回归模型 Yi 0 1 X 1i 2 X 2 i k X ki i ○易知 Yi ~ N (X i β , 2 ) ,Y随机抽取的n组样本观测值的联合概率 , L (β 2

) P (Y1 , Y2 , , Yn ) 1 ( 2 ) n 2

n

1 2 2

( Yi ( 0 1 X 1 i 2 X 2 i k X ki )) 2

e

1 2 2

1 ( 2 ) n 2

) ) ( Y Xβ ( Y Xβ

n

e

○上市就是变量Y的或然函数，其对数或然函数为：L* Ln( L ) nLn ( 2 ) 1 ( Y Xβ) ( Y Xβ) 2 2

○对对数或然函数求极大值，也就是对 (Y Xβ) (Y Xβ) 求极小值。因此，参数的最大或然估计为：β ( X X) 1 X Y ○结果与参数的普通最小二乘估计相同

*三、矩估计(Moment Method, MM)△ 参数的MM(矩估计)估计量 △ 广义矩估计方法

1、参数的MM(矩估计法)估计量○ OLS估计是通过得到一个关于参数估计值的正规方程组： ○ (X X) β X Y 并对它进行求解而完成的。 ○该正规方程组 可以从另外一种思路来导: Y Xβ μ => X Y X Xβ X μ => X (Y Xβ ) X μ ○称其期望表达式：E(X (Y Xβ 0 为原总体回归方程的一 ) 组矩条件，表明了原总体回归方程所具有的内在特征。

( X X) 1 X Y ○由此得到正规方程组的解： β

1 X (Y Xβ) 0 n

○该正规方程组的解即是参数的MM估计量。 ○这种估计样本回归方程的方法称为矩估计法MM。 ○易知MM估计量与OLS、ML估计量等价。

本文来源：https://www.bwwdw.com/article/7fu1.html