3.3__多元线性回归检验

统计应用

§3.3 多元线性回归模型的统计检验 一、拟合优度检验 方程的显著性检验(F检验) (F检验 二、方程的显著性检验(F检验) 变量的显著性检验( 检验) 三、变量的显著性检验(t检验) 四、参数的置信区间

统计应用

一、拟合优度检验 1、可决系数与调整的可决系数 、总离差平方和的分解

则

TSS = Σ(Yi Y ) 2 = Σ((Yi Yi ) + (Yi Y )) 2 = Σ(Yi Yi ) 2 + 2Σ(Yi Yi )(Yi Y ) + Σ(Yi Y ) 2

统计应用

由于

∑ (Y Y )(Y Y ) = ∑ e (Y Y ) = β ∑e + β ∑e X +L+ β ∑e Xi i i i0 i 1 i 1i k i

ki

+ Y ∑ ei

=0

所以有： ) 2 + ∑ (Y Y ) 2 = RSS + ESS TSS = ∑ (Yi Yi i

注意： 注意：一个有趣的现象

(Y Y ) = (Y Y ) + (Y Y ) (Y Y ) ≠ (Y Y ) + (Y Y ) ∑ (Y Y ) = ∑ (Y Y ) + ∑ (Y Y )i i i i 2 2 2 i i i i 2 2 i i i i

2

统计应用

可决系数ESS RSS R = = 1 TSS TSS2

该统计量越接近于1,模型的拟合优度越高。 问题： 问题： 在应用过程中发现，如果在模型中增加一个解 释变量， R2往往增大(Why?) 这就给人一个错觉 要使得模型拟合得好，只 一个错觉：要使得模型拟合得好 一个错觉 要使得模型拟合得好， 要增加解释变量即可。 要增加解释变量即可 但是，现实情况往往是，由增加解释变量个数 引起的R2的增大与拟合好坏无关，R2需调整。 , 需调整。

统计应用

调整的可决系数( 调整的可决系数(adjusted coefficient of determination) ) 在样本容量一定的情况下，增加解释变量必定 使得自由度减少，所以调整的思路是:将残差平方 将残差平方 和与总离差平方和分别除以各自的自由度， 和与总离差平方和分别除以各自的自由度，以剔 除变量个数对拟合优度的影响: 除变量个数对拟合优度的影响R 2 = 1 RSS /( n k 1) TSS /( n 1)

其中：n-k-1为残差平方和的自由度，n-1为总体平 方和的自由度。

统计应用

n 1 R = 1 (1 R ) n k 12 2

统计应用

*2、赤池信息准则和施瓦茨准则 、为了比较所含解释变量个数不同的多元回归模型 的拟合优度，常用的标准还有: 赤池信息准则( 赤池信息准则(Akaike information criterion, AIC) ) e′e 2(k + 1) AIC = ln + n n 施瓦茨准则( 施瓦茨准则(Schwarz criterion,SC) , )e′e k AC = ln + ln n n n

这两准则均要求仅当所增加的解释变量能够减少 这两准则均要求仅当所增加的解释变量能够减少 AIC值或AC值时才在原模型中增加该解释变量 值或AC值时才在原模型中增加该解释变量。 AIC值或AC值时才在原模型中增加该解释变量

统计应用

Eviews的估计结果显示： 中国居民消费一元例中： AIC=6.68 AC=6.83

中国居民消费二元例中： AIC=7.09 AC=7.19

从这点看，可以说前期人均居民消费CONSP(-1)

应 包括在模型中。

统计应用

检验) 二、方程的显著性检验(F检验 方程的显著性检验 检验方程的显著性检验， 方程的显著性检验，旨在对模型中被解释变 量与解释变量之间的线性关系在总体上 在总体上是否显著 量与解释变量之间的线性关系在总体上是否显著 成立作出推断。 成立作出推断。

1、方程显著性的 检验 、方程显著性的F检验即检验模型Yi=β0+β1X1i+β2X2i+ … +βkXki+µi i=1,2, …,n

中的参数βj是否显著不为0。 可提出如下原假设与备择假设： H0: β0=β1=β2= … =βk=0 H1: βj不全为0

统计应用

F检验的思想来自于总离差平方和的分解式： 检验的思想 TSS=ESS+RSS 由于回归平方和 ESS = ∑ y i2 是解释变量 X 的联合体对被解

释变量 Y 的线性作用的结果，考虑比值 ESS / RSS = ∑ y i2 ei2 ∑

如果这个比值较大，则X的联合体对Y的解释程度 高，可认为总体存在线性关系，反之总体上可能不存 在线性关系。 因此, 因此,可通过该比值的大小对总体线性关系进行推 断。

统计应用

根据数理统计学中的知识，在原假设H0成立 的条件下，统计量ESS / k F= RSS /(n k 1)

服从自由度为(k , n-k-1)的F分布 给定显著性水平α,可得到临界值Fα(k,n-k-1), α F 1 由样本求出统计量F的数值，通过 F> Fα(k,n-k-1) 或 F≤Fα(k,n-k-1)

来拒绝或接受原假设H0,以判定原方程总体上 总体上的 总体上 线性关系是否显著成立。

统计应用

对于中国居民人均消费支出的例子： 一元模型：F=285.92 二元模型：F=2057.3 给定显著性水平α =0.05,查分布表，得到临界 值： 一元例：Fα(1,21)=4.32 二元例： Fα(2,19)=3.52 显然有 F> Fα(k,n-k-1) 即二个模型的线性关系在95%的水平下显著成立。

统计应用

2、关于拟合优度检验与方程显著性检 、 验关系的讨论由 R 2 = 1 RSS /(n k 1) 与TSS /(n 1)

F=

ESS / k RSS /(n k 1)

可推出： R 2 = 1 或

n 1 n k 1 + kF

R2 /k F= (1 R 2 ) /(n k 1)

统计应用

在中国居民人均收入-消费一元模型中， 在中国居民人均收入 消费一元模型中 消费一元模型

在中国居民人均收入 消费二元模型中， 在中国居民人均收入-消费二元模型中 消费二元模型

统计应用

检验) 三、变量的显著性检验(t检验) 变量的显著性检验( 检验方程的总体线性 总体线性关系显著≠每个解释变量 总体线性 ≠每个解释变量对被 解释变量的影响都是显著的 因此，必须对每个解释变量进行显著性检验， 以决定是否作为解释变量被保留在模型中。 检验完成的。 这一检验是由对变量的 t 检验完成的。

统计应用

1、t统计量 、 统计量由于 ) Cov(β = σ 2 ( X′X) 1

以cii表示矩阵(X’X)-1 主对角线上的第i个元素， 于是参数估计量的方差为： Var ( β ) = σ 2 ci ii

其中σ2为随机误差项的方差，在实际计算 时，用它的估计量代替:e ′e = σ = n k 1 n k 12 2 i

∑e

统计应用

β i ~ N ( β i , σ 2 cii )

因此，可构造如下t统计量t= βi βi S β i

βi βi e′e cii n k 1

~ t (n k 1)

统计应用

2、t检验 、 检验设计原假设与备择假设： H0:βi=0 H1:βi≠0 给定显著性水平α,可得到临界值tα/2(n-k-1), 由样本求出统计量t的数值，通过 |t|> tα/2(n-k-1) 或 |t|≤tα/2(n-k-1)(i=1,2…k)

来拒绝或接受原假设H0,从而判定对应的解释变 判定对应的解释变 量是否应包括在模型中。 量是否应包括在模型中。

统计应用

注意：一元线性回归中， 检验与F 注意：一元线性回归中，t检验与F检验一致 一方面，t检验与F检验都是对相同的原假设 一方面 H0:β1=0 进行检验; 另一方面，两个统计量之间有如下关系： 另一方面F= ∑y2 i 2 i

∑ e ( n 2)ei2 ∑

=

β12 ∑ xi2

∑ e ( n 2)2 i 2

=

ei2 (n 2)∑ xi2 ∑

β12

=

β1 = β 2 1 ( n 2) ∑ x i

∑e 1 = t2 n 2 ∑ xi2 2 i

2

统计应用

在中国居民人均收入 消费支出 二元模型 中国居民人均收入-消费支出二元模型例中， 中国居民人均收入 消费支出二元模型 由应用软件计算出参数的t值： t 0 = 3.306 t1 = 3.630 t 2 = 2.651 给定显著性水平α=0.05,查得相应临界值： t0.025(19) =2.093。 可见，计算的所有 值都大于该临界值 计算的所有t值都大于该临界值 计算的所有 值都大于该临界值，所以 拒绝原假设。即: 包括常数项在内的3个解释变量都在 包括常数项在内的 个解释变量都在95%的水 个解释变量都在 的水 平下显著，都通过了变量显著性检验。 平下显著，都通过了变量显著性检验。

统计应用

四、参数的置信区间参数的置信区间 参数的 置信区间用来考察：在一次抽样中所估 置信区间 在一次抽样中所估 计的参数值离参数的真实值有多“ 计的参数值离参数的真实值有多“近”。 在变量的显著性检验中已经知道： 在变量的显著性检验中已经知道：t= βi βi S β i

βi βi e′e cii n k 1

~ t (n k 1)

容易推出：在(1-α)的置信水平下βi的置信区间是 容易推出$ $ ( βi t α × sβ$ , βi + t α × sβ$ )2 i 2 i

其中，tα/2为显著性水平为α 、自由度为n-k-1的临界值。

本文来源：https://www.bwwdw.com/article/bii4.html