天大matlab 大作业 逐步回归分析方法

逐步回归分析方法

在实际中，影响Y的因素很多，这些因素可能存在多重共线性（相关性），这就对系数的估计带来不合理的解释，从而影响对Y的分析和预测。

“最优”的回归方程就是包含所有对Y有影响的变量, 而不包含对Y影响不显著的变量回归方程。

选择“最优”的回归方程有以下几种方法：

（1）从所有可能的因子（变量）组合的回归方程中选择最优者； （2）从包含全部变量的回归方程中逐次剔除不显著因子； （3）从一个变量开始，把变量逐个引入方程； （4）“有进有出”的逐步回归分析。

以第四种方法，即逐步回归分析法在筛选变量方面较为理想. 逐步回归分析法的思想：

从一个自变量开始，视自变量Y作用的显著程度，从大到小地依次逐个引入回归方程。

当引入的自变量由于后面变量的引入而变得不显著时，要将其剔除掉。

引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步。

对于每一步都要进行Y值检验，以确保每次引入新的显著性变量前回归方程中只包含对Y作用显著的变量。

这个过程反复进行，直至既无不显著的变量从回归方程中剔除，又无显著变量可引入回归方程时为止。

原理：

1、最优选择的标准

设n为观测样本数，

X?{x1,x2,?,xm}

A?xi1,xi2,?,xil为所有自变量构成的集合， （1）均方误差s2最小

s2?A??SE(A)??为X的子集。

?n?l?1? 达到最小

（2）预测均方误差最小

J(A)?n?l?1SE?A?n?l?1 达到最小

（3）统计量最小准则

Cp?A??SE?A?SE?2l?n?n?m?1?达到最小

（4）AIC或BIC准则

llnn2lBIC(A)?ln?SE?A???AIC(A)?ln?SE?A???n达到最小 n 或

（5）修正R2准则

R2?1?

n?i(1?R2)n?l达到最大

2、选择最优回归子集的方法

（1）选择最优子集的简便方法： 逐步筛选法（STEPWISE）

向前引入法或 前进法（FORWARD） 向后剔除法或后退法（BACKWARD） （2）计算量最大的全子集法：

R2选择法（RSQUARE） Cp选择法（CP）

修正R2选择法（ADJRSQ）。 （3）计算量适中的选择法：

最小R2增量法（MINR） 最大R2增量法（MAXR）

步骤 1、前进法：

事先给定挑选自变量进入方程的显著性水平，按自变量对因变量y的贡献由大到小依次挑选自变量进入方程，直到方程外没有显著的自变量可引入为止。

该方法的特点是：自变量一旦被选入，就永远保留在模型中。

（1）将全部m个自变量，分别与因变量y建立一元回归方程； （2）分别计算这m个一元回归方程中回归系数的检验统计量F，记为：

?F,F,?,F?

11121m取最大值

111Fk1?maxF,F,?,F12m1??

若

Fk1?F进?F??1，n?2?1停止筛选； 若

Fk1?F进?F??1，n?2?1选入xk,不妨设xk是x1，进入步骤（3）；

11

（3）分别将自变量组?x1,x2?,?x1,x3?,......,?x1,xm?与因变量y建立二元回归方程，计算回归方程中x2，x3，?，xm的回归系数检验统计量F，记为：

?F取其最大值

222,F32,?,Fm

?222Fk2?maxF,F,?,F23m2??，

若

Fk22?F进?F??1，n?2?1?

则停止筛选，y与 x1之间的回归方程就是最优的回归方程；若

Fk2?F进?F??1，n?2?1?2选进xk2 ，不妨设xk2是 x2，进入步骤（4）。

（4）对已经选入模型的变量，x1，x2，如同前面的方法做下去，直到所有未被选入模型的自变量的F值都小于相应的临界值为止，这时的回归方程就是最优回归方程。 前进法的一般步骤：

假设已进行了l步筛选，并选入自变量x1，x2，?xl，现进行第l+1步筛选： 分

别

将

自

变

量

组

?x1,x2,?,xl,xl?1?，

?x1,x2,?,xl,xl?2?，....,?x1,x2,?,xl,xm?与y建立l+1元回归方程；回归

方程中xl?1,xl?2,?,xm的回归系数检验统计量记为：

?F记

l?1l?1l?1,Fll??21,?,Fm?

?

1l?1l?1l?1Fkll??maxF,F,?,Fl?1l?2m?1?若

1Fkll??F?(1,n?(l?1)?1)?1

②取模型外自变量的最大贡献值，即

V?2? Vk2F??2?计算 S E ～F（1，n-2-1）

?n?2?1? 其中若

(2)k2?maxVj一切j?k1?2??2?SE?ST?Vk?22?

F?F?1?1,n?2?1?

则筛选结束，第一步中所建立的回归方程即最优回归方程； 若

F?F?1?1,n?2?1?

则选 x k2 进入模型，将 S m ? ? ?化为 S m ? ，进行第三步筛选； m ?1?? m ?1?2??s11??2??s21?????2??sk21????s?2??m1?2?s12?2?s22??2?sk22??2?sm2?1??2??2?Sm??m?1???????2?s1?m?2?s2m??2?sk2m??2?smm??s1?2y??2?s2y?????2??sk2y????2??smy?

其中

?2?sij?1??sk2j??1?当i?k2，j?k2sk2k2??1??1??sik2sk2j?1??sij??1?当i?k2，j?k2?sk2k2??1?当i?j?k2?1??sk2k2??1?s??ik2当i?k，j?k22?1??sk2k2?

第三步：

从第三步开始，先检验已经引入方程中的自变量是否满足显著性水平

?2，若有不满足显著性水平?2的自变量，依次剔除最不显著的，再从方程外挑选满足著性水平的最显著的自变量进入模型（即从第三步开始，先进行变量的剔除，再进行变量的选进）。 逐步回归法筛选自变量的一般步骤为：

假设已经进行l步筛选，并且已经选入p个自变量，相应的残差平方

?l?S和为E，离差矩阵为

?l?Sm??m?1??l??s11??l??s21?????l??sk21????s?l??m1?l?s12?l?s22??l?sk22??l?sm2l??s1?m?l??s2m???l??sk2m???l??smms1?ly????l?s2y?????l??sk2y????l??smy?

则第步的筛选过程为： （a）计算自变量的贡献：

Vi?l?1??s?l?1?2?iy（x不在模型中）i?s?l??ii???l?2?siy?（xi在模型中）l???sii?

????（b）检验已选入的自变量是否显著 取模型中变量的最小值：

Vk(l?1)?计算

F?一切已入选的jminVj?l?1?

Vk?l?1?(l?1)SE?n?p?1?

其中若 若

SE?l?1??ST?Vk?l?1?

将xk剔除，转入（d）；

F?F?2?1,n?p?1?F?F?2?1,n?p?1? ，则xk不能被剔除，转入（c）

（c）取模型外变量贡献的最大值，

Vk(l?1)?一切未入选的jmaxVj?l?1?

计算

F??Vk?ST?Vk?l?1?l?1??若 若

F?F?1?1,n?p?1?1?F?F?1?1,n?p?1?1??n?(p?1)?1?

，则筛选结束，转入（3）；

，则选入xk，转入（d）；

（d）将

?l?Sm??m?1?化为

?l?1?Sm??m?1?，进行第l+2步筛选。

l?1??l?1?s12?s1?m??Sm??m?1?l?1?l?1??s11??l?1??s21??????l?1?????s22?s2m???l?1l?1????l?1l?1s1?ly?1????l?1?s2y?????l?1??其中

?sk21sk22?sk2msk2y???????????s(l?1)m1s?l?1??l?1?m2?smms?l?1??my????l??skj?s?l?当i?k，j?kkk??s?l?s?l??l?ikskjs?l?1?ij??ij??s?l?当i?k，j?kkk?1?当i?s?l??j?kkk???s?l?ik当i?s?l??k，j?kkk

本文来源：https://www.bwwdw.com/article/mznf.html