多元线性回归

多元线性回归模型

一、多元线性回归模型的一般形式

设随机变量y与一般变量x1,x2,?,xp的线性回归模型为：

y??0??1x1??2x2????pxp?? 其中：

写成矩阵形式为：y?X???

?1?y1????1y2???y? X?????????y??n??1x11x21?xn1x12x22?xn2???x1p???0???1??????x2p?1?? ???? ???2?

?????????????xnp?????n???p??二、多元线性回归模型的基本假定

1、解释变量x1,x2,?,xp是确定性变量，不是随机变量，且要求

ran(kX)?p?1?n。这里的rank(X)?p?1?n表明设计矩阵X中自变量列之间

不相关，样本容量的个数应大于解释变量的个数，X是一满秩矩阵。

E(?i)?0,i?1,2,?,n????2,i?j2、随机误差项具有0均值和等方差，即：?

cov(?i,?j)??,(i,j?1,2,?,n)??0,i?j?E(?i)?0，即假设观测值没有系统误差，随机误差?i的平均值为0，随机误差?i的协方差为0表明随机误差项在不同的样本点之间是不相关的（在正态假定下即

为独立），不存在序列相关，并且具有相同的精

第三章 多元线性回归模型

基本概念

(1)多元线性回归模型； (2)偏回归系数；

(3)正规方程组； (4)调整的多元可决系数； (5)多重共线性； (6)假设检验； 练习题

1. 多元线性回归模型的基本假设是什么?试说明在证明最小二乘估计量的无偏性和有效性

的过程中，哪些基本假设起了作用?

2．在多元线性回归分析中，t检验与F检验有何不同?在一元线性回归分析中二者是否有等价的作用?

3．为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残差平方和小?在什么样的条件下，受约束回归与无约束回归的结果相同?

X1X2X34．在一项调查大学生一学期平均成绩(Y)与每周在学习(与其他各种活动(

X4)、睡觉()、 娱乐()

)所用时间的关系的研究中，建立如下回归模型：

Y??0??1X1??2X2??3X3??4X4?u

如果这些活动所用时间的总和为一周的总小时数168。问：保持其他变量不变，而改变其中一个变量的说法是否有意义?该模型是否有违背基本假设的情况? 如何修改此模型以使其更加合理?

5.表3-1给出三变量模型的回归结果。

多元线性回归、逐步回归

关键词：非线性回归、多元线性回归、逐步回归、散点图程序、残差图程序、MATLAB 练习1

在M文件中建立函数y?a(1?be?cx)，其中a、b、c为待定的参数。 程序7

fun=inline('b(1)*(1-b(2)*exp(-b(3)*x))','b','x'); 练习2

选取指数函数y?aebt对例1进行非线性回归：

（1）在同一坐标系内作出原始数据与拟合结果的散点图。 （2）预测照射16次后的细菌数目

（3）给出模型参数的置信度为95%的置信区间，并给出模型交互图形。 程序8

[a,b]=solve('5.8636=log(a)+b','2.7081=log(a)+15*b')%求解初值 x=1:15;

y= [352 211 197 160 142 106 104 60 56 38 36 32 21 19 15]; fun=inline('b(1)*exp(b(2)*x)','b','x');%建立函数 b0=[440.9771,-0.2254];

[beta,r,J]=nlinfit(x,y,fun,b0);%非线性拟合命令；其中，beta表示最佳回归系数的估计值，r是残差，J是雅可比矩阵

beta%输

第三章 多元线性回归模型

基本概念

(1)多元线性回归模型； (2)偏回归系数；

(3)正规方程组； (4)调整的多元可决系数； (5)多重共线性； (6)假设检验； 练习题

1. 多元线性回归模型的基本假设是什么?试说明在证明最小二乘估计量的无偏性和有效性

的过程中，哪些基本假设起了作用?

2．在多元线性回归分析中，t检验与F检验有何不同?在一元线性回归分析中二者是否有等价的作用?

3．为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残差平方和小?在什么样的条件下，受约束回归与无约束回归的结果相同?

X1X2X34．在一项调查大学生一学期平均成绩(Y)与每周在学习(与其他各种活动(

X4)、睡觉()、 娱乐()

)所用时间的关系的研究中，建立如下回归模型：

Y??0??1X1??2X2??3X3??4X4?u

如果这些活动所用时间的总和为一周的总小时数168。问：保持其他变量不变，而改变其中一个变量的说法是否有意义?该模型是否有违背基本假设的情况? 如何修改此模型以使其更加合理?

5.表3-1给出三变量模型的回归结果。

第十一章 多元线性回归与logistic回归

一、教学大纲要求

（一）掌握内容

1．多元线性回归分析的概念：多元线性回归、偏回归系数、残差。

2．多元线性回归的分析步骤：多元线性回归中偏回归系数及常数项的求法、多元线性回归的应用。

3．多元线性回归分析中的假设检验：建立假设、计算检验统计量、确定P值下结论。 4．logistic回归模型结构：模型结构、发病概率比数、比数比。 5．logistic回归参数估计方法。

6．logistic回归筛选自变量：似然比检验统计量的计算公式；筛选自变量的方法。 （二）熟悉内容

常用统计软件（SPSS及SAS）多元线性回归分析方法：数据准备、操作步骤与结果输出。

（三）了解内容

标准化偏回归系数的解释意义。

二、教学内容精要

(一) 多元线性回归分析的概念

将直线回归分析方法加以推广，用回归方程定量地刻画一个应变量Y与多个自变量X间的线形依存关系，称为多元线形回归（multiple linear regression），简称多元回归（multiple regression）

基本形式：

??b?bX?bX?????bX Y01122kk?为各自变量取某定值条件下应变量均数的估计值，X，X，…，X

研究在线性关系相关性条件下，两个或者两个以上自变量对一个因变量，为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似，只是在计算上为复杂需借助计算机来完成。

计算公式如下：

设随机y与一般变量x1,x2,?xk的线性回归模型为：

y??0??1x1??2x2??kxk??

其中?0,?1,??k是k?1个未知参数，?0称为回归常数，?1,??k称为回归系数；

y称为被解释变量；x1,x2,?xk是k个可以精确可控制的一般变量，称为解释变量。

当p?1时，上式即为一元线性回归模型，k?2时，上式就叫做多元形多元回归模型。?是随机误差，与一元线性回归一样，通常假设

?E(?)?0?2 var(?)???同样，多元线性总体回归方程为y??0??1x1??2x2????kxk

系数?1表示在其他自变量不变的情况下，自变量x1变动到一个单位时引起的因变量y的平均单位。其他回归系数的含义相似，从集合意义上来说，多元回归是多维空间上的一个平面。

????x???x?????x ???多元线性样本回归方程为：y01122kk

多元线性回归方程中回归系数的估计同样可以采

2009_SAS备课笔记_回归分析

回归分析-简单线性回归、多元线性回归

比较：方差分析是处理试验数据的一类统计方法。这类统计方法的特点是所考察的指标（因变量）Y是测量得到的数值变量（连续变量），而影响指标的因子（自变量）水平是试验者安排的几个不同值（称这种因子为分类变量或离散变量）。试验的目的是找出影响指标的主要因子及水平。

在实际问题中，还经常遇到这样一些数据，它们不是有意安排的试验得到的数据，而是对生产过程测量记录下来的数据。对它们进行分析，目的是想找出对我们所关心的指标（因变量）Y有影响为因素（也称自变量或回归变量）x1,x2,......,xm，并建立用x1,x2,......,xm预报Y的经验公式。

对于现实世界，不仅要知其然，而且要知其所以然。顾客对商品和服务的反映对于商家是至关重要的，但是仅仅有满意顾客的比例是不够的，商家希望了解什么是影响顾客观点的因素，以及这些因素是如何起作用的。类似地，医疗卫生部门不能仅仅知道某流行病的发病率，而且想知道什么变量影响发病率，如何影响发病率的。发现变量之间的统计关系，并且用此规律来帮助我们进行决策才是统计实践的最终目的。

一般来说，统计可以根据目前所拥有的信息（数据）来建立人们所关心的变量和

统计应用

§3.3 多元线性回归模型的统计检验 一、拟合优度检验 方程的显著性检验(F检验) (F检验 二、方程的显著性检验(F检验) 变量的显著性检验( 检验) 三、变量的显著性检验(t检验) 四、参数的置信区间

统计应用

一、拟合优度检验 1、可决系数与调整的可决系数 、总离差平方和的分解

则

TSS = Σ(Yi Y ) 2 = Σ((Yi Yi ) + (Yi Y )) 2 = Σ(Yi Yi ) 2 + 2Σ(Yi Yi )(Yi Y ) + Σ(Yi Y ) 2

统计应用

由于

∑ (Y Y )(Y Y ) = ∑ e (Y Y ) = β ∑e + β ∑e X +L+ β ∑e Xi i i i0 i 1 i 1i k i

ki

+ Y ∑ ei

=0

所以有： ) 2 + ∑ (Y Y ) 2 = RSS + ESS TSS = ∑ (Yi Yi i

注意： 注意：一个有趣的现象

(Y Y ) = (Y Y ) + (Y Y ) (Y Y ) ≠ (Y Y ) + (Y Y ) ∑ (Y Y ) = ∑ (Y

楚雄师范学院 数学系 09级01班 韩金伟 学号：20091021135

2011—2012学年第二学期《数据分析》期末论文

题 目 影响成品钢材需求量的回归分析

姓 名 韩 金 伟

学 号 20091021135

系（院） 数 学 系

专 业 数学与应用数学

2012年 6 月 19

0

日

题目：影响成品钢材需求量的回归分析

摘要：随着社会经济的不断发展，科学技术的不断进步，统计方法越来越成为人们必不

可收的工具盒手段。应用回归分析是其中的一个重要分支，本着国家经济水平的不断提高，我们采用回归分析的方法对我国成品钢材的需求量进行分析应用。为了使分析的模型具有社会实际意义，我们引用了1980——1998年的成品钢材、原油、生铁、原煤、发电量、铁路货运量、固定资产投资额、居民消费、政府消

多元线性回归

1. 某研究者测得29例儿童的血液中血红蛋白（Y，μg）与钙（X1）、镁（X2）、铁（X3）、锰（X4）及铜（X5）的含量值，见以下数据：

X1 X2 X3 X4 X5 Y 54.89 30.86 448.70 .012 1.010 13.50 72.49 42.61 467.30 .008 1.640 13.00 53.81 52.86 425.61 .004 1.220 13.75 64.74 39.18 469.80 .005 1.220 14.00 58.80 37.67 456.55 .012 1.010 14.25 43.67 26.18 395.78 .001 .594 12.75 54.89 30.86 448.70 .012 1.010 12.50 86.12 43.79 440.13 .017