matlab多元线性回归拟合

Matlab线性回归（拟合）

对于多元线性回归模型：

y??0??1x1????pxp?e

设变量

x1,x2,xp,y的n组观测值为

(xi1,xi2,xip,yi)i?1,2,,n．

?1??1记 x?????1?x11x21?xn1?x1p??y1????x22?x2p??y2?，y????， ????????y??xn2?xnp??n?x12??0?????1?则???? 的估计值为

???????p???(x'x)?1x'yb??

在Matlab中，用regress函数进行多元线性回归分析，应用方法如下：

语法：b = regress(y, x)

[b, bint, r, rint, stats] = regress(y, x)

[b, bint, r, rint, stats] = regress(y, x, alpha) b = regress(y, x)，得到的p+1维列向量b即为(11.2)式给出的回归系数β的估计值．

[b, bint, r, rint, stats]=regress(y, x) 给出回归系数β的估计值b，β的95％置信区间（(p+1)*2向量）bint，残差r以及每个残差的95％置信区间（n?2向量）rin

多元线性回归模型

一、多元线性回归模型的一般形式

设随机变量y与一般变量x1,x2,?,xp的线性回归模型为：

y??0??1x1??2x2????pxp?? 其中：

写成矩阵形式为：y?X???

?1?y1????1y2???y? X?????????y??n??1x11x21?xn1x12x22?xn2???x1p???0???1??????x2p?1?? ???? ???2?

?????????????xnp?????n???p??二、多元线性回归模型的基本假定

1、解释变量x1,x2,?,xp是确定性变量，不是随机变量，且要求

ran(kX)?p?1?n。这里的rank(X)?p?1?n表明设计矩阵X中自变量列之间

不相关，样本容量的个数应大于解释变量的个数，X是一满秩矩阵。

E(?i)?0,i?1,2,?,n????2,i?j2、随机误差项具有0均值和等方差，即：?

cov(?i,?j)??,(i,j?1,2,?,n)??0,i?j?E(?i)?0，即假设观测值没有系统误差，随机误差?i的平均值为0，随机误差?i的协方差为0表明随机误差项在不同的样本点之间是不相关的（在正态假定下即

为独立），不存在序列相关，并且具有相同的精

第三章 多元线性回归模型

基本概念

(1)多元线性回归模型； (2)偏回归系数；

(3)正规方程组； (4)调整的多元可决系数； (5)多重共线性； (6)假设检验； 练习题

1. 多元线性回归模型的基本假设是什么?试说明在证明最小二乘估计量的无偏性和有效性

的过程中，哪些基本假设起了作用?

2．在多元线性回归分析中，t检验与F检验有何不同?在一元线性回归分析中二者是否有等价的作用?

3．为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残差平方和小?在什么样的条件下，受约束回归与无约束回归的结果相同?

X1X2X34．在一项调查大学生一学期平均成绩(Y)与每周在学习(与其他各种活动(

X4)、睡觉()、 娱乐()

)所用时间的关系的研究中，建立如下回归模型：

Y??0??1X1??2X2??3X3??4X4?u

如果这些活动所用时间的总和为一周的总小时数168。问：保持其他变量不变，而改变其中一个变量的说法是否有意义?该模型是否有违背基本假设的情况? 如何修改此模型以使其更加合理?

5.表3-1给出三变量模型的回归结果。

多元线性回归、逐步回归

关键词：非线性回归、多元线性回归、逐步回归、散点图程序、残差图程序、MATLAB 练习1

在M文件中建立函数y?a(1?be?cx)，其中a、b、c为待定的参数。 程序7

fun=inline('b(1)*(1-b(2)*exp(-b(3)*x))','b','x'); 练习2

选取指数函数y?aebt对例1进行非线性回归：

（1）在同一坐标系内作出原始数据与拟合结果的散点图。 （2）预测照射16次后的细菌数目

（3）给出模型参数的置信度为95%的置信区间，并给出模型交互图形。 程序8

[a,b]=solve('5.8636=log(a)+b','2.7081=log(a)+15*b')%求解初值 x=1:15;

y= [352 211 197 160 142 106 104 60 56 38 36 32 21 19 15]; fun=inline('b(1)*exp(b(2)*x)','b','x');%建立函数 b0=[440.9771,-0.2254];

[beta,r,J]=nlinfit(x,y,fun,b0);%非线性拟合命令；其中，beta表示最佳回归系数的估计值，r是残差，J是雅可比矩阵

beta%输

第三章 多元线性回归模型

基本概念

(1)多元线性回归模型； (2)偏回归系数；

(3)正规方程组； (4)调整的多元可决系数； (5)多重共线性； (6)假设检验； 练习题

1. 多元线性回归模型的基本假设是什么?试说明在证明最小二乘估计量的无偏性和有效性

的过程中，哪些基本假设起了作用?

2．在多元线性回归分析中，t检验与F检验有何不同?在一元线性回归分析中二者是否有等价的作用?

3．为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残差平方和小?在什么样的条件下，受约束回归与无约束回归的结果相同?

X1X2X34．在一项调查大学生一学期平均成绩(Y)与每周在学习(与其他各种活动(

X4)、睡觉()、 娱乐()

)所用时间的关系的研究中，建立如下回归模型：

Y??0??1X1??2X2??3X3??4X4?u

如果这些活动所用时间的总和为一周的总小时数168。问：保持其他变量不变，而改变其中一个变量的说法是否有意义?该模型是否有违背基本假设的情况? 如何修改此模型以使其更加合理?

5.表3-1给出三变量模型的回归结果。

第十一章 多元线性回归与logistic回归

一、教学大纲要求

（一）掌握内容

1．多元线性回归分析的概念：多元线性回归、偏回归系数、残差。

2．多元线性回归的分析步骤：多元线性回归中偏回归系数及常数项的求法、多元线性回归的应用。

3．多元线性回归分析中的假设检验：建立假设、计算检验统计量、确定P值下结论。 4．logistic回归模型结构：模型结构、发病概率比数、比数比。 5．logistic回归参数估计方法。

6．logistic回归筛选自变量：似然比检验统计量的计算公式；筛选自变量的方法。 （二）熟悉内容

常用统计软件（SPSS及SAS）多元线性回归分析方法：数据准备、操作步骤与结果输出。

（三）了解内容

标准化偏回归系数的解释意义。

二、教学内容精要

(一) 多元线性回归分析的概念

将直线回归分析方法加以推广，用回归方程定量地刻画一个应变量Y与多个自变量X间的线形依存关系，称为多元线形回归（multiple linear regression），简称多元回归（multiple regression）

基本形式：

??b?bX?bX?????bX Y01122kk?为各自变量取某定值条件下应变量均数的估计值，X，X，…，X

概述

根据图形（实际点），选配一条恰当的函数形式（类型）---需要数学理论与基础和经验。（并写出该函数表达式的一般形式，含待定系数）------选用某条回归命令求出所有的待定系数。所以可以说，回归就是求待定系数的过程（需确定函数的形式）

1、[b,bint,r,rint,s]=regress(y,X,alpha)或者regress(y, x)

输入 y :因变量（列向量） X:自变量组成的矩阵，并且x要在最前面额外添加全1列/对应于常数项 alpha:显著性水平（缺省时定位0.05，即置信水平95%，alpha不影响b,只影响bint(区间估计)。它越小，即置信度越高，则bint范围越大。显著水平越高，则区间就越小） 输出：b：多元线性回归方程的各个系数（含常数项，第一项为常数项）bint:b的置信区间（回归系数的区间估计） r：残差(列向量) rint:r的置信区间 stats: 用于检验回归模型的统计量，有四个数值：相关系数r2、F值、与F对应的概率p和残差的方差（前两个越大越好，后两个越小越好） 2、rcplot(r.rint)

残差分析，作残差图 如下图：

matlab多元线性回归

每条线长度表示的是置信区间，小圆圈代表残差点。 残

研究在线性关系相关性条件下，两个或者两个以上自变量对一个因变量，为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似，只是在计算上为复杂需借助计算机来完成。

计算公式如下：

设随机y与一般变量x1,x2,?xk的线性回归模型为：

y??0??1x1??2x2??kxk??

其中?0,?1,??k是k?1个未知参数，?0称为回归常数，?1,??k称为回归系数；

y称为被解释变量；x1,x2,?xk是k个可以精确可控制的一般变量，称为解释变量。

当p?1时，上式即为一元线性回归模型，k?2时，上式就叫做多元形多元回归模型。?是随机误差，与一元线性回归一样，通常假设

?E(?)?0?2 var(?)???同样，多元线性总体回归方程为y??0??1x1??2x2????kxk

系数?1表示在其他自变量不变的情况下，自变量x1变动到一个单位时引起的因变量y的平均单位。其他回归系数的含义相似，从集合意义上来说，多元回归是多维空间上的一个平面。

????x???x?????x ???多元线性样本回归方程为：y01122kk

多元线性回归方程中回归系数的估计同样可以采

2009_SAS备课笔记_回归分析

回归分析-简单线性回归、多元线性回归

比较：方差分析是处理试验数据的一类统计方法。这类统计方法的特点是所考察的指标（因变量）Y是测量得到的数值变量（连续变量），而影响指标的因子（自变量）水平是试验者安排的几个不同值（称这种因子为分类变量或离散变量）。试验的目的是找出影响指标的主要因子及水平。

在实际问题中，还经常遇到这样一些数据，它们不是有意安排的试验得到的数据，而是对生产过程测量记录下来的数据。对它们进行分析，目的是想找出对我们所关心的指标（因变量）Y有影响为因素（也称自变量或回归变量）x1,x2,......,xm，并建立用x1,x2,......,xm预报Y的经验公式。

对于现实世界，不仅要知其然，而且要知其所以然。顾客对商品和服务的反映对于商家是至关重要的，但是仅仅有满意顾客的比例是不够的，商家希望了解什么是影响顾客观点的因素，以及这些因素是如何起作用的。类似地，医疗卫生部门不能仅仅知道某流行病的发病率，而且想知道什么变量影响发病率，如何影响发病率的。发现变量之间的统计关系，并且用此规律来帮助我们进行决策才是统计实践的最终目的。

一般来说，统计可以根据目前所拥有的信息（数据）来建立人们所关心的变量和

统计应用

§3.3 多元线性回归模型的统计检验 一、拟合优度检验 方程的显著性检验(F检验) (F检验 二、方程的显著性检验(F检验) 变量的显著性检验( 检验) 三、变量的显著性检验(t检验) 四、参数的置信区间

统计应用

一、拟合优度检验 1、可决系数与调整的可决系数 、总离差平方和的分解

则

TSS = Σ(Yi Y ) 2 = Σ((Yi Yi ) + (Yi Y )) 2 = Σ(Yi Yi ) 2 + 2Σ(Yi Yi )(Yi Y ) + Σ(Yi Y ) 2

统计应用

由于

∑ (Y Y )(Y Y ) = ∑ e (Y Y ) = β ∑e + β ∑e X +L+ β ∑e Xi i i i0 i 1 i 1i k i

ki

+ Y ∑ ei

=0

所以有： ) 2 + ∑ (Y Y ) 2 = RSS + ESS TSS = ∑ (Yi Yi i

注意： 注意：一个有趣的现象

(Y Y ) = (Y Y ) + (Y Y ) (Y Y ) ≠ (Y Y ) + (Y Y ) ∑ (Y Y ) = ∑ (Y