线性回归如何求解最优模型

临沂大学建筑学院房地产系

最优回归模型的求解步骤

在回归分析中，当自变量较多时，建立起来的回归方程会存在某些自变量不显著的问题，也就是说并不是所有的自变量都适合引入到回归方程中去，我们建立回归方程的最理想标准是：显著的自变量都在回归方程里，不显著的都不能引入。在现实生活和科学研究中有大量的事例需要建立最优回归模型，通常最优回归模型用逐步回归分析来实现。逐步回归分析尽管结构严谨思路清晰，但是计算过程极为繁琐，在有了统计分析软件SPSS、SAS、Minitab等的协助下，目前逐步回归分析已经较少使用，应用各种统计分析软件可以迅速地建立起最优回归模型。

现在以气象学上一个著名的例子来详细演示建立最优模型的步骤，数据在“台风分析.sav”的文件里，各个变量的实际意义是：

X1：暴雨中心当日08时70kPa位面的上升速度（干绝热过程）；

X2：台风中心达到125°E时，离中心15个纬距范围内海面上气温平均值； X3：50kPa08时和20时环流指数的平均值；

X4：暴雨中心5个纬距范围内70kPa位面平均24h变高； X5：暴雨中心5个纬距范围内50kPa位面平均24h变温；

X6：暴雨当日08时70kPa位面佳木斯、哈尔滨、长春、延吉的温度与露点

差的

临沂大学建筑学院房地产系

最优回归模型的求解步骤

在回归分析中，当自变量较多时，建立起来的回归方程会存在某些自变量不显著的问题，也就是说并不是所有的自变量都适合引入到回归方程中去，我们建立回归方程的最理想标准是：显著的自变量都在回归方程里，不显著的都不能引入。在现实生活和科学研究中有大量的事例需要建立最优回归模型，通常最优回归模型用逐步回归分析来实现。逐步回归分析尽管结构严谨思路清晰，但是计算过程极为繁琐，在有了统计分析软件SPSS、SAS、Minitab等的协助下，目前逐步回归分析已经较少使用，应用各种统计分析软件可以迅速地建立起最优回归模型。

现在以气象学上一个著名的例子来详细演示建立最优模型的步骤，数据在“台风分析.sav”的文件里，各个变量的实际意义是：

X1：暴雨中心当日08时70kPa位面的上升速度（干绝热过程）；

X2：台风中心达到125°E时，离中心15个纬距范围内海面上气温平均值； X3：50kPa08时和20时环流指数的平均值；

X4：暴雨中心5个纬距范围内70kPa位面平均24h变高； X5：暴雨中心5个纬距范围内50kPa位面平均24h变温；

X6：暴雨当日08时70kPa位面佳木斯、哈尔滨、长春、延吉的温度与露点

差的

第三章 多元线性回归模型

基本概念

(1)多元线性回归模型； (2)偏回归系数；

(3)正规方程组； (4)调整的多元可决系数； (5)多重共线性； (6)假设检验； 练习题

1. 多元线性回归模型的基本假设是什么?试说明在证明最小二乘估计量的无偏性和有效性

的过程中，哪些基本假设起了作用?

2．在多元线性回归分析中，t检验与F检验有何不同?在一元线性回归分析中二者是否有等价的作用?

3．为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残差平方和小?在什么样的条件下，受约束回归与无约束回归的结果相同?

X1X2X34．在一项调查大学生一学期平均成绩(Y)与每周在学习(与其他各种活动(

X4)、睡觉()、 娱乐()

)所用时间的关系的研究中，建立如下回归模型：

Y??0??1X1??2X2??3X3??4X4?u

如果这些活动所用时间的总和为一周的总小时数168。问：保持其他变量不变，而改变其中一个变量的说法是否有意义?该模型是否有违背基本假设的情况? 如何修改此模型以使其更加合理?

5.表3-1给出三变量模型的回归结果。

第三章 多元线性回归模型

基本概念

(1)多元线性回归模型； (2)偏回归系数；

(3)正规方程组； (4)调整的多元可决系数； (5)多重共线性； (6)假设检验； 练习题

1. 多元线性回归模型的基本假设是什么?试说明在证明最小二乘估计量的无偏性和有效性

的过程中，哪些基本假设起了作用?

2．在多元线性回归分析中，t检验与F检验有何不同?在一元线性回归分析中二者是否有等价的作用?

3．为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残差平方和小?在什么样的条件下，受约束回归与无约束回归的结果相同?

X1X2X34．在一项调查大学生一学期平均成绩(Y)与每周在学习(与其他各种活动(

X4)、睡觉()、 娱乐()

)所用时间的关系的研究中，建立如下回归模型：

Y??0??1X1??2X2??3X3??4X4?u

如果这些活动所用时间的总和为一周的总小时数168。问：保持其他变量不变，而改变其中一个变量的说法是否有意义?该模型是否有违背基本假设的情况? 如何修改此模型以使其更加合理?

5.表3-1给出三变量模型的回归结果。

第二章 经典线性回归模型：双变量线性回归模型 回归分析概述 双变量线性回归模型的参数估计 双变量线性回归模型的假设检验 双变量线性回归模型的预测 实例

引子: 中国旅游业总收入将超过3000亿美 元吗？从2004中国国际旅游交易会上获悉，到2020年，中国旅游 业总收入将超过3000亿美元，相当于国内生产总值的8% 至11%。(资料来源：国际金融报2004年11月25日第二版) ◆是什么决定性的因素能使中国旅游业总收入到2020年达到 3000亿美元？ ◆旅游业的发展与这种决定性因素的数量关系究竟是什么？

◆怎样具体测定旅游业发展与这种决定性因素的数量关系?

一、回归与相关(对统计学的回顾)

1. 经济变量间的相互关系◆确定性的函数关系

Y f (X )

◆不确定性的统计关系—相关关系

Y f (X ) ◆没有关系

(ε为随机变量)

2.相关关系◆ 相关关系的描述 相关关系最直观的描述方式——坐标图(散布图)

Y

X

◆相关关系的类型 ● 从涉及的变量数量看简单相关 多重相关(复相关)

● 从变量相关关系的表现形式看线性相关——散布图接近一条直线 非线性相关——散布图接近一条曲线

● 从变量相关关系变化的方向看

本文介绍 Microsoft Office Excel 中 LINEST 函数的公式语法和用法。有关绘制图表和执行回归分析的详细信息LINEST 函数可通过使用最小二乘法计算与现有数据最佳拟合的直线,来计算某直线的统计值,然后返回描述此直线的数组。也可以将 LINEST 与其他函数结合使用来计算未知参数中其他类型的线性模型的统计值,包括多项式、对数、指数和幂级数。因为此函数返回数值数组,所以必须以数组公式的形式输入。

LINEST 函数

本文介绍 Microsoft Office Excel 中 LINEST 函数 （函数：函数是预先编写的公式，可以对一个或多个值执行运算，并返回一个或多个值。函数可以简化和缩短工作表中的公式，尤其在用公式执行很长或复杂的计算时。）的公式语法和用法。有关绘制图表和执行回归分析的详细信息，请点击“请参阅”部分中的链接。

说明

LINEST 函数可通过使用最小二乘法计算与现有数据最佳拟合的直线，来计算某直线的统计值，然后返回描述此直线的数组。也可以将 LINEST 与其他函数结合使用来计算未知参数中其他类型的线性模型的统计值，包括多项式、对数、指数和幂级数。因为此函数返回数值数组，所以必须以数组公式的形式输入。请按照本文中

研究在线性关系相关性条件下，两个或者两个以上自变量对一个因变量，为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似，只是在计算上为复杂需借助计算机来完成。

计算公式如下：

设随机y与一般变量x1,x2,?xk的线性回归模型为：

y??0??1x1??2x2??kxk??

其中?0,?1,??k是k?1个未知参数，?0称为回归常数，?1,??k称为回归系数；

y称为被解释变量；x1,x2,?xk是k个可以精确可控制的一般变量，称为解释变量。

当p?1时，上式即为一元线性回归模型，k?2时，上式就叫做多元形多元回归模型。?是随机误差，与一元线性回归一样，通常假设

?E(?)?0?2 var(?)???同样，多元线性总体回归方程为y??0??1x1??2x2????kxk

系数?1表示在其他自变量不变的情况下，自变量x1变动到一个单位时引起的因变量y的平均单位。其他回归系数的含义相似，从集合意义上来说，多元回归是多维空间上的一个平面。

????x???x?????x ???多元线性样本回归方程为：y01122kk

多元线性回归方程中回归系数的估计同样可以采

实验3 多元线性回归模型

一、实验名称：多元线性回归模型.

二、实验目的：掌握多元线性回归模型的建模方法，并会利用Matlab作统计分析与检验. 三、实验题目：设某公司生产的商品在市场的销售价格为x1（元/件）、用于商品的广告费用为x2（万元）、销售量为y（万件）的连续12个月的统计数据如表.

月份 1

2 3 4 5 6 7 8 9 10 11 12

销售价格x1

100 90 80 70 70 70 70 65 60 60 55 50

广告费用x2

5.50 6.30 7.20 7.00 6.30 7.35 5.60 7.15 7.50 6.90 7.15 6.50

销售量y 55 70 90 100 90 105 80 110 125 115 130 130

四、实验要求：

1、建立销售量y关于销售价格x1和广告费用x2的多元线性回归模型.

1、绘制散点图，可以直观地看出y与x1,x2分别呈线性关系，所以采用多元线性回归模型：y=β0+β1*x1+β2*x2+ε 源程序： clear

x1=[100;90;80;70;70;70;70;65;60;60;55;50];

x2=[5.50;6.30;7.20;7.00;6.30;7.35;5.60;7.15;7.50

联系电话13327011431

MATLAB在最优化模型求解中的应用

摘要 最优化模型是较常见的数学模型，本文介绍了MATLAB软件在求解最优化模型方面的几点应用，给出了几种解决优化模型的函数格式和范例 关键词 最优化模型;MATLAB;命令 1 前言

优化问题，一般是指用“最好”的方式，使用或分配有限的资源，即劳动力、原材料、机器、资金等，使得费用最小或者利润最大。最优化模型就是根据优化问题的具体情况建立的数学模型。求解此类模型，一方面需要具有较好的数学知识和较强的计算机编程能力，另一方面，也可以利用成熟的算法求解。本文将介绍MATLAB在最优化模型求解中的几个应用。

2 利用MATLAB的优化工具箱求解最优化模型

MATLAB是Mathworks公司推出的一套功能强大的工程计算及数值分析软件, 目前它已经成为世界上应用最广泛的工程计算软件之一。其优化工具箱的应用包括: 线性、非线性最小化、方程求解、曲线拟合、二次规划等中大型课题的求解方法, 为优化方法在工程中的实际应用提供了更方便、快捷的途径。 2.1求解线性规划模型

利用MATLAB软件求解线性模型：

minz?cX

AX?b??s.t.?Aeq?X?beq ?vlb?X?vub?可使

2 经典线性回归模型

§2.1 概念与记号

1．线性回归模型是用来描述一个特定变量y与其它一些变量x1，…，xp之间的关系。 2．称特定变量y为因变量（dependent variable）、被解释变量（explained variable）、响应变量（response variable）、被预测变量（predicted variable）、回归子（regressand）。

3．称与特定变量相关的其它一些变量x1，…，xp为自变量（independent variable）、解释变量（explanatory variable）、控制变量（control variable）、预测变量（predictor variable）、回归量（regressor）、协变量（covariate）。 4．假定我们观测到上述这些变量的n组值：?yi,xi1,?,xip? (i=1，…，n)。称这n组值为样本（sample）或数据（data）。

§2.2 经典线性回归模型的假定

假定2.1（线性性(linearity)）

yi??0??1xi1????pxip??i (i=1，…，n)。 （2.1）

称方程（2.1）为因变量