2.一元回归模型
更新时间:2023-12-13 15:42:01 阅读量: 教育文库 文档下载
一元回归模型(1)
一、一元回归模型的定义:
? 1、回归的含义
回归分析研究的是一个变量(被解释变量)对另一个变量(解释变量)的依赖关系。其目的是通过后者的已知或设定值,去估计或预测前者的均值。 ? 2、统计关系与确定性关系
在经济研究中,主要处理的是经济变量之间统计依赖的关系。变量之间的关系是一种统计性的关系,而非确定性关系。 ? 3、回归与相关
相关分析:测度两个变量之间的线性关联程度,可以用相关系数来测量。对两个变量不加区分,都是随机变量。
回归分析:根据某个变量的设定值来估计或预测另外一个变量的平均值。解释变量是固定的(非随机的),被解释变量是随机的。
? 4、总体与样本的关系。 ? 总体:研究对象的全体。
? 个体:总体中的每个元素称为个体
? 样本:从总体中随机抽取的一组个体,称为样本
一个例子:
假设一个国家由60户居民组成,我们要研究每周家庭消费支出与可支配收入的关系。
收
入(X)
80 55 60
支
出
65 70 75
共计
325
100 65 70 74 80 85 88 462
120 79 84 90 94 98 445
140 80 93 95 103 108 113 115 707
160 102 107 110 116 118 125 678
180 110 115 120 130 135 140 750
200 120 136 140 144 145 685
220 135 137 140 152 157 160 162 1043
240 137 145 155 165 175 189 966
260 150 152 175 178 180 185 191 1211
(Y)
散点图:
200150Y1005050100150X200250300
1
总体回归曲线(population regression curve):当解释变量取给定值时被解释变量的条件均值或期望值的轨迹。
(一)总体回归函数(population regression function,PRF):E(YXi)?f(Xi) 一元回归的总体回归函数:E(YXi)?f(Xi)??1??2Xi 计量分析的随机设定: 随机干扰(随机误差)项:
ui?Yi?E(YXi)
有:Yi?E(YXi)?ui,上式中,E(YXi)称为系统性(确定性)成分,ui称为非系统性成分。
则一元回归的总体回归方程就可以表示为:Yi?E(YXi)?ui??1??2Xi?ui 随机扰动项的意义:
(1)回归模型缺失的变量; (2)人们的随机行为;
(3)建立数学模型的形式不够完整,如为研究问题的简便,把非线性模型线性化; (4)测量误差、经济变量的合并误差等。
(二)、样本回归函数(sample regression function,SRF) 抽样1:
Y
70 65 90 95 110 115 120 140 155 150
X
80 100 120 140 160 180 200 220 240 260
2
抽样2:
Y
55 88 90 80 118 120 145 135 145 175
160X
80 100 120 140 160 180 200 220 240 260
200140150120100YY1100Y80605050100150X20025030050100150X200250300
样本回归曲线时对总体回归曲线的一个近似的估计。
????X,???样本回归函数:Yi12i(样本容量为n) ????X?u?i,样本回归模型:Yi??(样本容量为n) 12i?,??为对总体参数?,?的近?i是样本残差,为总体残差ui的近似估计。样本参数?其中,u1212似估计。
总体回归方程:Yi??1??2Xi?ui
????X?u?i,样本回归模型:Yi??(样本容量为n) 12i注意:样本回归曲线时对总体回归曲线的一个近似的估计。
? 问题:通过对某个社区的家计调查,该社区居民的收入与支出的数据如下表(其中
x为收入,y为支出),通过这个样本得出收入与支出的关系。
3
10080Y60402020406080100X
模型:以消费函数为例。
Yi??1??2Xi?ui,(其中,Xi为收入,Yi为支出)
Yi:
因变量(Dependent Variable)
被解释变量(Explained Variable)
Xi: 自变量 (Independent Variable)
解释变量(Explanatory Variable)
?1,?2: 需估计的参数 ?1:截距(Intercept) ?2:斜率(Slope)
u:误
差项 (Error Term) 随机扰动项 (Disturbance)
4
二、模型的假设:
(1)线性无偏性,E(ui)?0,i?1,2,? 因此有:E(Yi)??1??2Xi
(2)同方差性,Var(ui)?E[ui?E(ui)]2?E(ui)??u,i?1,2,?
(3)序列不相关性,Cov(ui,uj)?E[ui?E(ui)][uj?E(uj)]?E(uiuj)?0
(4)X非随机变量。Cov(ui,Xi)?E[ui?E(ui)][xi?E(xi)]?E(uixj)?0
假定确保了回归分析的有效性。(多元回归中有确定的解),以后讨论假设条件不成立对估计值的影响
三、参数估计
参数估计的基本思想:一条好的拟合直线应该是使残差平方和达到最小。
2?,??)?u?minQ(??i??(Yi???1???2Xi)2 122
?,??求偏导,可得 对?12 (1)
?????X)?0 ??2?(Yi??12i???1?????X)X?0 ??2?(Yi??12ii???2
(2)
即:
????n?12?Xi??Yi??2?X??X1?i2?i??XiYi
求解,可得:
n?XiYi??Xi?Yi??2? 2n?Xi?(?Xi)2??(Y????i?2?Xi) 1
上式可以以样本观测值、平均值以及观测值与平均值的离差简化表示:
1n 5
??1?Y???2X ??i)(Yi?Y)i2??(X?X??xiy?(X?X)2?x2
ii
几个常用的结果:
由(1)可知残差的均值等于0,
?u?i?0 由(2)可知残差与解释变量不相关,?u?iXi?0
样本回归直线经过点(X,Y)
被解释变量的样本平均值等于其估计值的平均值
6
四、OLS的代数性质(Algebraic Properties): 1、OLS的代数性质 (1)线性性
??1,??2可以表示为Yi的线性组合,以??2为例 ???iiiiii2?xy??x(Y?Y)??xY?x2?x22?Y?xi2,由于
?xi?0,有:ii?xi?xi???xiYi2?i?x2??KiYi,其中Ki?x?x2
ii
(2)无偏性
??1,??2的数学期望等于总体回归系数?1,?2的值。以??2为例:
7
??KY?K(???X?u)?K?????ii?i12ii?i12?KiXi??Kiui 2由于
?Ki??xi?2?xi?x?xii2?0
22xiXiKX??ii?x2??i所以:?2??2??x(x?X)??x?x?xii2iiixX???xi2i?1
??Ku?E(??)?E(?)??KE(u)??ii22ii2
(3)最小方差性 证明略。(证明的思想:设参数的任意其他线性无偏估计,证明它们的方差大于最小二乘估计。参教材P84)
2、最小二乘法的精度与标准误差
?Var(?2)?Var(?2??Kiui)?Var(?Kiui)??u2?Ki由于:
2
?K2i2?xi?????2??x?i??x????x?2ii22
?12?xi因此有:Var(?2)???x2?u2i
?u2越大,?2的方差就越大,从而估计值越不准确,?xi2越大,?2的方差就越小,从而
就越有可能获得一个比较准确的估计值。 同样可以求得:Var(?1)?????u2?Xi2n?xi2
8
五、拟合度(Goodness-of-Fit):
? 如果所有的观测点都落在样本回归线上,我们就得到一个完美的拟合。但是,这种
?i和一些负的u?i,我们希望的是这些事情很少发生。一般的情形是,总有一些正的u围绕回归线的残差尽可能的小。
? 决定系数R就是告诉人们这条样本回归线对数据的拟合有多好的一个总度量。 2
300300250250200200YY150150100100505060801001201401606080100120140160XX
-Total Sum of Squares (SST)
总平方和
SST??(Yi?Y2i)
-Explained Sum of Squares (SSE) 解释平方和
9
SSE??(Y??Y)ii2
-Residual Sum of Squares (SSR) 残差平方和
2?)2??u?SSR??(Yi?Yii
SST?SSE?SSRproof:SST??(Yi?Yi)2?)?(Y??Y)]2??[(Yi?Yiii??Y)?(Y??Y)2]?i2?2u?i(Y??[uiiii??Y)??(Y??Y)2?i2??2u?i(Y??uiiii??Y)?i(Y?SSE?SSR??2uii?SSE?SSR
因为:
??Y)?(Y?2u????X?Y)?(???2u??Y)?2???(??X?2?u?u??Y)u?X?2(????2???uiiiii112iii22ii1iiii
?0SST?SSR?SSE1?SSRSSE?SSTSSTSSER2?SSTSSR?1?SST0?R2?1
或简写为:R2
?y???y2i2i?u??1??y2i2i
R2测度了在Y总的变动中由回归模型解释的那个部分所占的比例。R2越接近于1,说明Y
10
总的变动中由回归模型解释部分越大,即回归模型的拟合程度越好,R越接近于0,说明Y总的变动中由回归模型解释部分越小,即回归模型的拟合程度越差。
? 仍以上面的支出方程为例,我们已经估算方程的形式为: ? Y = 4.538 + 0.750*X
? 即收入每增加1单位,消费增加0.75单位。边际消费倾向为0.75。 ? 计算其决定系数,可得:
? R=0.933
? 说明该支出方程可以解释93%的支出行为。
六、回归系数估计值的显著性检验与置信区间
1、估计量的分布特征
2经典的正态回归模型假定每个ui都是正态分布的随机变量,且其均值为0,方差为?u,即 2ui~N(0,?u)
22ui正态分布的图示:
0 为什么做正态性假定?理由:
ui (1)、我们前面指出,ui代表许多模型中没有引进的自变量的总影响,我们希望这些被忽略的变量说引起的影响是微小的,而且是随机的,利用数理统计中的中心极限定理,我们知道,如果存在大量的独立且相同分布的随机变量,那么,随着这些变量的无限增大,他们的总和将趋向于正态分布。 (2)、中心极限定理的另外一个解说就是,即使变量的个数不是很大而且还不是严格独立的,他们的总和仍可视同正态分布。
正态分布的一个性质就是,正态分布变量的任何线性函数都是正态分布。因此,在正态分布
11
假定下,我们很容易可以得到OLS估计量的概率分布。
前面已经假定ui服从正态分布,因为ui是影响Yi的随机函数,所以Yi也服从正态分布。
?,??为Y的线性组合,因此??,??也服从正态分布。 ?i1212?1~N(?1,???u2?Xi2n?xi2)
?2~N(?2,2x?i?u2)
?,??的正态分布图参P90。 ?12
?i的方差来代替。 ui是一个无法测量的量,因而不可能计算出ui的方差,只能用它的估计值u2?u??Se2?u??2in?2
2?,??的标准差为: 可以证明Se2为?u的无偏估计量。则?1222?uX?i?i????S????11n(n?2)?xi2??u(n?2)?x2i2i
????S????22
2、置信区间
?是根据样本回归得出的,它并不是真实的参数系数?,? 思想:由于参数的系数?22我们需要知道根据样本回归出来的参数估计值离实际值究竟有多远。给出任意正数
???,????)称为???,????)包含?的概率为1??,则称(??,随机区间(?22222?295%的置信区间,记为:
???,????)?1??, ? P(?22
根据t分布构造置信区间:
12
t?????22S??2~tn?2
给出置信度1??,查自由度为n-2的t分布表,得临界值
t?(n?2)。t值落在?t?2?t?t?2的概率为1??,即:
2P??t?2?t?t?2??1??
代入t,有:
????????22P??t?2??t?2??1??
S????2????tS???????tS?即:P?2?2?22?2?2?2??1??
则总体回归系数的1??置信区间为:
??tS?,???tS? ?2??2?2?2?2?22??
? 例:根据前面的数据(样本容量为30),估算出来的回归方程为:
? Y = 4.538 + 0.750*X
?的标准误为0.037,求?95%的置信区间。 ? 计算?22? 查t分布表,有:
t?(n?2)?t0.025(30?2)?2.048 2则?295%的置信区间为:
{0.75?2.048?0.037,0.75?2.048?0.037} ,0.826} 即: ?295%的置信区间为:{0.6742
3、回归系数的显著性检验——t检验
?,??的t统计量为: 来自单一样本的估计值?12t?????22S??2~tn?2
具有n-2个自由度,(样本为n,解释变量为2个)
? 其中n-2为残差的自由度,因为样本有n个变量,在一元回归中,待估计的参数有
两个,这两个参数为独立的约束,因此残差的自由度为n-2个。 ? 在多元回归模型中,如果待估计的参数有k个,则自由度为n-k个。
13
在计量经济学中,通常用t统计量检验真实总体参数为0的这一假设。t检验的步骤为: A、提出原假设:H0:?2?0 备选假设:H1:?2?0 B、计算t???2S??2
C、给出显著水平?,查自由度为n-2的t分布表,得临界值t?(n?2)。
2显著水平可以根据实际情况选取,如1%、5%、10%等。
D、作出判断。
如果t?t?(n?2),接受原假设H0:?2?0,表明X对Y无显著影响。一元回归模型无意
2义。
如果t?t?(n?2),拒绝原假设H0:?2?0,接受备选假设,表明X对Y有显著影响。
2
?的检验类似。 对?1
? 例:支出函数的参数检验.
? 对某个样本人群(n=30)的支出(Y)与收入(X)的调查数据如下: 从散点图可以看出,支出Y与X呈一线性关系,可以建立一个线性回归模型。
1008060Y4020204060X80100
? 对支出与收入建立一个线性模型: ? Yi??1??2Xi?ui ? ? ? ?
利用数据估算模型的参数,可以得到: Y = 4.538 + 0.750*X 检验参数的显著性:
计算t统计量(以 为例)
14
? ? ? ? ? ? ? ? ?
? ?0.7502t???19.756 ?0.037Se(?2)
假设显著性水平设为5%,查t分布表,有:
t(n?2)?t0.025(30?2)?2.048 ?2 由于
t(n?2)?t0.025(30?2)?2.04819.756> ?2? 因此在5%的显著性水平上拒绝 H0:?2?0的原假设,即H1:?2?0。经济含义
是说明收入对支出有显著的影响(这种影响显著的不等于0)。
4、预测 A、点预测。
已知解释变量X的一个特定值X0,代入样本回归方程,得到Y0的估计值:
????X ???Y0120B、区间预测 构造t统计量:
??YYt?00~tn?2
?(u0)?给出置信度1??,查自由度为n-2的t分布表,得临界值t?(n?2)。t值落在
2?t?2?t?t?2的概率为1??,即: P??t?2?t?t?2??1??
代入t,有:
??Y??YP??t?2?00?t?2??1??
?(u0)?????t???(u0)?1?? 即:PY0?2?(u0)?Y0?Y0?t?2?则总体回归系数的1??置信区间为:
????t???(u0) Y0?Y0?2?(u0),Y0?t?2??(u0)的表达式见P123(5.10.6)其中:?。(证明过程略)
2?? 15
一元回归小结
公式名称
总体回归模型 样本回归模型 最小二乘估计量
计算公式
Yi??1??2Xi?ui
????X?u?i Yi??12i??Y???X ?12???2?(X?X)(Y?Y)??xy?(X?X)?xiii22iii
总体回归方程 样本回归方程 总离差平方和 回归平方和 残差平方和 样本可决系数
Yi??1??2Xi
????X ???Yi12iSST??(Yi?Yi)2
??Y)2 SSE??(Yii?)2??u?i SSR??(Yi?YiR2?y???y22i2i?u?1???y2i2i2i
?u2的无偏估计量
参数估计量的方差
??Se?2u?u??2?un?2
Var(?2)???2x?i
Var(?1)?参数估计量的标准差估计量
?u2?Xi2n?xi22i
????S????11????S????22??X?un(n?2)?x??u(n?2)?xi2i2i22i
检验统计量
t???2S??2??,t?1
S??1 16
参数估计量的置信区间
单个值的预测区间
????tS,???tS? ??????t???t??(u),Y?(u)? Y??Y??tS?,???tS? ?1??1?2?1?2?1122??2?22??2?200?200?20 17
正在阅读:
2.一元回归模型12-13
我的“活宝”妈妈之体重作文500字07-01
那件事作文400字07-01
小狗是我的好伙伴作文400字07-05
企业实习带队教师总结306-09
硕士研究生入学考试大纲851数据结构111-03
生产件批准程序(PPAP) 第四版04-15
有趣的多肉作文500字06-15
苏教版初中语文古诗词鉴赏复习整理05-19
- exercise2
- 铅锌矿详查地质设计 - 图文
- 厨余垃圾、餐厨垃圾堆肥系统设计方案
- 陈明珠开题报告
- 化工原理精选例题
- 政府形象宣传册营销案例
- 小学一至三年级语文阅读专项练习题
- 2014.民诉 期末考试 复习题
- 巅峰智业 - 做好顶层设计对建设城市的重要意义
- (三起)冀教版三年级英语上册Unit4 Lesson24练习题及答案
- 2017年实心轮胎现状及发展趋势分析(目录)
- 基于GIS的农用地定级技术研究定稿
- 2017-2022年中国医疗保健市场调查与市场前景预测报告(目录) - 图文
- 作业
- OFDM技术仿真(MATLAB代码) - 图文
- Android工程师笔试题及答案
- 生命密码联合密码
- 空间地上权若干法律问题探究
- 江苏学业水平测试《机械基础》模拟试题
- 选课走班实施方案
- 一元
- 模型
- 回归
- 2018年新目标八年级英语上第八单元测试题
- 2012年冲刺班笔记整理
- 北师大版小学二年级下册语文期末试题
- 加强就业帮扶 做好经济困难大学生的就业工作
- 民族团结宣传月活动总结材料 - 图文
- 2011中考英语完形填空分类训练题一 人物故事
- 暑期大学生三下乡活动策划书方案-2019年精选文档
- 旋转闪蒸干燥机行业产销需求预测及投资咨询报告(目录)
- 氟化钾项目可行性研究报告(目录) - 图文
- 小学语文五年级第十册各单元作文指导
- 文华指标71个(供参考)
- 2-五上金试卷整理(阅读)
- 情况报告:水利局脱贫攻坚工作会议汇报材料
- 2017年特种设备新标准目录-电梯、起重 - 图文
- 一生收了众多美女弟子,这个男人真是艳福不浅!
- 植物保护技术教案3
- 学生家长开放日活动方案
- 玻化微珠节能材料环保备案表
- (60)关于9000平米冷却水塔人字柱的预制工艺的简介
- 通信工程建设项目招标投标管理办法(工信部27号令)