线性回归和方差分析的区别

1 线性回归

1.1 原理分析

要研究最大积雪深度x与灌溉面积y之间的关系，测试得到近10年的数据如下表：

使用线性回归的方法可以估计x与y之间的线性关系。 线性回归方程式：

对应的估计方程式为

线性回归完成的任务是，依据观测数据集(x1,y1),(x2,y2),...,(xn,yn)使用线性拟合估计回归方程中的参数a和b。a,b都为估计结果，原方程中的真实值一般用α和β表示。

为什么要做这种拟合呢？

答案是：为了预测。比如根据前期的股票数据拟合得到股票的变化趋势（当然股票的变化可就不是这么简单的线性关系了）。 线性回归的拟合过程使用最小二乘法，

最小二乘法的原理是：选择a,b的值，使得残差的平方和最小。

为什么是平方和最小，不是绝对值的和？答案是，绝对值也可以，但是，绝对值进行代数运算没有平方那样的方便，4次方又显得太复杂，数学中这种“转化化归”的思路表现得是那么的优美！ 残差平方和Q，

求最小，方法有很多。代数方法是求导，还有一些运筹学优化的方法（梯度下降、牛顿法），这里只需要使用求导就OK了，

为表示方便，引入一些符号，

最终估计参数a与b的结果是：

自此，针对前面的例子，只要将观测数据带入上面表达式即可计算得到拟合之后的a和b。不妨试

线性回归分析和方差分析报告

信计12 徐文豪 2110902039

本报告以教材第二章课后习题2.4和第三章课后习题3.6为主体，给出对应的解答、sas代码和结果分析。

2.4 某公司管理人员为了了解某化妆品在一个城市的月销售量Y（单位：箱）与该城市中适合使用该化妆品的人数X1（单位：前人）以及他们人均月收入X2（单位：元）之间的关系，在某个月中对15个城市做了调查，得上述各量的观测值如下表所示：

162 274 2450 120 180 3254 223 375 3802 131 205 2838 67 86 2347 169 265 3782 81 98 3008 192 330 2450 116 195 2137 55 53 2560 252 430 4020 232 372 4427 144 236 2660 103 157 2088 212 370 2605

假设Y与X1，X2之间满足线性回归关系

yi??0??1xi1??2xi2??i，i?1,2,,15 其中?i(i?1,2,15)独立通分布于N(0,?2)。

（1）求回归系数?0,?1,?2的最小二乘估计和误差方差?2的估计，写出回归方程

回归分析,方差分析

回归分析与方差分析的异同比较

回归分析与方差分析是统计学中两种常用的统计分析方法，比较分析它们

的不同和相似之处，无论对把握两种方法的基本原理，还是对拓广其应用范围，无疑都是十分重要的。

一、两种方法的联系

回归分析与方差分析之间有许多相似之处，这体现了两者之间的内在联系。我们把这种相似性具体归纳为如下几个方面。

(一)在概念上具有相似性

回归分析是为了分析一个变数如何依赖其它变数而提出的一种统计分析方法。运用回归分析法，可以从变数的总变差中分解出回归因子解释的变差和未被解释的变差。回归分析的目的是要确定引起应变数变异的各个因素。而方差分析是为了分析实验数据而提出的一种统计分析方法。运用方差分析，可以从变数的总变差中分解出 因子的效应和随机因子的效应。方差分析的目的是要确定产生变差的有关各种因素。两种分析在概念上所具有的相似性是显而易见的。

(二)在目的实现上具有相似性

回归分析确定因素X是否为Y的影响因素时，从实现程序上先进行变数X与变数y的相关分析，然后建立变数间的回归模型，最后进行对参数的统计显著性检验。方差分析确定因素X是否是Y的影响因素时，从实现程序上，先从实验数据的分析入手，然后考察数据模型，最后对样本均值是否相等进行统计显著性

回归分析,方差分析

回归分析与方差分析的异同比较

回归分析与方差分析是统计学中两种常用的统计分析方法，比较分析它们

的不同和相似之处，无论对把握两种方法的基本原理，还是对拓广其应用范围，无疑都是十分重要的。

一、两种方法的联系

回归分析与方差分析之间有许多相似之处，这体现了两者之间的内在联系。我们把这种相似性具体归纳为如下几个方面。

(一)在概念上具有相似性

回归分析是为了分析一个变数如何依赖其它变数而提出的一种统计分析方法。运用回归分析法，可以从变数的总变差中分解出回归因子解释的变差和未被解释的变差。回归分析的目的是要确定引起应变数变异的各个因素。而方差分析是为了分析实验数据而提出的一种统计分析方法。运用方差分析，可以从变数的总变差中分解出 因子的效应和随机因子的效应。方差分析的目的是要确定产生变差的有关各种因素。两种分析在概念上所具有的相似性是显而易见的。

(二)在目的实现上具有相似性

回归分析确定因素X是否为Y的影响因素时，从实现程序上先进行变数X与变数y的相关分析，然后建立变数间的回归模型，最后进行对参数的统计显著性检验。方差分析确定因素X是否是Y的影响因素时，从实现程序上，先从实验数据的分析入手，然后考察数据模型，最后对样本均值是否相等进行统计显著性

一、单因素方差分析

1．完全窗口介绍

单因素方差分析的完全窗口管理通过Analyze菜单中的Compare Means由One-Way ANOVA菜单项调用。 （1）主对话框

按Analyze → Compared Means → One-Way Anova的顺序单击。就可以打开“单因素方差分析”主对话框，如图1所示。

图1 “单因素方差分析”对话框

（2）因变量框

在主对话框中可以看到因变量框（Dependent List），该框中列出主要分析的所有因变量。要从左源变量框中选取变量进入该框，只需选中所要选取的变量，然后按向右的箭头即可。可以有多个因变量。 （3）因素框

在主对话框中可以看到因素框（Factor），该框中列出了因素。要从左边源变量框中选取变量进入该框，只需选中所要选取的变量，然后按向右的箭头即可。因素同样也是分组变量，必须满足只取有限个水平的条件。 （4）Contrast对话框

在主对话框中单击【Contrast】键，即可打开“Contrast”对话框，如图2所示。在该框中指定一种要用t检验来检验的priori对比，可以进行均值的多项式比较。

图2 多项式比较对话框

该框中各项意义如下： ① Polynomial复选框 选

北京大学医学部

第五章多组数值变量比较王洪源

北京大学医学部

假设检验

两组数值变量比较

正态性、等方差假设

t-检验 正态性假设成立、不等方差 调整的t-检验 正态性、等方差假设不成立 Wilcoxon秩和检验 在正态性、等方差假设成立时t-检验的效 率是好的。

北京大学医学部

假设检验

多组数值变量比较

正态性、等方差假设 方差分析 正态性、等方差假设不成立 Kruskal-Wallis秩和检验

北京大学医学部

为研究铅对儿童神经行为的影 响，研究者在某铅矿区对儿童的血铅水平及 神经行为评价指标手指敲击测验进行了测定， 第一年和第二年儿童的血铅水平均大于等于 40 mg/dl的17名，为暴露组(group=2),第一 年儿童的血铅水平均大于等于40mg/dl、第 二年儿童的血铅水平小于40mg/dl的15名， 为既往暴露组(group=3),第一年和第二年儿 童的血铅水平均小于40mg/dl的15名，为对 照组(group=1),神经行为评价指标为第二年 的手指敲击测验得分。

例9.1

北京大学医学部

表 9.1 某铅矿区儿童不同铅表露水平的手指敲击测验结果 对照组 手指敲击 No 1 2 3 4 16 17 18 19 group 1 1

方差分析

5.1.1评价不同行业的服务质量，消费者协会分别在零售业、旅游业、航空公司、家电制造业抽取了不同的企业作为样本，其中零售业7家，旅游业6家，航空公司5家，家电制造业5家，然后统计出近期消费者对这23家企业的投诉次数，试分析4个行业之间的服务质量是否存在显著差异？（基本数据见5-1.sav，资料来源：赖国毅等编著，SPSS17.0常用功能与应用，电子工业出版社）。

5.1.2.某企业有4条生产线生产同一中型号的产品，对每条生产线观测其一周的日产量，要求判断不同生产线的日产量是否有显著的差异(基本数据见5-2.sav)。

5.2.1.某商家有商品销售的数据资料，分析销售额是否受到促销方式和售后服务的影响。用变量“促销”对促销方式进行区分，取值为0表示无促销，取值为1表示被动促销，取值为2表示主动促销。变量“售后”对所采取的售后服务进行刻画，取值为0表示没有售后服务，取值为l表示有售后服务(基本数据见5-4.sav，资料来源：徐秋艳等，SPSS统计分析方法与应用实验教程，中国水利水电出版社，2011)。

5.3.1. 政府为了帮助年轻人提高工作技能，进行了一系列有针对性的就业能力和工作技能培训项目，为检验培训工作的成效，对1000

方差分析

5.1.1评价不同行业的服务质量，消费者协会分别在零售业、旅游业、航空公司、家电制造业抽取了不同的企业作为样本，其中零售业7家，旅游业6家，航空公司5家，家电制造业5家，然后统计出近期消费者对这23家企业的投诉次数，试分析4个行业之间的服务质量是否存在显著差异？（基本数据见5-1.sav，资料来源：赖国毅等编著，SPSS17.0常用功能与应用，电子工业出版社）。

5.1.2.某企业有4条生产线生产同一中型号的产品，对每条生产线观测其一周的日产量，要求判断不同生产线的日产量是否有显著的差异(基本数据见5-2.sav)。

5.2.1.某商家有商品销售的数据资料，分析销售额是否受到促销方式和售后服务的影响。用变量“促销”对促销方式进行区分，取值为0表示无促销，取值为1表示被动促销，取值为2表示主动促销。变量“售后”对所采取的售后服务进行刻画，取值为0表示没有售后服务，取值为l表示有售后服务(基本数据见5-4.sav，资料来源：徐秋艳等，SPSS统计分析方法与应用实验教程，中国水利水电出版社，2011)。

5.3.1. 政府为了帮助年轻人提高工作技能，进行了一系列有针对性的就业能力和工作技能培训项目，为检验培训工作的成效，对1000

1、方差齐性检验

由于方差分析的前提是各水平下的总体服从正态分布并且方差相等，因此有必要对方差齐性进行检验，即对控制变量不同水平下各观测变量不同总体方差是否相等进行分析。

SPSS单因素方差分析中，方差齐性检验采用了方差同质性（Homogeneity of Variance）的检验方法，其零假设是各水平下观测变量总体方差无显著性差异，实现思路同SPSS两独立样本t检验中的方差齐性检验。

2、多重比较检验

上面的基本分析可以判断控制变量是否对观测变量产生了显著影响。如果控制变量确实对观测变量产生了显著影响，进一步还应确定，控制变量的不同水平对观测变量的影响程度如何，其中哪个水平的作用明显大于其它水平，哪些水平的作用是不显著的。例如已经确定不同施肥量会对农作物的产量产生显著影响，便希望进一步了解究竟是10公斤、20公斤还是30公斤施肥量最有利于提高产量，哪种施肥量对农作物产量没有显著影响。掌握了这些信息，我们就能够制定合理的施肥方案。

多重比较检验就是分别对每个水平下的观测变量均值进行逐对比较，判断两均值之间是否存在显著差异。其零假设是相应组的均值之间无显著差异。

6方差分析与试验设计

在研究一个或多个分类型自变量与一个数值型因变量之间的关系时，方差分析就是其中主要方法之一。检验多个总体均值是否相等的统计方法。

所要检验的对象称为因素。因素的不同表现称为水平。每个因子水平下得到的样本数据称为观测值。

随机误差：在同一行业（同一总体）下，样本的各观测值是不同的。抽样随机性造成。 系统误差：在不同一行业（不同一总体）下，样本的各观测值也是不同的。抽样随机性和行业本身造成的。

组内误差：衡量因素在同一行业（同一总体）下样本数据的误差。只包含随机误差。 组间误差：衡量因素在不同一行业（不同一总体）下样本数据的误差。包含随机误差、系统误差。

方差分析的三大假设：

每个总体服从正态分布；

每个总体的方差?必须相同； 观测值是独立的；

2

单因素方差分析（F分布）

数据结构：Xij表示第i个水平（总体）的第j个的观测值。（i列j行）

分析步骤：

u 2 ?? u i ???? 1提出假设。 H 0 : u 1 ? ? ? ? ? ? u k 自变量对因变量没有显著影响

H 1 : i , 2 ,? ? ?? , k )