多元统计分析主成分分析证明题

第七章 主成分分析

§7.1 什么是主成分分析及基本思想

1 什么是主成分分析

主成分概念首先由Karl parson在1901年引进，不过当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机向量。

在实际问题中，研究多指标（变量）问题是经常遇到的，然而在多数情况下，不同指标之间是有一定相关性。由于指标较多再加上指标之间有一定的相关性，势必增加了分析问题的复杂性。主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标，同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息。这种将多个指标化为少数互相无关的综合指标的统计方法叫做主成分分析或称主分量分析。也是数学上处理降维的一种方法，例如，某人要做一件上衣要测量很多尺寸，如身长、袖长、胸围、腰围、肩宽、肩厚等十几项指标，但某服装厂要生产一批新型服装绝不可能把尺寸的型号分得过多，而是从多种指标中综合成几个少数的综合指标，做为分类的型号，如利用主成分分析将十几项指标综合成3项指标，一项是反映长度的指标，一项是反映胖瘦的指标，一项是反映特体的指标。在商业经济中用主成分分析可将复杂的一些数据综合成几个商业指数形式，如物价指数、生活

第六章 主成分分析第一节 第二节 引言 主成分的几何意义及数学 推导

第三节第四节 第五节

主成分的性质主成分方法应用中应注意 的问题 实例分析与计算机实现

第一节 引言 多元统计分析处理的是多变量(多指标)问题。由于变量较

多，增加了分析问题的复杂性。但在实际问题中，变量之间 可能存在一定的相关性，因此，多变量中可能存在信息的重 叠。人们自然希望通过克服相关性、重叠性，用较少的变量 来代替原来较多的变量，而这种代替可以反映原来多个变量 的大部分信息，这实际上是一种“降维”的思想。

主成分分析也称主分量分析，是由Hotelling于1933年首先提

出的。由于多个变量之间往往存在着一定程度的相关性。人 们自然希望通过线性组合的方式，从这些指标中尽可能快地 提取信息。当第一个线性组合不能提取更多的信息时，再考 虑用第二个线性组合继续这个快速提取的过程，……,直到 所提取的信息与原指标相差不多时为止。这就是主成分分析 的思想。一般说来，在主成分分析适用的场合，用较少的主 成分就可以得到较多的信息量。以各个主成分为分量，就得 到一个更低维的随机向量；因此，通过主成分既可以降低数 据“维数”又保留了原数据的大部分信息。

我们知道，当一个变量只取一个数据时

多元统计分析

现实中的统计对象经常用多个指标来表示，比如人口普查，就可以有姓名、性别、出生年月日、籍贯、婚姻状况、民族、政治面貌、地区等，企业调查，可以有净资产、负债、盈利、职工人数、还贷情况等等。多个指标（变量）可以分别进行分析，但是，我们往往希望综合使用这些指标，这时，有主成分分析、因子分析等方法可以把数据的维数降低，同时又尽量不损失数据中的信息。 一、主成分分析

1、主成分分析的原理

多变量的主成分分析是在不损失或很少损失原有信息(指方差)的前提下，将原来多个彼此相关的指标转换为新的少数几个彼此独立的综合指标的一种统计分析方法。

多变量的主成分分析在教育评估中可用以寻找反映或影响评估对象的综合指标。如描述教师能力的指标很多：对教育对象的控制能力，对教育影响的控制能力，表达能力、教学思维能力、创新能力、组织协调能力等等。这些评估教师能力的指标个数可能很多，且指标之间彼此相关，多变量的主成分分析就是要综合这些指标，从而找出反映教师能力的少数几个彼此独立的指标，以便综合出教师能力的重要信息。

主成分分析的目的是从原始的多个变量取若干线性组合，能尽可能多地保留原始变量中

?的信息。从原始变量到新变量是一个正交变换（坐标变换）。设有

多元统计分析 multivariate statistical analysis 研究客观事物中多个变量（或多个因素）之间相互依赖的统计规律性。它的重要基础之一是多元正态分析。又称多元分析 。 如果每个个体有多个观测数据，或者从数学上说， 如果个体的观测数据能表为 P维欧几里得空间的点，那么这样的数据叫做多元数据，而分析多元数据的统计方法就叫做多元统计分析 。 它是数理统计学中的一个重要的分支学科。20世纪30年代，R.A.费希尔，H.霍特林，许宝?以及S.N.罗伊等人作出了一系列奠基性的工作，使多元统计分析在理论上得到迅速发展。50年代中期，随着电子计算机的发展和普及 ，多元统计分析在地质 、气象、生物、医学、图像处理、经济分析等许多领域得到了广泛的应用 ，同时也促进了理论的发展。各种统计软件包如SAS，SPSS等，使实际工作者利用多元统计分析方法解决实际问题更简单方便。重要的多元统计分析方法有：多重回归分析（简称回归分析）、判别分析、聚类分析、主成分分析、对应分析、因子分析、典型相关分析、多元方差分析等。 早在19世纪就出现了处理二维正态总体（见正态分布）的一些方法，但系统地处理多维概率分布总体的统计分析问题，则开始于20

《多元统计分析》习题分为三部分：思考题、验证题和论文题

思 考 题

第一章 绪论

1﹑什么是多元统计分析？

2﹑多元统计分析能解决哪些类型的实际问题？

第二章 聚类分析

1﹑简述系统聚类法的基本思路。 2﹑写出样品间相关系数公式。

3﹑常用的距离及相似系数有哪些 ？它们各有什么特点？ 4﹑利用谱系图分类应注意哪些问题？

5﹑在SAS和SPSS中如何实现系统聚类分析？

第三章 判别分析

1﹑简述距离判别法的基本思路，图示其几何意义。 2﹑判别分析与聚类分析有何异同？ 3﹑简述贝叶斯判别的基本思路。 4﹑简述费歇判别的基本思路。 5﹑简述逐步判别法的基本思想。

6﹑在SAS和SPSS软件中如何实现判别分析？

第四章 主成分分析

1﹑主成分分析的几何意义是什么？ 2﹑主成分分析的主要作用有那些？

3﹑什么是贡献率和累计贡献率，其意义何在？

4﹑为什么说贡献率和累计贡献率能反映主成分中所包含的原始变量的信息？

5﹑为什么要用标准化数据去估计V的特征向量与特征值？ 6﹑证明：对于标准化数据有S=R。

7﹑主成分分析在SAS和SPSS中如何实现？

第五章 因子分析

1﹑因子得分模型与主成分分析模型有何不同？

2﹑因子载荷阵的统计意义

自己写的多元统计分析的报告,使用了聚类,主成分,因子分析方法,使用的软件有spss和matlab

聚类分析、主成分分析、因子分析的应用

一、选题背景

此题选自2012年的全国大学生数据建模竞赛的A题，其中涉及多元统计分析中的多种分析方法，在这里我使用通过使用显著性检验，聚类分析、主成分分析和因子分析将计算的过程展现出来。因为处理数据的角度不同，所以分析的结果有可能和获奖的优秀论文中的结果有所差异，如果有不正确的地方，还望老师指点。因为数据量比较大，在这里不在列出，使用的数据通过http://www.77cn.com.cn/problem/2012/2012.html网站可以下载。

我曾参加过2012年的全国大学生数学建模竞赛，但是我们那时并没有深入的学习多元统计学方面的知识，当时做的时候只把前两问使用显著性分析和使用主成分分析进行了一些处理，通过上统计分析的课觉得这个题完全可以使用所学的知识解决，因此本文通过参考一些优秀的论文将这个题的整个过程详细的实现了一遍。使用的分析工具有EXCLE2007， SPSS17.0中文版和MATLAB2013.a。具体的题目如下：

确定葡萄酒质量时一般是通过聘请有资质的评酒员进行品评。每个评酒员在对葡萄酒进行品尝后对其

实验报告

一、实验名称

多元统计分析作业题。

二、实验目的

（一）了解并掌握主成分分析与因子分析的基本原理和简单解法。

（二）学会使用matlab编写程序进行因子分析，求得特征值、特征向量、载荷矩阵等值。 （三）学会使用排序、元胞数组、图像表示最后的结果，使结果更加直观。

三、实验内容与要求

四、实验原理与步骤

（一）第一题：

1、实验原理： 因子分析简介：

(1) 1.1 基本因子分析模型

设p维总体x=(x1,x2,....,xp)'的均值为u=(u1,u2,....,u3)'，因子分析的一般模型为 x1=u1+a11f1+a12f2+........+a1mfm+ε1 x2=u2+a21f1+a22f2+........+a2mfm+ε2 .........

xp=up+ap1f1+fp2f2+..........+apmfm+εp

其中，f1,f2,.....,fm为m个公共因子；εi是变量xi(i=1,2,.....,p)所独有的特殊因子，他们都是不可观测的隐变量。称aij(i=1,2,.....,p;j=1,2,.....,m)为变量xi的公共因子fi上的载荷，它反映了公共因子对

多元统计分析模拟试题（两套：每套含填空、判断各二十道）

A卷

1)判别分析常用的判别方法有距离判别法、贝叶斯判别法、费歇判别法、逐步判别法。

2)Q型聚类分析是对样品的分类，R型聚类分析是对变量_的分类。

3)主成分分析中可以利用协方差矩阵和相关矩阵求解主成分。

4)因子分析中对于因子载荷的求解最常用的方法是主成分法、主轴因子法、极大似然法

5)聚类分析包括系统聚类法、模糊聚类分析、K-均值聚类分析

6)分组数据的Logistic回归存在异方差性，需要采用加权最小二乘估计

7)误差项的路径系数可由多元回归的决定系数算出，他们之间的关系为P P=√P?P P

8)最短距离法适用于条形的类，最长距离法适用于椭圆形的类。

9)主成分分析是利用降维的思想，在损失很少的信息前提下，把多个指标转化为几个综

合指标的多元统计方法。

10)在进行主成分分析时，我们认为所取的m（m<p,p为所有的主成分）个主成分的累积贡

献率达到85%以上比较合适。

11)聚类分析的目的在于使类内对象的同质性最大化和类间对象的异质性最大化

12)P1是随机变量，并且有P1~P(0,1)，那么P12服从（卡方）分布。

13)在对数线性模型中，要先将概率取对数，再分解处理，公式：P PP=PPP PP=

多元统计分析

实验报告

实验课程名称多元统计分析

实验项目名称多元统计理论的计算机实现 年级 2013 专业应用统计学 学生姓名侯杰 成绩

理学院

实验时间：2015 年05月07日

学生所在学院：理学院专业：应用统计学班级：9131137001

姓名 实验时间 实验项目名称 侯杰 16.05.07 学号 指导教师 913113700124 李建军 实验组 多元统计理论的计算机实现 实验目的及要求： 目的：熟悉R（或SPSS）软件，掌握多元统计分析中多元正态分布均值向量和协差阵的检验，判别方法，聚类分析，主成分分析，因子分析，相应分析内容。 要求：程序要有注释，尽量体现多元统计分析多元正态分布均值向量和协差阵的检验，判别方法，聚类分析，主成分分析，因子分析，相应分析内容内容的基本原理。 实验硬件及软件平台： 计算机、R、网络 实验内容（包括实验具体内容、算法分析、源代码等等）： 指导教师意见： 签名：年月日

1

代码及运行结果分析

1、均值检验

问题重述：某医生观察了16名正常人的24小时动态心电图，分析出早晨3小时各小时的低

频心电频谱值（LF）、高频心电频谱值（HF），数据见压缩

多元统计分析模拟试题（两套：每套含填空、判断各二十道）

A卷

1)判别分析常用的判别方法有距离判别法、贝叶斯判别法、费歇判别法、逐步判别法。

2)Q型聚类分析是对样品的分类，R型聚类分析是对变量_的分类。

3)主成分分析中可以利用协方差矩阵和相关矩阵求解主成分。

4)因子分析中对于因子载荷的求解最常用的方法是主成分法、主轴因子法、极大似然法

5)聚类分析包括系统聚类法、模糊聚类分析、K-均值聚类分析

6)分组数据的Logistic回归存在异方差性，需要采用加权最小二乘估计

7)误差项的路径系数可由多元回归的决定系数算出，他们之间的关系为P P=√P?P P

8)最短距离法适用于条形的类，最长距离法适用于椭圆形的类。

9)主成分分析是利用降维的思想，在损失很少的信息前提下，把多个指标转化为几个综

合指标的多元统计方法。

10)在进行主成分分析时，我们认为所取的m（m

献率达到85%以上比较合适。

11)聚类分析的目的在于使类内对象的同质性最大化和类间对象的异质性最大化

12)P1是随机变量，并且有P1~P(0,1)，那么P12服从（卡方）分布。

13)在对数线性模型中，要先将概率取对数，再分解处理，公式：P PP=PPP PP=

,P,P=P,P

PPP P+PPP.P+PP P