主成分分析方法原理

引言：

主成分分析也称主分量分析，是由霍特林于1933年首先提出的。主成分分析是利用降维的思想，在损失很少信息的前提下，把多个指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能。这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使得问题得到简化，提高分析效率。本文用主成分分析的方法对某市14家企业的经济效益进行分析。[1]

在处理涉及多个指标问题的时候，为了提高分析的效率可以不直接对p个指标构成的p维随机向量x=(x1，x2，x3，……，xp)进行分析，而是先对向量x进行线性变换，形成少数几个新的综合变量，使得个综合变量之间相互独立且能解释原始变量尽可能多的信息，这样在意损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。

主成分的基本思想就是在保留原始变量尽可能多的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的主要矛盾。而这里对于随机变量x1，x2，

x3，……，xp而言，其协方差矩阵或相关矩阵正是对各变量

空气污染和径赛纪录问题分析

摘 要 本文运用主成分分析法，主要讨论空气污染和女子径赛纪录的数据分析问题，并解释主成分的实际意义。

针对问题一，以中午12点的7个空气污染因子为变量，建立总体样本。分别从样本协方差矩阵和相关矩阵出发，运用MATLAB的princomp函数作主成分分析。再比较二者的特征向量和相关系数，可知由相关矩阵所得的前三个主成分更能够反映原始数据的变化情况。

针对问题二，以径赛项目上的7个女子纪录为变量，建立总体样本。首先将数据标准化，运用MATLAB中的cov函数得出相关矩阵；并利用princomp函数求出矩阵的特征值、特征向量、累计贡献率和主成分得分。其次结合权重和相关系数，得出第一主成分综合反映了各个国家和地区的运动员优秀程度，第二主成分反映国家的相对实力。最后，根据第一主成分得分对各个国家排序，结果与原始数据中的直观看法基本吻合。

关键词 空气污染；径赛纪录；主成分分析

一、问题重述

生活中往往会遇到涉及众多变量的问题，如某省的居民生活质量分析、机械类各企业的经济效益、体育成绩统计分析等问题。一般来说，每个变量都可以提供一定的信息，但其重要性有所不同，因此会选择基于降维的主成分分析法来解决此类问题，现根据主成分分

姓名：XXX 学号：XXXXXXX 专业：XXXX 用SPSS19软件对下列数据进行主成分分析：

… …

一、相关性

通过对数据进行双变量相关分析，得到相关系数矩阵，见表1。

表1 淡化浓海水自然蒸发影响因素的相关性

由表1可知：

辐照、风速、湿度、水温、气温、浓度六个因素都与蒸发速率在0.01水平上显著相关。

分析：各变量之间存在着明显的相关关系，若直接将其纳入分析可能会得到因多元共线性影响的错误结论，因此需要通过主成份分析将数据所携带的信息进行浓缩处理。

二、KMO和球形Bartlett检验

KMO和球形Bartlett检验是对主成分分析的适用性进行检验。

KMO检验可以检查各变量之间的偏相关性，取值范围是0～1。KMO的结果越接近1，表示变量之间的偏相关性越好，那么进行主成分分析的效果就会越好。实际分析时，KMO统计量大于0.7时，效果就比较理想；若当KMO统计量小于0.5时，就不适于选用主成分分析法。

Bartlett球形检验是用来判断相关矩阵是否为单位矩阵，在主成分分析中，若拒绝各变量独立的原假设，则说明可以做主成分分析，若不拒绝原假设，则说明这些变量可能独立提供一些信息，不适合做主成分分析。

由表2可知：

1、

主成分分析操作步骤

1）先在spss中录入原始数据。

2）菜单栏上执行【分析】——【降维】——【因子分析】，打开因素分析对话框，将要分析的变量都放入【变量】窗口中。

3）设计分析的统计量

点击【描述】：选中“Statistics”中的“原始分析结果”和“相关性矩阵”中的“系数”。（选中原始分析结果，SPSS自动把原始数据标准差标准化，但不显示出来；选中系数，会显示相关系数矩阵）然后点击“继续”。

点击【抽取】：“方法”里选取“主成分”；“分析”、“输出”、“抽取”均选中各自的第一个选项即可。

点击【旋转】：选取第一个选项“无”。（当因子分析的抽取方法选择主成分法时，且不进行因子旋转，则其结果即为主成分分析）

点击【得分】：选中“保存为变量”，方法中选“回归”；再选中“显示因子得分系数矩阵”。

点击【选项】：选择“按列表排除个案”。

4）结果解读

5）A. 相关系数矩阵：是6个变量两两之间的相关系数大小的方阵。通过相关系数可以看到各个变量之间的相关，进而了解各个变量之间的关系。

相關性矩陣

相關

食品 衣着 燃料 住房 交通和通讯 娱乐教育文化

食品 1.000 .692 .319 .760 .738 .556

衣着

.692 1.000 -.

主成分分析方法

在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息事实上，这种想法是可以实现的，这里介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。

一、主成分分析的基本原理

主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。假定有n 个地理样本，每个样本共有p 个变量描述，这样就构成了一个n×p 阶的地理数据矩阵：

111212122212p p n n np x x x x x x X x x x ???=????（1）

如何从这么多变量的数据中抓住地理事物的内在规律性呢要解决这一问题，自然要在p 维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。那么，这些综合指标（即新变量)应如何选取呢显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使

1.设随机向量X=（X1，X2，X3）T的协方差与相关系数矩阵分别为

?14??10.8???，???R??425??0.81??

????分别从?，R出发，求X的各主成分以及各主成分的贡献率并比较差异况。

解答：

>> S=[1 4;4 25];

>> [PC,vary,explained]=pcacov(S); 总体主成分分析：

>> [PC,vary,explained]=pcacov(S) 主成分交换矩阵： PC =

-0.1602 -0.9871 -0.9871 0.1602 主成分方差向量： vary = 25.6491 0.3509

各主成分贡献率向量 explained = 98.6504 1.3496

则由程序输出结果得出，X的主成分为： Y1=-0.1602X1-0.9871X2 Y2=-0.9871X1+0.1602X2

两个主成分的贡献率分别为：98.6504%，1.3496%；则若用第一个主成分代替原来的变量，信息损失率仅为1.3496，是很小的。

2.根据安徽省2007年各地市经济指标数据，见表5.2，求解： （1）利用主成分分析对17个地市的经济发展

摘要

主成分分析(Principal Component Analysis，PCA)是一种基于代数特征的人脸识别方法，是一种基于全局特征的人脸识别方法， 它基于K-L分解。基于主成分分析的人脸识别方法首次将人脸看作一个整体，特征提取由手 工定义到利用统计学习自动获取是人脸识别方法的一个重要转变。简单的说， 它的原理就是将一高维的向量，通过一个特殊的特征向量矩阵，投影到一个低维的向量空间中，表示为一个低维向量，并不会损失任何信息。即通过低维向量和特征向量矩阵，可以完全重构出 所对应的原来高维向量。特征脸方法就是将包含人脸的图像区域看作是一种随机向量，因此 ，可以采用K-L变换获得其正交K-L基底。对应其中较大特征值的基底具有与人脸相似的形状 ， 因此又称为特征脸，利用这些基底的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸识别。识别过程就是将人脸图像映射到由特征脸张成的子空间上，比较其与己知人脸在特征空间中的位置，从而进行判别。

这次设计主要是完成了基于主成分分析(PCA)方法的人脸识别，PCA方法的基本原理是：利用离散K-L变换提取人脸的主要成分，构成特征脸空间，识别时把测试样本投影到该空间，构成一组投影系数，通过与特

摘要

主成分分析(Principal Component Analysis，PCA)是一种基于代数特征的人脸识别方法，是一种基于全局特征的人脸识别方法， 它基于K-L分解。基于主成分分析的人脸识别方法首次将人脸看作一个整体，特征提取由手 工定义到利用统计学习自动获取是人脸识别方法的一个重要转变。简单的说， 它的原理就是将一高维的向量，通过一个特殊的特征向量矩阵，投影到一个低维的向量空间中，表示为一个低维向量，并不会损失任何信息。即通过低维向量和特征向量矩阵，可以完全重构出 所对应的原来高维向量。特征脸方法就是将包含人脸的图像区域看作是一种随机向量，因此 ，可以采用K-L变换获得其正交K-L基底。对应其中较大特征值的基底具有与人脸相似的形状 ， 因此又称为特征脸，利用这些基底的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸识别。识别过程就是将人脸图像映射到由特征脸张成的子空间上，比较其与己知人脸在特征空间中的位置，从而进行判别。

这次设计主要是完成了基于主成分分析(PCA)方法的人脸识别，PCA方法的基本原理是：利用离散K-L变换提取人脸的主要成分，构成特征脸空间，识别时把测试样本投影到该空间，构成一组投影系数，通过与特

王笑（孝）权 安徽省五河县临北乡石家村卫生室 233316 wxq1638@yahoo.com.cn

主成分分析又称主分量、主轴分析，实质就是对较多的变量在尽量保存原信息的情况下加以线性概括。在此过程前，为消除变量量纲不同造成的影响，首先要对各原始指标进行标准化处理。迄今为止，所见教材的“主成分分析”实质都是用求得主成分再对原始变量的回归分析。教材的通病都是未详细说明最后的回归过程，往往令初学者感觉到莫名其妙。目前，由网上的一些所谓的“主成分分析”可知，或者其资料不适用主成分分析，还有根本就不是主成分分析。有鉴于此，现利用网上获得的数据，进行主成分分析的探讨。 1 资料与方法

1.1 资料来源 资料来源于中华人民共和国卫生部网站[1]，我国“2006年工业部门职业病发病及死亡情况”，剔除其中的第1、2、14号无意义指标，以及末尾的观测“其它”，剩余11个指标，观测值有缺失则用0补齐。程序分别赋这些指标为x1-x11,其名称标签见附件1；余详见数据1。 数据1 2006年工业部门职业病发病及死亡情况相关数据

name x1 x2 x3 x4 x5 x6 x7 x8 x9 x

主成分分析操作步骤

1）先在spss中录入原始数据。

2）菜单栏上执行【分析】——【降维】——【因子分析】，打开因素分析对话框，将要分析的变量都放入【变量】窗口中。

3）设计分析的统计量

点击【描述】：选中“Statistics”中的“原始分析结果”和“相关性矩阵”中的“系数”。（选中原始分析结果，SPSS自动把原始数据标准差标准化，但不显示出来；选中系数，会显示相关系数矩阵）然后点击“继续”。

点击【抽取】：“方法”里选取“主成分”；“分析”、“输出”、“抽取”均选中各自的第一个选项即可。

点击【旋转】：选取第一个选项“无”。（当因子分析的抽取方法选择主成分法时，且不进行因子旋转，则其结果即为主成分分析）

点击【得分】：选中“保存为变量”，方法中选“回归”；再选中“显示因子得分系数矩阵”。

点击【选项】：选择“按列表排除个案”。

4）结果解读

5）A. 相关系数矩阵：是6个变量两两之间的相关系数大小的方阵。通过相关系数可以看到各个变量之间的相关，进而了解各个变量之间的关系。

相關性矩陣

相關

食品 衣着 燃料 住房 交通和通讯 娱乐教育文化

食品 1.000 .692 .319 .760 .738 .556

衣着

.692 1.000 -.