厦门大学《应用多元统计分析》第07章 因子分析

厦门大学《应用多元统计分析》

第七章 因子分析第一节 引言

第二节 第三节第四节 第五节

因子分析模型 因子载荷矩阵求解公因子重要性的分析 实例分析与计算机实现

厦门大学《应用多元统计分析》

第一节 引言 一般认为因子分析是从Charles Spearman在1904年发表的文

章《对智力测验得分进行统计分析》开始，他提出这种方法 用来解决智力测验得分的统计方法。目前因子分析在心理学、 社会学、经济学等学科中都取得了成功的应用，是多元统计 分析中典型方法之一。 因子分析(factor analysis)也是一种降维、简化数据的技术。 它通过研究众多变量之间的内部依赖关系，探求观测数据中 的基本结构，并用少数几个“抽象”的变量来表示其基本的 数据结构。这几个抽象的变量被称作“因子”,能反映原来 众多变量的主要信息。原始的变量是可观测的显在变量，而 因子一般是不可观测的潜在变量。

厦门大学《应用多元统计分析》

例如，在商业企业的形象评价中，消费者可以通过一系列指

标构成的一个评价指标体系，评价百货商场的各个方面的优 劣。但消费者真正关心的只是三个方面：商店的环境、商店 的服务和商品的价格。这三个方面除了价格外，商店的环境 和服务质量，都是客观存在的、抽象的影响因素，都不便于 直接测量，只能通过其它具体指标进行间接反映。因子分析 就是一种通过显在变量测评潜在变量，通过具体指标测评抽 象因子的统计分析方法。又比如，在研究区域社会经济发展 中，描述社会与经济现象的指标很多，过多的指标容易导致 分析过程复杂化。一个合适的做法就是从这些关系错综复杂 的社会经济指标中提取少数几个主要因子，每一个主要因子 都能反映相互依赖的社会经济指标间共同作用，抓住这些主 要因素就可以帮助我们对复杂的社会经济发展问题进行深入 分析、合理解释和正确评价。

厦门大学《应用多元统计分析》

因子分析的内容非常丰富，常用的因子分析类型是R型因子

分析和Q型因子分析。R型的因子分析是对变量作因子分析， Q型因子分析是对样品作因子分析。本章侧重讨论R型因子 分析。

厦门大学《应用多元统计分析》

第二节 因子分析模型

一 因子分析的数学模型

二 因子载荷阵的统计意义

厦门大学《应用多元统计分析》

一、因子分析的数学模型(一)R 型因子分析模型 R 因子分析中的公共因子是不可直接观测但又客观存在的共 同影响因素，每一个变量都可以表示成公共因子的线性函数 与特殊因子之和，即

X i ai1F1 ai 2 F2 aim Fm i ,( i 1, 2, , p )(7.1) (7.1)式中的 F1 , F2 , , Fm 称为公共因子， i 称为 X i 的 特殊因子。该模型可用矩阵表示为：X AF ε

(7.2)

厦门大学《应用多元统计分析》

这里 a11 a 21 A a p1 a12 a22 ap2

a1m a2 m ( A , A , , A ) 1 2 m a pm

X1 F1 X F 2 2 X , F , Xp Fm

1 2 ε p

厦门大学《应用多元统计分析》

且满足： (1) m p ; (2) Cov( F , ε ) 0 ,即公共因子与特殊因子是不相关的；0 1 1 I ,即各个公共因子不相 (3) DF D ( F ) m 0 1

关且方差为 1; 12 0 2 2 , (4)D D(ε ) 即各个特殊因子不相关， 2 p 0

方差不要求相等。

厦门大学《应用多元统计分析》

模型中的 aij 称为因子“载荷” ,是第 i 个变量在第 j 个因子上 的负荷，如果把变量 X i 看成 m 维空间中的一个点，则 aij 表 示它在坐标轴 Fj 上的投影，因此矩阵 A 称为因子载荷矩阵。 (二)Q 型因子分析 类似地，Q 型因子分析的数学模型可表示为：

X i ai1F1 ai 2 F2 aim Fm i , ( i 1, 2, , n )(7.3) Q 型因子 分析与 R 型因子 分析模 型的差 异体现在 ， X 1 , X 2 , , X n 表示的是 n 个样品。

厦门大学《应用多元统计分析》

无论是R型或Q型因子分析，都用公共因子F代替X,一般要

求m<p,m<n,因此，因子分析与主成分分析一样，也是一 种降低变量维数的方法。我们下面将看到，因子分析的求解 过程同主成分分析类似，也是从一个协方差阵出发的。 因子分析与主成分分析有许多相似之处，但这两种模型又存 在明显的不同。主成分分析的数学模型本质上是一种线性变 换，是将原始坐标变换到变异程度大的方向上去，相当于从 空间上转换观看数据的角度，突出数据变异的方向，归纳重 要信息。而因子分析从本质上看是从显在变量去“提练”潜 在因子的过程。正因为因子分析是一个提练潜在因子的过程， 因子的个数m取多大是要通过一定规则确定的，并且因子的 形式也不是唯一确定的。一般说来，作为“自变量”的因子 F1,F2,…,Fm是不可直接观测的。这里我们应该注意几 个问题。

厦门大学《应用多元统计分析》

第一，变量 X 的协差阵 Σ 的分解式为D( X ) D( AF ε) E[( AF ε)( AF ε) ] AE (FF ) A AE (Fε ) E (εF ) A E (εε ) AD(F ) A D(ε )

由模型(7.2)式所满足的条件知Σ AA D

(7.4)

如果 X 为标准化了随机向量，则 Σ 就是相关矩阵 R ( ij ) , 即R AA D

(7.5)

厦门大学《应用多元统计分析》

第二，因子载荷是不唯一的。这是因为对于 m m 的正交矩 阵 T ,令 A* AT , F * T F ,则模型可以表示为 X A* F * ε 由于 D(F * ) T D(F )T T T I m m

Cov(F * , ε) E(F *ε ) T E(Fε )

0 所以仍然满足模型的条件。同样 Σ 也可以分解为 Σ A* A* D 因此，因子载荷矩阵 A 不是唯一的，在实际的应用中常常利 用这一点，通过因子的变换，使得新的因子有更好的实际意 义。

厦门大学《应用多元统计分析》

二、因子载荷阵的统计意义 前面的因子分析模型中出现了一个概念叫因子载荷矩阵，实

际上因子载荷矩阵存在明显的统计意义。为了对因子分析过 程和计算结果做详细的解释，我们对因子载荷矩阵的统计意 义加以说明。

厦门大学《应用多元统计分析》

1.因子载荷 aij 的统计意义 对于因子模型

X i ai1F1 ai 2 F2 aij Fj aim Fm i i 1, 2, , p 我们可以得到， X i 与 Fj 的协方差为：Cov( X i , Fj ) Cov( aik Fk i , Fj )k 1 m m

= Cov( = aij

ak 1

ik

Fk , Fj ) Cov( i , Fj )

厦门大学《应用多元统计分析》

如果对 X i 作了标准化处理， X i 的标准差为 1,且 Fj 的标准差 为 1,因此

rX i , Fj

C o vX i F,j )aij ( D( X i ) D Fj ) (

C o vX i F,j (

)

(7.6)

那么，从上面的分析，我们知道对于标准化后的 X i , aij 是 X i 与 Fj 的相关系数，它一方面表示 X i 对 Fj 的依赖程度，绝对值 越大， 密切程度越高； 另一方面也反映了变量 X i 对公共因子 Fj 的相对重要性。了解这一点对我们理解抽象的因子含义有非常 重要的作用。

厦门大学《应用多元统计分析》

2.变量共同度 hi2 的统计意义 设因子载荷矩阵为 A ,称第 i 行元素的平方和，即2 hi2 aij j 1 m

i 1, 2, , p

(7.7)

为变量 X i 的共同度。 由因子模型，知2 D( X i ) ai2 D(F1 ) ai22 D(F2 ) aim D(Fm ) D( i ) 1 2 ai2 ai 2 aim2 D( i ) 1

hi2 i2

(7.8)

厦门大学《应用多元统计分析》

这里应该注意， (7.8) 式说明变量 X i 的方差由两部分组成： 第一部分为共同度 hi2 ,它描述了全部公共因子对变量 X i 的总方差所作的贡献，反映了公共因子对变量 X i 的影响 程度。第二部分为特殊因子 i 对变量 X i 的方差的贡献， 通常称为个性方差。如果对 X i 作了标准化处理，有

1 hi2 i2

(7.9)

厦门大学《应用多元统计分析》

3、公因子 Fj 的方差贡献 g j 的统计意义 设因子载荷矩阵为 A ,称第 j 列元素的平方和，即2 g 2 aij j i 1 p

2

j 1, 2, , m2 j

为公共因子 Fj 对 X 的贡献，即 g 表示同一公共因子 Fj 对 各变量所提供的方差贡献之总和，它是衡量每一个公共因子 相对重要性的一个尺度。

厦门大学《应用多元统计分析》

第三节 因子载荷矩阵求解

一 因子载荷矩阵的求解

二 约相关阵的估计

本文来源：https://www.bwwdw.com/article/252q.html