06-第六章因子分析.pdf
第六章因子分析一基本原理因子分析（Factor anslysis）是用来分析隐藏在表象背后的因子作用的一类统计模型与方法。起源于心理度量学（Phsycholometrics），在方法上与主成分分析有密切联系。因子分析一般有两个用途，一是通过寻求变量的基本结构，对变量进行简化；二是通过因子得分，在因子轴构成的空间中将变量或者样品进行分类。1 1正交因子模型正交因子模型设x为一个p维可观测随机向量，假定x受到m个不可观测的随机因子的控制，称这m个影响x的因子为公共因子，若m维随机向量f对x的影响是线性的，则x与f之间的关系可用下述模型来表述：x Lf 其中为 P 维常向量，表示 X 的均值；L 为pm维常数阵，L 的第 I 行表示公共因子f对 X 第 I 个分量xi的影响系数；为 P 维随机变量，表示 X 中与f无关的那一部分，称为特殊因子。其中f和都是不可观测的，假定它们满足下列条件（1）f和相互独立（2）E(f)0,V(f)Im（3）E()0,V()，其中(psai)为对角阵。由于V(f)Im，即各因子之间不相关，这样的模型便称为正交因子模型。在正交因子模型中，公共因子f对 X 的各分量都起作用，而特殊因子的第 I 个分量只对 X 的第 I 个分量起作用。L 称为载荷阵（Loading Matrix）。如果对 X 进行标准化处理，则为 0，原式化为x Af。A 为载荷阵。X 的方差是由载荷阵和特殊因子的方差构成的。即Var(X)AA。2 2因子分析与其他多元分析方法的区别因子分析与其他多元分析方法的区别与多元回归的区别：因子分析中，各个公共因子是虚拟的，本身是未知量。与主成分分析的区别：主成分分析本质上是一种变量变换，而因子分析则是构造出一组新的因子来对原变量进行解释。二计算模型1 1因子载荷的含义因子载荷的含义假定在因子分析模型中，对各变量及公共因子、特殊因子均进行了标准化处理。已知模型xi ai1F1ai2F2对两端右乘Fj，得aimFmixiFj ai1F1Fjai2F2FjaimFmFjiFj7求期望，有E(xiFj)ai1EF1Fjai2EF2Fj在标准化条件下，有E(ab)E(所以原式化为aimEFmFj EiFj(aa)(bb)ab)rabrxiFj ai1rF1FjaimrFmFjriFj aijrFjFj aij由此可见，因子载荷反映的是第 I 个变量与第 j 个公共因子之间的相关系数，或者说第I 个变量依赖第 j 个公共因子的比重。因子载荷阵不是唯一的因子载荷阵不是唯一的，假定存在为qq正交阵，则因子分析模型可以转化为X(A)(f)将A视为因子载荷阵，将f作为公共因子，仍然满足原假设。2 2估计因子载荷阵的方法估计因子载荷阵的方法解因子分析的问题，就是求因子载荷阵的问题。（1 1）主成分方法）主成分方法相当于在主成分分析中，使用前 m 个主成分去表示潜在的m 个因子。当 m=p 时，主成分分析与因子分析就是相同的。（2 2）主因子方法）主因子方法主成分分析法是从解释变量的方差入手，假设变量的方差能够完全被主成分解释。主因子分析法是从变量之间的相关系数入手，认为变量间的相关性能够完全被公因子解释。2在因子分析模型中，有R AA D i，如果能够估计出特征方差i2，则可构造*矩阵R AA，称为约相关阵，设R中的元素为rij。*在因子载荷阵 A 中，各列元素的平方和反映出公共因子j 对于原向量 X 的贡献。因子分析的目的，应当是寻找贡献最大的因子。构造g 2jai1p2ij，原问题变为Max g2js.t r aikajk*ijk1m2*2求此极值的结果，有gjI Raj 0，其中gj为约相关阵R的第 j 个特征根，aj则为对应的特征向量。相关阵 R 可以由样本数据进行估计，但特征方差阵i的估计是很困难的。常见的有如下一些处理方法定义i为 0，则主因子解就是主成分解；222 R2为变量x对 X 中其他p1个变量线性回归的判定系数；定义hiii,i j max r，即变量x对其他变量的相关系数中的最大值；定义hiiji2ji2定义hij1,jiprijp1，即变量xi对其他变量相关系数的平均值。8公因子分析法中，包括主轴因子法、最小二乘法、最大似然法、因子提取法、映象分析法等。3 3因子旋转因子旋转建立因子分析模型的目的，在于简化分析，便于对变量进行分组。因此，模型中的各个因子应当有现实的含义。根据因子载荷阵的不唯一性，我们可以对因子载荷阵进行一个旋转，即用一个正交阵右乘载荷阵L，相当于对坐标系进行一次旋转。旋转的目的，在于使每个变量仅在一个公共因子上有较大的载荷，而在其他的公共因子上只有较小的载荷。也就是说，希望旋转后各个变量的因子载荷向0 和 1 两极转化。因子旋转包括正交旋转和斜交旋转两类（1 1）正交旋转（）正交旋转（Orthogonal rotationOrthogonal rotation）保持因子之间不相关的特点，要求因子轴相互垂直。包括四次方最大法（Quartimax）、方差最大法(Varimax)和等量最大法(Equimax)等。方差最大法：方差最大法：凯瑟（Kaiser）于 1958 年提出一个寻找理想因子结构的准则，称为方差最大准则（Varimax criterion）：224*p*pmllij11ij来度量第j个因子在 P 个变量上l2，用V 记h2iijjpj1i1hipi1hi 载荷的离散度。理论上说，V 越大越好，因此旋转的要求是使V（2 2）斜交旋转）斜交旋转(Oblique rotation)(Oblique rotation)放弃了因子间保持独立的要求，能够使因子结构更为简洁。Vj1mj达到最大。到目前为止，尚没有理论能够帮助分析者选择最优的旋转方式，一般只是观察哪种方式更能够使最终的分析结果变得简洁。4 4、判断观测数据是否属于适合于做因子分析的指标、判断观测数据是否属于适合于做因子分析的指标（1）反映象相关矩阵（Anti-image correlation matrix）：其元素为负的偏相关系数。如果变量之间存在公因子，则任何一个变量都与其他多个变量具有相关性，而与其中某一个变量的偏相关性会比较弱。如果反映象相关矩阵的值较大，则说明变量间缺乏公因子，不适宜进行因子分析。（2）巴特莱特球体检验（Bartlett test of sphericity）：该统计量用于检验整个相关矩阵。原假设为相关矩阵是单位阵。如果不能拒绝原假设，则不适宜使用因子分析。（3）KMO（Kaiser-Meyer-Olkin Measure of Sampling Adequacy）测度：用于比较观察变量之间的简单相关系数和偏相关系数的相对大小，取值范围为0 至 1。当所有变量之间的偏相关系数的平方和，远小于简单相关系数的平方和时，KMO 值为 1，反之为 0。KMO 值较小时，观测变量不适合做因子分析。9三因子得分在求得了因子模型后，就可以计算每个样品在各个因子上的取值。假定标准化样本数据求得的因子分析模型为x Af 利用x的取值，可以对f进行计算，常见的方法有汤姆生（Thompson）法和巴特莱特（Bartlett）法。1 1汤姆生因子得分汤姆生因子得分基于最小二乘法的思想得出的方法。由因子分析模型可知，样本原始变量公共因子的线性函数，反过来，公共因子也可以表示为原始变量的线性函数。构造线性模型f Bx u对于样本容量为 n 的 X 矩阵来说，有f Xu(X运用最小二乘估计法，可以得到估计量X)1Xf，其中由于样本变量和公共因子已经标准化，则有11XX R和Xf A。代入原式有n1n1 X XR1A X(AA)1Af2 2巴特莱特因子得分巴特莱特因子得分基于极大似然法计算的因子得分。（略）3 3评价评价巴特莱特得分满足无偏性，但方差较大；汤姆生得分虽然有偏，但方差较小。四计算步骤1将原始数据标准化2建立变量的相关系数阵R (rij)pp3求R 的特征根及相应的单位特征向量，分别记为i和ui。取前m 个特征根和特征向量写出因子载荷阵 a11A ap1a1mu111apmup11u1mmupmm4对 A 施行方差最大正交旋转5计算因子得分10
