多元统计分析之因子分析.doc

【精品文档】如有侵权，请联系网站删除，仅供学习与交流多元统计分析之因子分析.精品文档.第八章 因子分析§8.1 什么是因子分析及基本思想1904年Charles Spearman发表一篇著名论文对智力测验得分进行统计分析视为因子分析的起点。因子分析的形成和发展有相当长的历史，最早用以研究解决心理学和教育学方面的问题，由于计算量大，又缺少高速计算的设备使因子分析的应用和发展受到很大的限制，甚至停滞了很长时间。后来由于电子计算机的出现，才使因子分析的理论研究和计算问题，有了很大的进展。目前这一方法的应用范围已十分广泛，在经济学、社会学、考古学、生物学、医学、地质学以及体育科学等各个领域都取得了显著的成绩。1 什么是因子分析因子分析是主成分分析的推广和发展，它也是将具有错综复杂关系的变量（或样品）综合为数量较少的几个因子，以再现原始变量与因子之间的相互关系，同时根据不同因子还可以对变量进行分类，它也是属于多元分析中处理降维的一种统计方法。例如，某公司对100名招聘人员的知识和能力进行测试，出了50道题的试卷，其内容包括的面较广，但总的来讲可归纳为六个方面：语言表达能力、逻辑思维能力、判断事物的敏捷和果断程度、思想修养、兴趣爱好、生活常识等，我们将每一个方面称为因子，显然这里所说的因子不同于回归分析中因素，因为前者是比较抽象的一种概念，而后者有着极为明确的实际意义，如人口密度、工业总产值、产量等。假设100人测试的分数可以用上述六个因子表示成线性函数：其中表示六个因子，它对所有Xi是共有的因子，通常称为公共因子，它们的系数称为因子载荷，它表示第i个应试人员在六个因子方面的能力。是第i个应试人的能力和知识不能被前六个因子包括的部分，称为特殊因子，通常假定，仔细观察这个模型与回归模型在形式上有些相似，实质很不同。这里的的值未知的，并且有关参数的统计意义更不一样。因子分析的任务，首先是估计出和方差，然后将这些抽象因子赋予有实际背景和因子之间的相互关系，以达到降维和对原始变量进行分类的目的。因子分析的内容十分丰富，本章仅介绍因子分析常用的两种类型：R型因子分析（对变量作因子分析）和Q型因子分析（对样品作因子分析）。2 基本思想因子分析的基本思想是通过变量（或样品）的相关系数矩阵（对样品是相似系数矩阵）内部结构的研究，找出能控制所有变量（或样品）的少数几个随机变量去描述多个变量（或样品）之间的相关（相似）关系，但在这里，这少数几个随机变量是不可观测的，通常称为因子。然后根据相关性（或相似性）的大小把变量（或样品）分组，使得同组内的变量（或样品）之间相关性（或相似性）较高，但不同组的变量相关性（或相似性）较低。从全部计算过程来看作R型因子分析与作Q型因子分析都是一样的，只不过出发点不同，R型从相关系数矩阵出发，Q型从相似系数阵出发都是对同一批观测数据，可以根据其所要求的目的决定哪一类型的因子分析。§8.2 因子分析的数学模型1 数学模型（正交因子模型）R型因子分析数学模型用矩阵表示：简记为且满足：1）ii） 即F和是不相关的；iii）即F1Fm不相关且方差皆为1。即不相关，且方差不同。其中是可实测的p个指标所构成p维随机向量，是不可观测的向量，F称为X的公共因子或潜因子，即前面所说的综合变量，可以把它们理解为在高维空间中的互相垂直的m个坐标轴；aij称为因子载荷是第i个变量在第j个公共因子上的负荷，如果把变量Xi看成m维因子空间中的一个向量，则表示Xi在坐标轴Fj上的投影，矩阵A称为因子载荷矩阵；称为X的特殊因子，通常理论上要求的协方差阵是对角阵，中包括了随机误差。由上述模型满足的条件可知：是不相关的。若相关时，则D(F)就不是对角阵，这时的模型称为斜交因子模型，本章将不讨论这种模型。类似地，Q型因子分析数学模型为：此时X1, X2, , Xn表示n个样品。因子分析的目的就是通过模型代替X，由于，从而达到简化变量维数的愿望。因子分析和主成分分析有很多相似之处，在求解过程中二者都是从一个协方差阵（或相似系数阵）出发，但这两种模型是有区别的，主成分分析的数学模型实质上是一种变换，而因子分析模型是描述原指标X协方差阵结构的一种模型，当时，若不能考虑，此时因子分析也对应于一种变量变换，但在实际应用中，m都小于p，且为经济起见总是越小越好。另外在主成分分析中每个主成分相应的系数是唯一确定的，即因子戴荷阵不是唯一的，若为任一个阶正交阵，则因子模型可写成：，仍满足约束条件，即，所以也是公共因子，也是因子载荷阵。因子载荷这个不唯一性，从表面上看是不利的，但后面将会看到当因子载荷阵A的结构不够简化时，可对A实行变换以达到简化目的，使新的因子更具有鲜明的实际意义。从因子分析的数学模型上看，它与多变量回归分析也有类似之处，但本质的区别是因子分析模型作为“自变量”的F是不可观测的。2 因子模型中公共因子、因子载荷和变量共同度的统计意义为了便于对因子分析计算结果做解释，将因子分析数学模型中各个量的统计意义加以说明是十分必要的。假定因子模型中，各个变量以及公共因子、特殊因子都已经是标准化（均值为0，方差为1）的变量。（1） 因子（2） 载荷的统计意义已知模型：两端后乘Fj得：于是由于在标准化下有：因此所以上式可写成：（因为各因子不相关，所以相关系数为0）故因子载荷的统计意义就是第i个变量与第j个公共因子的相关系数即表示Xi依赖Fj的份量（比重）。因此用统计学的术语应该叫作权，但由于历史的原因，心理学家将它叫做载荷，即表示第i个变量在第j个公共因子上的负荷，它反映了第i个变量在第j个公共因子上的相对重要性。（2）变量共同度的统计意义所谓变量Xi的共同度定义为因子载荷阵A中第i行元素的平方和，即为了说明它的统计意义，将下式两边求方差，即V由于Xi已标准化了，所以有此式说明变量Xi的方差由两部分组成：第一部分为共同度，它刻划全部公共因子对变量Xi的总方差所作的贡献，越接近1，说明该变量的几乎全部原始信息都被所选取的公共因子说明了，如则说明Xi的97%的信息被m个公共因子说明了，也就是说由原始变量空间转为因子空间转化的性质越好，保留原来信息量多，因此是Xi方差的重要组成部分。当时，说明公共因子对Xi影响很小，主要由特殊因子来描述。第二部分是特定变量所产生的方差，称为特殊因子方差仅与变量Xi本身的变化有关，它是使Xi的方差为1的补充值。（3）公共因子Fj的方差贡献的统计意义将因子载荷矩阵中各列元素的平方和记为称Sj为公共因子Fj对X的贡献，即Sj表示同一公共因子Fj对诸变量所提供的方差贡献之总和，它是衡量公共因子相对重要性指标。§8.3 因子载荷阵的估计方法要建立某实际问题的因子模型，关键是要根据样本数据矩阵估计因子载荷矩阵A。对A的估计方法有很多，这里仅介绍使用较为普遍的主成分法。设随机向量的协差阵为为的特征根，为对应的标准正交化特征向量（只要特征根不等，对应的单位特征向量一定是正交的），则根据线性代数知识可分解为：上面的分解式恰是公共因子与变量个数一样多且特殊因子的方差为0时，因子模型中协差阵的结构。因为这时因子模型为：其中所以即，对照的分解式，则因子载荷阵A的j列应该是，也就是说除常数外，第j列因子载荷恰是第j个主成分的系数ej，故称为主成分法。上边给出的表达式是精确的，但实际应用时总是希望公共因子个数小于变量的个数即m<p，当最后p-m个特征根较小时，通常是略去最后p-m项对的贡献，于是得到上式是假定了因子模型中的特殊因子是不重要的，因而从的分解中忽略掉特殊因子的方差。如果考虑了特殊因子以后，协差阵为：当未知，可用样本协差阵S去代替，要经过标准化处理，则S与相关阵R相同，仍然可作上面类似的表示。一般设为样本相关阵R的特征根，相应的标准正交化特征向量为，设，则因子载荷阵的估计即§8.4 因子旋转建立因子分析数学模型的目的不仅要找出公共因子以及对变量进行分组，更重要的是要知道每个公共因子的意义，以便对实际问题作出科学的分析，如果每个公共因子的涵义不清，不便于进行实际背景的解释，这时根据因子载荷阵的不唯一性，可知因子载荷实际旋转即用一个正交阵右乘A（由线性代数知道一个正交变换，对应坐标系的一次旋转）使旋转后的因子载荷阵结构简化，便于对公共因子进行解释。所谓结构简化就是使每个变量仅在一个公共因子上有较大的载荷，而在其余公共因子上的载荷比较小，至多是中等大小。这种变换因子载荷阵的方法称为因子轴的旋转，而旋转的方法有多种，如正交旋转，斜交旋轴等，本节只介绍常用的方差最大正交旋转法。首先考虑m =2的情形。设因子载荷阵对A按行计算共同度。考虑到各个变量Xi的共同度之间的差异所造成的不平衡，需对A中的元素进行规格化处理，即每行的元素用每行的共同度除之。然后对规格化后的矩阵，为书写方便仍记为A，施行方差最大正交旋转。设正交阵记B=AT这样做的目的是使因子载荷阵A的结构简化，换句话说，使载荷阵的每一列元素的平方值向0或1两极分化或者说公共因子的贡献越分散越好，这实际上希望将变量分成两部分，一部分主要与第一公共因子有关，另一部分与第二公共因子有关，因此，要求两组数据的方差V1和V2要尽可能地大。为此，正交旋的角度必须满足使旋转后所得到因子载荷阵的总方差达到最大值，即达到最大值（这里V的表达式形式类似一元统计中样本方差，可写成形式）根据求极值原理，先求V对的导数。令经过计算，其旋转角度可按下面公式求得：记则根据的分式的分子和分母取值的正负号来确定角的取值范围如下表：分子取值符号分母取值符号取值范围取值范围+00+- +-如果公共因子有m个，则需逐次对每两个公共因子进行上述旋转，也就是说对每两个因子所决定的因子面正交旋转一个角度，每次的转角,必须满足使旋转后所得到的因子载荷阵的总方差达到最大值，即使达到最大，其中为如下的正交阵：没有标明的元素均为0。A经过Tkj旋转（变换）后，矩阵，其元素为其中旋转角度仍按下面公式求得：m个因子，每次取两个全部配对进行旋转，共需旋转次，算做一个循环完毕，如果循环完毕得出的因子载荷阵还没有达到目的，则可以继续进行第二轮次配对旋转，具体地说如果第一轮旋转完毕的因子载荷阵记为,则可写成：即对A施行正交变换C1而得B(1)，并计算载荷阵B(1)的方差记为V(1)，在第一轮循环完毕的基础上，从B(1)出发进行第二轮旋转循环，旋转完毕得B(2)，则B(2)可写：从B(2)算出V(2)。显然从算出。如此不断重复旋转循环可得V值的一个非降序列：因为因子载荷的绝对值不大于1，故这个序列是有上界的，于是有极限记为，即为V的最大值。因此只要循环次数k充分大，就有为所要求的精度。在实际应用中，经过若干次旋转之后，若相对方差改变不大，则停止旋转，最后得即为旋转后的因子载荷矩阵。§8.5 因子得分因子分析的数学模型是将变量（或样品）表示为公共因子的线性组合：由于公共因子能反映原始变量的相关关系，用公共因子代表原始变量时，有时更有利于描述研究对象的特征，因而往往需要反过来将公共因子表示为变量（或样品）的线性组合，即称上式为因子得分的函数。用它来计算每个样品的公共因子得分。比如，则将每个样品的p个变量值代入上式即可算出每个样品的因子得分和，这样就可以在二维平面上作出因子得分的散点图，进而对样品进行分类或作为下一步分析原始数据时对问题做更深入的研究。由于因子得分函数中方程的个数m小于变量的个数p，因此不能精确计算出因子得分，只能对因子得分进行估计。估计因子得分有很多方法如加权最小二乘法、回归法等。下面仅介绍回归法，它是1939年由Thomson提出来的，所以又称为汤姆森回归法。Thomson假设公共因子可以对p个变量作回归，对变量的回归方程为由于假设变量及公共因子都已经标准化了，所以。下面先求这些回归系数，然后给出因子得分的计算公式。由于因子得分的值是待估的，我们仅知道利用样本值可得因子载荷阵。由因子载荷的意义知：即其中因此 记则于是其中这就是估计因子得分的计算公式。§8.6 计算步骤及实例设原始数据资料如下表： 变量样品X1X2Xp1x11x12x1p2x21x22x2pnxn1xn2xnp第一步 将原始数据标准化，为书写方便仍记为。第二步 建立变量的相关系数阵其中 若作Q型因子分析，则建立样品的相似系数阵。其中以下步骤类似，只是将相关阵R改变成相似阵Q即可。第三步 求R的特征根及相应的单位特征向量，分别记为和记根据累计贡献率的要求比如，取前m个特征根及相应的特征向量写出因子载荷阵：第四步 对A进行方差最大正交旋转。第五步 计算因子得分。例1 将上一章例子对全国30个省市自治区的经济发展八项指标作因子分析。首先对原始数据标准化，以消除量纲的影响；第二步 建立指标间的相关系数阵R。X1X2X3X4X5X6X7X8X11.0000.2670.9510.1910.617-0.274-0.2640.874X20.2671.0000.4260.718-0.151-0.234-0.5930.363X30.9510.4261.0000.4000.431-0.282-0.3590.792X40.1910.7180.4001.000-0.356-0.134-0.5390.104X50.617-0.1510.431-0.3561.000-0.2550.0220.659X6-0.274-0.234-0.282-0.134-0.2551.0000.760-0.126X7-0.264-0.593-0.359-0.5390.0220.7601.000-0.192X80.8740.3630.7920.1040.659-0.126-0.1921.000第三步 求R的特征值和特征向量。序号特征值方差贡献率%累积贡献率%13.75546.94346.94322.19527.44374.38631.21415.17889.56440.4035.03394.59650.2132.66097.25660.1391.73798.99376.594E-020.82499.81781.462E-020.183100.00由于前三个特征值的累计贡献率已达89.564%。所以取前三个特征值所对应的特征向量如下：第一特征向量u1第二特征向量u2第三特征向量u30.4706410.1079950.192410.4567080.2565120.1098190.4247120.2875360.19241-0.319440.4009310.3975250.3127290.404310.245050.2508020.498801-0.247770.240481-0.488680.332179-0.262670.1673920.723351第四步 建立因子载荷阵。 因子指标Component123X10.8850.3830.121X20.606-0.5990.270X30.9120.1600.212X40.466-0.7240.366X50.4860.739-0.273X6-0.5090.2480.797X7-0.6190.5940.438X80.8230.4260.212第五步 对因子载荷阵实行方差最大旋转，旋转后的矩阵如下：正交因子表 因子指标Component123X10.9550.125-0.132X20.2170.841-0.212X30.8170.352-0.138X45.102E-020.927-0.114X50.752-0.505-0.190X6-0.136-8.325E-030.968X7-0.102-0.4960.820X80.9440.111-1.465E-02以上表可见，每个因子只有少数几个指标的因子载荷较大，因此可根据上表进行分类，将8个指标按高载荷分成三类，列于下表：高载荷指标意 义1X1：GDPX3：固定资产投资X8：工业总产值总量因子2X2：居民消费水平X4：职工平均工资X5：货物周转量消费因子3X6：居民消费价格指数X7：商品零售价格指数价格因子第一个因子在指标X1、X2、有较大的载荷，这些是从GDP、固定资产投资、工业总产值三个方面反映经济发展状况的，因此命名为总量因子。第二个因子在指标X2、X4、X5有较大的载荷，这些是从居民消费水平，职工平均工资、货物周转量这三方面反映经济发展状况的，因此命名为消费因子。第三个因子在指标X6、X7有较大的载荷，因此命名为价格因子。例2 利用1995年的数据对我国社会发展状况进行综合考察。原始数据如下：地 区人均GDP（元）X1新增固定资产（亿元）X2城镇居民人均年可支配收入（元）X3农村居民家庭人均纯收入（元）X4高等学校数（所）X5卫生机构数（个）X6北京1026530.8162353223654995天津816449.1349292406213182河北337677.76392116684710266山西281933.9733051206265922内蒙301354.5128631208194915辽宁6103124.0237061756616719吉林370328.6531741609433891黑龙江442748.5133751766387637上海15204128.9371914245455288江苏5785101.09463424566712039浙江614941.8862212966378721安徽252155.7437951302356593福建538618.3545062048304537江西237626.2833761537315423山东4473102.54426417154810463河南247571.3632991231507661湖北334137.7540281511569744湖南270143.1046991425479137广东638051.8274382699428848广西277232.5247911446275571海南48205.354770151951653四川251680.97400211586418885贵州155322.0739311086223934云南249048.4840851010266395陕西234426.313309962466215甘肃192514.843152880174131青海29104.163319102971176宁夏26857.94338299871028新疆395326.6541631136213932资料来源：中国统计年鉴。第一步 将数据标准化。第二步 建立指标间相关系数阵R如下：X1X2X3X4X5X6X11.000.460.760.930.29-0.06X20.461.000.260.450.660.57X30.760.261.000.850.250.13X40.930.450.851.000.390.09X50.290.660.250.391.000.75X6-0.060.570.130.090.751.00第三步 求R的特征值和累计贡献率。序号特征值方差贡献率累计贡献率13.32465055.4108355.410821.79067829.8446385.255530.4925838.2097293.465240.2639914.3998597.865050.884651.4744299.339560.0396330.66054100.0000第四步 建立因子载荷阵。由于前三个特征值的累计贡献率已达93.46%，故取前三个特征值建立因子载荷阵如下： 因子指标FactorFactorFactor12310.612657-0.1412170.28490420.2402910.315040.88871830.9204680.158874-0.0078940.9530770.336650.19031650.1894620.5025400.3070106-0.307760.9288650.252020第五步 将因子载荷阵实行方差最大正交旋转，得正交因子表如下： 因子指标FactorFactorFactor123X10.953927-0.186840.188985X20.3396980.5660740.750912X30.9004500.108737-0.133105X40.9749140.1317730.54662X50.2597440.8848240.86750X6-0.246890.9620150.049149第六步 将六个指标按高载荷分成三类，并结合专业知识对各因子给此命名如下：高载荷指标因子命名1人均GDP城镇居民人均年可支配收入农村居民家庭人均纯收入收入因子2高等学校数卫生机构数社会因子3新增固定资产投资因子例3 对我国30个省市自治区的农业生产情况作因子分析。从农业生产条件和生产结果及效益出发，选取六项指标分别为：X1乡村劳动力人口（万人）、X2人均经营耕地面积（亩）、X3户均生产性固定资产原值（元）、X4家庭基本纯收入（元）、X5人均农业总产值（千元/人）、X6增加值占总产值比重（%），原始资料数据如下页表。第一步 将原始数据标准化如第194页表。序号地 区X1X2X3X4X5X61北 京66.90.932972.413290.732.52549.72天 津80.21.644803.542871.621.77449.63河 北1621.82.034803.542871.810.8004544山 西635.42.762257.661499.140.55556.25内蒙古514.110.175834.941550.150.905166.46辽 宁605.12.963108.862059.351.475253.17吉 林534.24.734767.511940.461.115463.18黑龙江494.88.245573.022075.421.628357.89上 海661.021660.034571.813.044835.610江 苏1530.21.262826.862868.331.192150.611浙 江1123.10.945494.233289.070.856563.312安 徽1953.61.443573.621508.240.575659.213福 建775.80.822410.052295.191.149662.814江 西1103.21.32310.981804.930.664959.915山 东2475.11.443109.111989.530.88095516河 南2815.81.53782.261508.360.582358.517湖 北1296.51.62291.61754.130.879962.818湖 南2089.31.422348.721719.180.58764.719广 东1439.80.883249.612928.241.09659.720广 西1579.91.433090.171590.90.569464.521海 南165.91.354454.771575.490.353565.222四 川3903.71.082870.451340.610.444364.123贵 州1376.61.182282.271206.250.289265.424云 南1642.22.424025.061096.730.345664.225西 藏88.62.5111559.831257.710.434970.426陕 西1046.12.62228.551091.960.438359.727甘 肃6725.862879.361037.120.488357.228青 海137.12.626725.111133.060.409670.329宁 夏139.14.015607.971346.890.497362.530新 疆288.53.967438.131161.711.493957.8资料来源：中国统计年鉴1997，其中家庭基本纯收入是由两部分组成即家庭经营收入和劳动者报酬收入，人均农业总产值是用农业总产值/乡村劳动力人口。X1X2X3X4X5X6北 京-1.1238-0.7543-0.52641.73052.5341-1.4575天 津-1.1090-0.42090.39071.20491.3371-1.4285河 北0.6089-0.23780.56250.0688-0.2146-0.7893山 西-0.49030.1048-0.8844-0.5164-0.6057-0.4697内蒙古-0.62543.58370.9074-0.425-0.04771.0120辽 宁-0052400.1987-0.45800.186120.8608-0.9200吉 林-0.60301.02970.37270.03700.58470.5326黑龙江-0.64692.67760.77620.20621.1048-0.2372上 海-1.1248-0.7120-1.18373.33733.3625-3.4623江 苏0.5069-0.5993-0.59931.20070.4096-1.2832浙 江0.0532-0.74960.73671.7284-0.12520.5617安 徽-0.9787-0.5148-0.2252-0.5050-0.5729-0.0338福 建-0.3338-0.8059-0.80810.48190.34190.4890江 西0.0310-0.5805-0.8577-0.1329-0.43060.0677山 东1.5599-0.5148-0.45790.0985-0.0863-0.6440河 南1.9396-0.4866-0.1207-0.5049-0.5622-0.1355湖 北0.2464-0.4397-0.8674-0.1966-0.08790.4890湖 南1.1299-0.5242-0.8388-0.2405-0.55470.7651广 东0.4061-0.7777-0.38751.27590.25640.0387广 西0.5622-0.4674-0.4014-0.58280.7360海 南-1.0135-0.51950.2160-0.4207-0.92690.8377四 川3.1520-0.6838-0.5774-0.7153-0.78220.6779贵 州0.3557-0.6369-0.8721-0.8838-1.02940.8667云 南0.6317-0.05470.0008-1.0212-0.93950.6924西 藏-1.0996-0.01253.7750-0.8192-0.79721.5931陕 西-0.03260.0297-0.8990-1.0271-0.79170.0387甘 肃-0.44951.5602-0.5640-1.0959-0.7120-0.3244青 海-1.04560.03911.3532-0.9756-0.83751.5786宁 夏-1.04340.69170.7937-0.7074-0.69770.4455新 疆-0.87690.66821.7104-0.93970.8906-0.2372第二步 建立指标间的相关系数阵R：第三步 求R的特征值和特征向量。序 号特征值贡献率累积贡献率（%）12.776546.275646.275621.740929.016075.291730.711611.861287.152940.43347.224894.377850.23693.948498.326360.10041.6736100由于前三个特征值累积贡献率已达87.15%，所以取前三个特征值所对应的特征向量如下：u1u2u30.1460-0.6242-0.18540.16310.52700.75470.24210.52720.5369-0.54630.01530.2325-0.54550.2317-0.04220.54530.02250.2276第四步 列出因子载荷矩阵表。 因子指标a1a2a3X10.2433-0.8236-0.15640.7621X20.27180.69540.63660.9629X30.40350.69570.45290.8520X4-0.91030.02020.19610.8675X5-0.90890.3057-0.03560.9210X60.90860.02960.1920.8634第五步 对因子载荷阵实行方差最大正交旋转，旋转后的矩阵如下：因子指标F1F2F3X1-0.3793-0.7252-0.3036X2-0.10460.21780.9510X3-0.29570.86980.0890X40.88620.0265-0.2852X50.94990.12060.0645X6-0.89760.2402-0.0009由上表可见，每个因子只对应少数几个指标的因子载荷较大，因此可根据上表对指标进行分类。第六步 将六项指标按高载荷分成三类，并结合专业知识给出各因子的命名如下：高载荷指标命 名因子一X4家庭基本纯收入X5人均产值