最新多元统计分析-因子分析PPT课件.ppt

《最新多元统计分析-因子分析PPT课件.ppt》由会员分享，可在线阅读，更多相关《最新多元统计分析-因子分析PPT课件.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多元统计分析多元统计分析-因子分析因子分析2第一节 因子分析的基本思想9第二节第二节 因子分析模型因子分析模型 一、数学模型一、数学模型)(2211pmFaFaFaXimimiii 设 个变量，如果表示为iX), 2 , 1(pippmpmppmmpFFFaaaaaaaaaXXX212121222211121121 AFX10 称为 公共因子，是不可观测的变量，他们的系数称为因子载荷。 是特殊因子，是不能被前m个公共因子包含的部分。并且满足：mFFF,21icov( , )0,F,F即不相关；1 11212 122212()()()()()()cov()()()()()ppppppE FE F

2、E FE FE FE FEE FE FE FF,F011IFD111)(mFFF,21即 互不相关，方差为1。1222221)(pD即互不相关，方差不一定相等， 。), 0(2iiN13用矩阵的表达方式 AFXIFDFE)(, 0)(1 ）（),()(, 0)()2(22221pdiagDE0),cov()3(F14 1 1、因子载荷、因子载荷 aij 的统计意义的统计意义 因子载荷因子载荷 是第是第i i个变量与第个变量与第j j个公共因子的相关系数个公共因子的相关系数 ija模型为模型为 imimiiFaFaX11),cov(),cov(1jikmkikjiFFaFXijFxaji （载荷

3、矩阵中第（载荷矩阵中第i i行，第行，第j j列的元素）反映了列的元素）反映了第第i i个变量与第个变量与第j j个公共因子的相关性。绝对值越大，个公共因子的相关性。绝对值越大，相关的密切程度越高。相关的密切程度越高。),cov(),cov(1jijkmkikFFFaija 根据公共因子的模型性质，有根据公共因子的模型性质，有 三、三、 因子载荷矩阵中的几个统计特征因子载荷矩阵中的几个统计特征15n 因子载荷不是惟一的 AFX*cov()()EF ,F 0且满足因子模型的条件*FA)(FTATFTF*设T为一个pp 的正交矩阵，令A*=AT， ，则模型可以表示为0)()()(*FETFTEFE

4、ITFDTFTDFD)()()(*),()(, 0)(22221pdiagDE162 2、变量共同度的统计意义、变量共同度的统计意义统计意义统计意义：imimiiFaFaX11两边求方差两边求方差 )()()()(2121imimiiVarFVaraFVaraXVarmjiija1221 所有的公共因子和特殊因子对变量所有的公共因子和特殊因子对变量 的贡献为的贡献为1 1。如果。如果 非常非常靠近靠近1 1， 非常小，则因子分析的效果好，从原变量空间到公共因非常小，则因子分析的效果好，从原变量空间到公共因子空间的转化性质好。子空间的转化性质好。iXmjija122imjija12定义：变量定义

5、：变量 的共同度是因子载荷矩阵的第的共同度是因子载荷矩阵的第i i行的元行的元素的平方和。记为素的平方和。记为iX。mjijiah12217 3 3、公共因子、公共因子 方差贡献的统计意义方差贡献的统计意义jF因子载荷矩阵中各列元素的平方和 称为所有的 对 的方差贡献和。衡量的相对重要性。piijjag122), 1(mjjFiXjF18第三节第三节 因子载荷矩阵的估计方法因子载荷矩阵的估计方法 设随机向量 的均值为 ，协方差为 , 为的特征根， 为对应的标准化特征向量，则pxxx,21x021pp21u,u,ul 主成分分析法主成分分析法UUp2119 上式给出的 表达式是精确的，然而，它实

6、际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的p-m项的贡献，有21111mmmmmmp1122ppu uu uu uuuu up2uuuuuuppp21122111100p212ppuuuuuu20 12 mmm1122AA +Du uu uu uD1121122 mmp mpmm p2uuuuuDAADu 上式有一个假定，模型中的特殊因子是不重要的，因而从 的分解中忽略了特殊因子的方差。22212(,)pdiagD其中221miiiijjsa21 AFX)()()(DAFADXD),(22221pdiagAA22 例例 假定某地固定资产投资率假定某地固定资产投资

7、率 ，通货膨胀率，通货膨胀率 ，失业，失业率率 ，相关系数矩阵为，相关系数矩阵为试用主成分分析法求因子分析模型。试用主成分分析法求因子分析模型。1x2x3x15/25/15/215/15/15/1123 特征根为： 55. 11 85. 02 6 . 03 6 . 0707. 085. 0331. 055. 1629. 06 . 0707. 085. 0331. 055. 1629. 0085. 0883. 055. 1475. 0A707. 0331. 0629. 0707. 0331. 0629. 00883. 0475. 0U548. 0305. 0783. 0548. 0305. 07

8、83. 00814. 0569. 024 可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X的贡献率为51.67%。第二公因子F2为投资因子，对X的贡献为28.33%。共同度分别为1，0.706，0.706。211814. 0569. 0FFx3212548. 0305. 0783. 0FFFx3213548. 0305. 0783. 0FFFx25第四节第四节 因子旋转（正交变换）因子旋转（正交变换） 因子分析的数学目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的含义，以便进行进一步的分析。如果每个公共因子的含义不清，则不便于进行实际背景的解释。由于

9、因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使因子载荷阵的结构简化，使载荷矩阵每列或行的元素平方值平方值向0和1两极分化。主要的正交旋转法有方差最大法方差最大法和和四次方最大法四次方最大法。（一）为什么要旋转因子（一）为什么要旋转因子26 百米跑成绩 跳远成绩 铅球成绩 跳高成绩 400米跑成绩 百米跨栏 铁饼成绩 撑杆跳远成绩 标枪成绩 1500米跑成绩 1X2X3X4X5X6X7X8X9X10X奥运会十项全能运动项目奥运会十项全能运动项目得分数据的因子分析得分数据的因子分析 27 因子载荷矩阵可以看出，除第一因子中所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其

10、他的3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表 28变量F1F2F3F4共同度X1X2X3X4X5X6X7X8X9X100.8840.6310.2450.2390.7970.4040.186-0.036-0.0480.0450.1360.1940.8250.1500.0750.1530.8140.1760.735-0.0410.1560.5150.2230.7500.1020.6350.1470.7620.1100.112-0.113-0.006-0.1480.0760.468-0.17-0.0790.2170.1410.9340.

11、840.700.810.650.870.620.720.660.570.8929 通过旋转，因子有了较为明确的含义。通过旋转，因子有了较为明确的含义。 百米跑，百米跑， 跳远和跳远和 400米跑，需要爆发力的项目在米跑，需要爆发力的项目在 有较大的有较大的载荷，载荷， 可以称为短跑速度因子；可以称为短跑速度因子； 铅球，铅球， 铁饼和铁饼和 标枪在标枪在 上有较大的载荷，可以上有较大的载荷，可以称为爆发性臂力因子；称为爆发性臂力因子； 百米跨栏，百米跨栏， 撑杆跳远，撑杆跳远， 跳远和为跳远和为 跳高在跳高在 上上有较大的载荷，有较大的载荷， 爆发腿力因子；爆发腿力因子； 为长跑耐力因子。为长

12、跑耐力因子。2X5X1F1F3X7X9X2F6X8X2X4X3F3F4F1X30（二）旋转方法（二）旋转方法 1、方差最大法方差最大法2、四次方最大旋转四次方最大旋转31 1 1、方差最大法、方差最大法 方差最大法从简化因子载荷矩阵的方差最大法从简化因子载荷矩阵的每一列每一列出发，使和每个因出发，使和每个因子有关的载荷值平方的方差最大。当只有少数几个变量在某个子有关的载荷值平方的方差最大。当只有少数几个变量在某个因子上有较高的载荷值时，对因子的解释最简单。因子上有较高的载荷值时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷值尽量拉开距离，一部分的载荷趋于1，另

13、一部分趋于0。2122211211ppaaaaaaAppppFaFaXFaFaXFaFaX2211222212121212111132cossinsincosT设旋转矩阵为：cossinsincosAATB则cossinsincoscossinsincos112112111211ppppaaaaaaaa211211ppbbbb332221212211ppbbbb 21221222212112211111piipiipiipiibpbpbpbpVmax根据求极值的原理，使根据求极值的原理，使 0V，由此可求出因子轴旋转角度，由此可求出因子轴旋转角度34当公共因子个数m2时，可以将上述m=2的方法

14、用于21mm逐次对每两个公共因子进行旋转。每旋转一次，V值就会增大，即V是单调不减的，并且V是有界的，因为因子载荷的绝对值不大于1。因此，经过若干次旋转后，V变化相对就不大了，即可停止旋转。对两因子的旋转，35 2 2、四次方最大旋转、四次方最大旋转 四次方最大旋转是从简化载荷矩阵的行出发，通过四次方最大旋转是从简化载荷矩阵的行出发，通过旋转初始因子，使每个变量只在一个因子上有较高的旋转初始因子，使每个变量只在一个因子上有较高的载荷，而在其它的因子上尽可能低的载荷。载荷，而在其它的因子上尽可能低的载荷。如果每个变量只在一个因子上有非零的载荷，这时的因子解释是最简单的。 四次方最大法通过使因子载

15、荷矩阵中每一行每一行的因子载荷平方的方差达到最大。36max)(21122pimjiijmhbQ简化准则为：pimjiijiijpimjiijmhbmhbmhbQ112422421122)2()(pimjpimjiijpimjiijmhbmhb111124211242max114pimjijbQ最终的简化准则为：pimjpiipiiijmhhmb11141442pimjpiiijhmb11144137旋转后因子的共同度旋转后因子的共同度设 正交矩阵，做正交变换正交矩阵，做正交变换 AB )()(1mlljilppijabBmjmjmlljilijiabh111222)()(Bmjmlmjmlm

16、ltttjljitilljilaaa1111122)(2111222Aimlmjmlilljilhaa旋转后因子的共同度没有发生变化！旋转后因子的共同度没有发生变化！38旋转后公共因子的方差贡献旋转后公共因子的方差贡献设 正交矩阵，做正交变换正交矩阵，做正交变换 AB )()(1mlljilppijabB pipimlljilijjabS111222)()(Bpimlpimlmltttjljitilljilaaa1111122 pimlmlljjljilSa1112222)(A旋转后公共因子的方差贡献发生了变化！旋转后公共因子的方差贡献发生了变化！39第五节第五节 因子得分因子得分 （一）因子

17、得分的概念（一）因子得分的概念 前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题。如果我们要使用这些因子做其他的研究，比如把得到的因子作为自变量来做回归分析，对样本进行分类或评价，这就需要我们对公共因子进行测度，即给出公共因子的值。40 因子分析的数学模型为： pmpmppmmpFFFaaaaaaaaaXXX212121222211121121 因子得分函数： pjpjjXXF11mj, 1可见，要求得每个因子的得分，必须求得分函数的系数，而由于pm，所以不能得到精确的得分，只能通过估计。41 2、回归、回归法法 pmpmppmmpFFFaaaaaaaaaXXX2121212

18、22211121121pjpjjxbxbF11mj, 1 pjpjjxxxbbb2121,1) 思想xbj jpjjjbbbb21其中其中42),cov(jiFxijFxajipjpjixbxbx11,covipjpijijrbrbrb2211jpjjipiibbbrrr2121pjjjjpjjppppppaaabbbrrrrrrrrr2121212222111211mj, 1 43pjjjjpjjppppppaaabbbrrrrrrrrr2121212222111211mj, 1 简记为简记为 jjaRb pjjjjaaaa,21其中其中jjaRb1因此因此44mmpmmppbbbbbbbb

19、bbbbB21212222111211xRABxxbxbxbFFFFmm12121mpmppmmaaaaaaaaaaaaA21212222111211而因子载荷阵而因子载荷阵112112111RARaaaamRaRaRBm故故45 人均要素变量因子分析人均要素变量因子分析。对我国31个省市自治区的要素状况作因子分析。指标体系中有如下指标：X1 ：人口（万人） X2 ：面积（万平方公里）X3 ：GDP（亿元） X4 ：人均水资源（立方米/人）X5：人均生物量（吨/人） X6：万人拥有的大学生数（人）X7：万人拥有科学家、工程师数（人） Rotated Factor Pattern FACTOR1

20、 FACTOR2 FACTOR3 X1 -0.21522 -0.27397 0.89092 X2 0.63973 -0.28739 -0.28755 X3 -0.15791 0.06334 0.94855 X4 0.95898 -0.01501 -0.07556 X5 0.97224 -0.06778 -0.17535 X6 -0.11416 0.98328 -0.08300 X7 -0.11041 0.97851 -0.0724646 高载荷指标因子命名因子1X2；面积（万平方公里）X4:人均水资源（立方米/人）X5:人均生物量（吨/人）自然资源因子因子2X6：万人拥有的大学生数（人）X7：

21、万人拥有的科学家、工程师数（人） 人力资源因子 因子3 X1;人口（万人）X3:GDP(亿元)经济发展总量因子 X1=-0.21522F1-0.27397F2+0.89092F3+ X2=0.63973F1-0.28739F2-0.28755F3+ X3=-0.15791F1+0.06334F2+0.94855F3+ X4=0.95898F1-0.01501F2-0.07556F3 X5=0.97224F1-0.06778F2-0.17535F3 X6=-0.11416F1+0.98328F2-0.08300F3 X7=-0.11041F1+0.97851F2-0.07246F31234567

22、47 Standardized Scoring Coefficients FACTOR1 FACTOR2 FACTOR3 X1 0.05764 -0.06098 0.50391 X2 0.22724 -0.09901 -0.07713 X3 0.14635 0.12957 0.59715 X4 0.47920 0.11228 0.17062 X5 0.45583 0.07419 0.10129 X6 0.05416 0.48629 0.04099 X7 0.05790 0.48562 0.04822F1=0.05764X1+0.22724X2+0.14635X3+0.47920X4+0.455

23、83X5+0.05416X6+0.05790X7F2=-0.06098X1-0.09901X2+0.12957X3+0.11228X4+0.07419X5+0.48629X6+0.48562X7F3=0.50391X1-0.07713X2+0.59715X3+0.17062X4+0.10129X5+0.04099X6+0.04822X748REGION FACTOR1FACTOR2FACTOR3beijing-0.081694.23473-0.37983tianjin-0.474221.31789-0.87891hebei-0.22192-0.358020.86263shanxi1-0.482

24、14-0.32643-0.54219neimeng0.54446-0.66668-0.92621liaoning-0.205110.463770.34087jilin-0.214990.10608-0.57431heilongj 0.10839-0.11717-0.02219shanghai-0.200692.38962-0.04259前三个因子得分49国民生活质量的因素分析国民生活质量的因素分析 国家发展的最终目标，是为了全面提高全体国民的生活质量，满足广大国民日益增长的物质和文化的合理需求。在可持续发展消费的统一理念下，增加社会财富，创自更多的物质文明和精神文明，保持人类的健康延续和生生不

25、息，在人类与自然协同进化的基础上，维系人类与自然的平衡，达到完整的代际公平和区际公平(即时间过程的最大合理性与空间分布的最大合理化)。 从1990年开始，联合国开发计划署(UYNP)首次采用“人文发展系数”指标对于国民生活质量进行测度。人文发展系数利用三类内涵丰富的指标组合，即人的健康状况(使用出生时的人均预期寿命表达)、人的智力程度(使用组合的教育成就表达)、人的福利水平(使用人均国民收入或人均GDP表达)，并且特别强调三类指标组合的整体表达内涵，去衡量一个国家或地区的社会发展总体状况以及国民生活质量的总水平。50在这个指标体系中有如下的指标：在这个指标体系中有如下的指标：X1预期寿命预期寿

26、命X2成人识字率成人识字率X3综合入学率综合入学率X4人均人均GDP（美元）（美元）X5预期寿命指数预期寿命指数X6教育成就指数教育成就指数X7人均人均GDP指数指数51 旋转后的因子结构旋转后的因子结构 Rotated Factor Pattern FACTOR1 FACTOR2 FACTOR3 X1 0.38129 0.41765 0.81714 X2 0.12166 0.84828 0.45981 X3 0.64803 0.61822 0.22398 X4 0.90410 0.20531 0.34100 X5 0.38854 0.43295 0.80848 X6 0.28207 0.85

27、325 0.43289 X7 0.90091 0.20612 0.35052 FACTOR1为经济发展因子经济发展因子 FACTOR2为教育成就因子教育成就因子 FACTOR3为健康水平因子健康水平因子52被每个因子解释的方差和共同度 Variance explained by each factor FACTOR1 FACTOR2 FACTOR3 2.439700 2.276317 2.009490 Final Communality Estimates: Total = 6.725507 X1 X2 X3 X4 X5 0.987530 0.945796 0.852306 0.975830

28、0.992050 X6 X7 0.994995 0.976999 53 Standardized Scoring Coefficients标准化得分系数 FACTOR1 FACTOR2 FACTOR3 X1 -0.18875 -0.34397 0.85077 X2 -0.24109 0.60335 -0.10234 X3 0.35462 0.50232 -0.59895 X4 0.53990 -0.17336 -0.10355 X5 -0.17918 -0.31604 0.81490 X6 -0.09230 0.62258 -0.24876 *6*5*4*3*2*109230. 017918.

29、 05399. 035462. 024109. 018875. 01xxxxxxf*6*5*4*3*2*162258.031604.017336.050232.060335.034397.02xxxxxxf*6*5*4*3*2*124876. 081490. 010335. 059895. 010234. 085077. 03xxxxxxf54第六节第六节 因子分析的步骤、展望和建议因子分析的步骤、展望和建议 计算所选原始变量的相关系数矩阵计算所选原始变量的相关系数矩阵 相关系数矩阵描述了原始变量之间的相关关系。可以帮助判断原始变量之间是否存在相关关系，这对因子分析是非常重要的，因为如果所选变

30、量之间无关系，做因子分析是不恰当的。并且相关系数矩阵是估计因子结构的基础。 选择分析的变量选择分析的变量 用定性分析和定量分析的方法选择变量，因子分析的前提条件是观测变量间有较强的相关性，因为如果变量之间无相关性或相关性较小的话，他们不会有共享因子,所以原始变量间应该有较强的相关性。一、因子分析通常包括以下五个步骤一、因子分析通常包括以下五个步骤55 提取公共因子提取公共因子 这一步要确定因子求解的方法和因子的个数。需要根据研究者的设计方案或有关的经验或知识事先确定。因子个数的确定可以根据因子方差的大小。只取方差大于1(或特征值大于1)的那些因子，因为方差小于1的因子其贡献可能很小；按照因子的

31、累计方差贡献率来确定，一般认为要达到70才能符合要求； 因子旋转因子旋转 通过坐标变换使每个原始变量在尽可能少的因子之间有密切的关系，这样因子解的实际意义更容易解释,并为每个潜在因子赋予有实际意义的名字。56 计算因子得分计算因子得分 求出各样本的因子得分，有了因子得分值，求出各样本的因子得分，有了因子得分值，则可以在许多分析中使用这些因子，例如以因子则可以在许多分析中使用这些因子，例如以因子的得分做聚类分析的变量，做回归分析中的回归的得分做聚类分析的变量，做回归分析中的回归因子。因子。 57通过因子分析，取m 个公共因子 ，以每个公共因子 的方差贡献率为权，构造综合评价函数 按F值的大小对样

32、品进行排序比较或分类。 mFFF,21jFpgjj2mmFFFF2211用因子分析方法进行综合评价用因子分析方法进行综合评价58 因子分析是十分主观的，在许多出版的资料中，因子分析是十分主观的，在许多出版的资料中，因子分析模型都用少数可阐述因子提供了合理解因子分析模型都用少数可阐述因子提供了合理解释。实际上，绝大多数因子分析并没有产生如此释。实际上，绝大多数因子分析并没有产生如此明确的结果。不幸的是，评价因子分析质量的法明确的结果。不幸的是，评价因子分析质量的法则尚未很好量化，质量问题只好依赖一个则尚未很好量化，质量问题只好依赖一个“哇！”准则 如果在仔细检查因子分析的时候，研究人员如果在仔细

33、检查因子分析的时候，研究人员能够喊出能够喊出“哇，我明白这些因子哇，我明白这些因子”的时候，就可的时候，就可看着是成功运用了因子分析方法。看着是成功运用了因子分析方法。59作业：作业：n阐述因子分析的基本思想n因子模型与回归模型相比较之异同n因子分析与主成分分析之比较 proc factor data=文件名 r=v n=？out=文件名文件名1 outstat=文件名文件名2;run;SAS 程序程序data=文件名 r=vn=说明说明指定公共因子的个数指定用于分析的数据文件指定旋转的方法，是rotate=varimax 的缩写，也可以用rotate=quartimax (r=q)out=o

34、utstat=文件名自己取，保存原始数据和因子得分文件名自己取，保存因子分析过程中的统计量特别注意，分号表示一个语句的结束，不能遗漏。特别注意，分号表示一个语句的结束，不能遗漏。主成份分析和因子分析的异同n降维、简化数据结构n基于变量之间的内部依赖关系（R）n可以用于综合评价n可以用于图解样品n和回归分析结合n因子载荷的统计含义相同之处相同之处主成份分析和因子分析的异同n数学模型不同n主成份是原变量的线性组合，是综合的过程；因子分析实际上是对原变量进行分组n因子载荷矩阵n综合评价函数的构造方法（主成份分析：取第一主成份，因子分析：n和回归分析结合时，主成份、公共因子的作用是不同的不同之处不同之处63 结束语结束语