13因子分析.ppt

《13因子分析.ppt》由会员分享，可在线阅读，更多相关《13因子分析.ppt（59页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二十讲第二十讲 多元相关（续）多元相关（续）一、主成分分析一、主成分分析二、因子分析二、因子分析三、典型相关分析三、典型相关分析一、因子分析模型引入一、因子分析模型引入考虑人的五个生理指标：考虑人的五个生理指标：x1.收缩压，收缩压，x2.舒张压，舒张压，x3.心跳间隔，心跳间隔，x4.呼吸间隔，呼吸间隔，x5.舌下温度。舌下温度。这五个指标受植物神经支配，而植物神经分为交这五个指标受植物神经支配，而植物神经分为交感神经与副交感神经。感神经与副交感神经。以上五个指标至少有两个公共因子对其有影响。以上五个指标至少有两个公共因子对其有影响。f1:交感神经交感神经;f2:副交感神经副交感神经有无其

2、他因子影响？有无其他因子影响？x与各因子之间的关系？与各因子之间的关系？建立模型建立模型可观测变量可观测变量x1,x2,x5如何表示成如何表示成不可观测的公共因子不可观测的公共因子f1,f 2的线性组合？的线性组合？因子分析由来因子分析由来 因子分析（factoranalysis）最早由英国心理学家C.E.斯皮尔曼提出。他发现学生的各科成绩之间存在着一定的相关性，一科成绩好的学生，往往其他各科成绩也比较好，从而推想是否存在某些潜在的共性因子，或称某些一般智力条件影响着学生的学习成绩。百米跑成绩 跳远成绩 铅球成绩 跳高成绩 400米跑成绩 百米跨栏 铁饼成绩 撑杆跳远成绩 标枪成绩 1500米

3、跑成绩 奥运会十项全能运动项目奥运会十项全能运动项目得分数据的因子分析得分数据的因子分析 7 公共因子有较为明确的含义公共因子有较为明确的含义 百米x1、跳远x2、400米x5等需要短跑爆发力的项目在 F1有较大载荷，称为短跑速度因子 铅球x3、铁饼x7、标枪x9在F2上有较大载荷，称为爆发性臂力因子 百米栏x6，撑杆跳x8，跳远x2，跳高x4，在F3上有较大载荷，称为爆发性腿力因子 400米x5，1500米x10，在F4上有较大载荷，称为长跑耐力因子二、因子分析数学模型二、因子分析数学模型因子分析方法是用尽可能少的不可观测的因子分析方法是用尽可能少的不可观测的“公共因子公共因子”与与“特殊因

4、子特殊因子”之和来描述和刻画之和来描述和刻画原来的每个观测分量。其目的是尽可能合理原来的每个观测分量。其目的是尽可能合理地解释存在于原始变量之间的相关性，且简化地解释存在于原始变量之间的相关性，且简化变量的维数与结构。变量的维数与结构。（一）因子模型（一）因子模型模型模型称为称为因子模型因子模型，其中假设，其中假设1.是可观测的向量，且均是可观测的向量，且均值值协方差阵协方差阵等于其相关等于其相关矩阵矩阵2.是不可观测的向是不可观测的向量，其均值量，其均值协方差阵是协方差阵是3.与与相互独立，且相互独立，且的协方差阵为对角矩阵的协方差阵为对角矩阵用向量可将因子模型表示为用向量可将因子模型表示为

5、其中其中满足前述三个假设条件，满足前述三个假设条件，是是矩阵，矩阵，模型中模型中叫做公共因子，它们是在各叫做公共因子，它们是在各观测变量表达式中都共同出现的因子，是相观测变量表达式中都共同出现的因子，是相互独立的不可观测的隐变量。互独立的不可观测的隐变量。叫做特殊因子，是原观测变量叫做特殊因子，是原观测变量各个分量的特殊因子，各特殊因子之间及特各个分量的特殊因子，各特殊因子之间及特殊因子与公共因子之间都是相互独立的。殊因子与公共因子之间都是相互独立的。矩阵矩阵的元素的元素叫做因子载荷，当叫做因子载荷，当的绝的绝对值对值()表明表明与与的相依程度的大小，的相依程度的大小，即公共因子即公共因子对于

6、对于的影响程度，故称的影响程度，故称为为公共因子载荷量，简称因子载荷，而矩阵公共因子载荷量，简称因子载荷，而矩阵称称为因子载荷矩阵。为因子载荷矩阵。因子分析因子分析:从一组可观测资料出发，从一组可观测资料出发，分析出公共因子与特殊因子，并求出相应的分析出公共因子与特殊因子，并求出相应的载荷矩阵载荷矩阵A，解释各公共因子的含义。，解释各公共因子的含义。（二）因子载荷矩阵的统计意义（二）因子载荷矩阵的统计意义1.因子载荷因子载荷的统计意义的统计意义因为因为且且因此因此既是既是与与协方差，协方差，又是它们的又是它们的相关系数相关系数，就是说，就是说是用来度量是用来度量可用可用线性组合表示的线性组合表

7、示的程度，因子载荷程度，因子载荷，表示，表示与与的依赖程度。的依赖程度。2.变量共同度的统计意义变量共同度的统计意义称因子载荷矩阵称因子载荷矩阵中中各行元素的平方和各行元素的平方和为变量为变量的共同度。由于的共同度。由于矩阵矩阵AA的主对角元素恰为各的主对角元素恰为各的共同度。的共同度。上式表明变量上式表明变量的方差由两部分组成：其一是的方差由两部分组成：其一是它是全部公共因子对于变量它是全部公共因子对于变量的总方差所的总方差所作出的贡献；其二是作出的贡献；其二是它是变量它是变量的特殊因的特殊因子所产生的方差，仅与变量子所产生的方差，仅与变量的本身变化有关，的本身变化有关，而与公共因子无关，常

8、称为剩余方差。而与公共因子无关，常称为剩余方差。3.公共因子公共因子的方差贡献统计意义的方差贡献统计意义将载荷矩阵将载荷矩阵的各列元素之平方和的各列元素之平方和称为公共因子称为公共因子对对的贡献。的贡献。4始观测变量始观测变量X的协差阵的分解（不唯一）的协差阵的分解（不唯一）三、因子载荷矩阵三、因子载荷矩阵A的估计的估计因子因子载载荷矩荷矩阵阵的估的估计计方法方法约约有有10多种，多种，如主成分法、主因子法、重心法、影像分如主成分法、主因子法、重心法、影像分析法，最大似然解、最小平方法、阿析法，最大似然解、最小平方法、阿尔尔法法抽因法、拉奥典型抽因法等等。抽因法、拉奥典型抽因法等等。这这些方法

9、些方法本本质质上大都属近似方法，是以相关系数矩上大都属近似方法，是以相关系数矩阵为阵为基基础础的，所不同的是相关系数矩的，所不同的是相关系数矩阵对阵对角角线线上的上的值值，采用不同的估，采用不同的估值值方法。方法。设随机向量设随机向量 的均值为的均值为，协方差为，协方差为,为为 的特征根，的特征根，为对应的为对应的标准化特征向量，则标准化特征向量，则（1 1）主成分分析法）主成分分析法 上式给出的上式给出的表达式是精确的，然而它实际上毫无价值，表达式是精确的，然而它实际上毫无价值，因为我们的目的是寻求少数几个公共因子解释，故略因为我们的目的是寻求少数几个公共因子解释，故略去后面的去后面的p-m

10、项的贡献，有项的贡献，有注：注：残差矩阵为残差矩阵为其中S为样本的协方差矩阵。则有 （2 2）主因子法）主因子法 主因子方法是对主成分方法的修正，假定我们已经先对变量进行了标准化变换。则 R=AA+D R*=AA=R-D 称R*为约相关矩阵，R*对角线上的元素是 ,而不是1。设 是 的初始估计,则 的初始估的初始估计计方法有如下几种方法有如下几种：1）取取 ，在这个情况下主因子解与主成分解，在这个情况下主因子解与主成分解等价；等价；2 2）取）取 ，为为x xi i与其他所有的原始变量与其他所有的原始变量x xj j的复相关系数的平方，即的复相关系数的平方，即x xi i对其余的对其余的p-1

11、p-1个个x xj j的回归的回归方程的判定系数，这是因为方程的判定系数，这是因为x xi i 与公共因子的关系是与公共因子的关系是通过其余的通过其余的p-1p-1个个x xj j 的线性组合联系起来的；的线性组合联系起来的；3）取 ，这意味着取xi与其余的xj的简单相关系数的绝对值最大者；4）取 ，其中要求该值为正数。5）取 ，其中 是 的对角元素。例1假定某地固定假定某地固定资产资产投投资资率率，通，通货货膨膨胀胀率率，失，失业业率率，相关系数矩，相关系数矩阵为阵为R=试试用主成分分析法求因子分析模型。用主成分分析法求因子分析模型。30 特征根为特征根为：可取前两个因子可取前两个因子F1和

12、和F2为公共因子。为公共因子。第一公因子第一公因子F1是是“物价就业因子物价就业因子”，对，对X的贡献为的贡献为1.55。第二公因子第二公因子F2是是“投资因子投资因子”，对，对X的贡献为的贡献为0.85。共同度分别为共同度分别为1，0.706，0.706。法二法二:用主因子分析法求解因子分析模型用主因子分析法求解因子分析模型假定用假定用 代替初始的代替初始的 特征根为：对应的非零特征向量为：4 4、因子旋转、因子旋转 建建立立因因子子分分析析模模型型的的目目的的，不不仅仅要要找找出出公公共共因因子子,更更重重要要的的是是解解析析公公共共因因子子的的实实际际意意义义，以以便便进进行行进进一一步

13、步分分析析。如如果果每每个个公公共共因因子子的的含含义义不不清清，则则不不便便于于进进行实际背景的解释。行实际背景的解释。由由于于因因子子载载荷荷阵阵不不惟惟一一，可可以以对对因因子子载载荷荷阵阵进进行行旋旋转转,使使因因子子载载荷荷阵阵的的结结构构简简化化，使使每每列列或或行行的的元元素素平方值向平方值向0 0和和1 1两极分化两极分化,有助于解释因子的意义。有助于解释因子的意义。有有三三种种主主要要的的正正交交旋旋转转法法:四四次次方方最最大大法法、方方差差最最大法和等量最大法。大法和等量最大法。百米跑成绩百米跑成绩 跳远成绩跳远成绩 铅球成绩铅球成绩 跳高成绩跳高成绩 400米跑成绩米跑

14、成绩 百米跨栏百米跨栏 铁饼成绩铁饼成绩 撑杆跳远成绩撑杆跳远成绩 标枪成绩标枪成绩 1500米跑成绩米跑成绩奥运会十项全能运动项目奥运会十项全能运动项目得分数据的因子分析得分数据的因子分析 因子载荷矩阵可以看出，除第一因子在所有的变量在公因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的共因子上有较大的正载荷，可以称为一般运动因子。其他的3个因子不太容易解释。于是考虑旋转因子，得下表个因子不太容易解释。于是考虑旋转因子，得下表 通过旋转，因子有了较为明确的含义。通过旋转，因子有了较为明确的含义。百米跑，百米跑，跳跳远远和和 400米米跑跑，需

15、需要要爆爆发发力力的的项项目目在在 有有较较大大的的载荷，载荷，可以称为可以称为短跑速度因子短跑速度因子；铅铅球球，铁铁饼饼和和 标标枪枪在在 上上有有较较大大的的载载荷荷，可可以以称为称为爆发性臂力因子爆发性臂力因子；百百米米跨跨栏栏，撑撑杆杆跳跳远远，跳跳远远和和为为 跳跳高高在在 上上有较大的载荷，有较大的载荷，爆发腿力因子爆发腿力因子；长跑耐力因子长跑耐力因子。5 5、因子得分、因子得分 （一）因子得分的概念（一）因子得分的概念 前前面面主主要要解解决决了了用用公公共共因因子子的的线线性性组组合合来来表表示一组观测变量的因子建模问题。示一组观测变量的因子建模问题。要要使使用用这这些些因

16、因子子模模型型，比比如如把把得得到到的的因因子子作作为为自自变变量量来来做做回回归归分分析析，或或对对样样本本进进行行分分类类或或评评价价，都都需需要要对对公公共共因因子子进进行行度度量量，估估计计出出公公共共因因子的取值（因子得分）。子的取值（因子得分）。比比如如根根据据某某人人的的心心理理测测试试成成绩绩，评评估估他他的的智智商、情商等。商、情商等。人均要素变量因子分析人均要素变量因子分析对对我国我国3232个省市自治区的人均要素状况作因子分析。个省市自治区的人均要素状况作因子分析。指指标标体系中有如下指体系中有如下指标标：X1 X1：人口（万人：人口（万人 X2 X2：面：面积积（万平方

17、公里）（万平方公里）X3 X3：GDPGDP（亿亿元）元）X4 X4：人均水：人均水资资源（立方米源（立方米/人）人）X5X5：人均生物量（吨：人均生物量（吨/人）人）X6X6：万人：万人拥拥有的大学生数（人）有的大学生数（人）X7X7：万人：万人拥拥有科学家、工程有科学家、工程师师数（人）数（人）RotatedFactorPattern（旋（旋转转因子模型）因子模型）FACTOR1FACTOR2FACTOR3X1-0.21522-0.273970.89092X20.63973-0.28739-0.28755X3-0.157910.063340.94855X40.95898-0.01501-0

18、.07556X50.97224-0.06778-0.17535X6-0.114160.98328-0.08300X7-0.110410.97851-0.07246高载荷指标高载荷指标因子命名因子命名因子因子1X2；面积（万平方公里）；面积（万平方公里）X4:人均水资源（立方米人均水资源（立方米/人）人）X5:人均生物量（吨人均生物量（吨/人）人）自然资源因子自然资源因子因子因子2X6：万人拥有的大学生数（人）：万人拥有的大学生数（人）X7：万人拥有的科学家工程师数（人）：万人拥有的科学家工程师数（人）人力资源因子人力资源因子因子因子3X1;人口（万人）人口（万人）X3:GDP(亿元亿元)经济发

19、展总量因子经济发展总量因子X1=-0.21522F1-0.27397F2+0.89092F3X2=0.63973F1-0.28739F2-0.28755F3X3=-0.15791F1+0.06334F2+0.94855F3X4=0.95898F1-0.01501F2-0.07556F3X5=0.97224F1-0.06778F2-0.17535F3X6=-0.11416F1+0.98328F2-0.08300F3X7=-0.11041F1+0.97851F2-0.07246F343StandardizedScoringCoefficients（因子得分）（因子得分）FACTOR1FACTOR2

20、FACTOR3X10.05764-0.060980.50391X20.22724-0.09901-0.07713X30.146350.129570.59715X40.479200.112280.17062X50.455830.074190.10129X60.054160.486290.04099X70.057900.485620.04822 F1=0.05764X1+0.22724X2+0.14635X3+0.47920X4+0.45583X5+0.05416X6+0.05790X7F2=-0.06098X1.09901X2+0.12957X3+0.11228X4+0.07419X5+0.48

21、629X6+0.48562X7F3=0.50391X1-0.07713X2+0.59715X3+0.17062X4+0.10129X5+0.04099X6+0.04822X74444REGIONFACTOR1FACTOR2FACTOR3Beijing-0.081694.23473-0.37983tianjin-0.474221.31789-0.87891hebei-0.22192-0.358020.86263shanxi1-0.48214-0.32643-0.54219neimeng0.54446-0.66668-0.92621liaoning-0.205110.463770.34087jil

22、in-0.214990.10608-0.57431heilongj0.10839-0.11717-0.02219shanghai-0.200692.38962-0.04259三个因子的得分三个因子的得分 因子分析的数学模型为：因子分析的数学模型为：观测变量表示为公共因子的线性组合。现在要反观测变量表示为公共因子的线性组合。现在要反 过来，把公共因子表示为观测变量的线性组合。过来，把公共因子表示为观测变量的线性组合。因子得分函数：因子得分函数：要要求求得得每每个个因因子子的的得得分分，必必须须求求出出得得分分函函数数的的系系数数，而而由由于于pmpm，所所以以不不能能得得到到精精确确的的得得分分

23、，只只能能通通过过估计。估计。1、巴特莱特因子得分巴特莱特因子得分(加权最小二乘法）加权最小二乘法）把把 看作回归因变量；把因子载荷矩阵看作回归因变量；把因子载荷矩阵 看成回归自变量的观测值；把某个个案的得分看成回归自变量的观测值；把某个个案的得分 看成最小二乘法需要求出的回归系数看成最小二乘法需要求出的回归系数。1)1)巴特莱特因子得分的思路巴特莱特因子得分的思路4747由由于于特特殊殊因因子子的的方方差差相相异异，所所以以用用加加权权最最小小二二乘乘法法求求得得分分，每个各案作一次，要求出所有样品的得分，需要作每个各案作一次，要求出所有样品的得分，需要作n n次。次。用矩阵表达：用矩阵表达

24、：满足上式的满足上式的F是相应个案的因子得分。是相应个案的因子得分。对等式对等式两边同时左乘两边同时左乘2.汤姆森（汤姆森（Thompson）因子得分）因子得分F的估计为：的估计为：有偏估计，但方差更小有偏估计，但方差更小国民生活质量的因素分析国民生活质量的因素分析 国家发展的最终目标，是为了全面提高全体国民的生活质国家发展的最终目标，是为了全面提高全体国民的生活质量，满足广大国民日益增长的物质和文化的合理需求。在可持量，满足广大国民日益增长的物质和文化的合理需求。在可持续发展消费的统一理念下，增加社会财富，创造更多的物质文续发展消费的统一理念下，增加社会财富，创造更多的物质文明和精神文明，保

25、持人类的健康延续和生生不息，在人类与自明和精神文明，保持人类的健康延续和生生不息，在人类与自然协同进化的基础上，维系人类与自然的平衡，达到完整的代然协同进化的基础上，维系人类与自然的平衡，达到完整的代际公平和区际公平际公平和区际公平(即时间过程的最大合理性与空间分布的最即时间过程的最大合理性与空间分布的最大合理化大合理化)。从从19901990年开始，联合国开发计划署年开始，联合国开发计划署(UYNP)(UYNP)首次采用首次采用“人文人文发展系数发展系数”指标对于国民生活质量进行测度。人文发展系数利指标对于国民生活质量进行测度。人文发展系数利用三类内涵丰富的指标组合，即人的健康状况用三类内涵

26、丰富的指标组合，即人的健康状况(使用出生时的使用出生时的人均预期寿命表达人均预期寿命表达)、人的智力程度、人的智力程度(使用组合的教育成就表达使用组合的教育成就表达)、人的福利水平、人的福利水平(使用人均国民收入或人均使用人均国民收入或人均GDPGDP表达表达)，并且特，并且特别强调三类指标组合的整体表达内涵，去衡量一个国家或地区别强调三类指标组合的整体表达内涵，去衡量一个国家或地区的社会发展总体状况以及国民生活质量的总水平。的社会发展总体状况以及国民生活质量的总水平。5252在这个指标体系中有如下的指标：在这个指标体系中有如下的指标：X X1 1预期寿命预期寿命X X2 2成人识字率成人识字

27、率X X3 3综合入学率综合入学率X X4 4人均人均GDPGDPX X5 5预期寿命指数预期寿命指数X X6 6教育成就指数教育成就指数X X7 7人均人均GDPGDP指数指数5353 旋转后的因子结构旋转后的因子结构 （Rotated Factor Pattern）FACTOR1 FACTOR2 FACTOR3 X1 0.38129 0.41765 0.81714 X2 0.12166 0.84828 0.45981 X3 0.64803 0.61822 0.22398 X4 0.90410 0.20531 0.34100 X5 0.38854 0.43295 0.80848 X6 0.2

28、8207 0.85325 0.43289 X7 0.90091 0.20612 0.35052 FACTOR1为经济发为经济发展因子展因子FACTOR2为为教育成就因子教育成就因子FACTOR3为为健康水平因子健康水平因子5454被每个因子解释的方差：Variance explained by each factor FACTOR1 FACTOR2 FACTOR3 2.439700 2.276317 2.009490 Final Communality Estimates:Total=6.725507被每个因子解释的共同度：X1 X2 X3 X4 X5 0.987530 0.945796 0.

29、852306 0.975830 0.992050 X6 X7X6 X70.9949950.9949950.976999 0.976999 Standardized Scoring Coefficients标准化得分系数标准化得分系数 FACTOR1 FACTOR2 FACTOR3 X1 -0.18875 -0.34397 0.85077 X2 -0.24109 0.60335 -0.10234 X3 0.35462 0.50232 -0.59895 X4 0.53990 -0.17336 -0.10355 X5 -0.17918 -0.31604 0.81490 X6 -0.09230 0.6

30、2258 -0.24876 56因子分析步骤简要总结因子分析步骤简要总结 2、计算所选原始变量的相关系数矩阵 相关系数矩阵描述了原始变量之间的相关关系。可以帮助判断原始变量之间是否存在相关关系，这对因子分析是非常重要的，因为如果所选变量之间无关系，做因子分析是不恰当的。并且相关系数矩阵是估计因子结构的基础。1 1、选择分析的变量选择分析的变量用定性分析和定量分析的方法选择变量，因子分析的前用定性分析和定量分析的方法选择变量，因子分析的前提条件是观测变量间有较强的相关性，因为如果变量之间无提条件是观测变量间有较强的相关性，因为如果变量之间无相关性或相关性较小的话，他们不会有共享因子相关性或相关性

31、较小的话，他们不会有共享因子,所以原始变所以原始变量间应该有较强的相关性。量间应该有较强的相关性。因子分析通常包括以下五个步骤因子分析通常包括以下五个步骤 3、提取公共因子 这一步要确定因子求解的方法和因子的个数。需要根据研究者的设计方案或有关的经验或知识事先确定。因子个数的确定可以根据因子方差的大小。只取方差大于1(或特征值大于1)的那些因子，因为方差小于1的因子其贡献可能很小；按照因子的累计方差贡献率来确定，一般认为要达到 60才能符合要求；4、因子旋转 通过坐标变换使每个原始变量在尽可能少的因子之间有密切的关系，这样因子解释的实际意义更容易解释,并为每个潜在因子赋予有实际意义的名字。58

32、58 5、计算因子得分 求出各样本的因子得分，有了因子得分值，则可以在许多分析中使用这些因子，例如以因子的得分做变量的聚类分析，做回归分析中的回归因子。SAS程序程序procfactordata=文件名文件名r=vn=？out=文件名文件名1outstat=文件名文件名2；run；说明说明data=文件名文件名指定用于分析的数据文件指定用于分析的数据文件out=文件名自己取，保存原始数据和因子得分文件名自己取，保存原始数据和因子得分outstat=文件名自己取，保存因子分析过程中的统计量文件名自己取，保存因子分析过程中的统计量r=v指定旋转的方法，是指定旋转的方法，是rotate=varimax的缩写，的缩写，也可用也可用rotate=quartimax（r=q）n=指定公共因子的个数指定公共因子的个数特别注意，分号表示一个语句的结束，不能遗漏。特别注意，分号表示一个语句的结束，不能遗漏。