主成分分析实例和含义讲解.ppt

《主成分分析实例和含义讲解.ppt》由会员分享，可在线阅读，更多相关《主成分分析实例和含义讲解.ppt（108页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1主成分分析和因子分析主成分分析和因子分析 吴喜之吴喜之2汇报什么？汇报什么？假定你是一个公司的财务经理，掌握了公司的所有数据，比如假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等产值、利润、折旧、职工人数、职工的分工和教育程度等等。如果让你向上面介绍公司状况，你能够把这些指标和数字都如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地原封不动地摆出去吗摆出去吗？当然不能。当然不能

2、。你必须要把各个方面作出高度概括，你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说用一两个指标简单明了地把情况说清楚。清楚。3主成分分析主成分分析每个人都会遇到有每个人都会遇到有很多变量很多变量的数据。的数据。比比如如全全国国或或各各个个地地区区的的带带有有许许多多经经济济和和社社会会变变量量的的数数据据；各各个个学学校校的的研究、教学等各种变量的数据等等。研究、教学等各种变量的数据等等。这这些些数数据据的的共共同同特特点点是是变变量量很很多多，在在如如此此多多的的变变量量之之中中，有有很很多多是是相相关的。人们希望能够找出它们的关的。人们希望能够找出它们的少数少数“代表代表”来

3、对它们进行描述。来对它们进行描述。本本章章就就介介绍绍两两种种把把变变量量维维数数降降低低以以便便于于描描述述、理理解解和和分分析析的的方方法法：主主成成分分分分析析（principal principal component component analysisanalysis）和和因因子子分分析析（factor factor analysisanalysis）。实实际际上上主主成成分分分分析析可可以以说说是是因因子子分分析析的的一一个个特特例例。在在引引进主成分分析之前，先看下面的例子。进主成分分析之前，先看下面的例子。4成绩数据（成绩数据（student.sav）100个学生的数学、物理

4、、化学、语文、历史、英语的成绩如下表（部分）。个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。5从本例可能提出的问题从本例可能提出的问题目目前前的的问问题题是是，能能不不能能把把这这个个数数据据的的6 6个个变变量量用用一一两两个个综综合变量来表示呢？合变量来表示呢？这一两个综合变量包含有多少原来的信息呢？这一两个综合变量包含有多少原来的信息呢？能能不不能能利利用用找找到到的的综综合合变变量量来来对对学学生生排排序序呢呢？这这一一类类数数据据所所涉涉及及的的问问题题可可以以推推广广到到对对企企业业，对对学学校校进进行行分分析析、排排序序、判别和分类等问题。判别和分类等问题。6空

5、间的点空间的点例例中中的的的的数数据据点点是是六六维维的的；也也就就是是说说，每每个个观观测测值值是是6维维空空间间中中的的一一个个点点。我们希望把我们希望把6维空间用低维空间表示。维空间用低维空间表示。先先假假定定只只有有二二维维，即即只只有有两两个个变变量量，它它们们由由横横坐坐标标和和纵纵坐坐标标所所代代表表；因因此此每每个个观观测测值值都都有有相相应应于于这这两两个个坐坐标标轴轴的的两两个个坐坐标标值值；如如果果这这些些数数据据形形成成一一个个椭椭圆形状的点阵（这在变量的二维正态的假定下是可能的）圆形状的点阵（这在变量的二维正态的假定下是可能的）那那么么这这个个椭椭圆圆有有一一个个长长

6、轴轴和和一一个个短短轴轴。在在短短轴轴方方向向上上，数数据据变变化化很很少少；在在极极端端的的情情况况，短短轴轴如如果果退退化化成成一一点点，那那只只有有在在长长轴轴的的方方向向才才能能够够解解释释这这些些点点的的变化了；这样，由二维到一维的降维就自然完成了。变化了；这样，由二维到一维的降维就自然完成了。78椭球的长短轴椭球的长短轴当当坐坐标标轴轴和和椭椭圆圆的的长长短短轴轴平平行行，那那么么代代表表长长轴轴的的变变量量就就描描述述了了数数据据的的主主要变化，而代表短轴的变量就描述了数据的次要变化。要变化，而代表短轴的变量就描述了数据的次要变化。但但是是，坐坐标标轴轴通通常常并并不不和和椭椭圆

7、圆的的长长短短轴轴平平行行。因因此此，需需要要寻寻找找椭椭圆圆的的长长短轴，并进行变换，使得新变量和椭圆的长短轴平行。短轴，并进行变换，使得新变量和椭圆的长短轴平行。如如果果长长轴轴变变量量代代表表了了数数据据包包含含的的大大部部分分信信息息，就就用用该该变变量量代代替替原原先先的的两两个变量（舍去次要的一维），降维就完成了。个变量（舍去次要的一维），降维就完成了。椭圆（球）的长短轴相差得越大，降维也越有道理。椭圆（球）的长短轴相差得越大，降维也越有道理。910主轴和主成分主轴和主成分对对于于多多维维变变量量的的情情况况和和二二维维类类似似，也也有有高高维维的的椭椭球球，只只不不过过无无法法直

8、直观观地地看见罢了。看见罢了。首首先先把把高高维维椭椭球球的的主主轴轴找找出出来来，再再用用代代表表大大多多数数数数据据信信息息的的最最长长的的几几个个轴作为新变量；这样，主成分分析就基本完成了。轴作为新变量；这样，主成分分析就基本完成了。注注意意，和和二二维维情情况况类类似似，高高维维椭椭球球的的主主轴轴也也是是互互相相垂垂直直的的。这这些些互互相相正正交的新变量是原先变量的线性组合，叫做主成分交的新变量是原先变量的线性组合，叫做主成分(principalcomponent)。11主成分之选取主成分之选取正正如如二二维维椭椭圆圆有有两两个个主主轴轴，三三维维椭椭球球有有三三个个主主轴轴一一样

9、样，有有几几个个变变量，就有几个主成分。量，就有几个主成分。选选择择越越少少的的主主成成分分，降降维维就就越越好好。什什么么是是标标准准呢呢？那那就就是是这这些些被被选选的的主主成成分分所所代代表表的的主主轴轴的的长长度度之之和和占占了了主主轴轴长长度度总总和和的的大大部部分分。有有些些文文献献建建议议，所所选选的的主主轴轴总总长长度度占占所所有有主主轴轴长长度度之之和和的的大大约约85%即即可可，其其实实，这这只只是是一一个个大大体体的的说说法法；具具体体选选几几个个，要要看看实实际情况而定。际情况而定。12主成分分析的数学要要寻寻找找方方差差最最大大的的方方向向。即即使使得得向向量量X的的

10、线线性性组组合合aX的的方方差差最大的方向最大的方向a.而而Var(aX)=aCov(X)a;由由于于Cov(X)未未知知；于于是是用用X的的样样本本相相关关阵阵R来来近近似似.因因此此，要要寻寻找找向向量量a使使得得aRa最最大大(注注意意相相关关阵阵和协方差阵差一个常数和协方差阵差一个常数记得相关阵和特征值问题吗记得相关阵和特征值问题吗?回顾一下吧回顾一下吧!选择几个主成分呢选择几个主成分呢?要看要看“贡献率贡献率.”13对于我们的数据，对于我们的数据，SPSSSPSS输出为输出为这这里里的的InitialEigenvalues就就是是这这里里的的六六个个主主轴轴长长度度，又又称称特特征征

11、值值（数数据据相相关关阵阵的的特特征征值值）。头头两两个个成成分分特特征征值值累累积积占占了了总总方方差差的的81.142%。后面的特征值的贡献越来越少。后面的特征值的贡献越来越少。14特征值的贡献还可以从特征值的贡献还可以从SPSS的所谓碎石图看出的所谓碎石图看出15怎么解释这两个主成分。前面说过主成分是原始六个变量的线性组合。是怎么样的组合呢？怎么解释这两个主成分。前面说过主成分是原始六个变量的线性组合。是怎么样的组合呢？SPSSSPSS可可以以输出下面的表。输出下面的表。这这里里每每一一列列代代表表一一个个主主成成分分作作为为原原来来变变量量线线性性组组合合的的系系数数（比比例例）。比比

12、如如第第一一主主成成分分为为数数学学、物物理理、化化学学、语语文文、历历史史、英英语语这这六六个个变变量量的的线线性性组组合合，系系数数（比比例例）为为-0.806,-0.674,-0.675,0.893,0.825,0.836。16如如用用x x1 1,x x2 2,x x3 3,x x4 4,x x5 5,x x6 6分分别别表表示示原原先先的的六六个个变变量量，而而用用y y1 1,y y2 2,y y3 3,y y4 4,y y5 5,y y6 6表示新的主成分，那么，第一和第二主成分为表示新的主成分，那么，第一和第二主成分为这这些些系系数数称称为为主主成成分分载载荷荷（loading

13、），它它表表示示主主成成分分和和相相应应的的原原先先变变量量的的相相关关系数。系数。比比如如y1表表示示式式中中x1的的系系数数为为-0.806，这这就就是是说说第第一一主主成成分分和和数数学学变变量量的的相相关关系系数数为为-0.806。相相关关系系数数(绝绝对对值值）越越大大，主主成成分分对对该该变变量量的的代代表表性性也也越越大大。可可以以看看得得出出，第第一一主主成成分分对对各各个个变变量量解解释释得得都都很很充充分分。而而最最后后的的几几个个主主成成分分和和原原先先的的变变量量就就不不那那么么相关了。相关了。17可以把第一和第二主成分的载荷点出一个二维图以直观可以把第一和第二主成分的

14、载荷点出一个二维图以直观地显示它们如何解释原来的变量的。这个图叫做载荷图。地显示它们如何解释原来的变量的。这个图叫做载荷图。18该图该图左面三个点是数学、物理、化学三科左面三个点是数学、物理、化学三科，右边三个点是语文、历史、外语三科。右边三个点是语文、历史、外语三科。图图中的六个点由于比较挤，不易分清，但只要认识到这些点的坐标是前面的第一二主成中的六个点由于比较挤，不易分清，但只要认识到这些点的坐标是前面的第一二主成分载荷，坐标是前面表中第一二列中的数目，还是可以识别的。分载荷，坐标是前面表中第一二列中的数目，还是可以识别的。19因子分析因子分析主主成成分分分分析析从从原原理理上上是是寻寻找

15、找椭椭球球的的所所有有主主轴轴。因因此此，原原先先有有几几个个变变量量，就就有几个主成分。有几个主成分。而而因因子子分分析析是是事事先先确确定定要要找找几几个个成成分分，这这里里叫叫因因子子（factor）（比比如如两两个个），那就找两个。那就找两个。这这使使得得在在数数学学模模型型上上，因因子子分分析析和和主主成成分分分分析析有有不不少少区区别别。而而且且因因子子分分析析的的计计算算也也复复杂杂得得多多。根根据据因因子子分分析析模模型型的的特特点点，它它还还多多一一道道工工序序：因因子子旋旋转（转（factorrotation）；这个步骤可以使结果更好。）；这个步骤可以使结果更好。当然，对于

16、计算机来说，因子分析并不比主成分分析多费多少时间。当然，对于计算机来说，因子分析并不比主成分分析多费多少时间。从从输输出出的的结结果果来来看看，因因子子分分析析也也有有因因子子载载荷荷（factorloading）的的概概念念，代代表表了了因因子子和和原原先先变变量量的的相相关关系系数数。但但是是在在因因子子分分析析公公式式中中的的因因子子载载荷荷和和主主成成分分分分析析中中的的因因子子载载荷荷位位置置不不同同。因因子子分分析析也也给给出出了了二二维维图图；但但解解释释和和主主成分分析的载荷图类似。成分分析的载荷图类似。20主成分分析与因子分析的公式上的区别主成分分析与因子分析的公式上的区别主

17、成分分析主成分分析因子分析因子分析(m ex=eigen(cor(z)；ex$values1 2.87331359 1.79666009 0.21483689 0.09993405 0.01525537$vectors house services employ school poppop 0.3427304-0.60162927 0.05951715-0.20403274 0.6894972617school 0.4525067 0.40641449 0.68882245 0.35357060 0.1748611748employ 0.3966948-0.54166500 0.2479577

18、5-0.02293716-0.6980136963services 0.5500565 0.07781686-0.66407565 0.50038572-0.0001235807house 0.4667384 0.41642892-0.13964890-0.76318182-0.0824254824sweep(ex$ve,2,sqrt(ex$va),*)载荷载荷 house services employ school poppop 0.5809571-0.8064212 0.02758650-0.064499538 8.516163e-02school 0.7670373 0.5447561

19、 0.31927265 0.111771968 2.159757e-02employ 0.6724314-0.7260453 0.11492966-0.007250974-8.621352e-02services 0.9323926 0.1043054-0.30780239 0.158183675-1.526378e-05house 0.7911612 0.5581795-0.06472796-0.241259690-1.018059e-0255正交性验证正交性验证t(ex$ve)%*%ex$vehouseservicesemployschoolpophouse1.00e+00-5.55e-1

20、76.9e-17-1.11e-160.00e+00services-5.55e-171.00e+004.16e-170.00e+00-8.33e-17employ6.94e-174.16e-171.00e+002.78e-175.38e-17school-1.11e-160.00e+002.78e-171.00e+00-1.39e-17pop0.00e+00-8.33e-175.38e-17-1.39e-171.00e+0056相关阵的特征值相关阵的特征值:(R输出输出)2.87331.79670.21480.09990.0153特征向量矩阵特征向量矩阵(列向量列向量)A(R输出输出)0.34

21、3-0.60160.0595-0.20400.6894970.4530.40640.68880.35360.1748610.397-0.54170.2480-0.0229-0.6980140.5500.0778-0.66410.5004-0.0001240.4670.4164-0.1396-0.7632-0.0824255758The SAS System 11:15 Sunday,September 22,2002Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative PRIN1 2.

22、87331 1.07665 0.574663 0.57466 PRIN2 1.79666 1.58182 0.359332 0.93399 PRIN3 0.21484 0.11490 0.042967 0.97696 PRIN4 0.09993 0.08468 0.019987 0.99695 PRIN5 0.01526 .0.003051 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.342730 0.601629 0.059517 0.204033 0.689497 X2 0.452507 -.406414 0.688822

23、 -.353571 0.174861 X3 0.396695 0.541665 0.247958 0.022937 -.698014 X4 0.550057 -.077817 -.664076 -.500386 -.000124 X5 0.466738 -.416429 -.139649 0.763182 -.082425(SAS输出输出)59销售人员数据销售人员数据(salesmen.sav)（50个观测值）个观测值）销售增长销售增长销售利润销售利润新客户销售额新客户销售额创造力创造力机械推理机械推理抽象推理抽象推理数学推理数学推理93.0096.0097.809.0012.009.0020

24、.0088.8091.8096.807.0010.0010.0015.0095.00100.3099.008.0012.009.0026.00101.30103.80106.8013.0014.0012.0029.00102.00107.80103.0010.0015.0012.0032.0095.8097.5099.3010.0014.0011.0021.0095.5099.5099.009.0012.009.0025.00110.80122.00115.3018.0020.0015.0051.00102.80108.30103.8010.0017.0013.0031.00106.80120

25、.50102.0014.0018.0011.0039.00103.30109.80104.0012.0017.0012.0032.0099.50111.80100.3010.0018.008.0031.00103.50112.50107.0016.0017.0011.0034.0099.50105.50102.308.0010.0011.0034.0060特征值、累积贡献率特征值、累积贡献率61特征值图特征值图62二主成分因子负荷图二主成分因子负荷图63主成分的因子负荷主成分的因子负荷(每列平方和为相应特征值每列平方和为相应特征值,而每列除以相应特征值的而每列除以相应特征值的平方根为相应的特征

26、向量平方根为相应的特征向量)这是主成分与各个变量的相关系数这是主成分与各个变量的相关系数有的书把它当成特征向量了有的书把它当成特征向量了SPSS没有给出特征向量没有给出特征向量64The SAS System Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative PRIN1 5.03460 4.10108 0.719228 0.71923 PRIN2 0.93352 0.43560 0.133359 0.85259 PRIN3 0.49792 0.07667 0.071131 0.92

27、372 PRIN4 0.42125 0.34021 0.060178 0.98390 PRIN5 0.08104 0.06070 0.011577 0.99547 PRIN6 0.02034 0.00900 0.002906 0.99838 PRIN7 0.01134 .0.001620 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 PRIN6 PRIN7 SALE 0.433672 -.111754 -.075489 -.042373 0.632494 -.336596 -.527825 BENEFIT 0.420214 0.02928

28、7 -.442479 0.010753 -.000118 0.785342 -.099483 NEWSALE 0.421051 0.009202 0.204189 -.324928 -.701026 -.156811 -.399164 CREATIV 0.294286 0.668416 0.451492 -.302712 0.261008 0.114171 0.299960 MECHD 0.349092 0.294944 0.005922 0.846604 -.174263 -.196909 0.072311 ABSD 0.289167 -.642378 0.603780 0.153674 0

29、.086959 0.236261 0.228444 MATHD 0.407404 -.200368 -.434040 -.246013 -.049583 -.371111 0.636224(SAS输出输出)65后面是因子分析后面是因子分析(FactorAnalysis)66因子分析因子分析(FactorAnalysis)67男子径赛记录数据男子径赛记录数据(MTF,p384)100m200m400m800m1500m5000m10000mMarathon10.3920.8146.841.813.7014.0429.36137.72argentin10.3120.0644.841.743.571

30、3.2827.66128.30australi10.4420.8146.821.793.6013.2627.72135.90austria10.3420.6845.041.733.6013.2227.45129.95belgium10.2820.5845.911.803.7514.6830.55146.62bermuda10.2220.4345.211.733.6613.6228.62133.13brazil女子径赛记录数据女子径赛记录数据(FTF,p34)100m200m400m800m1500m3000mMarathon11.6122.9454.502.154.439.79178.52ar

31、gentin11.2022.3551.081.984.139.08152.37australi11.4323.0950.621.994.229.34159.37austria11.4123.0452.002.004.148.88157.85belgium11.4623.0553.302.164.589.81169.98bermuda11.3123.1752.802.104.499.77168.75brazil.68人口普查数据人口普查数据(census,p383)5.9414.22.272.272.911.5213.1.60.752.622.6012.71.241.111.724.0115.2

32、1.65.813.02(两个方法区别不大两个方法区别不大)股票数据股票数据(stock,p382).00.00.00.04.00.03-.04.00-.01.04.12.06.09.09.08.06.03.07.01.02.691995中国社会数据中国社会数据(317.sav)变量变量:人均人均GDP(元元)新增固定资产新增固定资产(亿元亿元)城镇居民人均年可支配收入城镇居民人均年可支配收入(元元)农村居民家庭人均纯收人农村居民家庭人均纯收人(元元)高等学校数高等学校数(所所)卫生机构数卫生机构数(个个)地区地区:北京北京天津天津河北河北山西山西内蒙内蒙辽宁辽宁吉林吉林黑龙江黑龙江上海上海江苏

33、江苏浙江浙江安徽安徽福建福建江西江西山东山东河南河南湖北湖北湖南湖南广东广东广西广西海南海南四川四川贵州贵州云南云南陕西陕西甘肃甘肃青海青海宁夏宁夏新疆新疆(296矩阵矩阵)北京北京1026530.8162353223654955天津天津816449.1349292406213182河北河北337677.76392116684710266山西山西281933.9733051206265922内蒙内蒙301354.5128631208194915.于秀林书上说可有三个因子于秀林书上说可有三个因子:收入因子收入因子,社会因子社会因子,投资因子投资因子7035家中国上市公司家中国上市公司2000年年

34、报数据年年报数据(Chcomp.sav)变量变量:净资产收益率净资产收益率%,总资产报酬率总资产报酬率%,资产负债率资产负债率%,总资产周转率总资产周转率,流动资产周转率流动资产周转率,已获利息倍数已获利息倍数,销销售增长率售增长率%,资本积累率资本积累率%公司公司:深能源深能源,深南电深南电,富龙热力富龙热力,穗恒运穗恒运,粤电力粤电力,韶能股份韶能股份,惠天热电惠天热电,原水股份原水股份,大连热电大连热电,龙电股份龙电股份,华银华银电力电力,长春经开长春经开,兴业房产兴业房产,金丰投资金丰投资,新黄新黄浦浦,浦东金桥浦东金桥,外高桥外高桥,中华企业中华企业,渝开发渝开发,辽房天辽房天,粤宏

35、远粤宏远,ST中中福福,倍特高新倍特高新,三木集团三木集团,寰岛实业寰岛实业,中关中关村村,中兴通讯中兴通讯,长城电脑长城电脑,青鸟华光青鸟华光,清华同方清华同方,永鼎光缆永鼎光缆,宏图高科宏图高科,海星海星科技科技,方正科技方正科技,复华实业复华实业(358矩阵矩阵)深能源深能源16.8512.3542.32.371.787.1845.7354.5深南电深南电22.0015.3046.51.761.7715.6748.1119.41富龙热力富龙热力8.977.9830.56.17.5810.4317.809.44.71SpearmansExample有一组古典文学、法语、英语、数学和音乐的测

36、验成绩，有一组古典文学、法语、英语、数学和音乐的测验成绩，从它们的相关性表明存在一个潜在的从它们的相关性表明存在一个潜在的“智力智力”因子（因子（F1）。而另一组变量，表示身体健康的得分，只要有效就可以对应另一个潜在）。而另一组变量，表示身体健康的得分，只要有效就可以对应另一个潜在的因子（的因子（F2）。记这些变量为）。记这些变量为(X1,Xp).我要寻求下面这样的结构：我要寻求下面这样的结构：7273正交因子模型：正交因子模型：X-m m=AF+e em mi=变量变量i的均值的均值e ei=第第i个特殊因子个特殊因子Fi=第第i个公共因子个公共因子aij=第第i个变量在个变量在第第j个因子

37、上的载荷个因子上的载荷不能观测的值满足下列条件：不能观测的值满足下列条件：F和和e e独立独立E(F)=0,Cov(F)=IE(e e)=0,Cov(e e)=Y Y,Y Y是对角矩阵是对角矩阵74F为公共因子向量为公共因子向量,每个公共因子每个公共因子(如如Fi)是对模型中每个是对模型中每个变量都起作用的因子变量都起作用的因子;而而e e为特殊因子向量为特殊因子向量,每个特殊因每个特殊因子子(如如e ei)只对一个变量只对一个变量(第第i个个)起作用起作用.75因子分析的方法在于估计因子分析的方法在于估计S S=AA+Y Y和和Y Y,再分解以得到再分解以得到A.X的协方差阵的协方差阵S S

38、可以可以分解成分解成这里这里l l1l l2l lp为为S S的特征值的特征值;而而e1,ep为相为相应的特征向量应的特征向量(e1,ep为主成分的系数为主成分的系数,因此称因此称为主成分法为主成分法).上面分解总是取和数的重要的头上面分解总是取和数的重要的头几项来近似几项来近似.76X的协方差阵的协方差阵S S可以近似为可以近似为(如如Y Y忽略忽略)如如Y Y不忽略不忽略,S S可以近似为可以近似为应用中应用中,S,S可以用样本相关阵可以用样本相关阵R代替代替.77正交模型正交模型X=m m+AF+e e的协方差结构的协方差结构根据前面模型，可以得出下面结果：根据前面模型，可以得出下面结果

39、：上面上面s sii2=S Sjaij2+y yi2中中,S Sjaij2称为称为共性方差共性方差(公共方差公共方差或或变量共同度变量共同度commonvariance,communalities)，而，而y yi2称称为为特殊方差特殊方差.变量共同度刻画全部公共因子对变量变量共同度刻画全部公共因子对变量Xi的总的总方差所做的贡献方差所做的贡献.78的统计意义就是第的统计意义就是第i个变量与第个变量与第j个公共因子的相关系数个公共因子的相关系数,表示表示Xi依赖依赖Fj的份的份量量,这里这里eij是相应于特征值是相应于特征值l li的特征向量的特征向量ei的第的第j个分量个分量.因子载荷阵中各

40、列元素的平方和因子载荷阵中各列元素的平方和Sj=S Siaij2称为公共因子称为公共因子Fj对对X诸变量的方诸变量的方差贡献之总和差贡献之总和因子载荷因子载荷79除主成分法外还有最大似然法来估计除主成分法外还有最大似然法来估计A,m,m和和Y Y(在多元正在多元正态分布的假定下态分布的假定下).).当然当然,还有其他方法还有其他方法(有些互相类似有些互相类似).).80令令T为任意为任意m正交方阵正交方阵(TT=TT=I),则则X-m m=AF+e=e=ATTF+e=Ae=A*F*+e,e,这里这里A A*=AT,F*=TF.因此因此S S=AA+Y Y=ATTA+Y Y=(A*)(A*)+Y

41、 Y也就是说也就是说,因子载荷因子载荷A只由一个正交阵只由一个正交阵T决定决定.载荷载荷A A*=AT与与A都给都给出同一个表示出同一个表示.由由AA=(A*)(A*)对角元给出的共性方差对角元给出的共性方差,也不因也不因T的的选择而改变选择而改变.81正交变换正交变换T相当于相当于刚体刚体旋转旋转(或反射或反射),因子载荷因子载荷A的正交变换的正交变换AT称为称为因子旋转因子旋转估计的协方差阵或相关阵估计的协方差阵或相关阵,残差阵残差阵,特殊方差及共性方差都不随特殊方差及共性方差都不随旋转而变旋转而变.这里这里“残差阵残差阵”为协方差阵或相关阵与估计的为协方差阵或相关阵与估计的AA+Y Y之

42、差之差.82因子旋转的因子旋转的一个一个准则为最大方差准则准则为最大方差准则.它使旋转后的因子载荷的总方差达到最大它使旋转后的因子载荷的总方差达到最大.如如即要选变换即要选变换T使下式最大使下式最大(计算机循环算法计算机循环算法)83需要由需要由X=AF变成变成F=b bX.或或Fj=b bj1X1+b bjpXp j=1,m,称为称为因子得分因子得分(函数函数).这通常用加权最小二乘法或回归法等来求这通常用加权最小二乘法或回归法等来求得得.84总结总结模型模型X=m m+AF+e e因子分析的步骤因子分析的步骤1根据问题选取原始变量根据问题选取原始变量2求其相关阵求其相关阵R,探讨其相关性探

43、讨其相关性3从从R求解初始公共因子求解初始公共因子F及因子载荷矩阵及因子载荷矩阵A(主成分法或最主成分法或最大似然法大似然法)4因子旋转因子旋转5由由X=AF到到F=bX(因子得分函数因子得分函数)6根据因子得分值进行进一步分析根据因子得分值进行进一步分析85回到数值例子回到我们成绩例子.86洛衫矶对洛衫矶对12个人口调查区的数据个人口调查区的数据(data15-01)编号编号总人口总人口总雇员数总雇员数中等校中等校专业服务专业服务中等房价中等房价平均校龄平均校龄项目数项目数1570012.82500270250002100010.96001010000334008.8100010900043

44、80013.61700140250005400012.8160014025000682008.3260060120007120011.440010160008910011.5330060140009990012.534001801800010960013.73600390250001196009.63300801200012940011.440001001300087StatisticsDataReductionFactor:Variables:pop,school,employ,service,houseDescriptive:Statistics(UnivariateDescriptive

45、s,Initialsolution),CorrelationMatrix(Coefficients,Significancelevels)Extraction:Method(Principalcomponent),Analyze(Correlationmatrix),Extract(Number=2factors)Display(Unrotatedfactorsolution,Screeplot),MaximumIterationsfor(25)Rotation:Method(Varmax),Display(Rotatedsolusion,Loadingplot),MaximumIterati

46、onsfor(25)Score:Saveasvariables,Method(Regression),DisplayfactorscorecoefficientmatrixOptions:MissingValue(ExcludecasesListwise),Coefficientdisplayformat(Sortedbysize)888990共同度共同度S Sjaij9192旋转前的因子载荷旋转前的因子载荷93旋转后的因子载荷旋转后的因子载荷第一主因子对中等房价第一主因子对中等房价,中等校平均校龄中等校平均校龄,专业服务项目有绝对值较大专业服务项目有绝对值较大的载荷的载荷(代表一般社会福利代

47、表一般社会福利-福利条件因子福利条件因子);而第二主因子对总人口和而第二主因子对总人口和总雇员数有较大的载荷总雇员数有较大的载荷(代表人口代表人口-人口因子人口因子).正交变换阵正交变换阵94旋转后的旋转后的因子载荷图因子载荷图95因子得分的计算基础因子得分的计算基础(F=b bX)中的中的b b。把把n个观测值代入得到个观测值代入得到FACT_1和和FACT_2存入数据对每个观测值有存入数据对每个观测值有两个因子得分两个因子得分(一点一点)Fj=b bj1X1+b bj5X5,j=1,296因子得分之间不相关因子得分之间不相关97销售人员数据销售人员数据(salesmen.sav)（50个观

48、测值）个观测值）销售增长销售增长销售利润销售利润新客户销售额新客户销售额创造力创造力机械推理机械推理抽象推理抽象推理数学推理数学推理93.0096.0097.809.0012.009.0020.0088.8091.8096.807.0010.0010.0015.0095.00100.3099.008.0012.009.0026.00101.30103.80106.8013.0014.0012.0029.00102.00107.80103.0010.0015.0012.0032.0095.8097.5099.3010.0014.0011.0021.0095.5099.5099.009.0012.

49、009.0025.00110.80122.00115.3018.0020.0015.0051.00102.80108.30103.8010.0017.0013.0031.00106.80120.50102.0014.0018.0011.0039.00103.30109.80104.0012.0017.0012.0032.0099.50111.80100.3010.0018.008.0031.00103.50112.50107.0016.0017.0011.0034.0099.50105.50102.308.0010.0011.0034.009899100101102103旋转后的因子载荷旋转后的因子载荷第一主因子对除了抽象推理和数学推理之外的有绝对值较大的载荷第一主因子对除了抽象推理和数学推理之外的有绝对值较大的载荷(创造机械因子创造机械因子);而第二主因子为数学抽象因子而第二主因子为数学抽象因子.但两个因子解释利润但两个因子解释利润和新销售差不多和新销售差不多.104105106结束主成分和因子分析结束主成分和因子分析后面是些附录内容，不必认真返回选择？知识回顾知识回顾Knowledge ReviewKnowledge Review谢谢谢！谢！放映结束 感谢各位的批评指导！让我们共同进步