主成分分析实例及含义讲解.ppt

《主成分分析实例及含义讲解.ppt》由会员分享，可在线阅读，更多相关《主成分分析实例及含义讲解.ppt（106页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主成分分析和因子分析主成分分析和因子分析 吴喜之吴喜之1汇报什么？汇报什么？假定你是一个公司的财务经理，掌握了公司的所有数据，比如假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等分工和教育程度等等。如果让你向上面介绍公司状况，你能够把这些指标和数字都如果让你向上面介绍公司状况，你能够把这些指标和数字都原原封不动地摆出去吗封不动地摆出去吗？当然不能。当然不能。

2、你必须要把各个方面作出高度概括，你必须要把各个方面作出高度概括，用一两个指标简单明了地用一两个指标简单明了地把情况说清楚。把情况说清楚。2主成分分析主成分分析每个人都会遇到有每个人都会遇到有很多变量很多变量的数据。的数据。比比如如全全国国或或各各个个地地区区的的带带有有许许多多经经济济和和社社会会变变量量的的数数据据；各各个个学校的研究、教学等各种变量的数据等等。学校的研究、教学等各种变量的数据等等。这这些些数数据据的的共共同同特特点点是是变变量量很很多多，在在如如此此多多的的变变量量之之中中，有有很很多多是是相相关关的的。人人们们希希望望能能够够找找出出它它们们的的少少数数“代代表表”来来对

3、对它它们们进行描述。进行描述。本本章章就就介介绍绍两两种种把把变变量量维维数数降降低低以以便便于于描描述述、理理解解和和分分析析的的方方法法：主主成成分分分分析析（principal principal component component analysisanalysis）和和因因子子分分析析（factor factor analysisanalysis）。实实际际上上主主成成分分分分析析可可以以说说是是因因子子分分析析的一个特例的一个特例。在引进主成分分析之前，先看下面的例子。在引进主成分分析之前，先看下面的例子。3成绩数据（成绩数据（student.sav）100个个学学生生的的数数学

4、学、物物理理、化化学学、语语文文、历历史史、英英语语的的成成绩绩如如下下表（部分表（部分）。）。4从本例可能提出的问题从本例可能提出的问题目目前前的的问问题题是是，能能不不能能把把这这个个数数据据的的6 6个个变变量量用一两个综合变量来表示呢？用一两个综合变量来表示呢？这一两个综合变量包含有多少原来的信息呢？这一两个综合变量包含有多少原来的信息呢？能能不不能能利利用用找找到到的的综综合合变变量量来来对对学学生生排排序序呢呢？这这一一类类数数据据所所涉涉及及的的问问题题可可以以推推广广到到对对企企业业，对学校进行分析、排序、判别和分类等问题。对学校进行分析、排序、判别和分类等问题。5空间的点空间

5、的点例例中中的的的的数数据据点点是是六六维维的的；也也就就是是说说，每每个个观观测测值值是是6维维空空间间中中的一个点。我们希望把的一个点。我们希望把6维空间用低维空间表示。维空间用低维空间表示。先先假假定定只只有有二二维维，即即只只有有两两个个变变量量，它它们们由由横横坐坐标标和和纵纵坐坐标标所所代代表表；因因此此每每个个观观测测值值都都有有相相应应于于这这两两个个坐坐标标轴轴的的两两个个坐坐标标值值；如如果果这这些些数数据据形形成成一一个个椭椭圆圆形形状状的的点点阵阵（这这在在变变量量的的二二维维正正态态的假定下是可能的）的假定下是可能的）那那么么这这个个椭椭圆圆有有一一个个长长轴轴和和一

6、一个个短短轴轴。在在短短轴轴方方向向上上，数数据据变变化化很很少少；在在极极端端的的情情况况，短短轴轴如如果果退退化化成成一一点点，那那只只有有在在长长轴轴的的方方向向才才能能够够解解释释这这些些点点的的变变化化了了；这这样样，由由二二维维到到一一维维的的降降维就自然完成了。维就自然完成了。67椭球的长短轴椭球的长短轴当当坐坐标标轴轴和和椭椭圆圆的的长长短短轴轴平平行行，那那么么代代表表长长轴轴的的变变量量就就描描述述了了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。数据的主要变化，而代表短轴的变量就描述了数据的次要变化。但但是是，坐坐标标轴轴通通常常并并不不和和椭椭圆圆的的长长短短

7、轴轴平平行行。因因此此，需需要要寻寻找找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。如如果果长长轴轴变变量量代代表表了了数数据据包包含含的的大大部部分分信信息息，就就用用该该变变量量代代替替原先的两个变量（舍去次要的一维），降维就完成了。原先的两个变量（舍去次要的一维），降维就完成了。椭圆（球）的长短轴相差得越大，降维也越有道理。椭圆（球）的长短轴相差得越大，降维也越有道理。89主轴和主成分主轴和主成分对对于于多多维维变变量量的的情情况况和和二二维维类类似似，也也有有高高维维的的椭椭球球，只不过无法直观地看见罢了。只不过无法直

8、观地看见罢了。首首先先把把高高维维椭椭球球的的主主轴轴找找出出来来，再再用用代代表表大大多多数数数数据据信信息息的的最最长长的的几几个个轴轴作作为为新新变变量量；这这样样，主主成成分分分析就基本完成了。分析就基本完成了。注注意意，和和二二维维情情况况类类似似，高高维维椭椭球球的的主主轴轴也也是是互互相相垂垂直直的的。这这些些互互相相正正交交的的新新变变量量是是原原先先变变量量的的线线性性组合，叫做主成分组合，叫做主成分(principalcomponent)。10主成分之选取主成分之选取正正如如二二维维椭椭圆圆有有两两个个主主轴轴，三三维维椭椭球球有有三三个个主主轴轴一一样，有几个变量，就有几

9、个主成分。样，有几个变量，就有几个主成分。选选择择越越少少的的主主成成分分，降降维维就就越越好好。什什么么是是标标准准呢呢？那那就就是是这这些些被被选选的的主主成成分分所所代代表表的的主主轴轴的的长长度度之之和和占占了了主主轴轴长长度度总总和和的的大大部部分分。有有些些文文献献建建议议，所所选选的的主主轴轴总总长长度度占占所所有有主主轴轴长长度度之之和和的的大大约约85%即即可可，其其实实，这这只只是是一一个个大大体体的的说说法法；具具体体选选几几个个，要要看看实际情况而定。实际情况而定。11主成分分析的数学要要寻寻找找方方差差最最大大的的方方向向。即即使使得得向向量量X的的线线性性组组合合a

10、X的方差最大的方向的方差最大的方向a.而而Var(aX)=aCov(X)a;由由于于Cov(X)未未知知；于于是是用用X的的样样本本相相关关阵阵R来来近近似似.因因此此，要要寻寻找找向向量量a使使得得aRa最最大大(注注意意相相关关阵阵和和协协方方差差阵阵差差一一个个常常数数记得相关阵和特征值问题吗记得相关阵和特征值问题吗?回顾一下吧回顾一下吧!选择几个主成分呢选择几个主成分呢?要看要看“贡献率贡献率.”12对于我们的数据，对于我们的数据，SPSSSPSS输出为输出为这这里里的的InitialEigenvalues就就是是这这里里的的六六个个主主轴轴长长度度，又又称称特特征征值值（数数据据相相

11、关关阵阵的的特特征征值值）。头头两两个个成成分分特特征征值值累累积积占占了了总总方方差差的的81.142%。后后面面的的特特征征值值的的贡贡献献越越来来越少。越少。13特征值的贡献还可以从特征值的贡献还可以从SPSS的所谓碎石图看出的所谓碎石图看出14怎么解释这两个主成分。前面说过主成分是原始六个变怎么解释这两个主成分。前面说过主成分是原始六个变量的线性组合。是怎么样的组合呢？量的线性组合。是怎么样的组合呢？SPSSSPSS可以可以输出下面输出下面的表。的表。这这里里每每一一列列代代表表一一个个主主成成分分作作为为原原来来变变量量线线性性组组合合的的系系数数（比比例例）。比比如如第第一一主主成

12、成分分为为数数学学、物物理理、化化学学、语语文文、历历史史、英英语语这这六六个个变变量量的的线线性性组组合合，系系数数（比比例例）为为-0.806,-0.674,-0.675,0.893,0.825,0.836。15如如用用x x1 1,x x2 2,x x3 3,x x4 4,x x5 5,x x6 6分分别别表表示示原原先先的的六六个个变变量量，而而用用y y1 1,y y2 2,y y3 3,y y4 4,y y5 5,y y6 6表表示示新新的的主主成成分分，那那么么，第第一一和和第第二二主主成分为成分为这这些些系系数数称称为为主主成成分分载载荷荷（loading），它它表表示示主主成

13、成分分和和相相应应的的原先变量的相关系数。原先变量的相关系数。比比如如y1表表示示式式中中x1的的系系数数为为-0.806，这这就就是是说说第第一一主主成成分分和和数数学学变量的相关系数为变量的相关系数为-0.806。相相关关系系数数(绝绝对对值值）越越大大，主主成成分分对对该该变变量量的的代代表表性性也也越越大大。可可以以看看得得出出，第第一一主主成成分分对对各各个个变变量量解解释释得得都都很很充充分分。而而最最后后的的几个主成分和原先的变量就不那么相关了。几个主成分和原先的变量就不那么相关了。16可以把第一和第二主成分的载荷可以把第一和第二主成分的载荷点出一个二维图以直观地显示它点出一个二

14、维图以直观地显示它们如何解释原来的变量的。这个们如何解释原来的变量的。这个图叫做载荷图。图叫做载荷图。17该图该图左面三个点是数学、物理、化学三科左面三个点是数学、物理、化学三科，右边三个点是语文、历史、外右边三个点是语文、历史、外语三科。语三科。图中的六个点由于比较挤，不易分清，但只要认识到这些点的坐图中的六个点由于比较挤，不易分清，但只要认识到这些点的坐标是前面的第一二主成分载荷，坐标是前面表中第一二列中的数目，还是标是前面的第一二主成分载荷，坐标是前面表中第一二列中的数目，还是可以识别的。可以识别的。18因子分析因子分析主主成成分分分分析析从从原原理理上上是是寻寻找找椭椭球球的的所所有有

15、主主轴轴。因因此此，原原先先有有几几个个变变量量，就有几个主成分。就有几个主成分。而而因因子子分分析析是是事事先先确确定定要要找找几几个个成成分分，这这里里叫叫因因子子（factor）（比比如如两两个个），那就找两个。，那就找两个。这这使使得得在在数数学学模模型型上上，因因子子分分析析和和主主成成分分分分析析有有不不少少区区别别。而而且且因因子子分分析析的的计计算算也也复复杂杂得得多多。根根据据因因子子分分析析模模型型的的特特点点，它它还还多多一一道道工工序序：因因子旋转（子旋转（factorrotation）；）；这个步骤可以使结果更好。这个步骤可以使结果更好。当然，对于计算机来说，因子分析

16、并不比主成分分析多费多少时间。当然，对于计算机来说，因子分析并不比主成分分析多费多少时间。从从输输出出的的结结果果来来看看，因因子子分分析析也也有有因因子子载载荷荷（factorloading）的的概概念念，代代表表了了因因子子和和原原先先变变量量的的相相关关系系数数。但但是是在在因因子子分分析析公公式式中中的的因因子子载载荷荷和和主主成成分分分分析析中中的的因因子子载载荷荷位位置置不不同同。因因子子分分析析也也给给出出了了二二维维图图；但但解解释和主成分分析的载荷图类似。释和主成分分析的载荷图类似。19主成分分析与因子分析的公式上的区别主成分分析与因子分析的公式上的区别主成分分析主成分分析因

17、子分析因子分析(m ex=eigen(cor(z)；ex$values1 2.87331359 1.79666009 0.21483689 0.09993405 0.01525537$vectors house services employ school poppop 0.3427304-0.60162927 0.05951715-0.20403274 0.6894972617school 0.4525067 0.40641449 0.68882245 0.35357060 0.1748611748employ 0.3966948-0.54166500 0.24795775-0.022937

18、16-0.6980136963services 0.5500565 0.07781686-0.66407565 0.50038572-0.0001235807house 0.4667384 0.41642892-0.13964890-0.76318182-0.0824254824sweep(ex$ve,2,sqrt(ex$va),*)载荷载荷 house services employ school poppop 0.5809571-0.8064212 0.02758650-0.064499538 8.516163e-02school 0.7670373 0.5447561 0.3192726

19、5 0.111771968 2.159757e-02employ 0.6724314-0.7260453 0.11492966-0.007250974-8.621352e-02services 0.9323926 0.1043054-0.30780239 0.158183675-1.526378e-05house 0.7911612 0.5581795-0.06472796-0.241259690-1.018059e-0254正交性验证正交性验证t(ex$ve)%*%ex$vehouseservicesemployschoolpophouse1.00e+00-5.55e-176.9e-17-1

20、.11e-160.00e+00services-5.55e-171.00e+004.16e-170.00e+00-8.33e-17employ6.94e-174.16e-171.00e+002.78e-175.38e-17school-1.11e-160.00e+002.78e-171.00e+00-1.39e-17pop0.00e+00-8.33e-175.38e-17-1.39e-171.00e+0055相关阵的特征值相关阵的特征值:(R输出输出)2.87331.79670.21480.09990.0153特征向量矩阵特征向量矩阵(列向量列向量)A(R输出输出)0.343-0.60160.

21、0595-0.20400.6894970.4530.40640.68880.35360.1748610.397-0.54170.2480-0.0229-0.6980140.5500.0778-0.66410.5004-0.0001240.4670.4164-0.1396-0.7632-0.0824255657The SAS System 11:15 Sunday,September 22,2002Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative PRIN1 2.87331 1.07

22、665 0.574663 0.57466 PRIN2 1.79666 1.58182 0.359332 0.93399 PRIN3 0.21484 0.11490 0.042967 0.97696 PRIN4 0.09993 0.08468 0.019987 0.99695 PRIN5 0.01526 .0.003051 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.342730 0.601629 0.059517 0.204033 0.689497 X2 0.452507 -.406414 0.688822 -.353571

23、0.174861 X3 0.396695 0.541665 0.247958 0.022937 -.698014 X4 0.550057 -.077817 -.664076 -.500386 -.000124 X5 0.466738 -.416429 -.139649 0.763182 -.082425(SAS输出输出)58销售人员数据销售人员数据(salesmen.sav)（50个观测值）个观测值）销售增长销售增长销售利润销售利润新客户销售额新客户销售额创造力创造力机械推理机械推理抽象推理抽象推理数学推理数学推理93.0096.0097.809.0012.009.0020.0088.8091

24、.8096.807.0010.0010.0015.0095.00100.3099.008.0012.009.0026.00101.30103.80106.8013.0014.0012.0029.00102.00107.80103.0010.0015.0012.0032.0095.8097.5099.3010.0014.0011.0021.0095.5099.5099.009.0012.009.0025.00110.80122.00115.3018.0020.0015.0051.00102.80108.30103.8010.0017.0013.0031.00106.80120.50102.001

25、4.0018.0011.0039.00103.30109.80104.0012.0017.0012.0032.0099.50111.80100.3010.0018.008.0031.00103.50112.50107.0016.0017.0011.0034.0099.50105.50102.308.0010.0011.0034.0059特征值、累积贡献率特征值、累积贡献率60特征值图特征值图61二主成分因子负二主成分因子负荷图荷图62主成分的因子负荷主成分的因子负荷(每列平方和为相应特征值每列平方和为相应特征值,而每列除以相应特而每列除以相应特征值的平方根为相应的特征向量征值的平方根为相应的特

26、征向量)这是主成分与各个变量的相关系这是主成分与各个变量的相关系数数有的书把它当成特征向量了有的书把它当成特征向量了SPSS没有给出特征向量没有给出特征向量63The SAS System Eigenvalues of the Correlation Matrix Eigenvalue Difference Proportion Cumulative PRIN1 5.03460 4.10108 0.719228 0.71923 PRIN2 0.93352 0.43560 0.133359 0.85259 PRIN3 0.49792 0.07667 0.071131 0.92372 PRIN4

27、0.42125 0.34021 0.060178 0.98390 PRIN5 0.08104 0.06070 0.011577 0.99547 PRIN6 0.02034 0.00900 0.002906 0.99838 PRIN7 0.01134 .0.001620 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 PRIN6 PRIN7 SALE 0.433672 -.111754 -.075489 -.042373 0.632494 -.336596 -.527825 BENEFIT 0.420214 0.029287 -.442479

28、 0.010753 -.000118 0.785342 -.099483 NEWSALE 0.421051 0.009202 0.204189 -.324928 -.701026 -.156811 -.399164 CREATIV 0.294286 0.668416 0.451492 -.302712 0.261008 0.114171 0.299960 MECHD 0.349092 0.294944 0.005922 0.846604 -.174263 -.196909 0.072311 ABSD 0.289167 -.642378 0.603780 0.153674 0.086959 0.

29、236261 0.228444 MATHD 0.407404 -.200368 -.434040 -.246013 -.049583 -.371111 0.636224(SAS输出输出)64后面是因子分析后面是因子分析(FactorAnalysis)65因子分析因子分析(FactorAnalysis)66男子径赛记录数据男子径赛记录数据(MTF,p384)100m200m400m800m1500m5000m10000mMarathon10.39 20.81 46.84 1.813.7014.04 29.36 137.72argentin10.3120.0644.84 1.743.5713.28

30、 27.66 128.30 australi10.44 20.81 46.82 1.793.6013.26 27.72 135.90 austria10.34 20.68 45.04 1.733.6013.22 27.45129.95 belgium10.2820.58 45.91 1.803.7514.68 30.55 146.62 bermuda10.22 20.43 45.21 1.733.6613.62 28.62 133.13 brazil女子径赛记录数据女子径赛记录数据(FTF,p34)100m200m400m800m1500m3000mMarathon11.6122.94 54.

31、50 2.154.439.79178.52 argentin11.2022.35 51.08 1.984.139.08152.37 australi11.4323.09 50.62 1.994.229.34159.37 austria11.4123.04 52.00 2.004.148.88157.85 belgium11.4623.05 53.30 2.164.589.81169.98 bermuda11.3123.17 52.80 2.104.499.77168.75 brazil.67人口普查数据人口普查数据(census,p383)5.9414.22.272.272.911.5213.

32、1.60.752.622.60 12.71.241.111.724.0115.21.65.813.02(两个方法区别不大两个方法区别不大)股票数据股票数据(stock,p382).00.00.00.04.00.03-.04.00-.01.04.12.06.09.09.08.06.03.07.01.02.681995中国社会数据中国社会数据(317.sav)变量变量:人均人均GDP(元元)新增固定资产新增固定资产(亿元亿元)城镇居民人均年可支配收入城镇居民人均年可支配收入(元元)农村居民家庭人均纯收人农村居民家庭人均纯收人(元元)高等学校数高等学校数(所所)卫生机构数卫生机构数(个个)地区地区:

33、北京北京天津天津河北河北山西山西内蒙内蒙辽宁辽宁吉林吉林黑龙江黑龙江上海上海江苏江苏浙江浙江安徽安徽福建福建江西江西山东山东河南河南湖北湖北湖南湖南广东广东广西广西海南海南四川四川贵州贵州云南云南陕西陕西甘肃甘肃青海青海宁夏宁夏新疆新疆(296矩阵矩阵)北京北京1026530.8162353223654955天津天津816449.1349292406213182河北河北337677.76392116684710266山西山西281933.9733051206265922内蒙内蒙301354.5128631208194915.于秀林书上说可有三个因子于秀林书上说可有三个因子:收入因子收入因子,社

34、会因子社会因子,投资因子投资因子6935家家中国上市公司中国上市公司2000年年报数据年年报数据(Chcomp.sav)变量变量:净资产收益率净资产收益率%,总资产报酬率总资产报酬率%,资产负债率资产负债率%,总资产周转率总资产周转率,流动资产周转率流动资产周转率,已已获利息倍数获利息倍数,销售增长率销售增长率%,资本积累率资本积累率%公司公司:深能源深能源,深南电深南电,富龙热力富龙热力,穗恒运穗恒运,粤电力粤电力,韶能股份韶能股份,惠天热电惠天热电,原水股份原水股份,大连热电大连热电,龙电股份龙电股份,华银电力华银电力,长春经开长春经开,兴业房产兴业房产,金丰投资金丰投资,新黄新黄浦浦,浦

35、东金桥浦东金桥,外高桥外高桥,中华企业中华企业,渝开渝开发发,辽房天辽房天,粤宏远粤宏远,ST中福中福,倍特高新倍特高新,三木集团三木集团,寰岛实业寰岛实业,中关中关村村,中兴通讯中兴通讯,长城电脑长城电脑,青青鸟华光鸟华光,清华同方清华同方,永鼎光缆永鼎光缆,宏图高科宏图高科,海星科技海星科技,方正科技方正科技,复华实业复华实业(358矩阵矩阵)深能源深能源16.8512.3542.32.371.787.1845.7354.5深南电深南电22.0015.3046.51.761.7715.6748.1119.41富龙热力富龙热力8.977.9830.56.17.5810.4317.809.44

36、.70SpearmansExample有一组古典文学、法语、英语、数学和音乐的测验成绩有一组古典文学、法语、英语、数学和音乐的测验成绩，从它们的相关性从它们的相关性表明存在一个潜在的表明存在一个潜在的“智力智力”因子（因子（F1）。）。而另一组变量，表示身体健康而另一组变量，表示身体健康的得分，只要有效就可以对应另一个潜在的因子（的得分，只要有效就可以对应另一个潜在的因子（F2）。）。记这些变量为记这些变量为(X1,Xp).我要我要寻求下面这样的结构：寻求下面这样的结构：7172正交因子模型：正交因子模型：X-m m=AF+e em mi=变量变量i的均值的均值e ei=第第i个特殊因子个特殊

37、因子Fi=第第i个公共因子个公共因子aij=第第i个变量在个变量在第第j个因子上的载荷个因子上的载荷不能观测的值满足下列条件：不能观测的值满足下列条件：F和和e e独立独立E(F)=0,Cov(F)=IE(e e)=0,Cov(e e)=Y Y,Y Y是对角矩阵是对角矩阵73F为公共因子向量为公共因子向量,每个公共因子每个公共因子(如如Fi)是是对模型中每个变量都起作用的因子对模型中每个变量都起作用的因子;而而e e为为特殊因子向量特殊因子向量,每个特殊因子每个特殊因子(如如e ei)只对一只对一个变量个变量(第第i个个)起作用起作用.74因子分析的方法在于估计因子分析的方法在于估计S S=A

38、A+Y Y和和Y Y,再再分解以得到分解以得到A.X的协方差阵的协方差阵S S可以可以分解成分解成这里这里l l1l l2l lp为为S S的特征值的特征值;而而e1,ep为相应的为相应的特征向量特征向量(e1,ep为主成分的系数为主成分的系数,因此称为主成因此称为主成分法分法).上面分解总是取和数的重要的头几项来近似上面分解总是取和数的重要的头几项来近似.75X的协方差阵的协方差阵S S可以近似为可以近似为(如如Y Y忽略忽略)如如Y Y不忽略不忽略,S S可以近似为可以近似为应用中应用中,S,S可以用样本相关阵可以用样本相关阵R代替代替.76正交模型正交模型X=m m+AF+e e的协方差

39、结构的协方差结构根据前面模型，可以得出下面结果：根据前面模型，可以得出下面结果：上面上面s sii2=S Sjaij2+y yi2中中,S Sjaij2称为称为共性方差共性方差(公共方差公共方差或或变量共同度变量共同度commonvariance,communalities)，而，而y yi2称为称为特殊方差特殊方差.变量共同度刻画全部公共因子对变量变量共同度刻画全部公共因子对变量Xi的总方差所做的贡献的总方差所做的贡献.77的统计意义就是第的统计意义就是第i个变量与第个变量与第j个公共因子的相关个公共因子的相关系数系数,表示表示Xi依赖依赖Fj的的份量份量,这里这里eij是相应于特征值是相应

40、于特征值l li的特征向量的特征向量ei的第的第j个分量个分量.因子载荷阵中各列元素的平方和因子载荷阵中各列元素的平方和Sj=S Siaij2称为公共称为公共因子因子Fj对对X诸变量的方差贡献之总和诸变量的方差贡献之总和因子载荷因子载荷78除主成分法外还有最大似然法来估计除主成分法外还有最大似然法来估计A,m m和和Y Y(在多在多元正态分布的假定下元正态分布的假定下).当然当然,还有其他方法还有其他方法(有些互有些互相类似相类似).).79令令T为为任意任意m正交方阵正交方阵(TT=TT=I),则则X-m m=AF+e=e=ATTF+e=Ae=A*F*+e,e,这里这里A A*=AT,F*=

41、TF.因此因此S S=AA+Y Y=ATTA+Y Y=(A*)(A*)+Y Y也就是说也就是说,因子载荷因子载荷A只由一个正交阵只由一个正交阵T决定决定.载荷载荷A A*=AT与与A都给出同一个表示都给出同一个表示.由由AA=(A*)(A*)对角元给出的共性方差对角元给出的共性方差,也不因也不因T的选择的选择而改变而改变.80正交变换正交变换T相当于相当于刚体刚体旋转旋转(或反射或反射),因子载荷因子载荷A的正交变换的正交变换AT称为称为因因子旋转子旋转估计的协方差阵或相关阵估计的协方差阵或相关阵,残差阵残差阵,特殊方差及共性方差都不随旋转而特殊方差及共性方差都不随旋转而变变.这里这里“残差阵

42、残差阵”为协方差阵或相关为协方差阵或相关阵与估计的阵与估计的AA+Y Y之差之差.81因子旋转的因子旋转的一个一个准则为最大方差准则准则为最大方差准则.它使旋转它使旋转后的因子载荷的总方差达到最大后的因子载荷的总方差达到最大.如如即要选变换即要选变换T使下式最大使下式最大(计算机循环算法计算机循环算法)82需要由需要由X=AF变成变成F=b bX.或或Fj=b bj1X1+b bjpXp j=1,m,称为称为因子得分因子得分(函数函数).这通常用加权最小二乘法或回归法等来求得这通常用加权最小二乘法或回归法等来求得.83总结总结模型模型X=m m+AF+e e因子分析的步骤因子分析的步骤1根据问

43、题选取原始变量根据问题选取原始变量2求其相关阵求其相关阵R,探讨其相关性探讨其相关性3从从R求解初始公共因子求解初始公共因子F及因子载荷矩阵及因子载荷矩阵A(主主成分法或最大似然法成分法或最大似然法)4因子旋转因子旋转5由由X=AF到到F=bX(因子得分函数因子得分函数)6根据因子得分值进行进一步分析根据因子得分值进行进一步分析84回到数值例子回到我们成绩例子.85洛衫矶对洛衫矶对12个人口调查区的数据个人口调查区的数据(data15-01)编号编号总人口总人口总雇员数总雇员数中等校中等校专业服务专业服务中等房价中等房价平均校龄平均校龄项目数项目数1570012.825002702500021

44、00010.96001010000334008.810001090004380013.61700140250005400012.8160014025000682008.3260060120007120011.440010160008910011.5330060140009990012.534001801800010960013.73600390250001196009.63300801200012940011.440001001300086StatisticsDataReductionFactor:Variables:pop,school,employ,service,houseDescrip

45、tive:Statistics(UnivariateDescriptives,Initialsolution),CorrelationMatrix(Coefficients,Significancelevels)Extraction:Method(Principalcomponent),Analyze(Correlationmatrix),Extract(Number=2factors)Display(Unrotatedfactorsolution,Screeplot),MaximumIterationsfor(25)Rotation:Method(Varmax),Display(Rotate

46、dsolusion,Loadingplot),MaximumIterationsfor(25)Score:Saveasvariables,Method(Regression),DisplayfactorscorecoefficientmatrixOptions:MissingValue(ExcludecasesListwise),Coefficientdisplayformat(Sortedbysize)878889共同度共同度S Sjaij9091旋转前的因子载荷旋转前的因子载荷92旋转后的因子载荷旋转后的因子载荷第一主因子对中等房价第一主因子对中等房价,中等校平均校龄中等校平均校龄,专业服

47、务专业服务项目有绝对值较大的载荷项目有绝对值较大的载荷(代表一般社会福利代表一般社会福利-福利福利条件因子条件因子);而第二主因子对总人口和总雇员数有较而第二主因子对总人口和总雇员数有较大的载荷大的载荷(代表人口代表人口-人口因子人口因子).正交变换阵正交变换阵93旋转后的旋转后的因子载荷图因子载荷图94因子得分的计算基础因子得分的计算基础(F=b bX)中的中的b b。把把n个观测值代入得到个观测值代入得到FACT_1和和FACT_2存入数据对每个存入数据对每个观测值有两个因子得分观测值有两个因子得分(一点一点)Fj=b bj1X1+b bj5X5,j=1,295因子得分之间不相关因子得分之

48、间不相关96销售人员数据销售人员数据(salesmen.sav)（50个观测值）个观测值）销售增长销售增长销售利润销售利润新客户销售额新客户销售额创造力创造力机械推理机械推理抽象推理抽象推理数学推理数学推理93.0096.0097.809.0012.009.0020.0088.8091.8096.807.0010.0010.0015.0095.00100.3099.008.0012.009.0026.00101.30103.80106.8013.0014.0012.0029.00102.00107.80103.0010.0015.0012.0032.0095.8097.5099.3010.00

49、14.0011.0021.0095.5099.5099.009.0012.009.0025.00110.80122.00115.3018.0020.0015.0051.00102.80108.30103.8010.0017.0013.0031.00106.80120.50102.0014.0018.0011.0039.00103.30109.80104.0012.0017.0012.0032.0099.50111.80100.3010.0018.008.0031.00103.50112.50107.0016.0017.0011.0034.0099.50105.50102.308.0010.0011.0034.00979899100101102旋转后的因子载荷旋转后的因子载荷第一主因子对除了抽象推理和数学推理之外的有绝第一主因子对除了抽象推理和数学推理之外的有绝对值较大的载荷对值较大的载荷(创造机械因子创造机械因子);而第二主因子为而第二主因子为数学抽象因子数学抽象因子.但两个因子解释利润和新销售差不但两个因子解释利润和新销售差不多多.103104105结束主成分和因子分析结束主成分和因子分析后面是些附录内容，不必认真返回选择？106