多元统计分析主成分分析.ppt

《多元统计分析主成分分析.ppt》由会员分享，可在线阅读，更多相关《多元统计分析主成分分析.ppt（83页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、多元统计分析主成分分析现在学习的是第1页，共83页主成分分析的基本思想主成分分析的基本思想主成分的计算主成分的计算主成分的性质主成分的性质主成分分析的应用主成分分析的应用主成分回归主成分回归现在学习的是第2页，共83页 一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。1 基本思想现在学习的是第3页，共83页 在进行主成分分析后，竟以97.4的精度，用三新变量就取代了原17个变量。根据经济学知识，

2、斯通给这三个新变量分别命名为总收入总收入F1、总收入变化率总收入变化率F2和经济发经济发展趋势展趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析，得到下表：现在学习的是第4页，共83页F1F1F2F2F3F3i ii it tF1F11 1F2F20 01 1F3F30 00 01 1i i0.9950.995-0.041-0.0410.0570.057l li i-0.056-0.0560.9480.948-0.124-0.124-0.102-0.102l lt t-0.369-0.369-0.282-

3、0.282-0.836-0.836-0.414-0.414-0.112-0.1121 1现在学习的是第5页，共83页主成分分析的基本思想 主成分分析就是把原有的多个指标转化成少数几个代表性较好的综合指标，这少数几个指标能够反映原来指标大部分的信息（85%以上），并且各个指标之间保持独立，避免出现重叠信息。主成分分析主要起着降维和简化数据结构的作用。现在学习的是第6页，共83页 主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一

4、定的相关性。现在学习的是第7页，共83页 主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理。很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。现在学习的是第8页，共83页2 数学模型与几何解释 假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，Xp，主成分分析就是要把这p个指标的问题，转变为讨论 m 个新的指标F1，F2，Fm(mp），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。现在学习的是第9页，共83页npnnppXXXXXXXXXX212222111

5、211niiiiXXXX21其中pXXX21现在学习的是第10页，共83页XXaXaXaFXXaXaXaFXXaXaXaFppppppppppp2211222221122112211111 这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。现在学习的是第11页，共83页)()(121XVarkXkVar所以如果不对 加以限制，问题就变得无意义。1最大最大因此限制 为单位向量。1)()(1piiiXaVarXVarijjpjijiipiiiisaasa1,122piijjpjisaa11)(XVar现在学习的是第12页，共83页满足

6、如下的条件：122221piiiaaapjijiFFCovji，），（210)()(21pFVarFVarFVar）（主成分之间相互独立，即无重叠的信息。即主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为每个主成分的系数平方和为1。即。即现在学习的是第13页，共83页2x1x1F2F主成分分析的几何解释平移、旋转坐标轴现在学习的是第14页，共83页2x1x1F2F主成分分析的几何解释平移、旋转坐标轴现在学习的是第15页，共83页2x1x1F2F主成分分析的几何解释平移、旋转坐标轴现在学习的是第16页，

7、共83页 旋转变换的目的是为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大 部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。现在学习的是第17页，共83页 Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的n个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。现在学习的是第

8、18页，共83页2x1x1F2F主成分分析的几何解释平移、旋转坐标轴现在学习的是第19页，共83页主成分的计算先讨论二维情形212122211211XXXXXXXXXnn求主成分F1和F2。现在学习的是第20页，共83页21,xx观察图，我们已经把主成分F1和F2 的坐标原点放在平均值 所在处，从而使得F1和F2 成为中心化的变量，即F1和F2 的样本均值都为零。现在学习的是第21页，共83页因此F1可以表示为)()(222111111xxaxxaF),(2111aa关键关键是，寻找合适的单位向量 ，使F1的方差最大。122111222211121112)(saasasaFVar2111222

9、112112111)(aassssaa最大最大1问题的答案问题的答案是：X的协方差矩阵S 的最大特征根 所对应的单位特征向量即为 。并且 就是F1的方差。2111,aa1推导现在学习的是第22页，共83页同样，F2可以表示为)()(222211122xxaxxaF),(2212aa寻找合适的单位向量 ，使F2与F1独立，且使F2的方差（除F1之外）最大。2问题的答案问题的答案是：X的协方差矩阵S 的第二大特征根 所对应的单位特征向量即为 。并且 就是F2的方差。2212,aa2推导现在学习的是第23页，共83页求解主成分的步骤：求解主成分的步骤：1.求样本均值 和样本协方差矩阵S;),(21x

10、xX 2.求S的特征根求解特征方程 ，其中I是单位矩阵，解得2个特征根 0 IS2121,3.求特征根所对应的单位特征向量4.写出主成分的表达式现在学习的是第24页，共83页例1 下面是8 个学生两门课程的成绩表 6585709065455565数学10090707085555545语文1x2x对此进行主成分分析。1.求样本均值和样本协方差矩阵求样本均值和样本协方差矩阵5.6725.7121xxX5.1871.1034.323S现在学习的是第25页，共83页IS2.求解特征方程 0 05.1871.1031.1034.32301.103)5.187)(4.323(2 化简得：09.500079

11、.5102 解得：132,9.37821 5.1871.1034.323S现在学习的是第26页，共83页3.求特征值所对应的单位特征向量 1所对应的单位特征向量 ，0)(11S 其中21111aa0)9.3785.187(1.10301.103)9.3784.323(21112111aaaa1221211 aa解得（2111,aa）=)47.0,88.0(2所对应的单位特征向量 0)(22S ，其中221220)1325.187(1.10301.103)1324.323(22122212aaaa1222212aa解得：)88.0,47.0(),(2212aa5.1871.1034.323S现在

12、学习的是第27页，共83页4.得到主成分的表达式)5.67(47.0)25.71(88.0211xxF第二主成分：)5.67(88.0)25.71(47.0212xxF第一主成分：5.主成分的含义通过分析主成分的表达式中原变量前的系数来解释各主成分的含义。第一主成分F1是 和 的加权和，表示该生成绩的好坏。1x2x第二主成分F2表示学生两科成绩的均衡性 现在学习的是第28页，共83页6.比较主成分重要性比较主成分重要性 第一主成分F1的方差为9.3781第二主成分F2的方差为1322方差贡献率)()()(211211FVarFVarFVar%16.741329.3789.378%84.2513

13、29.378132212方差贡献率为 主成分F1和F2的方差总和为219.5101329.378原变量和1x2x的方差总和为9.5105.1874.3232211 ss总方差保持不变总方差保持不变现在学习的是第29页，共83页身高x1(cm)胸围x2(cm)体重x3(kg)149.5162.5162.7162.2156.5156.1172.0173.2159.5157.769.577.078.587.574.574.576.581.574.579.038.555.550.865.549.045.551.059.543.553.5例2 下表是10位学生的身高1x、胸围2x、体重3x的数据。对此进

14、行主成分分析。现在学习的是第30页，共83页1.求样本均值和样本协方差矩阵 2.513.772.161321xxx53.5558.3200.3011.2112.1767.46S 2.求解协方差矩阵的特征方程 0 IS 053.5558.3200.3058.3211.2112.1700.3012.1767.463.解得三个特征值 15.98160.23256.13)71.0,42.0,56.0(),(312111aaa)48.0,33.0,81.0(),(322212aaa)53.0,85.0,03.0(),(332313aaa和对应的单位特征向量：现在学习的是第31页，共83页4.由此我们可以

15、写出三个主成分的表达式：)2.51(71.0)3.77(42.0)2.161(56.03211xxxF)2.51(48.0)3.77(33.0)2.161(81.03212xxxF)2.51(53.0)3.77(85.0)2.161(03.03213xxxF5.主成分的含义F1表示学生身材大小。F2反映学生的体形特征 现在学习的是第32页，共83页三个主成分的方差贡献率分别为：%6.7931.12315.9856.160.2315.9815.98311ii%1.1931.12360.23312ii%3.131.12356.1313ii前两个主成分的累积方差贡献率为：%7.9831.12375.

16、1213121ii现在学习的是第33页，共83页5.155.030.008.021.075.0543212xxxxxF8.1960.060.015.042.030.0543213xxxxxF1.1118.052.000.078.030.0543214xxxxxF9.1315.029.092.019.008.0543215xxxxxF例3 对88个学生5 门不同课程的考试成绩进行分析，要求用合适的方法对这5 门课程成绩进行平均，以对88个学生的成绩进行评比。这5门课程是：Mechanics Vectors (闭)，Algebra Analysis Statistics (开)。1x2x4x3x5

17、x经计算，得到5个主成分的表达式如下：现在学习的是第34页，共83页这5个主成分的方差分别为679.2，199.8，102.6,83.7和31.8。前两个主成分各自的贡献率和累积贡献率为%91.611.10972.679511ii%21.181.10978.199512ii%12.80%21.18%91.615121ii现在学习的是第35页，共83页在一般情况下，设有n个样品，每个样品观测p个指 标，将原始数据排成如下矩阵：npnnppxxxxxxxxx.212222111211现在学习的是第36页，共83页),.,(21pxxxX求样本均值和样本协方差矩阵S;2.求解特征方程IS=0,其中I

18、是单位矩阵0.212222111211ppppppsssssssss,解得p个特征根p,.,21).(21p3.求k所对应的单位特征向量k),.,2,1(pk 即需求解方程组0)(kkIS其中),.,(21pkkkkaaa 现在学习的是第37页，共83页0.21212222111211pkkkkpppppkpkaaasssssssss 再加上单位向量的条件 1.22221pkkkaaa解得),.,(21pkkkkaaa4.写出主成分的表达式 )(.)()(222111pppkkkkxxaxxaxxaF现在学习的是第38页，共83页根据累积贡献率的大小取前面m 个(m|t|Interceptx1

19、X2x31111-10.12799-0.051400.586950.286851.212160.070280.094620.10221-8.36-0.736.202.810.00010.48830.00040.0263ParameterEstimatesDependentMean21.89091R-Square0.9919RootMSE0.48887AdjR-Sq0.9884SummaryofFit现在学习的是第67页，共83页F1F2F3x1X2x30.70630.04350.7065-0.03570.9990-0.02580.70700.0070-0.7072EigenvectorsEig

20、envalueDifferenceProportionCumulativePCR1PCR2PCR31.99920.99820.00261.00100.99550.66640.33270.00090.66640.99911.0000EigenvaluesoftheCorrelationMatrixF1=0.7063x1+0.0435x2+0.7065x3F2=-0.0357x1+0.9990 x2-0.0258x3现在学习的是第68页，共83页 SourceDFSumofSquaresMeanSquareF值值ProbFModelErrorTotal28109.88280.117210.0000

21、4.94140.0147337.23020.0001AnalysisofVarianceVariableDFEstimateStandardErrort值值Prob|t|F1F2110.69000.19130.02710.038325.48594.99300.00010.0011ParameterEstimates现在学习的是第69页，共83页2119130.068998.0FFy*3*2*14825.02211.04804.0 xxxy3211062.06091.00727.0130.9xxxy标准化后的变量63.2073.1394826.065.13.322.03059.1944805.0

22、5437.489.21321xxxy把标准化变量还原，代入得：现在学习的是第70页，共83页影响人们外出旅游的因素有居民收入、交通、闲暇影响人们外出旅游的因素有居民收入、交通、闲暇时间、旅游目的地治安状况、旅游目的地的环境卫时间、旅游目的地治安状况、旅游目的地的环境卫生以及接待能力等等。生以及接待能力等等。由于资料的可得性和代表性，选择以下变量由于资料的可得性和代表性，选择以下变量。国内旅游人数（百万人）y农村居民人均纯收入（元）1x城镇居民人均可支配收入（元）2x公路线路里程（万公里）3x数据见sasuser.tourmx例例2 国内旅游人数模型国内旅游人数模型现在学习的是第71页，共83页

23、VariableDFEstimateStandardErrort值值Prob|t|InterceptIncomeonIncomeocHighway1111417.8201-0.13810.1737-3.000974.02300.06990.03020.81925.6445-1.97595.7589-3.66330.00050.08360.00040.0064ParameterEstimatesDependentMean558.1017R-Square0.9920RootMSE19.2003AdjR-Sq0.9890SummaryofFit现在学习的是第72页，共83页F1F2F3x1X2x30

24、.58100.59180.5588-0.5167-0.26230.81500.6289-0.76220.1533EigenvectorsEigenvalueDifferenceProportionCumulativePCR1PCR2PCR32.80880.18500.00622.62380.17880.93630.06170.00210.93630.99791.0000EigenvaluesoftheCorrelationMatrixF1=0.5810 x1+0.5918x2+0.5588x3F2=-0.5167x1-0.2623x2+0.8150 x3现在学习的是第73页，共83页 Sour

25、ceDFSumofSquaresMeanSquareF值值ProbFModelErrorTotal291110.71130.288711.00005.35560.0321166.93280.0001AnalysisofVarianceVariableDFEstimateStandardErrort值值Prob|t|F1F2110.5767-0.46200.03220.125617.8977-3.67940.00010.0051ParameterEstimates现在学习的是第74页，共83页214620.05767.0FFy*3*2*11741.03231.03213.0 xxxy标准化后的变

26、量36.1990.1211741.084.186566.41673231.026.67063.15753213.091.18210.558321xxxy把标准化变量还原，代入得：3216448.103167.008768.08482.286xxxy现在学习的是第75页，共83页 地区经济发展现状及潜力分析 长江三角洲经济发展状况分析 长江三角洲产业发展状况分析 城市竞争力评价指标体系 区域智力资本的测度 区域创新能力对经济增长的影响分析 区域智力资本对经济增长的影响分析 区域软实力评价体系研究现在学习的是第76页，共83页主成分的推导主成分的推导 （一）（一）第一主成分第一主成分XxaxaFp

27、p1111111111)()(XVarFVarmax寻找合适的单位向量 ，使F1的方差最大。1)1(1111 Q022111Q现在学习的是第77页，共83页022111Q11表明：应为 的特征值，而 为与 对应的单位特征向量。1 11111)(FVar而且可见 应取 的最大特征根。现在学习的是第78页，共83页如果第一主成分的信息不够，则需要寻找第二主成分。XxaxaFpp221122（二）（二）第二主成分第二主成分2222)()(XVarFVar寻找合适的单位向量 ，使F2的方差最大。21222222)1(Q02221222Qmax0),cov(2121 FF121212现在学习的是第79页

28、，共83页0122用 左乘上式，10112121 00因而0022表明：应为 的特征值，而 为与 对应的单位特征向量。222222)(FVar而且这时 能再取 了，应取 。12现在学习的是第80页，共83页主成分的改进1、无量纲化的改进无量纲化的改进从标准化的数据提取的主成分，实际上只包含了各指标间相互影响从标准化的数据提取的主成分，实际上只包含了各指标间相互影响这一部分信息，不能准确反映原始数据所包含的全部信息。这一部分信息，不能准确反映原始数据所包含的全部信息。)var(),cov(),cov(),cov()var(),cov(),cov(),cov()var()(2122121211pp

29、pppxxxxxxxxxxxxxxxXVarRxxxxyxxxxxxxpppp1),(),(),(1),(),(),(121212121现在学习的是第81页，共83页改进原始数据的无量纲化方法改进原始数据的无量纲化方法 均值化方法均值化方法ijijijixxxx均值化后，数据的协方差矩阵均值化后，数据的协方差矩阵S中的元素中的元素)1)(1(11kikjijnijkxxxxnunikjkikjijxxxxxxn1)(1kjjkxxs现在学习的是第82页，共83页均值化后，数据的协方差矩阵均值化后，数据的协方差矩阵2221122222212211121122111Spppppppppppxsxxsxxsxxsxsxxsxxsxxsxs对角线上是原变量标准差系数的平方，其他位置上是变对角线上是原变量标准差系数的平方，其他位置上是变量两两之间的相互关系。量两两之间的相互关系。均值化处理后的协方差矩阵不仅消除了指标量纲与数量级均值化处理后的协方差矩阵不仅消除了指标量纲与数量级的影响，还能包含原始数据的全部信息。的影响，还能包含原始数据的全部信息。现在学习的是第83页，共83页