第三章主成分分析new.ppt

第三章主成分分析new现在学习的是第1页，共113页 主成分分析 主成分回归 立体数据表的主成分分析现在学习的是第2页，共113页 一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。1 基本思想现在学习的是第3页，共113页 在进行主成分分析后，竟以97.4的精度，用三个新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。现在学习的是第4页，共113页 主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。现在学习的是第5页，共113页 主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据进行最佳综合简化，也就是说，对高维变量空间进行降维处理。很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。现在学习的是第6页，共113页 在力求数据信息丢失最少的原则下，对高维的变量空间降维，即研究指标体系的少数几个线性组合，并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。现在学习的是第7页，共113页要讨论的问题:(1)基于相关系数矩阵还是基于协方差矩阵做主成分分析。当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。现在学习的是第8页，共113页（2）选择几个主成分。主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。（3）如何解释主成分所包含的经济意义。现在学习的是第9页，共113页2 数学模型与几何解释 假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1，F2，Fk(kp），要求保留主要信息量的原则（即充分反映原指标的信息），并且相互独立。现在学习的是第10页，共113页这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合 Fi。现在学习的是第11页，共113页满足如下的条件：主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为1。即现在学习的是第12页，共113页主成分分析的几何解释平移、旋转坐标轴现在学习的是第13页，共113页主成分分析的几何解释平移、旋转坐标轴现在学习的是第14页，共113页主成分分析的几何解释平移、旋转坐标轴现在学习的是第15页，共113页主成分分析的几何解释平移、旋转坐标轴现在学习的是第16页，共113页为了方便，我们在二维空间中讨论主成分的几何意义。设有n个样品，每个样品有两个观测变量xl和x2，在由变量xl和x2所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着xl轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl的方差和x2的方差定量地表示。显然，如果只考虑xl和x2中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。现在学习的是第17页，共113页 如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转 角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。现在学习的是第18页，共113页 根据旋转变换的公式：现在学习的是第19页，共113页 旋转变换的目的是为了使得n个样品点在Fl轴方向上的离 散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大 部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。现在学习的是第20页，共113页 Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的样本点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。现在学习的是第21页，共113页3 主成分的推导及性质 一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使其中 是A的特征根。现在学习的是第22页，共113页 2、若上述矩阵的特征根所对应的单位特征向量为 则实对称阵 属于不同特征根所对应的特征向量是正交的，即有令现在学习的是第23页，共113页 二、主成分的推导（一）第一主成分设X的协方差阵为由于x为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得现在学习的是第24页，共113页 其中 1，2，p为x的特征根，不妨假设 1 2 p。而U恰好是由特征根相对应的特征向量所组成的正交阵。下面我们来看，是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。现在学习的是第25页，共113页设有P维正交向量现在学习的是第26页，共113页当且仅当 时，即 时，有最大的方差。因为现在学习的是第27页，共113页如果第一主成分的信息不够，则需要寻找第二主成分。现在学习的是第28页，共113页（二）第二主成分如果第一主成分的信息不够，则寻找第二主成分 因为现在学习的是第29页，共113页 所以如果取线性变换：则 的方差次大。类推 现在学习的是第30页，共113页写为矩阵形式：现在学习的是第31页，共113页4 主成分的性质一、方差为所有特征根之和 说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。协方差矩阵 的对角线上的元素之和等于特征根之和。现在学习的是第32页，共113页 二、精度分析 1）贡献率：第i个主成分的方差在全部方差中所占比重，称为贡献率，因为，第一主成分的方差最大，其贡献率也最大，说明它综合原来P个指标的信息的能力最强，其它主成分依次渐弱。2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。现在学习的是第33页，共113页 我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，Fk（kp）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量80%以上的信息量为依据，即当累积贡献率80%时的主成分的个数就足够了。最常见的情况是主成分为2到3个。现在学习的是第34页，共113页三、原始变量与主成分之间的相关系数现在学习的是第35页，共113页 可见，和 的相关的密切程度取决于对应线性组合系数的大小。现在学习的是第36页，共113页现在学习的是第37页，共113页四、原始变量被主成分的提取率 前面我们讨论了主成分的贡献率和累计贡献率，它度量了F1，F2，Fm分别从原始变量X1，X2，XP中提取了多少信息。那么X1，X2，XP各有多少信息分别被F1，F2，Fm提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，XP的关系时，可以讨论F1分别与X1，X2，XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。现在学习的是第38页，共113页 如果我们仅仅提出了m个主成分，则第i 原始变量信息的被提取率为：是Fj 能说明的第i 个原始变量的方差是Fj 提取的第i 个原始变量信息的比重现在学习的是第39页，共113页 例：设 的协方差矩阵为 解得特征根为，第一个主成分的贡献率为 5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。现在学习的是第40页，共113页Xi与F1的相关系数平方Xi与F2的相关系数平方信息提取率xi1 0.925 0.855 0 0 0.8552-0.998 0.996 0 0 0.9963 0 0 1 1 0现在学习的是第41页，共113页 定义：如果一个主成分仅仅对某一个原始变量有作用，则称为特殊成分。如果一个主成分所有的原始变量都起作用称为公共成分。(该题无公共因子）现在学习的是第42页，共113页5 主成分分析的步骤 在实际问题中，X的协方差阵通常是未知的，样品有 则样本协差阵为：第一步：由X的协方差阵x，求出其特征根，即解方程，可得特征根。一、基于协方差矩阵现在学习的是第43页，共113页 第二步：求出特征根分别对应的特征向量U1，U2，Up，第三步：计算累积贡献率，给出恰当的主成分个数。第四步：综合评价。计算所选出的k个主成分的得分。将原始数据代入前k个主成分的表达式，分别计算出各单位k个主成分的得分，以方差贡献率为权数，求得k个主成分的得分的加权平均数，并按得分值的大小排队评价。现在学习的是第44页，共113页 二、基于相关系数矩阵 如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。现在学习的是第45页，共113页 例一 应收账款是指企业因对外销售产品、材料、提供劳务及其它原因，应向购货单位或接受劳务的单位收取的款项，包括应收销货款、其它应收款和应收票据等。出于扩大销售的竞争需要，企业不得不以赊销或其它优惠的方式招揽顾客，由于销售和收款的时间差，于是产生了应收款项。应收款赊销的效果的好坏，不仅依赖于企业的信用政策，还依赖于顾客的信用程度。由此，评价顾客的信用等级，了解顾客的综合信用程度，做到“知己知彼，百战不殆”，对加强企业的应收账款管理大有帮助。某企业为了了解其客户的信用程度，采用西方银行信用评估常用的5C方法，5C的目的是说明顾客违约的可能性。现在学习的是第46页，共113页 1、品格（用X1表示），指顾客的信誉，履行偿还义务的可能性。企业可以通过过去的付款记录得到此项。2、能力（用X2表示），指顾客的偿还能力。即其流动资产的数量和质量以及流动负载的比率。顾客的流动资产越多，其转化为现金支付款项的能力越强。同时，还应注意顾客流动资产的质量，看其是否会出现存货过多过时质量下降，影响其变现能力和支付能力。3、资本（用X3表示），指顾客的财务实力和财务状况，表明顾客可能偿还债务的背景。4、附带的担保品（用X4表示），指借款人以容易出售的资产做抵押。5、环境条件（用X5表示），指企业的外部因素，即指非企业本身能控制或操纵的因素。现在学习的是第47页，共113页 首先抽取了10家具有可比性的同类企业作为样本，又请8位专家分别给10个企业的5个指标打分，然后分别计算企业5个指标的平均值，如表。76.5 81.5 76 75.8 71.7 85 79.2 80.3 84.4 76.570.6 73 67.6 68.1 78.5 94 94 87.5 89.5 9290.7 87.3 91 81.5 80 84.6 66.9 68.8 64.8 66.477.5 73.6 70.9 69.8 74.8 57.7 60.4 57.4 60.8 6585.6 68.5 70 62.2 76.5 70 69.2 71.7 64.9 68.9；现在学习的是第48页，共113页 Total Variance=485.31477778 Eigenvalues of the Covariance Matrix Eigenvalue Proportion Cumulative PRIN1 410.506 0.845854 0.84585 PRIN2 43.264 0.089146 0.93500 PRIN3 20.670 0.042591 0.97759 PRIN4 8.071 0.016630 0.99422 PRIN5 2.805 0.005779 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.468814-.830612 0.021406 0.254654-.158081 X2 0.484876 0.329916 0.014801-.287720-.757000 X3 0.472744-.021174-.412719-.588582 0.509213 X4 0.461747 0.430904-.240845 0.706283 0.210403 X5 0.329259 0.122930 0.878054-.084286 0.313677现在学习的是第49页，共113页 第一主成份的贡献率为84.6%，第一主成份 Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5 的各项系数大致相等，且均为正数，说明第一主成份对所有的信用评价指标都有近似的载荷，是对所有指标的一个综合测度，可以作为综合的信用等级指标。可以用来排序。将原始数据的值标准化后，代入第一主成份Z1的表示式，计算各企业的得分，并按分值大小排序:在正确评估了顾客的信用等级后，就能正确制定出信用期、收帐政策等，这对于加强应收帐款的管理大有帮助。序号 1 2 3 4 5 6 7 8 9 10得分 3.16 13.6-9.01 35.9 25.1-10.3-4.36-33.8-6.41-13.8排序 4 3 7 1 2 8 5 10 6 9现在学习的是第50页，共113页 根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。1主成分分析能降低所研究的数据空间的维数。即用研究m维的Y空间代替p维的X空间(mp)，而低维的Y空间代替高维的x空间所损失的信息很少。即使只有一个主成分Yl(即 m1)时，这个Yl仍是使用全部X变量(p个)得到的。例如要计算Yl的均值也得使用全部x的均值。6主成分分析主要有以下几方面的应用现在学习的是第51页，共113页 2有时可通过因子负荷aij的结构，弄清X变量间的某些关系。3.多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位。现在学习的是第52页，共113页 4由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。5用主成分分析筛选回归变量。回归变量的选择有着重要的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。现在学习的是第53页，共113页主成分回归介绍现在学习的是第54页，共113页 国际旅游外汇收入是国民收入是国民经济发展的重要组成部分，影响一个国家或地区旅游收入的因素包括自然、文化、社会、经济、交通等多方面的因素。中国统计年鉴把第三次产业划分为12个组成部分，分别为：一、提出问题现在学习的是第55页，共113页x1：农林牧渔服务业 x2：地质勘查水利管理业x3：交通运输仓储和邮电通讯业 x4：批发零售贸易和餐食业x5：金融保险业 x6：房地产业 x7：社会服务业 x8：卫生体育和社会福利业 x9：教育文艺和广播 x10：科学研究和综合艺术x11：党政机关 x12：其他行业 选自1998年我国31个省、市、自治区的数据。以旅游外汇收入（百万美圆）为因变量。自变量的单位为亿元人民币。数据略。现在学习的是第56页，共113页InterceptCoefficients-205.236 116.8459-1.756460.096008标准误差tStat P-valueXVariable1-1.40045 22.8676-0.06124 0.951842XVariable2 2.675001 18.57508 0.14401 0.887092XVariable3 3.300877 2.464556 1.339339 0.197128XVariable4-0.94402 1.296117-0.72834 0.475774XVariable5-5.5016 4.508593-1.22025 0.238117XVariable6 4.054434 3.953745 1.025467 0.318728XVariable7 4.142 5.069984 0.816965 0.42463XVariable8-15.3649 10.82589-1.41927 0.172905XVariable9 17.36766 8.35337 2.079121 0.052178XVariable10 9.078883 10.14728 0.894711 0.38275XVariable11-10.58 5.610696-1.88569 0.075582XVariable12 1.350709 5.001504 0.27006 0.790186这个模型是不理想的，一个最严重的问题是多重共线性的问题。现在学习的是第57页，共113页线性回归模型的方差分析表方差来源 自由度 离差平方和方差F统计量显著性水平回归分析12 11690140 974178.3 10.51335 8.15025E-06残差18 1667899 92661.04总计31 13358039 利用主成分的互不相关性来建立因变量与主成分的回归，在理论上可以达到消除多重共线性。现在学习的是第58页，共113页 二、主成分回归方法现在学习的是第59页，共113页原始数据观测矩阵主成分系数矩阵现在学习的是第60页，共113页主成分得分矩阵现在学习的是第61页，共113页根据最小二乘估计，则基于协方差矩阵的主成分回归基于相关系数矩阵的主成分回归现在学习的是第62页，共113页主成分回归系数的协方差矩阵现在学习的是第63页，共113页1、经济分析数据Y：进口总额X1：GDPX2：积累总额X3：消费总额求进口总额与GDP、积累总额和消费总额之间的回归方程。三、主成分回归的实例现在学习的是第64页，共113页dataa;inputx1-x3y;cards;149.34.2108.115.9161.24.1114.816.4171.53.1123.219.0175.53.1126.919.1180.81.1132.118.8190.72.2137.720.4202.12.1146.022.7212.45.6154.126.5226.15.0162.328.1231.95.1164.327.6239.00.7167.626.3;procregoutest=b;modely=x1-x3/pcomit=1,2outvif;procprintdata=b;procstandarddata=aout=cmean=0std=1;varx1-x3y;procprincompdata=cout=dprefix=z;varx1-x3;procregdata=d;modely=z1z2/noint;run;现在学习的是第65页，共113页Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 3 204.77614 68.25871 285.61.0001 Error 7 1.67295 0.23899 Corrected Total 10 206.44909 现在学习的是第66页，共113页Root MSE 0.48887 R-Square 0.9919Dependent Mean 21.89091 Adj R-Sq 0.9884Coeff Var 2.23321 Parameter Estimates Parameter Standard Variable DF Estimate Error t Value Pr|t|Intercept 1-10.12799 1.21216-8.36.0001 x1 1-0.05140 0.07028-0.73 0.4883 x2 1 0.58695 0.09462 6.20 0.0004 x3 1 0.28685 0.10221 2.81 0.0263现在学习的是第67页，共113页 Eigenvalues of the Correlation Matrix Eigenvalue Proportion Cumulative 1 1.99915493 0.6664 0.6664 2 0.99815418 0.3327 0.9991 3 0.00269089 0.0009 1.0000Eigenvectors F1 F2 F3 x1 0.706330-.035689 0.706982 x2 0.043501 0.999029 0.006971 x3 0.706544-.025830-.707197现在学习的是第68页，共113页 Obs x1 x2 x3 y*F1 F2 F3 1-1.50972 0.54571-1.53319-1.31852-2.12589 0.63866 0.020722 2-1.11305 0.48507-1.20848-1.20848-1.61893 0.55554 0.071113 3-0.76971-0.12127-0.80140-0.63625-1.11517-0.07298 0.021730 4-0.63637-0.12127-0.62209-0.61424-0.89430-0.08237-0.010813 5-0.45970-1.33395-0.37008-0.68027-0.64421-1.30669-0.072582 6-0.12970-0.66697-0.09869-0.32813-0.19035-0.65915-0.026553 7 0.25031-0.72761 0.30355 0.17807 0.35962-0.74367-0.042781 8 0.59365 1.39458 0.69610 1.01440 0.97180 1.35406-0.062863 9 1.05032 1.03078 1.09350 1.36654 1.55932 0.96405-0.023574 10 1.24366 1.09141 1.19042 1.25649 1.76700 1.01522 0.044988 11 1.48033-1.57648 1.35035 0.97038 1.93110-1.66266 0.080613现在学习的是第69页，共113页 Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr F Model 2 9.88278 4.94139 379.38|t|F1 1 0.68998 0.02552 27.03.0001 F2 1 0.19130 0.03612 5.30 0.0005现在学习的是第70页，共113页 SAS的回归分析（REG）过程中，带有主成分回归的功能，在这个功能中，SAS不仅用因变量的值建立了与主成分之间的回归方程，并且将回归方程还原为以原始变量为自变量，以因变量Y为被解释变量的模型。现在学习的是第71页，共113页 2、用美国联邦政府雇员人数Y和国民总产出隐含平减指数X1，国民总产出X2，失业人数X3，武装力量人数X4，14岁及以上非慈善机构人口数X5，时间变量X6。所用数据是美国4762年数据，该例是主成分回归用得较早的例子。现在学习的是第72页，共113页现在学习的是第73页，共113页EigenvaluesoftheCorrelationMatrix（相关系数矩阵的特征根）EigenvalueProportionCumulative（特征根）(贡献率）（累计贡献率）14.603377450.76720.767221.175340350.19590.963130.203425170.03390.997040.014928280.00250.999550.002552040.00040.999960.000376710.00011.0000现在学习的是第74页，共113页 Eigenvectors（特征向量）Prin1 Prin2 Prin3 Prin4 Prin5 Prin6 x1 0.461835 0.057843-.149120-.792874 0.337934-.135193 x2 0.461504 0.053211-.277681 0.121625-.149550 0.818485 x3 0.321317-.595513 0.728306-.007645 0.009235 0.107451 x4 0.201510 0.798193 0.561607 0.077255 0.024253 0.017970 x5 0.462279-.045544-.195985 0.589743 0.548569-.311589 x6 0.464940 0.000619-.128116 0.052285-.749556-.450388现在学习的是第75页，共113页 Prin1 Prin2 Prin3 Prin4 Prin5 Prin63.47885-0.75147-0.30795 0.16424 0.008797-0.0025793.01051-0.84904-0.64223-0.12592 0.061546-0.0119802.34330-1.54000 0.49343 0.00882 0.005746-0.0050622.09390-1.27632 0.11129 0.06126-0.061845 0.0136771.43824 1.23579 0.02909-0.09746 0.052257 0.0426820.09951 0.69349 0.09757 0.10111-0.098808 0.0189260.44943 0.54784-0.29295-0.01756-0.083762-0.0141390.95506 0.42945-0.44524-0.11933-0.023694-0.0271541.81710-0.86317 0.67742-0.18706 0.021671-0.0081081.93999-0.38657-0.26596-0.14392-0.036686 0.0235302.36112-0.49910-0.36567-0.06160-0.016235-0.0043603.07803-0.98995 0.20196 0.06811 0.056427 0.0013393.34476-0.17667-0.42385 0.25968 0.058092 0.008939现在学习的是第76页，共113页 Sum of Mean Source DF Squares Square F Value Pr F Model 6 498504 83084 47.22|t|Intercept 1 386505 122516 3.15 0.0116 x1 1 13.71162 11.68424 1.17 0.2707 x2 1 0.00846 0.00461 1.84 0.0995 x3 1 0.09405 0.06720 1.40 0.1952 x4 1 0.20562 0.02948 6.97.0001 x5 1-0.00435 0.03111-0.14 0.8918 x6 1-199.20213 62.67100-3.18 0.0112现在学习的是第77页，共113页 浅谈时序立体数据的主成分分析现在学习的是第78页，共113页前面介绍的主成分分析方法，成功地实现了截面数据的最佳综合和简化。然而，在现实生活中，随着时间的发展与数据的积累，人们开始拥有大量按时间顺序排列的平面数据表序列，这样一组按时间顺序排放的数据表序列就像一个数据匣，被称为时序立体数据表。本章将介绍如何对这种多维动态数据系统进行立体式的综合简化，并在此基础上，迅速提取立体数据表中的重要信息，充分发掘其中的丰富内涵，从而简化扼要地把握系统的动态规律。现在学习的是第79页，共113页第一节全局分析的概念时序立体数据表时一个按时间顺序排放的数据表序列。如果对每一张数据表分别进行主成分分析，则不同的数据表有完全不同的简化空间，就无法保证系统分析的统一性、整体性和可比性。因此，对这种数据表进行主成分分析，得到一个统一的简化子空间。一、全局概念假设有个样本，个指标，时间的跨度为。时序立体数据表，现在学习的是第80页，共113页若以为变量的指标，在时刻数据表中对上列数据的分析称为全局分析。现在学习的是第81页，共113页二、全局变量 全局群点在j指标上的取值分布被称为全局变量，表示为三、全局重心 全局数据表的重心为 现在学习的是第82页，共113页 权数应该根据不同时刻的重要性来决定,也可以等权,等权时,均值为:时刻t的数据表重心为四、全局方差全局变量的方差:现在学习的是第83页，共113页五、全局协方差全局变量的协方差为：全局协方差矩阵：现在学习的是第84页，共113页第二节 全局主成分分析 一、全局主成分分析的步骤为（1）求全局相关系数矩阵（2）求 的特征根不妨假设 和对应的特征向量：现在学习的是第85页，共113页现在学习的是第86页，共113页第三节对经典主成分分析的继承性一、全局主成分一定对应于数据变易最大的方向二、全局主成分是对原始变量系统的最佳综合在全局主成分分析中，还可以证明，若全局数据表种有p个变量，如果想以一个综合变量来取代原来所有的全局变量，则第一个主成分F1就是最好的选择。现在学习的是第87页，共113页这个结论可以推广到m维空间：现在学习的是第88页，共113页三、全局分析与单张数据表分析的联系设 j(j=1,2,m)是全局特征 值(j=1,2,m)是第t时刻的数据表所计算的特征值现在学习的是第89页，共113页上式反映了全局第h个主成分与单张数据表个主成分之间的数量关系。特别当h=1时：因此，如果各年数据表的重心在第一主成分上的投影不发生改变，则说明，第一主成分与单张数据表的主成分之间最相关。现在学习的是第90页，共113页第四节精度分析 一、全局精度 以数据变异的大小来恒量数据中的信息量如果变量已经被标准化，则精度为：现在学习的是第91页，共113页二、数据表 Xt的表现精度数据表 Xt的表现精度是指群点在全局主成分上的近似精度。令是第t张表中的第i个样本在全局第h个主成分的得分。现在学习的是第92页，共113页现在学习的是第93页，共113页第五节数据主要特征的动态分析为了迅速把握多维动态数据群种的主要信息，还应该对数据系统的主要特征进行动态分析研究。数据群点有如下特征：（1）的总体水平（2）的主轴（3）的主轴上的分布偏差（4）中各样本点间的相对位置和排列顺序。现在学习的是第94页，共113页一、总体水平第t年数据群点的总体水平为。可以从三个方面研究其动态数据信息。（1）的时序轨迹（2）对于1一p个变量指标，研究哪一个指标在1一T年间发生的变化最大。首先，j指标在1一T年间的变化可以用aj表示，有现在学习的是第95页，共113页所有指标在1T年的变化为a表示，有使cj最大的指标xj，在1T年发生的变化最大，在经济系统分析中，过大过小的cj都应是分析人员关注的对象。（3）从1T年，研究在哪一年发生了较大的变化。这是比值，比cj更加深入的分析。现在学习的是第96页，共113页则说明j指标在tt+1年间的变化比其它年间更大。现在学习的是第97页，共113页二、主轴对第t年的数据表xt做平面主成分分析，可以得到一组主轴，对应的有特征值，分析是如何随时间变化的，可以了解数据的主要特征发展变化的历史过程。现在学习的是第98页，共113页从前面的分析可以知道，是第t年数据变异最大的方向，数据在这个方向被拉得最长。如果研究国民生活水平的话，则在这一方向人们生活水平的差距最大，所以，是最能反映国民生活水平的主要特征。与对应的是主成分。数据的主要特征随时间的发展会发生变化，这个变化可以通过的变化过程来观察。特别对于第一、第二主轴(即h1,2)，以及后续含数据信息量较大的那些主轴，更应给予重点研究。现在学习的是第99页，共113页三、方差的变化在数据表由x1，x2，xT的变化过程中，除了需要研究数据的主要特征随时间的变化以外，还要分析数据在主轴上的分布方差是否发生了较大的变化。分别从以下三个指标来观察数据在主轴散布范围发生的变化。现在学习的是第100页，共113页（1）在h轴上，数据的分散程度的差分（2）比较在t+1年，哪个主轴的散布范围较大（3）比较1T年间，哪个主轴的分散范围较大现在学习的是第101页，共113页四、样本点间相对位置和排列顺序的变化随着时间的发展，群点在某一方向上的相对位置和排列顺序也会发生变化。例如，改革开放以来，我国沿海城市经济发展速度较其他地区的城市要快，特别在对外贸易方面，其发展更为显著。如果第一主轴反映了城市经济的综合实力，则在这个轴上可以看出，在不同的年份上，各城市由于发展速度不一，因此，相对位置和顺序都有变化，沿海城市的经济实力显然日趋向前。现在学习的是第102页，共113页如何反映样本点间位置和顺序的变化呢?有一个要点必须注意，这就是必须在同一的轴上比较样本点的位置和顺序，因此，取全局主成分分析的第h主轴，它对所有时刻的数据表都是同一的。在其上的投影为1、在上的投影坐标是否有明显移动现在学习的是第103页，共113页2、样本点排列顺序的改变现在学习的是第104页，共113页下例是我国1998年和1999年城镇居民分地区的消费支出资料：X1:食品支出X2：衣着支出X3：家庭设备用品及服务支出X4：医疗保健支出X5：交通和通讯支出X6：娱乐教育文化支出X7：居住支出X8：杂项商品支出进行主成分分析，并比较全局主成分分析和单张数据表主成分分析的结果。现在学习的是第105页，共113页EigenvaluesoftheCorrelationMatrix(全局主成分特征根）EigenvalueDifferenceProportionCumulativeA16.991256.443290.8739060.87391A20.547960.395310.0684950.94240A30.152660.030190.0190820.96148A40.122470.039720.0153090.97679A50.082750.020420.0103440.98714A60.062330.021900.0077920.99493A70.040440.040300.0050550.99998A80.00014.0.0000181.00000现在学习的是第106页，共113页 全局主成分特征向量 A1 A2 A3 A4 A5 A6 A7 A8 X1 0.374493-.172257 0.030143 0.136213 0.076849 0.062345 0.005073-.894875 X2 0.346007-.445411 0.024956 0.532852 0.438070 0.136731-.241623 0.358262 X3 0.311984 0.710728 0.411674 0.164345 0.360232-.055544 0.253882 0.061138 X4 0.362343-.194425 0.293868