补充材料一 主成分分析.doc

《补充材料一 主成分分析.doc》由会员分享，可在线阅读，更多相关《补充材料一 主成分分析.doc（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、【精品文档】如有侵权，请联系网站删除，仅供学习与交流补充材料一 主成分分析.精品文档.补充材料一：主成分分析1.1引言多元统计分析处理的是多变量（多指标）问题。由于变量较多，增加了分析问题的复杂性。但在实际问题中，变量之间可能存在一定的相关性，因此，多变量中可能存在信息的重叠。人们自然希望通过克服相关性、重叠性，用较少的变量来代替原来较多的变量，而这种代替可以反映原来多个变量的大部分信息，这实际上是一种“降维”的思想。主成分分析（principal components analysis,简称PCA）也称主分量分析，是由Hotelling于1933年首先提出的。由于多个变量之间往往存在着一定程

2、度的相关性。人们自然希望通过线性组合的方式，从这些指标中尽可能快地提取信息。当第一个线性组合不能提取更多的信息时，再考虑用第二个线性组合继续这个快速提取的过程，直到所提取的信息与原指标相差不多时为止。这就是主成分分析的思想。一般说来，在主成分分析适用的场合，用较少的主成分就可以得到较多的信息量。以各个主成分为分量，可以得到一个更低维的随机向量；因此，通过主成分既可以降低数据“维数”又保留了原数据的大部分信息。我们知道，当一个变量只取一个数据时，这个变量（数据）提供的信息量是非常有限的，当这个变量取一系列不同数据时，我们可以从中读出最大值、最小值、平均数等信息。变量的变异性越大，说明它对各种场景

3、的“遍历性”越强，提供的信息就更加充分，信息量就越大。主成分分析中的信息，就是指标的变异性，用标准差或方差表示它。在多变量的情况下，变量的变异性用协方差矩阵来表示。1.2主成分的几何意义及数学推导 设为m维随机向量，且二阶矩存在，称为的期望向量，称矩阵为的协方差矩阵，其元素为与的协方差，为的方差。由概率论的知识可知协方差矩阵是一个半正定的对称矩阵。下面的引理来自于线性代数：引理1：设为一个阶对称阵，则（1）必有个实的特征值；(2) 的不同特征值对应的特征向量必正交；（3）必可对角化，且存在正交阵，使得其中，的个列向量恰为的个正交的特征向量。为了说清楚主成分分析的思想方法，我们先回顾一下求二次型

4、的标准型问题。设为一个阶二次型，其中为一个阶对称阵，如果做正交变换，那么特别地，当，且为正定阵时，方程表示平面上的一个椭圆，只不过，主轴与坐标轴不平行，但在新坐标轴下，椭圆方程变成了，主轴与坐标轴是平行的，如下图：图1 主成分的几何意义 正交变换，在几何上就是作一个坐标旋转或者反射。由上图可知，同样一个椭圆，在不同的坐标系下表达方式是不一样的，在下要简单得多，也便于研究，与就是椭圆的两个主轴，且均为与的线性组合。以上我们只是对阶二次型的一个特例进行了简单的分析，一般地对阶二次型可以进行同样的分析，由线性代数的知识可知以下结论：引理2：设为一个阶对称阵，为对应的二次型，利用引理1中的正交阵做正交

5、变换，则有其中为的个特征值；，且由前知，m维随机向量的协方差矩阵为对称半正定的，如果设为的特征值，那么由引理2知存在正交阵，使得，此时令m维随机向量，可得的协方差矩阵为由此可知本节主要结论如下：定理1：设为m维随机向量，且二阶矩存在，则必存在的线性组合使得（1），为相互正交的单位长向量；（2）与互不相关（），且；（3）；（4）与的相关系数为，并称之为因子负（载）荷量，且满足今后，我们称为第一主成分，称为第二主成分，依此类推。主成分分析把个原始变量的总方差分解成了个互不相关的变量的方差之和。主成分分析的目的是减少变量的个数，所以一般不会使用所有个主成分的，忽略一些带有较小方差的主成分将不会给总方

6、差带来太大的影响。这里我们称为第个主成分的贡献率。第一主成分的贡献率最大，这表明综合原始变量的能力最强，而的综合能力依次递减。若只取前个主成分，则称为主成分的累计贡献率，累计贡献率表明综合的能力。通常取，使得累计贡献率达到一个较高的百分数（如85以上）。1.3实际应用中主成分分析的出发点及综合评价 我们前面讨论的主成分计算是从协方差矩阵出发的，其结果受变量单位的影响。不同的变量往往有不同的单位，对同一变量单位的改变会产生不同的主成分，主成分倾向于多归纳方差大的变量的信息，对于方差小的变量就可能体现得不够，也存在“大数吃小数”的问题。为使主成分分析能够均等地对待每一个原始变量，消除由于单位的不同

7、可能带来的影响，我们常常将各原始变量作标准化处理，即令显然，的协方差矩阵就是的相关系数矩阵。同样地相关系数矩阵也是一个半正定的对称阵，于是上述对协方差阵所进行的主成分分析可以一模一样地对相关系数矩阵进行。但是，从相关阵求得的主成分与从协差阵求得的主成分一般情况是不相同的。实际表明，这种差异有时很大。我们认为，如果各指标之间的数量级相差悬殊，特别是各指标有不同的物理量纲的话，较为合理的做法是使用相关系数矩阵进行主成分分析。对于研究经济问题所涉及的变量单位大都不统一，采用相关系数矩阵后，可以看作是用标准化的数据做分析，这样使得主成分有现实经济意义，不仅便于剖析实际问题，又可以避免突出数值大的变量。

8、同时，也应该注意到，在实际应用中，总体的分布往往都是未知的，其协方差矩阵与相关系数矩阵更是无法得知，此时，我们只能利用样本数据来估计的协方差矩阵与相关系数矩阵。也就是说，在真正做主成分分析时，我们是用样本协方差阵与样本相关系数阵来代替总体的协方差矩阵与相关系数矩阵进行分析，样本协方差阵与样本相关系数阵的求法如下：设为个随机变量，每个都有个样本观测值，我们称 与 分别为与的样本协方差与样本相关系数，而称与分别为的样本协方差阵与样本相关系数阵。 综上，主成分分析的具体步骤可以归纳为：1. 将原始数据标准化；2. 建立变量的样本相关系数阵；3. 求的特征根为，相应的特征向量为；4. 由累积方差贡献率

9、确定主成分的个数（），并写出主成分为1.4主成分分析实例 主成分分析的一个主要用处是用来对一些部门或单位进行综合排名。 但人们在对这些部门或单位进行综合评价时都会遇到如何选择评价指标体系和如何对这些指标进行综合的困难。一般的作法是，在确定评价指标体系后，再对各指标进行加权从而得到综合分值。但是，如何对指标加权是一项具有挑战性的工作。指标加权的依据是指标的重要性，指标在评价中的重要性判断难免带有一定的主观性，这影响了综合评价的客观性和准确性。由于主成分分析能从选定的指标体系中归纳出大部分信息，根据主成分提供的信息进行综合评价，不失为一个可行的选择。这个方法是根据指标间的相对重要性进行客观加权，可

10、以避免综合评价者的主观影响，在实际应用中越来越受到人们的重视。对主成分进行加权综合。我们利用主成分进行综合评价时，主要是将原有的信息进行综合，因此，要充分的利用原始变量提供的信息。将主成分的权数根据它们的方差贡献率来确定，因为方差贡献率反映了各个主成分的信息含量多少。 设是所求出的m个主成分，它们的特征根分别是，定义权记为，由，构造综合评价函数为这里我们应该注意，从本质上说综合评价函数是对原始指标的线性综合，从计算主成分到对之加权，经过两次线性运算后得到综合评价函数。例1：表1是某市工业部门13个行业的8项重要经济指标的数据，这8项经济指标分别是：X1：年末固定资产净值，单位：万元；X2：职工

11、人数据，单位：人；X3：工业总产值，单位：万元；X4：全员劳动生产率，单位：元/人年；X5：百元固定资产原值实现产值，单位：元；X6：资金利税率，单位：%；X7：标准燃料消费量，单位：吨；X8：能源利用效果，单位：万元/吨。表1 某市工业部门13个行业8项指标X1X2X3X4X5X6X7X8冶金9034252455101091192728216.11974350.172电力4903197320351031334.27.15920770.003煤炭6735211393767178036.18.27263960.003化学4945436241815572250498.125.93482260.98

12、5机器1391902035052158981060993.212.61395720.628建材122151621910351638262.58.71458180.066森工23726572810312329184.422.2209210.152食品11062230785493523804370.441654860.263纺织17111239075210821796221.521.5638060.276缝纫12063930612615586330.429.518400.437皮革21505704620010870184.21289130.274造纸525161551038316875146.42

13、7.5787960.151文教1434113203193961469194.617.863541.574我们要考虑的是：如何从这些经济指标出发，对各工业部门进行综合评价与排序？我们先计算这些指标的主成分，然后通过主成分的大小进行排序。表2和表3分别是特征根（累计贡献率）和特征向量的信息。利用主成分得分进行综合评价时，从特征向量我们可以写出所有8个主成分的具体形式：表2 特征根和累计贡献率序号特征根方差贡献率%累计贡献率%13.1049 38.8114 38.8114 22.8974 36.2180 75.0294 30.9302 11.6277 86.6571 40.6421 8.0265 9

14、4.6836 50.3041 3.8011 98.4847 60.0866 1.0825 99.5672 70.0322 0.4023 99.9695 80.0024 0.0305 100.0000 表3 特征向量特征向量1特征向量2特征向量3特征向量4特征向量5特征向量6特征向量7特征向量810.477 0.296 0.104 0.045 -0.184 -0.066 0.758 0.245 20.473 0.278 0.163 -0.174 0.305 -0.048 -0.518 0.527 30.424 0.378 0.156 0.059 0.017 0.099 -0.174 -0.781

15、 4-0.213 0.451 -0.009 0.516 -0.539 0.288 -0.249 0.220 5-0.388 0.331 0.321 -0.199 0.450 0.582 0.233 0.031 6-0.352 0.403 0.145 0.279 0.317 -0.714 0.056 -0.042 70.215 -0.377 0.140 0.758 0.418 0.194 0.053 0.041 80.055 0.273 -0.891 0.072 0.322 0.122 0.067 -0.003 表4 各行业主成分得分及排序行业Y1Y2Y8综合得分排序冶金1.4750.7590.

16、0040.9112电力0.498-2.5920.067-0.65412煤炭1.056-3.226-0.024-0.62911化学0.4601.184-0.0520.6183机器4.5282.2620.0232.5891建材0.330-1.774-0.067-0.60210森工-1.103-0.318-0.035-0.5739食品-2.1952.244-0.0520.1554纺织-0.8410.896-0.0010.0335缝纫-2.0320.8250.073-0.4768皮革-0.713 -0.756 -0.030 -0.65913造纸-1.201 0.030 0.079 -0.4377文教-

17、0.263 0.464 0.015 -0.2766我们以特征根为权，对8个主成分进行加权综合，得出各工业部门的综合得分，具体数据见表4。综合得分的计算公式是：根据上式可计算出各工业部门的综合得分，并可据此排序。从上表可以看出，机器行业在该 地区的综合评价排在第一，原始数据也反映出机器行业存在明显的规模优势，另外从前两个主成分得分上看，该行业也排在第一位，同样存在效益优势；而排在最后三位的分别是皮革行业、电力行业和煤炭行业。例2：对于某区域地貌-水文系统，其57个流域盆地的九项地理要素：x1为流域盆地总高度（m)，x2为流域盆地山口的海拔高度（m)，x3为流域盆地周长（m)，x4为河道总长度（k

18、m)，x5为河道总数，x6为平均分叉率，x7为河谷最大坡度（度)，x8为河源数x9为流域盆地面积（km2)表5 某57个流域盆地地理要素数据张超先生（1984)曾用这些地理要素的原始数据对该区域地貌-水文系统作了主成分分析。下面，我们将其作为主成分分析方法在地理学研究中的一个应用实例介绍给读者，以供参考。表6相关系数矩阵（1)首先将表5中的原始数据作标准化处理，由公式（4)计算得相关系数矩阵（见表6)。（2)由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表7)。由表7可知，第一，第二，第三主成分的累计贡献率已高达86.5，故只需求出第一，第二，第三主成分z1，z2，z3即可。

19、表7 特征值及主成分贡献率（3)对于特征值1=5.043，2=1.746，3=0.997分别求出其特征向量e1，e2，e3，并计算各变量x1，x2，x9在各主成分上的载荷得到主成分载荷矩阵（见表8)。表8 主成分载荷矩阵从表8可以看出，第一主成分z1与x1，x3，x4，x5，x8，x9有较大的正相关，这是由于这六个地理要素与流域盆地的规模有关，因此第一主成分可以被认为是流域盆地规模的代表：第二主成分z2与x2有较大的正相关，与x7有较大的负相关，而这两个地理要素是与流域切割程度有关的，因此第二主成分可以被认为是流域侵蚀状况的代表；第三主成分z3与x6有较大的正相关，而地理要素x6是流域比较独立

20、的特性河系形态的表征，因此，第三主成成可以被认为是代表河系形态的主成分。以上分析结果表明，根据主成分载荷，该区域地貌-水文系统的九项地理要素可以被归为三类，即流域盆地的规模，流域侵蚀状况和流域河系形态。如果选取其中相关系数绝对值最大者作为代表，则流域面积，流域盆地出口的海拔高度和分叉率可作为这三类地理要素的代表，利用这三个要素代替原来九个要素进行区域地貌-水文系统分析，可以使问题大大地简化。练习：以下是我国2005年第1、2季度分地区城镇居民家庭收支基本情况。用主成分分析对各地区进行排序。分地区城镇居民家庭收支基本情况地区平均每户人口（人）平均每户就业人口（人）平均每一就业者负担人数（人）平均

21、每人实际可支配收入（元）平均每人消费性支出（元）北京2.91.61.88845.16249.3天津2.91.426189.14549.1河北2.91.51.94582.93317.3山西31.524359.73066.8内蒙2.91.51.94712.13557.8辽宁2.91.424501.23530.7吉林31.51.94293.73271.5黑龙江2.81.32.23902.32858.7上海31.61.99656.56623.3江苏2.91.42.16371.14222.1浙江2.81.41.98921.26127.5安徽31.61.94311.63121.4福建3.11.61.964

22、71.84292.3江西2.91.51.94369.72945.1山东2.91.71.75357.73517.6湖南31.524558.53338.1湖北2.91.42.15010.73616.4广东3.31.71.97828.85941.7广西31.524876.83508.5海南3.61.62.343232975.4重庆3.11.61.95283.84187.8四川2.91.424333.53326.7贵州3.11.42.14177.43066.3云南31.32.24619.83415.4西藏3.41.724668.84467.1陕西31.524342.73186.6甘肃2.91.51.94031.83113.2青海31.32.33971.83070.3宁夏2.91.32.24078.33133.7新疆31.52.14018.43015.1