经典总结：主成分分析法.docx
一、概述在处理信息时，当两个变量之间有肯定相关关系时，可以解释为这两个变量 反映此课题的信息有肯定的重叠，例如，高校科研状况评价中的立项课题数与项 目经费、经费支出等之间会存在较高的相关性；同学综合评价讨论中的专业基 础课成果与专业课成果、获奖学金次数等之间也会存在较高的相关性。而变量 之间信息的高度重叠和高度相关会给统计方法的应用带来很多障碍。为了解决这些问题，最简洁和最直接的解决方案是削减变量的个数，但这 必定又会导致信息丢失和信息不完整等问题的产生。为此，人们盼望探究一种 更为有效的解决方法，它既能大大削减参加数据建模的变量个数，同时也不会 造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已 得到广泛应用的分析方法。主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综 合指标，通常综合指标（主成分）有以下几个特点：主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参加数据建 模，这将大大削减分析过程中的计算工作量。主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简洁取舍，而是原有变量重组后的结果，因此不会造 成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。主成分之间应当互不相关通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参加数 据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问 题。主成分具有命名解释性总之，主成分分析法是讨论如何以最少的信息丢失将众多原有变量浓缩成 少数几个因子，如何使因子具有肯定的命名解释性的多元统计分析方法。二、基本原理主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多 的具有肯定相关性的指标XI, X2,，XP （比如,个指标），重新组合成一组较 少个数的互不相关的综合指标回来代替原来指标。那么综合指标应当如何去提 取，使其既能最大程度的反映原变量即所代表的信息，又能保证新指标之间保 持相互无关（信息不重叠）。设F1表示原变量的第一个线性组合所形成的主成分指标，即+由数学学问可知，每一个主成分所提取的信息量可用其方差来度量，其方差Var（Fl）越大，表示F1包含的信息越多。经常盼望第 一主成分F1所含的信息量最大，因此在全部的线性组合中选取的F1应当是XI, X2,，XP的全部线性组合中方差最大的，故称F1为第一主成分。假如第一主 成分不足以代表原来P个指标的信息，再考虑选取其次个主成分指标F2,为有 效地反映原信息，F1已有的信息就不需要再消失在F2中，即F2与F1要保持独 立、不相关，用数学语言表达就是其协方差Cov（Fl, F2）=0,所以F2是与Fl不 相关的XI, X2,，XP的全部线性组合中方差最大的，故称F2为其次主成分, 依此类推构造出的F1、F2、Fm为原变量指标XKX2XP第一、其次、 第m个主成分。耳=q IX + 4 2 X? + + q X耳=q IX + 4 2 X? + + q XpFm =amX +am2X2 +依据以上分析得知:(1) Fi 与 Fj 互不相关,即 Cov(Fi, Fj) = 0,并有 Var(Fi)=ai' Sai,其 中2为X的协方差阵(2)F1是XL X2,，Xp的一切线性组合(系数满意上述要求)中方差最 大的，即Fm是与Fl, F2,Fm1都不相关的XL X2,，XP的全部 线性组合中方差最大者。FLF2,Fm(mWp)为构造的新变量指标，即原变量指标的第一、其次、 第m个主成分。由以上分析可见，主成分分析法的主要任务有两点：(1)确定各主成分Fi (i=l, 2, m)关于原变量Xj (j=l, 2，p) 的表达式，即系数% ( i=L 2,，m； j=L 2，p)。从数学上可以证 明，原变量协方差矩阵的特征根是主成分的方差，所以前m个较大特征根就代 表前m个较大的主成分方差值；原变量协方差矩阵前m个较大的特征值4 (这 样选取才能保证主成分的方差依次最大)所对应的特征向量就是相应主成分Fi 表达式的系数为,为了加以限制，系数。，启用的是4对应的单位化的特征向量, 即有由'山二lo(2)计算主成分载荷，主成分载荷是反映主成分Fi与原变量Xj之间的相互 关联程度：P(Z&丙)=返%式。=1,2,p;Z = 1,2,，三、主成分分析法的计算步骤主成分分析的详细步骤如下：(1)计算协方差矩阵计算样品数据的协方差矩阵：2 = (sQpxp,其中u=加一耳)(%一耳) i，尸1，2,，p(2)求出2的特征值4及相应的正交化单位特征向量为2的前m个较大的特征值九1取22hn>0,就是前m个主成分对应的方差，4对应的单位特征向量生就是主成分Fi的关于原变量的系数，则原变量的第i个 主成分Fi为：Fi =6z/X主成分的方差(信息)贡献率用来反映信息量的大小，见为：% =/=1(3)选择主成分最终要选择几个主成分，即F1,F2,Fm中m的确定是通过方差(信息) 累计贡献率G(m)来确定nipi=l k=当累积贡献率大于85%时，就认为能足够反映原来变量的信息了，对应的m 就是抽取的前m个主成分。(4)计算主成分载荷主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度，原来变量 Xj (j=l, 2p)在诸主成分Fi (i=L 2,m)上的荷载lij ( i=l, 2,，m； j=L 2 , , p)o：5) = &%(i = l,2,m;j = l,2,.,p)在SPSS软件中主成分分析后的分析结果中，“成分矩阵”反应的就是主成分 载荷矩阵。(5)计算主成分得分计算样品在m个主成分上的得分:+a2iX2 +. + apiXpi = 1, 2,，m实际应用时、指标的量纲往往不同，所以在主成分计算之前应先消退量纲的 影响。消退数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数 据变换：x：=-i = 12.,；/ = 12,pSj其中：寸=一支Q厂引2 n i=n - Z=1依据数学公式知道，任何随机变量对其作标准化变换后，其协方差与其相 关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。另一方 面，依据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即, 标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。也就是说，在标准 化前后变量的相关系数矩阵不变化。依据以上论述，为消退量纲的影响，将变量标准化后再计算其协方差矩阵， 就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是： 计算相关系数矩阵求出相关系数矩阵的特征值4及相应的正交化单位特征向量生选择主成分计算主成分得分总结：原指标相关系数矩阵相应的特征值入i为主成分方差的贡献，方差的P贡献率为见越大，说明相应的主成分反映综合信息的力量越强, i=l可依据大i的大小来提取主成分。每一个主成分的组合系数（原变量在该主成分 上的载荷）令就是相应特征值入i所对应的单位特征向量。
