数理统计12主成分分析.ppt

《数理统计12主成分分析.ppt》由会员分享，可在线阅读，更多相关《数理统计12主成分分析.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第七章第七章 主成分分析与因子分析主成分分析与因子分析 多元问题的复杂性：指标多元问题的复杂性：指标(变量变量)多多,指标间存在相关性。指标间存在相关性。问题问题能否构造出一些综合指标使满足如下条件能否构造出一些综合指标使满足如下条件 指标个数尽可能少，指标个数尽可能少，指标间相互独立，指标间相互独立，尽可能多地包含原指标所含的关于总体的信息。尽可能多地包含原指标所含的关于总体的信息。例如例如做一件上衣要测量的指标有做一件上衣要测量的指标有身长、袖长、胸围、身长、袖长、胸围、腰围、肩宽、肩厚等等十几项指标。某服装厂生产一批新腰围、肩宽、肩厚等等十几项指标。某服装厂生产一批新型服装，需将十几项指

2、标综合为型服装，需将十几项指标综合为3 3项指标项指标(分别反应长度、分别反应长度、胖瘦、特体胖瘦、特体)，用作分类的型号。，用作分类的型号。7.1 主成分分析主成分分析 主成分（主分量主成分（主分量)分析是将原来众多分析是将原来众多具有相关性的指标化为少数几个相互独具有相关性的指标化为少数几个相互独立的综合指标的一种统计方法。立的综合指标的一种统计方法。化高维为低维化高维为低维 降维降维 化相关为独立化相关为独立 追源追源1、主成分的求法、主成分的求法设设 为为 维随机向量，维随机向量，那么如何将这那么如何将这 个指个指标综合成很少的几个指标标综合成很少的几个指标且要尽可能反映原来指标的作用

3、，又彼此不相且要尽可能反映原来指标的作用，又彼此不相关呢？一个自然的方法是寻找指标关呢？一个自然的方法是寻找指标的一个综合指标的一个综合指标 线性组合。线性组合。我们先来考虑第一个综合指标我们先来考虑第一个综合指标其中其中 是待定的常向量。现在的任务是选取适是待定的常向量。现在的任务是选取适当当 的使得的使得 最大限度地反映原来指标用，最大限度地反映原来指标用，这就相当于要求这就相当于要求 要有尽可能大的方差，即选要有尽可能大的方差，即选取取 使得使得尽可能地大。尽可能地大。说明说明 是是 的无界函数。的无界函数。然而不能通过加大向量然而不能通过加大向量 的长度使的长度使 的方差变的方差变因为

4、对任意的常数因为对任意的常数 ，有，有因此如果对因此如果对 不加不加大，大，即只要即只要 变长变长 倍，相应的方差就扩大倍，相应的方差就扩大 倍，也倍，也限制，问题就会变得毫无意义。限制，问题就会变得毫无意义。一个自然的限一个自然的限制是令制是令即要求即要求 是单位向量。是单位向量。问题变为：问题变为：在在 的条件下，求使的条件下，求使达到最大的达到最大的 。定理定理1设总体设总体 的均值和协方差阵分别为的均值和协方差阵分别为是总体是总体 的的 个指标，令个指标，令其中其中 ，则使得，则使得 的方差的方差和和达到最大的达到最大的 正好是矩阵正好是矩阵 的最大特征根的最大特征根 所所对应的特征向

5、量。对应的特征向量。证明证明用用Lagrange乘数法来证明。令乘数法来证明。令则有则有令令可得可得这样就有这样就有由于由于根据克莱姆法则知，上述齐次线性根据克莱姆法则知，上述齐次线性方程有非零解的充要条件是系数行列式为零，方程有非零解的充要条件是系数行列式为零，即即这说明这说明 是矩阵是矩阵 的特征根，且由的特征根，且由 可知可知是对应于是对应于 特征根特征根 的特征向量。的特征向量。又由又由可知欲使可知欲使 的方差的方差 最大，只要取最大，只要取为的最大特征根即可，这样为的最大特征根即可，这样 就是对应的单就是对应的单位特征向量。位特征向量。第一个综合指标为第一个综合指标为其中其中 是的对

6、应于矩阵是的对应于矩阵 最大特征值最大特征值 的单位的单位特征向量，称特征向量，称 为为第一主成分第一主成分。若协方差矩阵若协方差矩阵 即是非负定的，由矩阵论即是非负定的，由矩阵论知它有知它有 个非负的特征根，不妨设为个非负的特征根，不妨设为 是对应的是对应的 个特征向量。个特征向量。自然自然 应为应为 的第二大特征根的第二大特征根 所对应的单位所对应的单位特征向量，并称特征向量，并称 为为第二主成分第二主成分。类似地，第二个综合指标可以取为类似地，第二个综合指标可以取为重复以上过程，可得重复以上过程，可得 的第的第 个综合指标个综合指标称为称为 的的第第 个主成分个主成分。总之，我们可得到总

7、之，我们可得到 个主成分个主成分且且其中其中 是协方差阵是协方差阵 的非零特征根并的非零特征根并有有而而 是是对应的单位特征向量。对应的单位特征向量。若用矩阵可表示如下若用矩阵可表示如下其中其中且且即矩阵即矩阵 是行正交矩阵。是行正交矩阵。因此，主成分分析也可以看作是对原来因此，主成分分析也可以看作是对原来的的 个指标个指标 进行了一次正交变进行了一次正交变换换而得到而得到 个互不相关的综合指标，即主个互不相关的综合指标，即主成分成分寻找总体寻找总体 的主成分就转化为求的主成分就转化为求 的协差阵的协差阵 的特征值和相应的单位特征向量问题。的特征值和相应的单位特征向量问题。求主成分的步骤：求主

8、成分的步骤：1.求求 的协方差阵的协方差阵 的特征值，记为的特征值，记为2.求求 对应的单位特征向量对应的单位特征向量3.获得第获得第 个主成分个主成分在实际应用时，经常会遇到在实际应用时，经常会遇到 个指标的量个指标的量纲不尽相同，或取值差异很大的问题，处理纲不尽相同，或取值差异很大的问题，处理的一般方法是先将各指标进行标准化，即的一般方法是先将各指标进行标准化，即 的协差阵为的协差阵为即为相关矩阵即为相关矩阵其中其中求求 的主成分就是求的主成分就是求 的特征值和相应的特征值和相应的单位特征向量，然后可得的单位特征向量，然后可得 的分量的线性的分量的线性组合，即为所求的主成分。组合，即为所求

9、的主成分。2主成分的几何意义主成分的几何意义3、贡献率和主成分的解释、贡献率和主成分的解释构造综合指标的目的是想用尽可能少的主构造综合指标的目的是想用尽可能少的主成分成分来代替原有的来代替原有的 个指标，个指标，且能对原始资料所具有的意义做出合理的解释。且能对原始资料所具有的意义做出合理的解释。那么到底应该选择多少主成分才合理呢？下面那么到底应该选择多少主成分才合理呢？下面就来讨论总体主成分个数的选取问题，对样本就来讨论总体主成分个数的选取问题，对样本主成分也有类似的分析。主成分也有类似的分析。设设 维总体维总体 的协方差阵为的协方差阵为的第的第 个主成分为个主成分为由于这些主成分由于这些主成

10、分 时互不相关的，因时互不相关的，因此有此有这说明这说明 的的“总方差总方差”(即个分量的方差之和即个分量的方差之和)等于等于 个互不相关的随机变量个互不相关的随机变量 的方的方差之和，其中差之和，其中 具有最大的方差具有最大的方差 ，次之且次之且有方差有方差具有最小方差具有最小方差这样主成这样主成分依次集中了分依次集中了 各分量的变化的主要部分，第各分量的变化的主要部分，第一主成分一主成分 的方差最大，即是以变化最大的方的方差最大，即是以变化最大的方向向量为系数所得到的线性函数作为向向量为系数所得到的线性函数作为比值比值表明了方差表明了方差 在在“全部方差全部方差”中所占的比重，中所占的比重

11、，显显然这个比值越大，表明然这个比值越大，表明 这个变量这个变量“综合综合”原始原始资料资料 的能力越强。通常称这个比值的能力越强。通常称这个比值为第一主成分的贡献率。类似地称为第一主成分的贡献率。类似地称为第为第 个主成分的贡献率。而称个主成分的贡献率。而称为前为前 个主成分的累计贡献率。个主成分的累计贡献率。这就是说，贡献率约达，则对应的主成分这就是说，贡献率约达，则对应的主成分反映反映 的能力就越强，反之则弱。因此，在实的能力就越强，反之则弱。因此，在实用常常略去那些贡献率小的主成分。经验指出：用常常略去那些贡献率小的主成分。经验指出：一般要求前一般要求前 个主成分的累计贡献率超过个主成

12、分的累计贡献率超过70%就足够了。这样就可以用前就足够了。这样就可以用前 个不相关的主成个不相关的主成分分 的变化来刻画的变化来刻画 的的 个相关分量个相关分量的变化，即就是说可以用低维指标的变化，即就是说可以用低维指标来反映高维指标来反映高维指标的变化特性。的变化特性。协方差阵协方差阵 和相关矩阵和相关矩阵 往往是未知的。这时往往是未知的。这时在实际问题中，所研究的总体在实际问题中，所研究的总体 的均值的均值需对总体进行抽样，设样本为需对总体进行抽样，设样本为取取 和和 的估计分别为的估计分别为 样本均值样本均值4、样本主成分、样本主成分 样本相关矩阵样本相关矩阵设设 的特征值为的特征值为对

13、应的单位特征向量为对应的单位特征向量为 则称则称为为 的第的第 个样本主成分。个样本主成分。样本协方差阵样本协方差阵同样地，若记同样地，若记 的特征值为的特征值为对应的单位特征向量为对应的单位特征向量为 则称则称为为 标准化变量的第标准化变量的第 个样本主成分，其中个样本主成分，其中对于样本对于样本可以得到相应的主可以得到相应的主成分的样本成分的样本为了区别起见，将这小节的主成分统称为为了区别起见，将这小节的主成分统称为样本主成分；而上一小节的主成分统称为总体样本主成分；而上一小节的主成分统称为总体主成分。主成分。服装的定型分类问题：服装的定型分类问题：为了较好地满足市场的需要，服装生产厂要了

14、解所生产的为了较好地满足市场的需要，服装生产厂要了解所生产的一种服装究竟设计几种型号合适，这些型号的服装应按这样比一种服装究竟设计几种型号合适，这些型号的服装应按这样比例分配生产计划才能达到较好的经济效益。例分配生产计划才能达到较好的经济效益。现对现对128128个成年男子按个成年男子按1616项指标进行测量项指标进行测量,16,16项指标是项指标是:1 1、身长、身长 2 2、坐高、坐高 3 3、胸围、胸围 4 4、头高、头高 5 5、裤长、裤长 6 6、下裆、下裆 7 7、手长、手长 8 8、领围、领围 9 9、前胸、前胸 1010、后背、后背 1111、肩厚、肩厚 1212、肩宽、肩宽

15、1313、袖长、袖长 1414、肋围、肋围 1515、腰围、腰围 1616、腿肚、腿肚5、主成分分析实例、主成分分析实例 原始数据矩阵应是原始数据矩阵应是1616128128阶的矩阵阶的矩阵 如第一行向量如第一行向量 ，即是，即是128128人按身长量人按身长量出的尺寸。出的尺寸。第二列向量第二列向量 ，是第二个男子按上述，是第二个男子按上述1616项指标量出的尺寸。项指标量出的尺寸。1 1）样本相关系数矩阵）样本相关系数矩阵 首先计算各指标的均值与样本标准差首先计算各指标的均值与样本标准差指标 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16样本均值 164.5

16、90 85.7 138.1 96 75.5 19.4 35.8 36 34.8 12.2 20.7 15.1 73.2 86.3 50.1 样本标准差 6.8 3.7 3.2 6.5 4.9 4.4 1.1 1.6 2.6 2.6 1.1 1.4 3.4 4.2 3.7 2.9比较表中标准差：比较表中标准差：标准差大的指标依次为身高、头高。标准差大的指标依次为身高、头高。标准差小的指标为手长、领围、肩厚、肩宽。标准差小的指标为手长、领围、肩厚、肩宽。2 2）标准化处理）标准化处理 将将Y Y经过标准化处理，得数据矩阵经过标准化处理，得数据矩阵X X，从而可得样本相关，从而可得样本相关阵阵R R

17、，由于矩阵，由于矩阵R R是对称的，因此只列出下三角形部分元素是对称的，因此只列出下三角形部分元素。3 3）矩阵）矩阵R R的特征值及其相应的方差贡献率和特征向量：的特征值及其相应的方差贡献率和特征向量：特征值特征值 贡献率贡献率 累计贡献率累计贡献率 7.03 0.44 0.44 2.61 0.16 0.60 1.63 0.10 0.70 0.84 0.06 0.76 0.77 0.05 0.81 0.64 0.04 0.85 0.58 0.03 0.88 0.46 0.03 0.91 0.36 0.02 0.93 0.31 0.02 0.95 0.24 0.02 0.97 0.22 0.0

18、1 0.98 0.17 0.01 0.99 0.14 0.01 1.00 0.07 0.00 1.00 0.04 0.00 1.00 在以上表中在以上表中若取前三个特征若取前三个特征值的累计方差贡值的累计方差贡献率可达到献率可达到70%,70%,不妨就取这前三不妨就取这前三个特征值可求其个特征值可求其相应的特征向量。相应的特征向量。1身长身长 0.34 0.20 0.012坐高坐高 0.27 0.14 -0.06 3胸围胸围 0.23 -0.33 0.144头高头高 0.34 0.18 0.035裤长裤长 0.33 0.20 0.036下档下档 0.29 0.27 -0.037手长手长 0.2

19、9 0.19 0.028领围领围 0.19 -0.37 -0.159前胸前胸 0.09 0.07 0.6310后背后背 0.15 -0.17 -0.5311肩厚肩厚 0.10 -0.35 -0.2012肩宽肩宽 0.24 -0.02 -0.3113袖长袖长 0.32 0.11 -0.0214肋围肋围 0.18 -0.37 0.2515腰围腰围 0.27 -0.27 0.1416腿肚腿肚 0.16 -0.36 0.24 第一特征向量第一特征向量 第二特征向量第二特征向量 第三特征向量第三特征向量4 4）主成份：）主成份：第一主成份：第一主成份：第二主成份：第二主成份：第三主成份：第三主成份：5

20、5）主成份的含义）主成份的含义 从三个特征向量从三个特征向量 的取值特点我们来分析和的取值特点我们来分析和解释各主成份的含义解释各主成份的含义 （1 1）第一主成份第一主成份F1F1的系数皆为正，故此的系数皆为正，故此F1F1表示各指标表示各指标尺寸同时大或同时小。这就是说，身材魁梧的人，他的各尺寸同时大或同时小。这就是说，身材魁梧的人，他的各种指标相应的尺寸都比较大，而身材矮小的人，各种指标种指标相应的尺寸都比较大，而身材矮小的人，各种指标相应的尺寸都比较小。因此把第一主成份相应的尺寸都比较小。因此把第一主成份F1F1看成是刻画尺看成是刻画尺寸大小的因子。寸大小的因子。（2 2）、第二主成份

21、）、第二主成份F2F2的系数有正有负，其绝对值的大的系数有正有负，其绝对值的大小相差不太大，小相差不太大，系数为正的有：系数为正的有：身长（身长（X1X1）、坐高）、坐高（X2X2）、头高（）、头高（X4X4）、裤长（）、裤长（X5X5）、下裆（）、下裆（X6X6）、手长）、手长（X7X7）、袖长（）、袖长（X13X13）。）。系数为负的有：系数为负的有：胸围（胸围（X3X3）、）、领围（领围（X8X8）、后背（）、后背（X10X10）、肩厚（）、肩厚（X11X11）、肋围）、肋围（X14X14）、腰围（）、腰围（X15X15）、腿肚（）、腿肚（X16X16），显然，正系数），显然，正系数反映

22、反映“长长”的尺寸，负系数反映的尺寸，负系数反映“围围”的尺寸。的尺寸。因此第二主成份因此第二主成份F2F2主要反映人的胖瘦情况，所以把主要反映人的胖瘦情况，所以把它看成是刻画形状的因子。由于它看成是刻画形状的因子。由于F1F1和和F2F2所刻画的是两种所刻画的是两种不同性质的因子，故在人的身材高矮大致相同时可通过不同性质的因子，故在人的身材高矮大致相同时可通过F2F2来分胖瘦。来分胖瘦。（3 3）第三主成份第三主成份F3F3的系数多数取值很小，接近于的系数多数取值很小，接近于0 0，只有两个系数绝对值比较大，前胸（只有两个系数绝对值比较大，前胸（X9X9）、后背）、后背（X10X10）。所以

23、可把第三个主成份）。所以可把第三个主成份F3F3视作反映特殊体型视作反映特殊体型的因子，如在身材高矮的程度和胖瘦的程度大致相同时，的因子，如在身材高矮的程度和胖瘦的程度大致相同时，通过通过F3F3来区分各种特殊体型，如驼背等畸形。来区分各种特殊体型，如驼背等畸形。通过对主成份的含义说明，可见通过对主成份的含义说明，可见F1F1、F2F2、F3F3这三个这三个主成份确实反映了男子的体型的主要信息，因此用这三主成份确实反映了男子的体型的主要信息，因此用这三个具有代表性的指标代替原有个具有代表性的指标代替原有1616指标，设计各种型号服指标，设计各种型号服装，对满足各类消费者的需要有重要的指导意义。装，对满足各类消费者的需要有重要的指导意义。例例7.1 7.1 社区调查数据的主成分分析。社区调查数据的主成分分析。调查了调查了1212个社区，五个变量。个社区，五个变量。使用使用 SPSS SPSS 处理。处理。5、主成分分析实例、主成分分析实例