统计分析 主成分分析精品文稿.ppt

《统计分析 主成分分析精品文稿.ppt》由会员分享，可在线阅读，更多相关《统计分析 主成分分析精品文稿.ppt（26页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、统计分析 主成分分析第1页，本讲稿共26页问题的提出主成分分析方法（principal component analysis，PCA）就是综合处理这种问题的一种强有力的工具。它把原来多个变量（显式变量）转化为少数几个综合变量（潜式变量）。综合变量即主成分（principal compontent）综合变量之间相互独立，且能反映原来多个变量的大部分信息。主成分分析采用的主要原则是使方差最大，以期尽可能多的保留原有变量所包含的信息，同时又能用尽可能少的主成分替代原有变量，从而使问题变的简便。但是，这些主成分通常并没有明确的专业意义。因子分析是主成分分析的一种推广。它从一定的模型出发，找出几个反映原

2、有变量的公共因子，并力求使之有较为合理的专业解释。8 主成分分析第2页，本讲稿共26页8 主成分分析问题的提出 引例8-1 2000年全国各地区经济效益主要指标有以下8个：GDP（亿元）、工业增加值（%）、总资产贡献率（%）、资产负债率（%）、流动资产周转次数（次/年）、工业成本费用利润率（%）、全员劳动生产率（元/人.年）、产品销售率（%）。第3页，本讲稿共26页8 主成分分析第4页，本讲稿共26页8 主成分分析问题的提出第5页，本讲稿共26页8 主成分分析问题的提出第6页，本讲稿共26页8 主成分分析 什么是主成分分析 主成分分析的数学模型 主成分分析的主要步骤 如何在SPSS软件中进行主

3、成分分析第7页，本讲稿共26页8 主成分分析什么是主成分分析 主成分概念首先由Kal parson在1901年提出，不过当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机向量。主成分分析（Principal Components Analysis，PCA)也称为主分量分析，是一种通过降维来简化数据结构的方法，即如何把多个变量（变量）转化为少数几个综合变量（综合变量），而这几个综合变量可以反映原来多个变量的大部分信息。为了使这些综合变量所含的信息互不重叠，应要求它们之间互不相关。第8页，本讲稿共26页8 主成分分析什么是主成分分析在实际问题中，经常遇到多变量(指标)问题

4、，而且变量之间有一定的相关性。变量多且变量间有一定的相关性，势必增加了分析问题的复杂性。主成分分析就是设法将原来变量重新组合成一组新的互相无关的几个综合变量来代替原来变量，同时根据实际需要从中可取几个较少的综合变量尽可能多地反映原来变量的信息。第9页，本讲稿共26页8 主成分分析基本思想主成分分析就是设法将原来众多具有一定相关性的变量(如p个变量)，重新组合成一组新的相互无关的综合变量来代替原来变量。怎么处理？通常数学上的处理就是将原来p个变量作线性组合作为新的综合变量。如何选择？如果将选取的第一个线性组合即第一个综合变量记为F1，自然希望F1尽可能多的反映原来变量的信息。怎样反映?最经典的方

5、法就是用方差来表达，即var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1应该是方差最大的，故称之为第一主成分（principal component I）。第10页，本讲稿共26页8 主成分分析 基本思想如果第一主成分不足以代表原来p个变量的信息，再考虑选取F2即第二个线性组合。F2称为第二主成分（principal component II）。F1和F2的关系？为了有效地反映原来信息，F1已有的信息就不再出现在F2中，即cov（F1,F2)0。依此类推，可以获得p个主成分。因此，这些主成分之间是互不相关的，而且方差依次递减。在实际中，挑选前几个最大主成分来表征。标

6、准？各主成分的累积方差贡献率80%或特征根1。第11页，本讲稿共26页8 主成分分析 数学模型 假定有n个地理样本，每个样本共有p个变量，构成一个np阶的地理数据阵当p较大时，在p维空间中考察问题比较麻烦。为了克服这一困难，就需要进行降维处理，即用较少的几个综合变量代替原来较多的变量变量，而且使这些较少的综合变量既能尽量多地反映原来较多变量变量所反映的信息。第12页，本讲稿共26页8 主成分分析 数学模型 引例8-1中，有31个样本，每个样本有8个变量。第13页，本讲稿共26页8 主成分分析 数学模型要从原来的所有变量得到新的综合变量，一种较为简单而常用的方法是作线性变换，使新的综合变量为原变

7、量的线性组合。第14页，本讲稿共26页8 主成分分析 数学模型的条件 对于任意常数c，有 为了使方差 可以比较，要求线性组合的系数满足规范化条件 要求原始变量之间存在一定的相关性要求各个综合变量间互不相关，即协方差为0为了消除变量量纲不同对方差的影响，通常对数据进行标准化处理，变量之间的协方差即为相关系数。第15页，本讲稿共26页8 主成分分析 数学模型的条件 如果多个变量相互独立或相关性很小，就不能进行主成分分析。Kaiser-Meyer-Olkin（KMO)检验：检验变量之间的偏相关系数是否过小。Bartletts 检验。该检验的原假设是相关矩阵为单位阵（不相关），如果不能拒绝原假设,则不

8、适合进行主成分分析。第16页，本讲稿共26页8 主成分分析 数学模型的推导 寻求X的线性函数 ，使相应的方差尽可能地大，即且第17页，本讲稿共26页8 主成分分析 数学模型的推导 通过推导可知，的主成分就是以协方差阵的特征向量为系数的线性组合，它们互不相关，其方差为 的特征根。由于 特征根 ，所以有 ，因此主成分的名次是按特征根取值大小的顺利排列的。在解决实际问题时，一般不是取全部p个主成分，而是取前k个。方法之一是取特征根大于1的主成分。方法之二是根据累计贡献率来取主成分。何为贡献率和累计贡献率？第18页，本讲稿共26页8 主成分分析主成分的提取贡献率 因此第一主成分的贡献率越大，表明其综合

9、信息的能力就越强。称为第一主成分的贡献率第19页，本讲稿共26页8 主成分分析 主成分的提取 累计贡献率 如果前k个主成分的累计贡献率达到85，则表明取前k个主成分基本包含了全部测量指标所具有的信息，从而达到了变量降维的目的。称为前k个主成分的累计贡献率在实际应用中，通常用样本协差阵来表征总体协差阵。另外，为了消除指标量纲的影响，通常将原始数据进行标准化处理，从而协差阵等同于相关系数阵。第20页，本讲稿共26页8 主成分分析 主成分的提取根据特征根或累积方差贡献率，可以提取3个主成分第21页，本讲稿共26页8 主成分分析主成分模型（注意区别）用主成分载荷矩阵中的数据除以主成分相对应的特征值开平

10、方根便得到两个主成分中每个指标所对应的系数。左图Component Matrix是指初始因子载荷矩阵，每一个载荷量表示主成分与对应变量的相关系数。第22页，本讲稿共26页8 主成分分析主成分模型第23页，本讲稿共26页8 主成分分析主成分解释第24页，本讲稿共26页8 主成分分析 综合主成分 可以根据第一主成分、第二主成分、第三主成分计算各样本主成分，据此进行排序分析 也可以根据综合主成分，对样本进行排序分析第25页，本讲稿共26页8 主成分分析主成分分析的主要步骤 将原始数据标准化（消除量纲的影响）建立变量的协差阵（标准化后即相关系数阵）计算相关系数阵的特征根及相应的单位特征向量 计算主成分贡献率和累积贡献率 确定主成分第26页，本讲稿共26页