实用统计方法第一讲主成分分析幻灯片.ppt

实用统计方法第一讲主成分分析第1页，共48页，编辑于2022年，星期五统计是什么？统计是什么？统计是人类思维的一个归纳过程统计是人类思维的一个归纳过程站在一个路口，看到每过去站在一个路口，看到每过去20辆小轿辆小轿车时，也有车时，也有100辆自行车通过辆自行车通过而且平均每而且平均每10个轿车载有个轿车载有12个人个人于是，你认为小汽车和自行车在这于是，你认为小汽车和自行车在这个路口的运载能力为个路口的运载能力为24:100这是一个典型的统计思维过程这是一个典型的统计思维过程第2页，共48页，编辑于2022年，星期五统计是什么？统计是什么？一般来说，统计先从现实世界收集数据一般来说，统计先从现实世界收集数据（信息），如观测路口的交通（信息），如观测路口的交通然后，根据数据作出判断，称为模型然后，根据数据作出判断，称为模型模型是从数据产生的模型是从数据产生的模型也需要根据新的信息来改进模型也需要根据新的信息来改进不存在完美的模型不存在完美的模型模型的最终结局都是被更能够说明现实模型的最终结局都是被更能够说明现实世界的新模型所取代世界的新模型所取代第3页，共48页，编辑于2022年，星期五统计学可以应用于几乎所有的领域统计学可以应用于几乎所有的领域:精算，农业，动物学，人类学，考古学，审计学，精算，农业，动物学，人类学，考古学，审计学，晶体学，人口统计学，牙医学，生态学，经济计晶体学，人口统计学，牙医学，生态学，经济计量学，教育学，选举预测和策划，工程，流行病量学，教育学，选举预测和策划，工程，流行病学，金融，水产渔业研究，遗传学，地理学，地学，金融，水产渔业研究，遗传学，地理学，地质学，历史研究，人类遗传学，水文学，工业，质学，历史研究，人类遗传学，水文学，工业，法律，语言学，文学，劳动力计划，管理科学，法律，语言学，文学，劳动力计划，管理科学，市场营销学，医学诊断，气象学，军事科学，核市场营销学，医学诊断，气象学，军事科学，核材料安全管理，眼科学，制药学，物理学，政治材料安全管理，眼科学，制药学，物理学，政治学，心理学，心理物理学，质量控制，宗教研究，学，心理学，心理物理学，质量控制，宗教研究，社会学，调查抽样，分类学，气象改善，博彩等。社会学，调查抽样，分类学，气象改善，博彩等。第4页，共48页，编辑于2022年，星期五 统计是什么？统计是什么？一句话，一句话，统统计计学学（statistics）是是用用以以收收集集数数据据，分分析析数数据据和和由由数数据据得得出出结结论论的的一一组组概概念念、原原则则和和方方法。法。第5页，共48页，编辑于2022年，星期五以以归归纳纳为为主主要要思思维维方方式式的的统统计计不不是是以以演演绎为主的绎为主的数学数学。统统计计可可应应用用于于各各个个不不同同学学科科，在在有有些些学学科科已已经经有有其其特特有有的的方方法法和和特特点点；如如生生物物统统 计计(biostatistics)、经经 济济 计计 量量 学学(econometrics)以以及及目目前前很很热热门门的的生生物物信信息息(bioinformation)和和数数据据挖挖掘掘(Data Mining)的方法主体都是统计。的方法主体都是统计。第6页，共48页，编辑于2022年，星期五你想过下面的问题吗？你想过下面的问题吗？当当你你买买了了一一台台电电视视时时，被被告告知知三三年年内内可可以以免免费费保保修修。你你想想过过厂厂家家凭凭什什么么这这样样说说吗吗？说说多多了了，厂厂家家会会损损失失；说说少少了了，会会失失去去竞竞争争，也也是是损损失失。到到底底这个保修期是怎样决定的呢？这个保修期是怎样决定的呢？大大学学排排名名是是一一个个非非常常敏敏感感的的问问题题。不不同同的的机机构构得得出出不不同同的的结结果果；各各自自都都说说自自己己是是客客观观、公公正正和和有有道理的。到底如何理解这些不同的结果呢？道理的。到底如何理解这些不同的结果呢？疾疾病病传传播播时时，如如何何能能够够通通过过感感染染者者入入院院前前后后的的各各种种因素得到一个疾病传染方式的模型呢？因素得到一个疾病传染方式的模型呢？第7页，共48页，编辑于2022年，星期五可以想象出的统计应用例子可以想象出的统计应用例子如何确定观众如何确定观众/听众是否忠实于某节目听众是否忠实于某节目(专栏专栏)如何对电视节目排名次如何对电视节目排名次什么因素影响一个节目的收视率什么因素影响一个节目的收视率如何按照各种不同环境估计某商店的顾客人数如何按照各种不同环境估计某商店的顾客人数如何按照各种指标评价雇员如何按照各种指标评价雇员如何把地区如何把地区(市县镇等市县镇等)按照各种指标分类按照各种指标分类如何确定红楼梦第几回不是曹雪芹所写如何确定红楼梦第几回不是曹雪芹所写如何确定一个产品的可靠性如何确定一个产品的可靠性如何进行偏差较少的民意调查如何进行偏差较少的民意调查如何根据一些财务数据发现漏税的嫌疑单位如何根据一些财务数据发现漏税的嫌疑单位?第8页，共48页，编辑于2022年，星期五统计的一些做法统计的一些做法统计可以指导我们收集数据统计可以指导我们收集数据.当拥有来自一些变量当拥有来自一些变量(指标指标)的数据或记录的数据或记录,但缺乏模但缺乏模型来描述这些变量之间关系的情况下型来描述这些变量之间关系的情况下,可用统计方法可用统计方法建立模型建立模型.在有了一定的模型时在有了一定的模型时,统计可以确定手中数据是否统计可以确定手中数据是否令人信服地支持某种论点令人信服地支持某种论点.模型也用来对未来进行模型也用来对未来进行预测预测.统计直观的图表展示统计直观的图表展示,可以使各个领域的专家容可以使各个领域的专家容易理解易理解第9页，共48页，编辑于2022年，星期五统计需要的知识统计需要的知识数学的几乎所有内容数学的几乎所有内容(不一定事先知不一定事先知道需要什么道需要什么)用计算机做统计计算用计算机做统计计算其他其他(对象对象)领域的知识领域的知识第10页，共48页，编辑于2022年，星期五统计和数学的区别统计和数学的区别数学思维是以演绎为主数学思维是以演绎为主统计思维是以归纳为主统计思维是以归纳为主,兼有演绎兼有演绎统计各领域利用几乎所有存在的数学统计各领域利用几乎所有存在的数学内容内容.但统计本身的数学是为具体目标服务但统计本身的数学是为具体目标服务的的,自己一般不形成数学体系自己一般不形成数学体系第11页，共48页，编辑于2022年，星期五第一讲第一讲 主成分分析主成分分析Principal Component Analysis（PCA）第12页，共48页，编辑于2022年，星期五主成分分析的基本原理主成分分析的基本原理 主成分分析的计算主成分分析的计算 主成分分析应用实例主成分分析应用实例 几个问题几个问题第13页，共48页，编辑于2022年，星期五 在社会经济的研究中，为了全面系统的分析和研究问在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的映我们所研究的对象的特征，但在某种程度上存在信息的重叠，重叠，变量太多，变量太多，这这无疑会增加分析问题的难度与复杂性，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关而且在许多实际问题中，多个变量之间是具有一定的相关关系的。系的。因此，人们会很自然地想到，能否在相关分析的基因此，人们会很自然地想到，能否在相关分析的基础上，用较少的新变量代替原来较多的旧变量，而且使础上，用较少的新变量代替原来较多的旧变量，而且使这些较少的新变量尽可能多地保留原来变量所反映的信这些较少的新变量尽可能多地保留原来变量所反映的信息？息？问题的提出问题的提出：第14页，共48页，编辑于2022年，星期五 事实上，这种想法是可以实现的，主成分分析事实上，这种想法是可以实现的，主成分分析方法就是综合处理这种问题的一种强有力的工具。方法就是综合处理这种问题的一种强有力的工具。主成分分析是把原来多个变量划为少数几个主成分分析是把原来多个变量划为少数几个综合指标综合指标的一种统计分析方法。的一种统计分析方法。从数学角度来看，这是一种降维处理技术。从数学角度来看，这是一种降维处理技术。第15页，共48页，编辑于2022年，星期五一、主成分分析的基本原理一、主成分分析的基本原理 假定有假定有n个样本，每个样本共有个样本，每个样本共有p p个变量，构成个变量，构成一个一个np阶的数据矩阵阶的数据矩阵第16页，共48页，编辑于2022年，星期五 当当p较大时，在较大时，在p维空间中考察问题比较麻烦。为了维空间中考察问题比较麻烦。为了克服这一困难，就需要进行降维处理，即用较少的几个克服这一困难，就需要进行降维处理，即用较少的几个综合指标综合指标代替原来较多的变量指标，而且使这些较代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多变量指标少的综合指标既能尽量多地反映原来较多变量指标所反映的信息，同时它们之间又是彼此独立的。所反映的信息，同时它们之间又是彼此独立的。第17页，共48页，编辑于2022年，星期五 定义：记定义：记x1，x2，xP为原变量指标，为原变量指标，z1，z2，zm（mp）为新变量指标）为新变量指标第18页，共48页，编辑于2022年，星期五n系数系数lij的确定原则：的确定原则：zi与与zj（ij；i，j=1，2，m）相互无关相互无关；z1是是x1，x2，xP的一切线性组合中的一切线性组合中方差最大方差最大者，者，z2是与是与z1不相关不相关的的x1，x2，xP的所有线性组合中方差最的所有线性组合中方差最大者大者,或者说是对原始数据中尚未被或者说是对原始数据中尚未被z1解释的差异部分拥有解释的差异部分拥有最大最大的解释能力的解释能力；zm是与是与z1，z2，zm1都不相关的都不相关的x1，x2，xP，的所的所有线性组合中方差最大者。有线性组合中方差最大者。则新变量指标则新变量指标z1，z2，zm分别称为原变量指标分别称为原变量指标x1，x2，xP的的第一，第二，第一，第二，第，第m主成分主成分。第19页，共48页，编辑于2022年，星期五 从以上的分析可以看出，主成分分析的实质就是确从以上的分析可以看出，主成分分析的实质就是确定原来变量定原来变量xj（j=1，2，p）在诸主成分）在诸主成分zi（i=1，2，m）上的载荷）上的载荷 lij（i=1，2，m；j=1，2，p）。）。因此主成分分析的关键就是确定这些系数。因此主成分分析的关键就是确定这些系数。从数学上容易知道，从数学上可以证明，它们从数学上容易知道，从数学上可以证明，它们分别是的分别是的协方差（协方差（相关相关）矩阵矩阵的的m个较大的特征值所个较大的特征值所对应的特征向量。对应的特征向量。P54 定理定理2.1.1 第20页，共48页，编辑于2022年，星期五二二、主成分、主成分的计算的计算 基本概念（基本概念（P60）协方差协方差(covariance)方差方差标准差标准差第21页，共48页，编辑于2022年，星期五相关系数相关系数(correlation coefficient)协方差数据矩阵的协方差数据矩阵的每一列对应一个变量的每一列对应一个变量的n个测量个测量值，任意两列之间可以计算两变量间的协方差值，任意两列之间可以计算两变量间的协方差cov(i,j),i=j时，时，第22页，共48页，编辑于2022年，星期五协方差矩阵协方差矩阵第23页，共48页，编辑于2022年，星期五相关系数矩阵相关系数矩阵 rij（i，j=1，2，p）为原变量）为原变量xi与与xj的相关系数，的相关系数，rij=rji.第24页，共48页，编辑于2022年，星期五协方差矩阵与相关矩阵的关系协方差矩阵与相关矩阵的关系 P58两者有何区别和联系？两者有何区别和联系？何为标准化？何为标准化？为什么要标准化？为什么要标准化？第25页，共48页，编辑于2022年，星期五计算步骤计算步骤（以相关矩阵为例）（以相关矩阵为例）第一步：第一步：计算相关系数矩阵计算相关系数矩阵第26页，共48页，编辑于2022年，星期五第二步：第二步：计算特征值与特征向量计算特征值与特征向量 解特征方程，常用雅可比法（解特征方程，常用雅可比法（Jacobi）求出）求出特征值，并使其按大小顺序排列特征值，并使其按大小顺序排列 ；分别求出对应于特征值的特征向量分别求出对应于特征值的特征向量 ，要求，要求=1，即，即，其中表示向量其中表示向量 的第的第j个分量。个分量。第27页，共48页，编辑于2022年，星期五 计算主成分贡献率及累计贡献率计算主成分贡献率及累计贡献率 贡献率贡献率:累计贡献率累计贡献率:一般取累计贡献率达一般取累计贡献率达8595%的特征值的特征值所对应的第一、第二、所对应的第一、第二、第、第m（mp）个主成分。）个主成分。第28页，共48页，编辑于2022年，星期五 MATLABMATLAB的一个命令的一个命令pc,variance,t2=princomp(X)输入数据矩阵：x1 x2 xp 一般地，要求n p。模型：要求 m p。zm第29页，共48页，编辑于2022年，星期五输出变量：pc 主分量zi的系数(ci1,cip)；注意：pcTpc=单位阵 variance是score对应列的方差向量，即相关系数矩阵R的特征值；容易计算方差所占的百分比 percent-v=100*variance/sum(variance);t2表示检验的t2-统计量（主要用于方差分析）第30页，共48页，编辑于2022年，星期五三、主成分分析方法应用实例例例1：有：有3个变量个变量X1,X2与与X3(p=3)，其，其16次（次（n=16）观测值见下表：）观测值见下表：第31页，共48页，编辑于2022年，星期五 相关矩阵为：相关矩阵为：相关阵相关阵R的特征值分别为的特征值分别为2.077,0.919,0.004，前两个主成分的累计贡献率为前两个主成分的累计贡献率为99.866%。这说明这说明第三个主成分所起作用非常小，可以只要两个主成分第三个主成分所起作用非常小，可以只要两个主成分。课后练习：用课后练习：用MATLAB求本例中求本例中16个样本的个样本的第一、第二主成分值及其对应的载荷向量。第一、第二主成分值及其对应的载荷向量。第32页，共48页，编辑于2022年，星期五 下面，我们根据表1给出的数据，对某农业生态经济系统做主成分分析。表表1 1 某农业生态经济系统各区域单元的有关数据某农业生态经济系统各区域单元的有关数据 第33页，共48页，编辑于2022年，星期五第34页，共48页，编辑于2022年，星期五步骤如下：（1）将表中的数据作标准差标准化处理，然后将它们代入公式计算相关系数矩阵（见表2）。表表2 2相关系数矩阵相关系数矩阵 第35页，共48页，编辑于2022年，星期五 （2）由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表3）。由表3可知，第一，第二，第三主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。第36页，共48页，编辑于2022年，星期五表表3 3特征值及主成分贡献率特征值及主成分贡献率 第37页，共48页，编辑于2022年，星期五 （3）对于特征值=4.6610，=2.0890，=1.0430分别求出其特征向量e1，e2，e3，再用公式计算各变量x1，x2，x9在主成分z1，z2，z3上的载荷（表4）。第38页，共48页，编辑于2022年，星期五表表4 4 主成分载荷主成分载荷 第39页，共48页，编辑于2022年，星期五 第一主成分第一主成分z1与与x1，x5，x6，x7，x9呈显出较呈显出较强的正相关，与强的正相关，与x3呈显出较强的负相关，而呈显出较强的负相关，而这几个变量则综合反映了生态经济结构状况，这几个变量则综合反映了生态经济结构状况，因此可以认为第一主成分因此可以认为第一主成分z1是生态经济结构是生态经济结构的代表。的代表。第二主成分第二主成分z2与与x2，x4，x5呈显出较强的正相呈显出较强的正相关，与关，与x1呈显出较强的负相关，其中，除了呈显出较强的负相关，其中，除了x1为人口总数外，为人口总数外，x2，x4，x5都反映了人均占有都反映了人均占有资源量的情况，因此可以认为第二主成分资源量的情况，因此可以认为第二主成分z2代代表了人均资源量。表了人均资源量。分析：分析：第40页，共48页，编辑于2022年，星期五显显然然，用用三三个个主主成成分分z1、z2、z3代代替替原原来来9个个变变量量（x1，x2，x9），描描述述农农业业生生态态经经济济系系统统，可可以以使使问问题题更更进进一一步步简简化化、明了。明了。第三主成分第三主成分z3，与，与x8呈显出的正相关程度最高，呈显出的正相关程度最高，其次是其次是x6，而与，而与x7呈负相关，因此可以认为第三主呈负相关，因此可以认为第三主成分在一定程度上代表了农业经济结构。成分在一定程度上代表了农业经济结构。另外，表另外，表4中最后一列（占方差的百分数），中最后一列（占方差的百分数），在一定程度反映了三个主成分在一定程度反映了三个主成分z1、z2、z3包含原包含原变量（变量（x1，x2，x9）的信息量多少。）的信息量多少。第41页，共48页，编辑于2022年，星期五几个问题的思考。几个问题的思考。第42页，共48页，编辑于2022年，星期五Q1：什么是主成分分析？什么是主成分分析？当某一问题需要同时考虑好几个因素时，我们当某一问题需要同时考虑好几个因素时，我们并不对这些因素个别处理而是将它们并不对这些因素个别处理而是将它们综合综合起来起来处理，这就是处理，这就是PCAPCA。根据方差最大化原理，用一组新的、线性无关根据方差最大化原理，用一组新的、线性无关且相互正交的向量来表征原来数据矩阵的行且相互正交的向量来表征原来数据矩阵的行（或列）。这组新向量（主成分）是原始数据（或列）。这组新向量（主成分）是原始数据向量的线性组合。这样综合处理的原则是使新向量的线性组合。这样综合处理的原则是使新的综合变量能够解释大部分原始数据方差。的综合变量能够解释大部分原始数据方差。第43页，共48页，编辑于2022年，星期五什么是主成分分析？什么是主成分分析？由于各种量测到数据通常是以矩阵的形式记录、表达和由于各种量测到数据通常是以矩阵的形式记录、表达和存储的，实际中的很多数据信息往往是重叠与冗余的。存储的，实际中的很多数据信息往往是重叠与冗余的。从线性代数的观点来看，就是这些数据矩阵中存在相关从线性代数的观点来看，就是这些数据矩阵中存在相关的行或列。因此需要对其进行处理和提炼，抽取出有意的行或列。因此需要对其进行处理和提炼，抽取出有意义、独立的变量。义、独立的变量。主成分分析主成分分析(Principal Component Analysis,简简称称PCA)是一种常用的基于变量协方差是一种常用的基于变量协方差（相关）（相关）矩阵矩阵对信息进行处理、压缩和抽提的有效方法。对信息进行处理、压缩和抽提的有效方法。第44页，共48页，编辑于2022年，星期五Q2：为什么要根据方差确定主成分？为什么要根据方差确定主成分？情形情形II下总分的方差为下总分的方差为0，显然不能反映三个学生各科成绩各，显然不能反映三个学生各科成绩各有所长的实际情形，而红色标记的变量对应的方差最大，可有所长的实际情形，而红色标记的变量对应的方差最大，可反映原始数据的大部分信息反映原始数据的大部分信息。第45页，共48页，编辑于2022年，星期五Q3:为什么要进行主成分分析？为什么要进行主成分分析？消除原始变量间存在的共线性，克服由此造成的消除原始变量间存在的共线性，克服由此造成的运算不稳定、矩阵病态等问题运算不稳定、矩阵病态等问题压缩变量个数，剔除冗余信息，使模型更好地反压缩变量个数，剔除冗余信息，使模型更好地反映真实情况。映真实情况。PCA分析在很多领域有广泛应用（模式识别、化学组分析在很多领域有广泛应用（模式识别、化学组分的定量分析、多元物系的组分数目确定、动力学反分的定量分析、多元物系的组分数目确定、动力学反应机理的确定等）应机理的确定等）第46页，共48页，编辑于2022年，星期五Q4：主成分主成分分析有哪些分析有哪些特点特点 主成分是原变量的线性组合；主成分是原变量的线性组合；各个主成分之间互不相关；各个主成分之间互不相关；主成分按照方差从大到小依次排列，第一主主成分按照方差从大到小依次排列，第一主 成分对应最大的方差（特征值）；成分对应最大的方差（特征值）；每个主成分的均值为每个主成分的均值为0、其方差为协方差阵、其方差为协方差阵 对应的特征值；对应的特征值；不同的主成分之间不同的主成分之间不相关，即它们直接的协方差不相关，即它们直接的协方差为零为零。第47页，共48页，编辑于2022年，星期五主成分主成分分析有哪些分析有哪些特点特点 如果原来有如果原来有p个变量，则最多可以选取个变量，则最多可以选取p个主成分，这个主成分，这p个主个主成分的变化可以完全反映原来全部成分的变化可以完全反映原来全部p个变量的变化个变量的变化，有课，有课本的定理本的定理2.1.22.1.2，即，即对于变量标准化后的相关矩阵，结论是什么？见课本定对于变量标准化后的相关矩阵，结论是什么？见课本定理理2.1.32.1.3。如果选取的主成分少于如果选取的主成分少于p个，则这些主成分的变化应尽可个，则这些主成分的变化应尽可能多地反映原来全部能多地反映原来全部p个变量的变化。个变量的变化。第48页，共48页，编辑于2022年，星期五