主成分分析法教案.pdf
-主成分分析法主成分分析法一、主成分分析一、主成分分析(prpacomnntsanlysi)也称为主分量分析，是由 Holing 于93年首先提出的。主成分分析是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。二、应用背景二、应用背景:对同一个体进行多项观察时,必定涉及多个随机变量 1，X2,Xp,它们都是相关的,一时难以综合。这时就需要借助主成分分析(pricipl opoent anals)来概括诸多信息的主要方面。我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。如果有一项指标,不同个体的取值都大同小异,那么该指标不能用来区分不同的个体。由这一点来看，一项指标在个体间的变异越大越好。因此我们把“变异大”作为“好”的标准来寻求综合指标。例、例、考察对象股票业绩(这里单个股票为观察个体这里单个股票为观察个体)。(1）确定影响股票业绩主要因素:主营业务收入（X1),主营业务利润(X2）利润总额(X)，净利润（X4），总资产(X5）,净资产(X6),净资产收益率（X7），每股权益（X8)，每股收益(9)，每股公积金（X0）,速动比率（X11）作为变量。因此对单个股票来说,用 11 个随机变量综合刻化。但这些因素过多，各因素区别不明显，有交叉反映。通过主成分分析,可降为少数几个综合指标加以刻化。(2)考察 20 支不同的股票。从数学角度看,每种影响因素是随机变量(Xi),观察一支股票便得到影响该股票的 11 个随机变量取值；观察 20 支股票,便得到了 211 的原始数据阵 X21(略)。三、问题三、问题:作为主成分?严格的数学定义?相应的性质有哪些?主成分取多少?、主成分的一般定义、主成分的一般定义X设有随机变量 X，,Xp,其样本均数记为X1,X2,p,样本标准差记为 S，2，Sp。首先作标准化变换X XxS我们有如下的定义：22a11a12a12p1 (1)若 x+a12x2+a1pxp，,且使Var(Y1）最大,则称 Y1 为第一主成分;（2）若Y=a21x1a22x2+a2px222a21a22a2p1,(a21,a22,a2p)垂直于(a11,a12，a1p)，且使a（Y2）最大,则称 Y2 为第二主成分;()类似地,可有第三、四、五主成分,至多有 p 个。-2 2、主成分的性质、主成分的性质:1，2,Yp 具有如下几个性质(1)主成分间互不相关,即对任意 i 和 j,i 和 Yj 的相关系数Corr(Yi,Yj)0 (）组合系数(i1,i2，ip)构成的向量为单位向量，（3）各主成分的方差是依次递减的,即Var(Y)V(Y2）Va(Y)（4)总方差不增不减,即Var（Y1)Var(Y2)+a（Yp)Var(1)+Vr(x2）+Va(xp)这一性质说明这一性质说明：主成分是原变量的线性组合,是对原变量信息的一种改组,主成分不增加总信息量,也不减少总信息量。Var(Yi)(5)主成分和原变量的相关系数 Cor(Yi，x)=ijaii（)令 X,X2,p 的相关矩阵为 R，(1，ai2,，ip）则是相关矩阵 R 的第个特征向量(eignetor)。而且，特征值i 就是第 i 主成分的方差，即ar(Y）=i其中i 为相关矩阵的第 i 个特征值(eigevale）1p3 3、主成分的数目的选取、主成分的数目的选取前已指出,设有 p 个随机变量,便有 p 个主成分。由于总方差不增不减，Y1,Y2等前几个综合变量的方差较大,而 Y，p-1 等后几个综合变量的方差较小，严格说来,只有前几个综合变量才称得上主（要）成份,后几个综合变量实为“次”(要)成份。实践中总是保留前几个，忽略后几个。保留多少个主成分取决于保留部分的累积方差在方差总和中所占百分比(即累计贡献率），它标志着前几个主成分概括信息之多寡。实践中，粗略规定一个百分比(一般为0%)便可决定保留几个主成分;如果多留一个主成分,累积方差增加无几，便不再多留。四、主成分分析的一般步骤四、主成分分析的一般步骤1、设观察个体的变量指标为 x1，,xp,它们的综合指标主成分为1，z，则,，zm（mp）22ai2aa1i2ip1 z1 l11x1l12x2l1pxpz l x lx lxmppmm1 1m22z1，z2，zm分别称为原变量指标x1,x2，,x6的第一，第二,第主成分。-收集原始数据，得如下数据表：观察个体个体 1个体 2个体 n12p设有随机变量 x1,x，,x，其样本均数记为x1，x2,，xp，样本标准差记为 S1,S，,Sp。首先作标准化变换X XxS3、计算相关系数矩阵,对应的特征值1p（按从大到小排列）及其对应的特征向量tlab命令:(1）R=corcof（X)(2)b,c=eis()4.计算主成分贡献率及累计贡献率-类似形式结果:5.计算主成分载荷lijieij(i,j 1,26)eij为i对应的标准化的特征向量的第j分量类似形式结果：进行结果分析类似形式:第一主成分与 x1，x,4,x5，x,x9 有较大的正相关，可以看作是流域盆地规模的代表；第二主成分 z2 与 x2 有较大的正相关，与 x有较大的负相关,分可以看作是流域侵蚀状况的代表；第三主成分 z3 与 x6 有较大的正相关,可以看作是河系形态的代表;根据主成分载荷，该流域系统的 9 项要素可以被归纳为三类，即流域盆地的规模，流域侵蚀状况和流域河系形态。如果选取其中相关系数绝对值最大者作为代表，则流域面积、流域盆地出口的海拔-高度和分叉率可作为这三类要素的代表。例、例、主成分分析方法应用实例主成分分析方法应用实例)实例 1:流域系统的主成分分析(张超，19)表 3 5 1(点击显示该表)给出了某流域系统57个流域盆地的9项变量指标。其中,x1代表流域盆地总高度（m)，代表流域盆地山口的海拔高度(）,x3 代表流域盆地周长(m)，x4 代表河道总长度(m），5 代表河道总数，x6 代表平均分叉率，x7 代表河谷最大坡度(度）,x8 代表河源数,9 代表流域盆地面积（km)。注：表中数据详见书本和 88 页。)1（分析过程：将表 3.51 中的原始数据作标准化处理,然后将它们代入相关系数公式计算,得到相关系数矩阵（表 3.5)。由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率(见表 3.5.3)。由表5.3 可知，第一,第二,第三主成分的累计贡献率已高达6.%,故只需求出第一、第二、第三主成分1，-z,z即可。z3 上的载荷(表 34）。(2)结果分析:第一主成分 z1 与 x1,3,x4，x有较大的正相关，可以看作是流域盆地规模的代表；第二主成分 z2 与 x2 有较大的正相关,与7 有较大的负相关,分可以看作是流域-侵蚀状况的代表;第三主成分 z3 与 x6 有较大的正相关，可以看作是河系形态的代表；根据主成分载荷,该流域系统的 9 项要素可以被归纳为三类,即流域盆地的规模，流域侵蚀状况和流域河系形态。如果选取其中相关系数绝对值最大者作为代表，则流域面积、流域盆地出口的海拔高度和分叉率可作为这三类要素的代表。)2(实例之二:中国大陆1 个省（市、区)第三产业综合发展水平的主成分分析与评估聚类分析聚类分析聚类分析聚类分析就是用数学方法对事物进行分类,如(1)我们可以根据学校的师资、设备、学生的情况，将大学分成一流大学，二流大学等;（2)国家之间根据其发展水平可以划分为发达国家、发展中国家;环境优劣分类等。聚类分析一种多元统计方法。基本思想：基本思想：（1）确定观察个体的观测指标，找出能够度量相似程度的统计量;（2）建立相似关系矩阵 R。（3）把一些相似程度较大的样品(或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品(或指标）又聚合为另一类,关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位,直到把所有的样品(或指标）聚合完毕。（4）分类结果可以用聚类谱系图表现,非常清楚直观。-
