最新十章节典型相关分析ppt课件.ppt

《最新十章节典型相关分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《最新十章节典型相关分析ppt课件.ppt（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、十章节典型相关分析十章节典型相关分析10.1 引言v典型相关分析（canonical correlation analysis）是研究两组变量之间相关关系的一种统计分析方法，它能够有效地揭示两组变量之间的相互线性依赖关系。v典型相关分析是由霍特林（Hotelling,1935,1936）首先提出的。二、典型相关变量的性质v1.同一组的典型变量互不相关v2.不同组的典型变量之间的相关性v3.原始变量与典型变量之间的相关系数v4.简单相关、复相关和典型相关之间的关系1.同一组的典型变量互不相关v设x,y的第i对典型变量为ui=aix，vi=biy， i=1,2, ,m则有V(ui)=ai11ai=

2、1，V(vi)=bi22bi=1，i=1,2, ,m(ui,uj)=Cov(ui,uj)=ai11aj=0，1ijm(vi,vj)=Cov(vi,vj)=bi22bj=0，1ijm2.不同组的典型变量之间的相关性v (ui,vi)=i，i=1,2, ,mv记u=(u1,u2, ,um)，v=(v1,v2, ,vm)，则上述两个性质可用矩阵表示为V(u)=Im，V(v)=Im，Cov(u,v)=或其中=diag(1,2, ,m)。1122111222,Cov,Cov,Cov,01ijijijijijjiju vu vijm a x b yax y b ，mmV IuIv3.原始变量与典型变量之间

3、的相关系数v记A=(a1,a2, ,am)=(aij)pmB=(b1,b2, ,bm)=(bij)qm1111,11,1,1,11121,11,1,11,2122,1,1,ppp qpppp pp p qppppppp qp qp q pp q pp q p q则Cov(x,u)=Cov(x,Ax)=11ACov(x,v)=Cov(x,By)=12BCov(y,u)=Cov(y,Ax)=21ACov(y,v)=Cov(y,By)=22B上述四个等式也可表达为 1111,1,1Cov,Cov,jpijiipikkjkpjjqiji pi p qi p kkjkqjax uaabx vbbi=1,

4、2, ,q，j=1,2, ,m所以 1,1,11,1,1Cov,Cov,jpijp ip i pp i kkjkpjjqijp i pp i p qp i p kkjkqjay uaaby vbb,11,11,1,2,1,2,pqijikkjiiiji p kkjiikkpqijp i kkjp i p iijp i p kkjp i p ikkx uax vby uay vbipjm，4.简单相关、复相关和典型相关之间的关系v当p=q=1时，x与y之间的（惟一）典型相关就是它们之间的简单相关；当p=1或q=1时，x与y之间的（惟一）典型相关就是它们之间的复相关。可见，复相关是典型相关的一个特

5、例，而简单相关是复相关的一个特例。v第一个典型相关系数至少同x（或y）的任一分量与y（或x）的复相关系数一样大，即使所有这些复相关系数都较小，第一个典型相关系数仍可能很大；同样，从复相关的定义也可以看出，当p=1（或q=1）时，x（或y）与y（或x）之间的复相关系数也不会小于 x（或y）与y（或x）的任一分量之间的相关系数，即使所有这些相关系数都较小，复相关系数仍可能很大。三、从相关矩阵出发计算典型相关v有时，x和y的各分量的单位不全相同，我们希望在对各分量作标准化变换之后再作典型相关分析。v记1=E(x)，2=E(y)， ， ， 为 的相关矩阵。对x和y的各分量作标准化变换，即令现在来求x*

6、和y*的典型相关变量 ，i=1,2, ,m。111diag,ppD21,1,diag,ppp q p qD11122122RRRRRxy*1*11122xDxyDy,于是因为所以 *111111111111*111122222222*111112112212*111121221121Cov,Cov,Cov,Cov,VVVVyxxDx DD DRyDy DD DRxyDx y DD DRDy x DD DR1111111111111112222111111122222222111111111222211R R R RD DD DD DD DD D1121112222111121111222211

7、11iiiiii aaD DDaDa式中 ，有 。同理式中 ，有 。由此可见， 为x*和y*的第i对典型系数，其第i个典型相关系数仍为i，在标准化变换下具有不变性，这一点与主成分分析有所不同。vx*和y*的第i对典型变量 具有零均值，且与x和y的第i对典型变量ui=aix，vi=biy只相差一个常数。v例10.2.1 设x,y有如下相关矩阵：这里1,1，可以保证 存在。11*2*11122221iiiR R R R aa*1iiaDa*111111111iiiiiia R aa D R Daa a11*2*22211112iiiR R R R bb*2iibD b*222222221iiiii

8、ib R bb D R D bb b*,iia b*,iiiiuva xb y11221211,11RRR,11111122,RR由于11有惟一的非零特征值11=2，故 有惟一非零特征值在约束条件 下，相应于特征值 的特征向量为 。同理，在约束条件 下，111112222122222221111111111,111121111R R R R11111111 11111111122221R R R R221411211/2*12 1a1*111 11a R a*122 11b R b 相应于特征值 的特征向量为 。所以，第一对典型相关变量为其中x*和y*分别是对x和y各分量标准化后的向量。第一个

9、典型相关系数为 。由于1， 1，故1，表明第一个典型相关系数大于两组原始变量之间的相关系数。1122211112R R R R211/2*12 1b11/21/2*112 1,2 1a xxb yy111/2121110.3 样本典型相关v设数据矩阵为则样本协方差矩阵为S可用来作为的估计。当np+q时， 可分别作为 的估计；它们的非零特征值 可用来估计 ；1111111111pqnnnnpnnqxxyyxxyyxyXYxy11122122SSSSS11111112222122211112S S S SS S S S和11111112222122211112 和22212mrrr22212mv相

10、应的特征向量 作为a1,a2, ,am的估计， 作为b1,b2, ,bm的估计。 的正平方根rj称为第j个样本典型相关系数， 称为第j对样本典型相关变量，j=1,2, ,m。将样本(xi,yi)，i=1,2, ,n经中心化后代入m对典型变量，即令则称uij为第i个样品xi的第j个样本典型变量得分，称vij为第i个样品yi的第j个样本典型变量得分。由约束条件 可得v同理可得v对每个j，可画出(uij,vij)，i=1,2, ,n的散点图，该图也可用来检查是否有异常值出现。12,ma aa12 ,mb bb2jrjj a xb y和1,2, ,1,2,ijjiijjiuvin jmaxxbyy,1

11、1jj a S a =121111111,2,11nnijjiijjjiiujmnnaxxxx aa S a=1,2111,2,1nijivjmn=1,v例10.3.1 某康复俱乐部对20名中年人测量了三个生理指标：体重(x1)、腰围(x2)、脉搏(x3)和三个训练指标：引体向上(y1)、起坐次数(y2)、跳跃次数(y3)。其数据列于表10.3.1。表10.3.1某康复俱乐部的生理指标和训练指标数据编 号x1x2x3y1y2y3119136505162602189375221106031933858121011014162356212105375189354613155586182365641

12、0142721138568101388167346061254091763174152004010154335617251250111693450171203812166335213210115131543464142151051424746501505015193364667031162023762122101201717637544602518157325211230801915633541522573201383368211043v 的特征值分别为0.6630、0.0402和0.0053，于是r1=0.797，r2=0.201，r3=0.073相应的样本典型变量系数为1122122111

13、0.8701,0.69610.3660.35310.4960.66910.3900.4930.2260.5520.6460.1920.1510.2250.035 RRRR1111122221R R R R因此，第一对样本典型变量为v如果需要，第二对样本典型变量为*123*1230.7751.8840.1911.579,1.181,0.5060.0590.2311.0510.3500.3761.2971.054 ,0.124,1.2370.7161.0620.419 aaabbb*1123*11230.7751.5790.0590.3501.0540.716uxxxvyyy *2123*2123

14、1.8841.1810.2310.3760.1241.062uxxxvyyy v例10.3.2 在研究组织结构对“职业满意度”的影响时，作为其中一部分，邓讷姆(Dunham)调查了职业满意度与职业特性相关的程度。对从一大型零售公司各分公司挑出的n=784个行政人员，测量了p=5个职业特性变量：用户反馈(x1)、任务重要性(x2)、任务多样性(x3)、任务特性(x4)及自主权(x5)和q=7个职业满意度量：主管满意度(y1)、事业前景满意度(y2)、财政满意度(y3)、工作强度满意度(y4)、公司地位满意度(y5)、工种满意度(y6)及总体满意度(y7)。对784个被测者的样本相关矩阵为v 11

15、1.000.491.000.530.571.000.490.460.481.000.510.530.570.571.00 R样本典型相关系数和样本典型变量系数列于表10.3.2中。2212211.000.431.000.270.331.000.240.260.251.000.340.540.460.281.000.370.320.290.300.351.000.400.580.450.270.590.31 1.000.330.320.200.190.300.370.210.300.210.160.080.270.RRR350.200.310.230.140.070.240.370.180.24

16、0.220.120.190.210.290.160.380.320.170.230.320.360.27表10.3.2 典型相关系数和典型变量系数标准化变量x1*0.420.340.860.790.03x2*0.200.670.440.270.98x3*0.170.850.260.470.91x4*0.020.360.421.040.52x5*0.460.730.980.170.44rj0.550.240.120.070.06标准化变量y1*0.430.090.490.130.48y2*0.210.440.780.340.75y3*0.040.090.480.610.35y4*0.020.93

17、0.010.400.31y5*0.290.100.280.450.70y6*0.520.550.410.690.18y7*0.110.030.930.270.01*1 a*2 a*3 a*4 a*5 a*1b*2b*3b*4b*5b第一对样本典型变量为根据典型系数， 主要代表了用户反馈和自主权这两个变量，三个任务变量显得并不重要；而 主要代表了主管满意度和工种满意度变量，其次代表了事业前景满意度和公司地位满意度变量。我们也可从相关系数的角度来解释典型变量，原始变量与第一对典型变量间的样本相关系数列于表10.3.3中。*112345*112345670.420.200.170.020.460.4

18、30.210.040.020.290.520.11uxxxxxvyyyyyyyv所有五个职业特性变量与第一典型变量u1*有大致相同的相关系数，故u1*可以解释为职业特性变量，这与基于典型系数的解释不同。v1*主要代表了主管满意度、事业前景满意度、公司地位满意度和工种满意度，v1*可以解释为职业满意度公司地位变量，这与基于典型系数的解释基本相一致。第一对典型变量u1*与v1*的样本相关系数r1=0.55，可见，职业特性与职业满意度之间有一定程度的相关性。表10.3.3 原始变量与典型变量的样本相关系数原始变量样本典型变量原始变量样本典型变量xu1*v1*yu1*v1*x1：用户反馈0.830.4

19、6y1：主管满意度0.420.76x2：任务重要性0.730.40y2：事业前景满意度0.360.64x3：任务多样性0.750.42y3：财政满意度0.210.39x4：任务特性0.620.34y4：工作强度满意度0.210.38x5：自主权0.860.48y5：公司地位满意度0.360.65y6：工种满意度0.450.80y7：总体满意度0.280.5010.4 典型相关系数的显著性检验v一、全部总体典型相关系数均为零的检验v二、部分总体典型相关系数为零的检验一、全部总体典型相关系数均为零的检验v设(x,y)Np+q(,),0。又设S为样本协方差矩阵，且np+q。v考虑假设检验问题： H0

20、：1=2= =m=0H1：1,2, ,m至少有一个不为零其中m=minp,q。若检验接受H0，则认为讨论两组变量之间的相关性没有意义；若检验拒绝H0，则认为第一对典型变量是显著的。(10.4.1)式实际上等价于假设检验问题H0：12=0，H1：120H0成立表明x与y互不相关。检验统计量为对于充分大的n，当H0成立时，统计量在给定的下，若 ，则拒绝H0，认为典型变量u1与v1之间的相关性是显著的；否则，就认为第一个典型相关系数不显著。2111miir21113ln2Qnpqpq 21Qpqv例10.4.1 在例10.3.1中，假设为多元正态数据，欲检验：H0：1=2=3=0，H1：10它的似然

21、比统计量为查2分布表得， ，因此在=0.10的显著性水平下，拒绝原假设H0，也即认为至少有一个典型相关是显著的。22211231111110.6330 10.0402 10.00530.3504120333ln15.5 ln0.350416.2552rrrQ 220.100.05914.684916.919，二、部分总体典型相关系数为零的检验v若H0：1=2= =m=0经检验被拒绝，则应进一步检验假设 H0：2= =m=0H1：2, ,m至少有一个不为零若原假设H0被接受，则认为只有第一对典型变量是有用的；若原假设H0被拒绝，则认为第二对典型变量也是有用的。v如此进行下去，直至对某个k，假设H

22、0：k+1= =m=0被接受，这时可认为只有前k对典型变量是显著的。v对于假设检验问题 H0：k+1= =m=0H1：k+1, ,m至少有一个不为零其检验统计量为对于充分大的n，当H0为真时，统计量近似服从自由度为(pk)(qk)的2分布。给定显著性水平，若 ，则拒绝原假设H0，认为第k+1个典型相关系数k+1是显著的，即第k+1对典型变量显著相关。v以上的一系列检验实际上是一个序贯检验，检验直到对某个k值H0未被拒绝为止。事实上，检验的总显著性水平已不是了，且难以确定。还有，检验的结果易受样本容量大小的影响。因此，检验的结果只宜作为确定典型变量个数的重要参考依据，而不宜作为惟一的依据。通常选择尽可能小的k。2+111mkii kr 211113ln2kkikiQnkpqr 21kQpkqkv例10.4.2 在例10.3.1中，欲进一步检验：H0：2=3=0，H1：20检验统计量为故接受原假设H0，即认为第二个典型相关是不显著的。因此，只有一个典型相关是显著的。 22223221220.101110.0402 10.00530.9547120 1333ln216.08 ln0.95470.745 7.7794rrQr 39 结束语结束语