统计学,数据到结论13.ppt

《统计学,数据到结论13.ppt》由会员分享，可在线阅读，更多相关《统计学,数据到结论13.ppt（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、统计学从数据到结论第十三章 典型相关分析13.1两组变量的相关问题两组变量的相关问题 我们知道如何衡量两个变量之间是我们知道如何衡量两个变量之间是否相关的问题；这是一个简单的公否相关的问题；这是一个简单的公式就可以解决的问题式就可以解决的问题(Pearson相关相关系数、系数、Kendalls t t、Spearman 秩秩相关系数相关系数)。公式公式如果我们有两组变量，如何能够表如果我们有两组变量，如何能够表明它们之间的关系呢？明它们之间的关系呢？例子（数据例子（数据tv.txt)业内人士和观众对于一些电视节目的观点业内人士和观众对于一些电视节目的观点有什么样的关系呢？有什么样的关系呢？该数

2、据该数据是不同的人群是不同的人群对对30个电视节目所作的平均评分。个电视节目所作的平均评分。观众评分来自低学历观众评分来自低学历(led)、高学历高学历(hed)和网络和网络(net)调查三种调查三种,它们形成它们形成第一组变第一组变量量；而业内人士分评分来自包括演员和导演在而业内人士分评分来自包括演员和导演在内的艺术家内的艺术家(arti)、发行发行(com)与业内各部与业内各部门主管门主管(man)三种，形成三种，形成第二组变量第二组变量。人们。人们对这样两组变量之间的关系感到兴趣。对这样两组变量之间的关系感到兴趣。寻找代表寻找代表 如直接对这六个变量的相关进行两两如直接对这六个变量的相关

3、进行两两分析，很难得到关于这两组变量之间分析，很难得到关于这两组变量之间关系的一个清楚的印象。关系的一个清楚的印象。希望能够把多个变量与多个变量之间希望能够把多个变量与多个变量之间的相关化为的相关化为两个两个变量之间的相关。变量之间的相关。现在的问题是为每一组变量现在的问题是为每一组变量选取一个选取一个综合变量作为代表综合变量作为代表；而一组变量最简单的综合形式就是该而一组变量最简单的综合形式就是该组变量的组变量的线性组合线性组合。13.2 典型相关分析典型相关分析由于一组变量可以有无数种线性组合由于一组变量可以有无数种线性组合（线性组合由相应的系数确定），因（线性组合由相应的系数确定），因此

4、必须找到此必须找到既有意义又可以确定的线既有意义又可以确定的线性组合。性组合。典型相关分析典型相关分析(canonical correlation analysis)就是要找到这两组变量线性组就是要找到这两组变量线性组合的系数使得这两个由线性组合生成合的系数使得这两个由线性组合生成的变量（和其他线性组合相比）之间的变量（和其他线性组合相比）之间的的相关系数最大。相关系数最大。典型变量典型变量假假定定两两组组变变量量为为X1,X2,Xp和和Y1,Y2,Yq，那那么么，问问题题就就在在于于要要寻寻找找系系数数a1,a2,ap和和b1,b2,bq，和和使使得得新新的的综综合合变变量量（亦亦称称为为典

5、型变量典型变量(canonical variable)）之之间间的的相相关关关关系系最最大大。这这种种相相关关关关系系是是用用典典型型 相相 关关 系系 数数（canonical correlation coefficient）来衡量的。来衡量的。典型相关系数典型相关系数 这这里里所所涉涉及及的的主主要要的的数数学学工工具具还还是是矩矩阵阵的的特特征征值值和和特特征征向向量量问问题题。而而所所得得的的特特征征值值与与V和和W的的典典型型相相关关系数有直接联系。系数有直接联系。由由于于特特征征值值问问题题的的特特点点，实实际际上上找找到到的的是是多多组组典典型型变变量量(V1,W1),(V2,W

6、2),，其其中中V1和和W1最最相相关关，而而V2和和W2次之等等，次之等等，典型相关系数典型相关系数 而而且且V1,V2,V3,之之间间及及而而且且W1,W2,W3,之之间间互互不不相相关关。这这样样又又出出现现了了选选择择多多少少组组典典型型变变量量(V,W)的的问问题题了了。实实际际上上，只只要要选选择择特特征征值值累累积积总总贡贡献献占占主要部分的那些即可。主要部分的那些即可。软软件件还还会会输输出出一一些些检检验验结结果果；于于是是只只要选择显著的那些要选择显著的那些(V,W)。对对实实际际问问题题，还还要要看看选选取取的的(V,W)是是否否有有意意义义，是是否否能能够够说说明明问问

7、题题才才行行。至至于于得得到到(V,W)的的计计算算，则则很很简简单单，下下面面就就tv.txt数据进行分析。数据进行分析。数学原理？数学原理？计算结果计算结果 第第一一个个表表为为判判断断这这两两组组变变量量相相关关性性的的若若干干检检验验，包包括括Pillai迹迹检检验验，Hotelling-Lawley迹迹检检验验，Wilks l l检检验验和和Roy的的最最大大根根检检验验；它它们们都都是是有有两两个个自自由由度度的的F检检验验。该该表表给给出出了了每每个个检验的检验的F值，两个自由度和值，两个自由度和p值（均为值（均为0.000）。）。计算结果计算结果 下下面面一一个个表表给给出出了

8、了特特征征根根(Eigenvalue)，特特征征根根所所占占的的百百分分比比(Pct)和和累累积积百百分分比比(Cum.Pct)和和典典型型相相关关系系数数(Canon Cor)及及其其平平方方(Sq.Cor)。看看来来，头头两两对对典典型型变变量量(V,W)的的累累积积特特征征根根已已经经占占了了总总量量的的99.427%。它们的典型相关系数也都在。它们的典型相关系数也都在0.95之上。之上。计算结果计算结果 对对于于众众多多的的计计算算机机输输出出挑挑出出一一些些来来介介绍绍。下下面面表表格格给给出出的的是是第第一一组组变变量量相相应应于于上上面面三三个个特特征征根根的的三三个个典典型型变

9、变量量V1、V2和和V3的的系系数数，即即典典型型系系数数(canonical coefficient)。注注意意，SPSS把把第第一一组组变变量量称称为为因因变变量量(dependent variables)，而而把把第第二二组组称称为为协协变变量量(covariates)；显显然然，这这两两组组变变量是完全对称的。这种命名仅仅是为了叙述方便。量是完全对称的。这种命名仅仅是为了叙述方便。这这些些系系数数以以两两种种方方式式给给出出；一一种种是是没没有有标标准准化化的的原原始始变变量量的的线线性性组组合合的的典典型型系系数数(raw canonical coefficient)，一一种种是是标

10、标准准化化之之后后的的典典型型系系数数(standardized canonical coefficient)。标标准准化化的的典典型型系系数数直直观观上上对对典典型型变变量量的的构构成成给给人人以以更更加加清清楚的印象。楚的印象。可以看出，头一个典型变量可以看出，头一个典型变量V1相应于前相应于前面第一个（也是最重要的）特征值，主面第一个（也是最重要的）特征值，主要代表高学历变量要代表高学历变量hed；而相应于前面而相应于前面第二个（次要的）特征值的第二个典型第二个（次要的）特征值的第二个典型变量变量V2主要代表低学历变量主要代表低学历变量led和部分的和部分的网民变量网民变量net，但高学

11、历变量在这里起负但高学历变量在这里起负面作用。面作用。计算结果计算结果 类类 似似 地地，也也 可可 以以 得得 到到 被被 称称 为为 协协 变变 量量(covariate)的的标标准准化化的的第第二二组组变变量量的的相相应应于于头头三三个个特特征征值值得得三三个个典典型型变变量量W1、W2和和W2的系数：的系数：。例子结论例子结论 从从这这两两个个表表中中可可以以看看出出，V1主主要要和和变变量量hed相相关关，而而V2主主要要和和led及及net相相关关；W1主主要要和和变变量量arti及及man相相关关，而而W2主主要要和和com相相关关；这这和它们的典型系数是一致的。和它们的典型系数

12、是一致的。由由于于V1和和W1最最相相关关，这这说说明明V1所所代代表表的的高高学学历历观观众众和和W1所所主主要要代代表表的的艺艺术术家家(arti)及及各各部部门门经经理理(man)观观点点相相关关；而而由由于于V2和和W2也也相相关关，这这说说明明V2所所代代表表的的低低学学历历(led)及及以以年年轻轻人人为为主主的的网网民民(net)观观众众和和W2所所主主要要代代表表的的看看重重经经济济效效益益的的发发行行人人(com)观观点点相相关关，但但远远远远不不如如V1和和W1的的相相关关那那么么显显著著（根根据据特特征征值值的的贡献率）。贡献率）。SPSS的的实现实现对例对例tv.sav

13、，首先打开例首先打开例14.1的的SPSS数据数据tv.sav，通通过过FileNewSyntax打打开开一一个个空空白白文文件件（默默认认文文件件名名为为Syntax1.sps），再再在在其其中中键键入入下下面面命命令行：令行：MANOVA led hed net WITH arti com man/DISCRIM ALL ALPHA(1)/PRINT=SIG(EIGEN DIM).再点击一个向右的三角形图标再点击一个向右的三角形图标(运行目前程序，运行目前程序，Run current)，就可以得到所需结果了。就可以得到所需结果了。还可以把还可以把Syntax1.sps另以其他名字（比如另以

14、其他名字（比如tv.sps）存入一个文件夹。下次使用时就可以通存入一个文件夹。下次使用时就可以通过过FileOpenSyntax来打开这个文件了。来打开这个文件了。SPSS的的实现实现注注意意1：典典型型相相关关分分析析是是本本书书内内容容中中唯唯一一不不能能用用SPSS的的点点击击鼠鼠标标的的“傻傻瓜瓜”方方式式，而而必必须须用用写写入入程程序序行行来来运运行行的的模模型型。读读者者不不必必要要再再去去研研究究语语法法的的细细节节，只只要要能能够够举举一一反反三三，套套用用这这个个例例子的程序即可。子的程序即可。当当然然，如如果果读读者者愿愿意意学学习习SPSS的的语语法法，则在处理数据时，

15、肯定会更方便。则在处理数据时，肯定会更方便。SPSS的的实现实现注注意意2：一一些些SPSS的的输输出出很很长长，这这时时输输出出窗窗口口截截去去了了一一些些内内容容没没有有显显示示（这这有有些些随随意意性性）。这这时时输输出出窗窗口口(SPSS Viewer)中中结结果果的左下角有一个红色的三角型。的左下角有一个红色的三角型。如如果果想想要要看看全全部部内内容容，可可以以先先点点击击鼠鼠标标左左键键，选选中中输输出出结结果果，然然后后从从点点右右键键得得到到的的菜菜单单中中选选择择Export，就就可可以以把把全全部部结结果果（包包括括截截去去的的部部分分）存存入入一一个个htm形形式式的的

16、文文件了供研究和打印之用。件了供研究和打印之用。附录附录 两个变量时两个变量时,用线性相关系数用线性相关系数研究两研究两个变量之间的线性相关性个变量之间的线性相关性:返回返回典型相关分析典型相关分析目的目的:研究多个变量之间的相关性研究多个变量之间的相关性方法方法:利用主成分思想利用主成分思想,可以把多个可以把多个变量与多个变量之间的相关化为两变量与多个变量之间的相关化为两个变量之间的相关个变量之间的相关.即找一组系数即找一组系数(向量向量)l和和m,使新变量使新变量U=lX(1)和和V=mX(2)有最大可能的相关关系有最大可能的相关关系.数学数学:设两组随机变量设两组随机变量而而的协方差阵的

17、协方差阵S S0,均值向量均值向量m m=0,S S的剖分为的剖分为:对于前面的新变量对于前面的新变量U=lX(1)和和V=mX(2)Var(U)=Var(lX(1)=lS S11lVar(V)=Var(mX(2)=mS S22mCov(U,V)=lS S12m,r rUV=lS S12m/(lS S11l)(mS S22m)我们试图在约束条件我们试图在约束条件Var(U)=1,Var(V)=1下下寻求寻求l和和m使使r rUV=Cov(U,V)=lS S12m达到最大达到最大.这是这是Lagrange乘数法求下面乘数法求下面f f的极大值的极大值经过求偏导数和解方程经过求偏导数和解方程,得到

18、得到l=nl=n=lS S12m=Cov(U,V),及及因此因此l l2 2既是既是A又是又是B的特征值的特征值,而相应的特征而相应的特征向量为向量为l,m可可得到得到p1对线性组合对线性组合Ui=l(i)X(1),Vi=m(i)X(2),称每一对变量为称每一对变量为典型变量典型变量.其其极大值极大值称为称为第一典型相关系数第一典型相关系数.一般只取前几个影一般只取前几个影响大的典型变量和典型相关系数来分析响大的典型变量和典型相关系数来分析.A和和B的特征根有如下性质的特征根有如下性质:(1)A和和B有相有相同的非零特征根同的非零特征根,(2)其数目为其数目为p1.A和和B的的特征根非负特征根

19、非负.(3)A和和B的特征根均在的特征根均在0和和1之间之间.我们表示这些称为我们表示这些称为典型相关系数典型相关系数的非零特的非零特征值和相应的特征向量为征值和相应的特征向量为典型变量的性质典型变量的性质:(1)X(1)和和X(2)中的一切典型变量都不相关中的一切典型变量都不相关.(2)X(1)和和X(2)的同一对典型变量的同一对典型变量Ui和和Vi之间之间的相关系数为的相关系数为l li,不同对的不同对的Ui和和Vj(ij)之之间不相关间不相关.样本情况样本情况,只要把只要把S S用样本协差阵或样本相关阵用样本协差阵或样本相关阵R代替代替.下面回到我们的例子。下面回到我们的例子。典型相关系

20、数的显著性检验典型相关系数的显著性检验:首先看首先看X(1)和和X(2)是否相关是否相关,如不相关如不相关,就不必讨论就不必讨论.如如果果这是为检验第这是为检验第1个典型相关系数的显著性个典型相关系数的显著性检验统计量为检验统计量为其中其中 为为 的特征根的特征根.如果如果H0为检验第为检验第r(rk)个个典型相关系数的显著性典型相关系数的显著性检验统计量为检验统计量为当然在实际例子中一般并不知道当然在实际例子中一般并不知道S S。因此因此在只有样本数据的情况下在只有样本数据的情况下,只要把只要把S S用样用样本协差阵或样本相关阵代替就行了。但本协差阵或样本相关阵代替就行了。但是这时的特征根可能不在是这时的特征根可能不在0和和1的范围，的范围，因此会出现软件输出中的特征根（比如因此会出现软件输出中的特征根（比如大于大于1）不等于相关系数的平方的情况，）不等于相关系数的平方的情况，这时，各种软件会给出调整后的相关系这时，各种软件会给出调整后的相关系数。数。典型相关和回归分析的关系典型相关和回归分析的关系把把X(1)和和X(2)换成回归中的换成回归中的X和和Y,这就是因这就是因变量和自变量之间的相关问题变量和自变量之间的相关问题.而而Y在在X上上的投影的投影,就是回归了就是回归了.