9_典型相关分析.pdf

《9_典型相关分析.pdf》由会员分享，可在线阅读，更多相关《9_典型相关分析.pdf（121页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1典型相关分析典型相关分析1 总体典型相关2 样本典型相关3 典型判别与典型相关的关系1 总体典型相关2 样本典型相关3 典型判别与典型相关的关系2相关变量与变量向量与变量-全相关系数(多重相关系数)向量与向量相关变量与变量向量与变量-全相关系数(多重相关系数)向量与向量相关系数偏相关系数相关系数偏相关系数相关矩阵典型相关系数广义相关系数相关矩阵典型相关系数广义相关系数31 总体典型相关1 总体典型相关典型相关分析是研究两组典型相关分析是研究两组变量变量之间相关关系的一种统计方法.之间相关关系的一种统计方法.4案例案例1三个生理指标和三个训练指标之间的相关关系三个生理指标和三个训练指标之间的相

2、关关系(见教材见教材329页例页例10.3.2，也是，也是SAS中典型相关的例题中典型相关的例题)三个生理指标：三个生理指标：weight:体重体重waist:腰围腰围pulse:脉搏三个训练指标：脉搏三个训练指标：chins:单杠单杠situps:仰卧起坐次数仰卧起坐次数jumps:跳高跳高5案例案例2工作满意度和工作特征的相关关系工作满意度和工作特征的相关关系(SAS系统中典型相关关系的开始案例系统中典型相关关系的开始案例)查找路径：帮助查找路径：帮助(H)SAS帮助和文档帮助和文档(H)SAS产品产品SAS/stat CANCORR过程过程Getting Started 6Job sat

3、isfaction:(1)career track satisfaction(未来发展前景的满意度未来发展前景的满意度):employee satisfaction with career direction and the possibility of future advancement,expressed as a percent(2)management and supervisor satisfaction(对管理及管理者的满意度对管理及管理者的满意度):employee satisfaction with supervisors communication and manageme

4、nt style,expressed as a percent(3)financial satisfaction(对报酬和福利的满意度对报酬和福利的满意度):employee satisfaction with salary and other benefits,using a scale measurement from 1 to 10(1=unsatisfied,10=satisfied)7Job characteristics:(1)task variety(工作变化度工作变化度):degree of variety involved in tasks,expressed as a pe

5、rcent(2)Feedback(反馈意见程度反馈意见程度):degree of feedback required in job tasks,expressed as a percent(3)autonomy(工作中的自主程度工作中的自主程度):degree of autonomy required in job tasks,expressed as a percent8一、变量与变量的相关一、变量与变量的相关两个随机变量的相关系数定义为两个随机变量的相关系数定义为21)var()var(),cov(yxyx=两个随机变量独立两个随机变量独立两个随机变量不相关两个随机变量不相关9反例反例()

6、().02121不独立，但它们之间的相关系数为和则布不独立，但它们之间的相关系数为和则布，服从单位圆内的均匀分，设服从单位圆内的均匀分，设 10()().2.121212121独立是等价的不相关与和都只取两个值，则和）若独立是等价的不相关与和都只取两个值，则和）若（相关与独立是等价的不和服从二元正态分布，则，）设相关与独立是等价的不和服从二元正态分布，则，）设（练习练习1112()()()()()()()()=niiyyniixxiniixyyySxxSyyxxS12121 样本的相关系数样本的相关系数yyxxxySSSr=其中其中13()()()()()()22222121212rSSSSS

7、RyyyyyyyyxxxyTRniiiniinii=+=+=在一元线性回归中在一元线性回归中r的符号取与的符号取与的相同的相同.14()()001000012:,:3(0,1)11ln 2111 ln212(1)ZZHHUnZNrZrrnUU=+=+=+检验统计量近似其中为样本相关系数对显著水平，拒绝域为检验统计量近似其中为样本相关系数对显著水平，拒绝域为1501212:0,:02(2)1(2)HHnrtt nrttn=检验统计量近似服从对显著水平，拒绝域为检验统计量近似服从对显著水平，拒绝域为注：注：SAS中使用这个统计量中使用这个统计量.16例题1.1 数据见教科书329页例10.3.2，

8、检验这些变量两两之间是否相关？三个生理指标：例题1.1 数据见教科书329页例10.3.2，检验这些变量两两之间是否相关？三个生理指标：weight:体重体重waist:腰围腰围pulse:脉搏三个训练指标：脉搏三个训练指标：chins:单杠单杠situps:仰卧起坐次数仰卧起坐次数jumps:跳高跳高注：康复俱乐部对20名中年人测量的结果.170.034930.8838-0.191500.4186-0.226300.3374jumps0.225040.3401-0.645600.0021-0.493080.0272situps0.150650.5261-0.552230.0116-0.389

9、690.0894chinspulsewaistweightPearson Correlation Coefficients,N=20 Prob|r|under H0:Rho=018偏相关系数偏相关系数()()=zyzzyzyyzxzzyzyxzyzzxzxyzxzzxzxxzyzxzzyzxzyyyxxyxxzzzyzxyzyyyxxzxyxxyxzzyx11111),(0)(的条件协差阵为的条件下则给定，协差阵为的均值为设随机向量的条件协差阵为的条件下则给定，协差阵为的均值为设随机向量19()()()().11112112111系数的相关与也是的偏相关系数为与的条件下，给定系数的相关与也是的

10、偏相关系数为与的条件下，给定zyyzxxyxzzzyzzzxzzyzzyzyyzxzzxzxxzyzzxzxyzxy=样本的偏相关系数如何计算？样本的偏相关系数如何计算？20=yyyxxyxxpyxDyxyxxxx ,0 ,)(21机变量为，随设随机向量为机变量为，随设随机向量为?二、向量与变量的相关二、向量与变量的相关),(maxxaycorr 要求要求21()()212121)var()var(),cov(),(aaaxayxayxaycorrxxyyxy=),(),(xaycorrxacycorr=又加约束又加约束1=aaxx目标函数目标函数()()12)(=aaaaQxxxy方法方法1

11、：22代入中得到代入中得到0=axxxy 求导得求导得xyxxa11=1=aaxx1112=xyxxyx xyxxyx12=2111)var(),(max=yyxyxxxyxaxaycorrxya =23()().,0 ,)(221达到最小使得的一个线性组合我们希望找到机变量为，随设随机向量为达到最小使得的一个线性组合我们希望找到机变量为，随设随机向量为xayExaxyxDyxyxxxxyyyxxyxxp=?方法方法2：24()()()()()()()()xyxxxyyyxyxxxyxxxxxyxxxyxxxyyyxxxyyyaaaaaaxayE1111122=+=+=其值为时，上式达到最小，

12、显然，当且仅当由于=+=+=其值为时，上式达到最小，显然，当且仅当由于25()11121 ,.pxxxyxyxxxyyyya xaRaxy=定理在上述假设下，与所有的最大相关在时达到 此时最大相关系数为，称为 与 的多重相关系数或全相关系数定理在上述假设下，与所有的最大相关在时达到 此时最大相关系数为，称为 与 的多重相关系数或全相关系数26()()()()()()2121212221 2 2)()(,.xxxxxyxyxxxxxxxyxxxypxyxxaaaaacaacacxyExacyERac=+=+=选取都有和常数结论知对由前面记证明：为了叙述方便，选取都有和常数结论知对由前面记证明：为

13、了叙述方便，27()()()(),()var()var(),cov(),(2121212121xycorraaaxayxayxaycorrxxyyxyxxyyxy=按相关系数的定义按相关系数的定义28()()()()()()211212112112112121),(=yyxyxxxyyyxyxxxyxyxxxyyyxyxxxyxxyyxyxycorr29()().0 222110=+=+=RRSSRxxyTRpp样本的多重相关系数为复相关系数对样本来讲，建立回归样本的多重相关系数为复相关系数对样本来讲，建立回归?30).,(max ybxacorryx自然想到用的相关自然想到用的相关，和研究两

14、个随机向量 和研究两个随机向量三、向量与向量的相关三、向量与向量的相关31典型相关分析的基本思想：在两组变量中选取若干有代表性的综合变量典型相关分析的基本思想：在两组变量中选取若干有代表性的综合变量(典型变量典型变量)，每个综合变量都为这组变量的一个线性组合，由，每个综合变量都为这组变量的一个线性组合，由一组一组变量得到变量得到的综合变量的综合变量之间之间互不相关互不相关，且使，且使两组两组变量变量之间之间产生的综合变量之间产生的综合变量之间相关性尽可能大相关性尽可能大.321.典型相关和典型相关变量的定义典型相关和典型相关变量的定义.之间的相关性与我们来考虑之间的相关性与我们来考虑ybxa

15、()()()()()()()=qpqpbbbbaaaayyyyxxxx?2121212133bbybaaxababyxaybxayxDyyxxxyyyyxxyxx=)var(,)var(),cov(),cov(存在，即二阶矩存在存在，即二阶矩存在，假定假定()()21),(bbaabaybxacorryyxxxy =34=1)var(1)var(.),(),(,01)(bbybaaxabaybxacorrybdxaccorrdcyyxx最常用的限制为结果重复出现必要加适当的限制，防止不和故应对有和的常数对任意非注意：最常用的限制为结果重复出现必要加适当的限制，防止不和故应对有和的常数对任意非注

16、意：35.),(,1)var()var(),(),()2(为正数的情况所以可以只考虑面的限制，为正数，而且仍满足上为负数，则若为正数的情况所以可以只考虑面的限制，为正数，而且仍满足上为负数，则若ybxacorrxaxaybxacorrybxacorr=36()()()()121211112111112111var1,var1111 (),(),00().(),(),max,()pqpqa xb yxxxxxyyyypqypqaaaabbbbcorr a x b ycorr a x b ya x b yx y=+=?定义设维随机向量的均值向量为，协差阵不妨设如果存在设和使得则称是的第一对 组 典

17、型相关变量定义设维随机向量的均值向量为，协差阵不妨设如果存在设和使得则称是的第一对 组 典型相关变量，它们之间的相关系数为第它们之间的相关系数为第.一典型相关系数一典型相关系数37()()()()()().),min()()(,31var ,1var21,1)()(2121qpkkkyxybxaybxaybxakybxabbbbaaaakkkkkkkkkqkkkkpkkk=典型相关系数组对第们之间的相关系数称为典型相关变量，它组对的第是则称的相关系数最大，与）=典型相关系数组对第们之间的相关系数称为典型相关变量，它组对的第是则称的相关系数最大，与）（）（对典型变量都不相关对典型变量都不相关；分

18、别与前面）分别与前面）（使得和如果存在使得和如果存在?382.典型相关变量的解法典型相关变量的解法()().),(1)var(1)var(,),(,21法问题，用拉格朗日乘子这是条件极值达最大条件下，使得在和就等价于求求第一对典型相关变量的相关系数则令法问题，用拉格朗日乘子这是条件极值达最大条件下，使得在和就等价于求求第一对典型相关变量的相关系数则令baybxacorrxbxababbaabaybxacorrWVybWxaVxyyyxxxy=39()()()()()()()()()()()()=4 013 012 01 0 1212),(2121bbaababQabaQbbaababaQyyx

19、xyyyxxxxyyyxxxy目标函数为目标函数为40=bbaayyxyxxyxxxyxyyxy212121 41()()12121 2 xxxyyyxyxyaaaabbbbabab=事实上，式两边左乘则有式两边左乘则有事实上，式两边左乘则有式两边左乘则有42aabbbabaxxyxyyxyyyxyxxyxyyyxxyxxyyxx=212110,0,0同理可推出由同理可推出由43当协差阵不是正定阵的时候，推导比较困难，但结论仍成立，只是把矩阵的逆换成广义逆.当协差阵不是正定阵的时候，推导比较困难，但结论仍成立，只是把矩阵的逆换成广义逆.44=bbaaMMxyxxyxyyyxyyxyxxxyxx

20、yxyyyxyyxyxx211211112111 ,令令1212122 ()(1)(2)(3)01.MMMMMM定理关于特征根的结论与有相同的非零特征根；与的特征根非负；与的全部特征根均在 与 之间定理关于特征根的结论与有相同的非零特征根；与的特征根非负；与的全部特征根均在 与 之间45()()()()()()()()0)(,02111112211111222122211122122111212121=LLLLLILLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLmxyxxyxyyyyxyxxyyyxxyxx使得，使得，证明：证明：(3)461 ,1,21121211212112

21、121121211=yyxyxxyxyyyyxyxxyxyyyyxyxxyxyyyyxyxxyxyyyyxyxxyxyy则有特征向量是单位的特征根是矩阵若有即对任意单位向量特别取均有对则有特征向量是单位的特征根是矩阵若有即对任意单位向量特别取均有对47.012122221非零特征值的全部和为设非零特征值的全部和为设MMp?.10 )3()2()1(212121之间与的全部特征根均在与的特征根非负；与有相同的非零特征根；与之间与的全部特征根均在与的特征根非负；与有相同的非零特征根；与MMMMMMxyxxyxyyyxyyxyxxMM=112111,48()112212222121122221212

22、23 ,011,1,.xxxyyyppijijiiippijijKNKK NK KNKipN =?定理令，为对应于特征根的单位正交特征向量，即，取，则定理令，为对应于特征根的单位正交特征向量，即，取，则（）是对应于特征根的特征向量，且）是对应于特征根的特征向量，且49()().,12222212121的算术平方根是其中的特征向量对应是的特征向量对应是且有，）令的算术平方根是其中的特征向量对应是的特征向量对应是且有，）令（iiiiiiijijxyiijjyyijxxiiyyiixxiMbMababbaapiba=?.,个典型相关系数为第相关变量，对典型的第为这里，个典型相关系数为第相关变量，对典

23、型的第为这里，kkyxybWxaVkkkkk =50ijjijijjijijijijiiiiiiiiiiiiiiNKKKKNKKKKN=2122212111111又证明：又证明：51ijjxxiijjijxxxxxxijxxiiiiiiixxiixxixxyxyyyyxyxxxxibbaabbMaNaM=)2(212122221212121212121211同理可证同理可证同理可证同理可证52=jijiKKKKbajjijjjijjjijyyxyxxijxyi 0 1112212153()()()().,1)4(,111)3(.,)2(01)1(:21212121212121212122221

24、11为相应的典型相关系数对典型相关变量，为第与则得到，计算，计算的单位正交特征向量求的特征值求具体计算步骤典型相关变量和系数的为相应的典型相关系数对典型相关变量，为第与则得到，计算，计算的单位正交特征向量求的特征值求具体计算步骤典型相关变量和系数的iiiiyyiixxiixxyxyyiiiipxxyxyyyyxyxxpyxyyxyxxiybxapibapiK=?543.典型变量的性质典型变量的性质(1)(a)第一个典型相关系数大于等于原变量组中任何两个变量之间的相关系数；第一个典型相关系数大于等于原变量组中任何两个变量之间的相关系数；(b)第一个典型相关系数大于等于某一组中的一个变量与另一组变

25、量的全相关系数第一个典型相关系数大于等于某一组中的一个变量与另一组变量的全相关系数.55()()()()()()()()()()()().,1),(,1,1 .)()(,2,1,)2(2111piWVjiWVpjWpiVdiagIIWVDWWWVVVpkkyxybWxaViiijijipppppkkkk?=也互不相关；而与且互不相关也互不相关；而与且互不相关；互不相关；此性质说明其中，则，令相关变量对典型的第为设互不相关；此性质说明其中，则，令相关变量对典型的第为设56()()()()ByByWyAxAyVyByBxWxAxAxVxyxZpqbbBppaaAyyyxxyxxpp=),cov()

26、,cov(),cov(),cov(),cov(),cov(),cov(),cov()3(11，则矩阵，为矩阵，为记间的相关性原始变量与典型变量之，则矩阵，为矩阵，为记间的相关性原始变量与典型变量之?57()()()()()()()()()()().,)(.,2,1,)(*1*1*不改变相关性即线性变换对典型相关变量的系数的第和是，；而其中的典型相关变量为和不改变相关性即线性变换对典型相关变量的系数的第和是，；而其中的典型相关变量为和ybxaybxabiyxbapibFbaCaybxayxaiiiiiiiiiiii=?向量，则为非退化阵，为向量，为退化阵，非为，其中，维随机向量，令维和分别为和设

27、向量，则为非退化阵，为向量，为退化阵，非为，其中，维随机向量，令维和分别为和设11 (4)*+=+=+=+=qdqqFpcppCdyFycxCxqpyx58=+=+=222112112221121122211211*22211211,FFCFFCCCFOOCFOOCyxDdcyxFOOCyxyxD59.,21122121112112212111211221211112112212111所以典型相关系数不变特征根相同的非零与=所以典型相关系数不变特征根相同的非零与=CC()()()()()(),(),(max),(max11*1*1*1*1ybxacorryFxCcorryxcorr=601.2

28、 .xxyypxqyxZyR=例已知 维随机向量 和 维随机向量的协差阵分别为和试从的相关阵 出发求典型相关变量例已知 维随机向量 和 维随机向量的协差阵分别为和试从的相关阵 出发求典型相关变量61()()()()()()()()=22211211*2221121121222111 ,RRRRyxDFyyCxxRRRRRyxdiagFdiagC，则，令的相关阵设解：取，则，令的相关阵设解：取62()()().)()()(,)(,*1*1*系数变量的为原始典型相关，系数系数变量的为原始典型相关，系数，变量的为标准化典型相关，称所以，的典型相关变量为和，其中的典型相关变量为和变量的为标准化典型相关

29、，称所以，的典型相关变量为和，其中的典型相关变量为和iiiiiiiiiiiibabaybxayxbFbaCaybxayx=注意：注意：区别典型相关系数与典型变量前的系数向量.区别典型相关系数与典型变量前的系数向量.63121112121121222212211.3()1(),11,.,1.xxxyRRyyRRRRRRRx y=例已知标准化变量和的相关阵试求的典型相关变量和典型相关系数例已知标准化变量和的相关阵试求的典型相关变量和典型相关系数64()()()()111122222111111222211222121111 ,11111 121 1114 011RRMR R R RM=+=+解的特

30、征根为，解的特征根为，()()211+所以第一典型相关系数为所以第一典型相关系数为65()()()()+=+=+=+=11121 11121 1212111211baaRaM类似可得的向量为，故满足的特征向量为对应类似可得的向量为，故满足的特征向量为对应662 样本典型相关2 样本典型相关().)()(,11进行估计观测到的样本资料阵对首先需要根据关系数典型相关变量和典型相法求得总体的通常是未知的，因而无和协差阵向量际问题中，总体的均值，在实设总体=进行估计观测到的样本资料阵对首先需要根据关系数典型相关变量和典型相法求得总体的通常是未知的，因而无和协差阵向量际问题中，总体的均值，在实设总体=Z

31、DZyyxxZqp?67()()=+nqnnqqnpnnppqptttyyyyyyyyyxxxxxxxxxntYXZnZ?2122221112112122221112111)()()()(,2,1 于是样本资料阵为次观测数据为的已知总体于是样本资料阵为次观测数据为的已知总体68()()()().1,1 ),(1)()(1)(也称样本协差阵矩阵其中似然估计为的最大，则协差阵如假定也称样本协差阵矩阵其中似然估计为的最大，则协差阵如假定SZnZSZZZZnNZntttnttqp=+=+=69()().,相关关系间的出发，来讨论两组变量将从样本协差阵下面我们的最大似然估计是相关关系间的出发，来讨论两组

32、变量将从样本协差阵下面我们的最大似然估计是SyxjiSSSSSSijijyyyxxyxxyyyxxyxx=70一、样本典型相关变量和典型相关系数一、样本典型相关变量和典型相关系数()()()().,100,.0 2222212121特征向量对应的单位正交的特征值为，特征值依次为的并设令不妨设特征向量对应的单位正交的特征值为，特征值依次为的并设令不妨设iiipyyxyxxKKpiKKSSSKS=?71.,1 211222111个样本典型相关系数为第关变量，对样本典型相的第为则令个样本典型相关系数为第关变量，对样本典型相的第为则令kkyxybWxaVaSSbSakkkkkiiiii=72()(),

33、O O ,O O ,.,1,1211122211211=+qpqpppppijjjiiijijijssDssDRRRRRRSssssrrR?记相应剖分为：把的元素为样本协差阵记相应剖分为：把的元素为样本协差阵，其中设样本相关阵，其中设样本相关阵73()()()()=ixxyxyyiiixxiiiipyyxyxxyxyxxyxyyyyyxxxxRRRbRaKKpiKKRRRKDRDSDRDSDRDSDRDS1 ,100,211*21*222221212112212211量，令对应的单位正交特征向的特征值为，记为的特征值，并依次求于是则量，令对应的单位正交特征向的特征值为，记为的特征值，并依次求于

34、是则?74.,)()(*相关系数个样本典型的第为典型相关变量；而对样本标准化的的第为和则相关系数个样本典型的第为典型相关变量；而对样本标准化的的第为和则kyxkyxybxakii 标准化典型相关变量的系数标准化典型相关变量的系数75例例 2.1(案例案例1)康复俱乐部测试数据的典型相关分析康复俱乐部测试数据的典型相关分析.三个生理指标：三个生理指标：weight:体重体重waist:腰围腰围pulse:脉搏三个训练指标：脉搏三个训练指标：chins:单杠单杠situps:仰卧起坐次数仰卧起坐次数jumps:跳高跳高76proc cancorr data=D1032 all vprefix=PH

35、YS wprefix=EXER;var weight waist pulse;with chins situps jumps;run;程序程序77输出结果输出结果78原始典型相关变量的系数原始典型相关变量的系数PHYS1=-0.0314weight+0.4932waist-0.0082pulse79原始典型相关变量的系数原始典型相关变量的系数EXER1=-0.0661chins-0.0168situps+0.0140jumpsPHYS1=-0.0314weight+0.4932waist-0.0082pulse80标准化典型相关变量的系数标准化典型相关变量的系数81标准化典型相关变量的系数标准

36、化典型相关变量的系数82二、典型相关系数的显著性检验二、典型相关系数的显著性检验0:.10=xyH检验检验.,.,0),cov(,)()(011作统计检验假设应首先对相关关系之前故在讨论两组变量间的相关的讨论就毫无意义以上有关两组变量典型即如果不相关和的两组变量总体作统计检验假设应首先对相关关系之前故在讨论两组变量间的相关的讨论就毫无意义以上有关两组变量典型即如果不相关和的两组变量总体HyxyyyxxxZxyqp=?83.,),(0的极大似然估计分别是的极大似然估计量是阶方阵其中的似然比统计量导出检验用似然比方法可设总体的极大似然估计分别是的极大似然估计量是阶方阵其中的似然比统计量导出检验用似

37、然比方法可设总体yyxxyyxxyyxxqpSSSqpSSSHNZ+=+=+84统计量统计量(SAS中称为中称为WilksLambda)的精确分布已由的精确分布已由Hotelling(1936年年)，Girshik(1939年年)和和Anderson(1958年年)给出，但表达式很复杂给出，但表达式很复杂.以下给出的近似分布以下给出的近似分布.85yxyyxyxxpyyxxyxyyxyxxyyyyxxSSSSISSSSSSSSSS111=86().,1 0212121211的极大根等和迹的极大根等和迹，的迹，统计量，的的近似检验方法，如计量出发导出检验统由的特征值是其中的迹，统计量，的的近似检

38、验方法，如计量出发导出检验统由的特征值是其中RoyLawleygHotellingtPillaiWillksHSSSKKKSSSSIyyxyxxipiiyxyyxyxxp=87()()()()()(1ln1211.0:ln).(1lnln2120212pqqpnHnpqnnpiixypii服从近似或太大拒绝近似服从服从近似或太大拒绝近似服从=+=+=例如：例如：SAS中给出的是近似中给出的是近似F统计量统计量.88说明两组变量是相关的说明两组变量是相关的.89()piijHji,2,0:.2)(0?=检验检验()0111 ,0.,.02,3,.iHx yVWip=?当否定时，表明相关，进而可得

39、出至少第一个典型相关系数相应的第一对典型相关变量可能已经提取了两组变量相关关系的绝大部分信息 若两组变量余下的部分不相关，这时当否定时，表明相关，进而可得出至少第一个典型相关系数相应的第一对典型相关变量可能已经提取了两组变量相关关系的绝大部分信息 若两组变量余下的部分不相关，这时90().0 .2 .0,3,20)(00)(0)(000关系数均为个及以后的所有典型相明第这是说相容时为止，使检验，直到某个开始逐个从分布并给出该统计量的近似的似然比统计量，验用似然比方法可导出检利关系数均为个及以后的所有典型相即第关系数均为个及以后的所有典型相明第这是说相容时为止，使检验，直到某个开始逐个从分布并给

40、出该统计量的近似的似然比统计量，验用似然比方法可导出检利关系数均为个及以后的所有典型相即第，后，有必要检验故在否定后，有必要检验故在否定iHiiHipiHHiii=?910:32)2(0=pH?0:43)3(0=pH?当拒绝当拒绝120时，检验当拒绝假设时，检验时，检验当拒绝假设时，检验)2(0 H依此类推，直到不能拒绝原假设为止依此类推，直到不能拒绝原假设为止.92()()()()()()()()()()()pkkiHkqkpqpnikpkii,2,10:,1ln1211)1(0212?+=+=+=+=该值太大拒绝服从近似该值太大拒绝服从近似例如：例如：930.77481610.080.99

41、47335530.94913040.180.9547226620.063534.292.050.350390531Pr FDenDFNumDFApproximateF ValueLikelihoodRatioTest of H0:The canonical correlations in thecurrent row and all that follow are zero表中结果说明：在显著水平为表中结果说明：在显著水平为0.1时，第一典型相关系数显著不为时，第一典型相关系数显著不为0，第二典型相关及其后面的典型相关是不显著的，第二典型相关及其后面的典型相关是不显著的.注：第注：第1典型相关

42、系数为典型相关系数为0.795608.94()()典型变量中，对代入第将观测对典型相关变量，这时可得不等于个典型相关系数显著经检验，有典型变量中，对代入第将观测对典型相关变量，这时可得不等于个典型相关系数显著经检验，有iYXZriWVrprrtttii=)()()(.,2,1),(0)(?三、样本典型变量的得分值三、样本典型变量的得分值95()()()()()()()().,2,1 ,)()()(变量的得分值样本典型对的第个样品为第称令变量的得分值样本典型对的第个样品为第称令iZtwvntYYbwXXavttitititititi?=96().,则应分析原因上，若有异常值，散点应近似在一条直线

43、来绘制散点图则应分析原因上，若有异常值，散点应近似在一条直线来绘制散点图，可用对每个，可用对每个titiwvi97典型变量的得分典型变量的得分98993 典型判别与典型相关的关系3 典型判别与典型相关的关系结论：结论：如将判别分析中分类变量编码为哑变量，典型判别和典型相关是等价的如将判别分析中分类变量编码为哑变量，典型判别和典型相关是等价的.k个类用个类用k-1个哑变量，仅当观测来自第个哑变量，仅当观测来自第i类时第类时第i个哑变量的取值为个哑变量的取值为1，其余为，其余为0，即最后一类的观测所有哑变量均取，即最后一类的观测所有哑变量均取0.100以以Fisher于于1936年给出的鸢尾属植物

44、数据为例年给出的鸢尾属植物数据为例.data test1;set iris;if Species=1 then y1=1;else y1=0;if Species=2 then y2=1;else y2=0;run;1011(1)(1)1(1)()()()(1)():,:,knkkknGa Xa XGa Xa X?复习复习典型判别典型判别()a Baaa Ea=使尽量大使尽量大.约束条件：约束条件：1a Ea=102复习复习典型判别典型判别()()1()()kBnXXXX=()()()()11()()nkjjjEXXXX=103()1.aaa Baa Ea=问题化为求，使在条件下达极大问题化为

45、求，使在条件下达极大1()E Baaaa Baa Ea=复习复习典型判别典型判别10411112211122111111224.1 0,().ssppppssEBEeelEelEealal Xl Xl Xs+=?定理设为的特征值，为相应的单位正交特征向量，则定理设为的特征值，为相应的单位正交特征向量，则，取时可使达最大，且最大值为取时可使达最大，且最大值为，称为第一典型变量，其判别效率为，称为第二典型变量，其判别效率为，称为第一典型变量，其判别效率为，称为第二典型变量，其判别效率为，称为第 个典型变量，其判别效率为称为第 个典型变量，其判别效率为复习复习典型判别典型判别105BEBSSSSyx

46、yyxyxx111)(+=+=可以证明：可以证明：21)(=+=+BBEBEBE1221+=+=212)1(=BE由由 2211=BE注意：注意：两者的特征向量相同两者的特征向量相同.106proc candisc data=iris out=outcan;class Species;var SepalLength SepalWidthPetalLength PetalWidth;run;proc cancorr data=test1 out=o2;var SepalLength SepalWidthPetalLengthPetalWidth;with y1 y2;run;1071.00000

47、.00880.28540.99120.991231.906532.1919CumulativeProportionDifferenceEigenvalueEigenvalues of Inv(E)*H=CanRsq/(1-CanRsq)0.2220270.0637340.4614450.47119720.9698720.0024680.9845080.9848211SquaredCanonicalCorrelationApproximateStandardErrorAdjustedCanonicalCorrelationCanonicalCorrelation108注意：注意：每种方法的特征向

48、量都有各自的约束，所以典型判别和典型相关的典型变量的表达式不同每种方法的特征向量都有各自的约束，所以典型判别和典型相关的典型变量的表达式不同.1=E1=xxS典型判别典型相关典型判别典型相关1090.28391878530.2810460309Petal Width in mm.PetalWidth-.09319212100.2201211656Petal Length in mm.PetalLength0.2164521235-.1534473068Sepal Width in mm.SepalWidth0.0024102149-.0829377642Sepal Length in mm.S

49、epalLengthCan2Can1LabelVariableRaw Canonical Coefficients典型判别的输出结果典型判别的输出结果110典型相关的输出结果典型相关的输出结果0.2521221259-0.049112911Petal Width in mm.PetalWidth-0.08275534-0.038466265Petal Length in mm.PetalLength0.19221119690.0268149807Sepal Width in mm.SepalWidth0.00214028990.0144934088Sepal Length in mm.Sepa

50、lLengthV2V1Raw Canonical Coefficients for the VAR Variables111-2.338133250.7022342255y2-0.5609139462.3759999043y1W2W1Raw Canonical Coefficients forthe WITH Variables典型相关的输出结果典型相关的输出结果1121.805326.65309Virginica245631674-0.472202.54868Versicolor1546286530.580906.80015Virginica225628642-0.13489-7.67197