典型相关分析因子分析PPT讲稿.ppt

《典型相关分析因子分析PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《典型相关分析因子分析PPT讲稿.ppt（65页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、典型相关分析因子分析1第1页，共65页，编辑于2022年，星期五要 点o典型相关分析的数学表达方式，假定条件；o典型相关系数的数学含义；o典型变量系数的数学含义；o简单相关，复相关和典型相关的意义；o典型相关的应用2第2页，共65页，编辑于2022年，星期五 一、什么是典型相关分析及基本思想一、什么是典型相关分析及基本思想 通常情况下，为了研究两组变量 的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有pq个简单相关系数，这样又烦琐又不能抓住问题的本质。如果能够采用类似于主成分的思想，分别找出两组变量的各自的某个线性组合，讨论线性组合之间的相关关系，则更简捷。第3页，共

2、65页，编辑于2022年，星期五 在解决实际问题中，这种方法有广泛的应用。如，在 工 厂 里 常 常 要 研 究 产 品 的q个 质 量 指 标 和p个原材料的指标 之间的相关关系；也可以是采用典型相关分析来解决的问题。如果能够采用类似于主成分的思想，分别找出两组变量的线性组合既可以使变量个数简化，又可以达到分析相关性的目的。第4页，共65页，编辑于2022年，星期五例 家庭特征与家庭消费之间的关系 为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：分析两组变量之间的关系。第5页，共65页，编辑于2022年，星期五X1X2y1y2y3X11.000.800.260.67

3、0.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00变量间的相关系数矩阵第6页，共65页，编辑于2022年，星期五y2y3y1x2x1第7页，共65页，编辑于2022年，星期五 典型相关分析的思想：首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，第8页，共65页，编辑于2022年，星期五然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有次大的相关性。u2和v2与u1和v1相互独立，但u2和v2相关。如此继续下去，

4、直至进行到r步，两组变量的相关性被提取完为止。rmin(p,q)，可以得到r组变量。9第9页，共65页，编辑于2022年，星期五二、典型相关的数学描述典型相关的数学描述 考虑两组变量的向量 其协方差阵为（一）想法 其中11是第一组变量的协方差矩阵；22是第二组变量的协方差矩阵；是X和Y的其协方差矩阵。第10页，共65页，编辑于2022年，星期五 如果我们记两组变量的第一对线性组合为：其中：所以，典型相关分析就是求 1和b b1，使uv达到最大。第11页，共65页，编辑于2022年，星期五（二）典型相关系数和典型变量的求法 在约束条件:下，求a a1 1和和b b1 1，使uv达到最大。令第12

5、页，共65页，编辑于2022年，星期五利用柯西不等式有（参看1.8.4式）13第13页，共65页，编辑于2022年，星期五记m为 12的秩，则记为相应的特征向量为其余的零特征根对应的向量为14第14页，共65页，编辑于2022年，星期五由特征向量可以构成一个正交矩阵T，有，有15第15页，共65页，编辑于2022年，星期五 若取则16第16页，共65页，编辑于2022年，星期五相应的特征向量为 a1和和b1分别构成了第一组变量和第二组变量的分别构成了第一组变量和第二组变量的第一对典型变量的系数。第一对典型变量的系数。17第17页，共65页，编辑于2022年，星期五 第一对典型相关变量提取了原始

6、变量x组和y组之间相关的主要部分，那么这部分的信息不够，则还可以在剩余相关中提取第二对典型变量：在以下的约束条件下：18第18页，共65页，编辑于2022年，星期五 求令则，约束条件等价于19第19页，共65页，编辑于2022年，星期五20第20页，共65页，编辑于2022年，星期五 当取这时uk和vk达到最大值k,称它为第k个典型相关系数，称ak和bk为第k对典型变量系数。21第21页，共65页，编辑于2022年，星期五相应的特征向量为 ak和和bk分别构成了第一组变量和第二组变量的分别构成了第一组变量和第二组变量的第第k对典型变量的系数。对典型变量的系数。22第22页，共65页，编辑于20

7、22年，星期五注有相同的特征根，而可以验证：根据线性代数的思想，下列矩阵23第23页，共65页，编辑于2022年，星期五方法二方法二 根据数学分析中条件极值的求法，引入Lagrange乘数，求极值问题，则可以转化为求 的极大值，其中和是 Lagrange乘数。24第24页，共65页，编辑于2022年，星期五将上面的3式分别左乘和第25页，共65页，编辑于2022年，星期五将左乘（3）的第二式，得并将第一式代入，得 的特征根是 ，相应的特征向量为第26页，共65页，编辑于2022年，星期五将左乘（3）的第一式，并将第二式代入，得 的特征根是 ，相应的特征向量为第27页，共65页，编辑于2022年

8、，星期五结论：既是M1又是M2的特征根，和是相应于M1和M2的特征向量。至此，典型相关分析转化为求M1和M2特征根和特征向量的问题。第一对典型变量提取了原始变量X与Y之间相关的主要部分，如果这部分还不能足以解释原始变量，可以在剩余的相关中再求出第二对典型变量和他们的典型相关系数。第28页，共65页，编辑于2022年，星期五 在剩余的相关中再求出第二对典型变量和他们的典型相关系数。设第二对典型变量为：在约束条件：求使达到最大的和。第29页，共65页，编辑于2022年，星期五例 家庭特征与家庭消费之间的关系 为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：分析两组变量之间

9、的关系。30第30页，共65页，编辑于2022年，星期五X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00变量间的相关系数矩阵31第31页，共65页，编辑于2022年，星期五典型相关分析典型相关分析典型相典型相关系数关系数调整典型调整典型相关系数相关系数近似方差近似方差典型相关系典型相关系数的平方数的平方10.6879480.6878480.0052680.47327220.1868650.1866380.

10、0096510.034919第32页，共65页，编辑于2022年，星期五X组典型变量的系数U1U2X1(就餐）0.7689-1.4787X2（电影）0.27211.6443Y组典型变量的系数V1V2Y1（年龄）0.04911.0003Y2（收入）0.8975-0.5837Y3（文化）0.19000.2956第33页，共65页，编辑于2022年，星期五三、典型变量的性质1、同一组的典型变量之间互不相关 X组的典型变量之间是相互独立的：组的典型变量之间是相互独立的：Y组的典型变量之间是相互独立的：组的典型变量之间是相互独立的：因为特征向量之间是正交的。故第34页，共65页，编辑于2022年，星期五

11、2、不同组的典型变量之间相关性 不同组内一对典型变量之间的相关系数为：第35页，共65页，编辑于2022年，星期五同对则协方差为i，不同对则为零。36第36页，共65页，编辑于2022年，星期五3、原始变量与典型变量之间的相关系数原始变量相关系数矩阵 X X典型变量系数矩阵第37页，共65页，编辑于2022年，星期五y典型变量系数矩阵第38页，共65页，编辑于2022年，星期五第39页，共65页，编辑于2022年，星期五40第40页，共65页，编辑于2022年，星期五第41页，共65页，编辑于2022年，星期五42第42页，共65页，编辑于2022年，星期五例 家庭特征与家庭消费之间的关系 为

12、了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：分析两组变量之间的关系。43第43页，共65页，编辑于2022年，星期五X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00变量间的相关系数矩阵44第44页，共65页，编辑于2022年，星期五典型相关分析典型相关分析典型相典型相关系数关系数调整典型调整典型相关系数相关系数近似方差近似方差典型相关系典型相关系数的平方数的平方10.68794

13、80.6878480.0052680.47327220.1868650.1866380.0096510.034919第45页，共65页，编辑于2022年，星期五X组典型变量的系数U1U2X1(就餐）0.7689-1.4787X2（电影）0.27211.6443Y组典型变量的系数V1V2Y1（年龄）0.04911.0003Y2（收入）0.8975-0.5837Y3（文化）0.19000.2956第46页，共65页，编辑于2022年，星期五典型变量的结构（相关系数）U1U2X10.9866-0.1632X20.88720.4614V1V2Y10.42110.8464Y20.9822-0.1101Y

14、30.51450.3013第47页，共65页，编辑于2022年，星期五典型变量的结构（相关系数）V1V2X10.6787-0.0305X20.61040.0862U1U2Y10.28970.1582Y20.6757-0.0206Y30.35390.0563第48页，共65页，编辑于2022年，星期五两个反映消费的指标与第一对典型变量中u1的相关系数分别为0.9866和0.8872，可以看出u1可以作为消费特性的指标，第一对典型变量中v1与Y2之间的相关系数为0.9822，可见典型变量v1主要代表了了家庭收入，u1和v1的相关系数为0.6879，这就说明家庭的消费与一个家庭的收入之间其关系是很密

15、切的；49第49页，共65页，编辑于2022年，星期五 第二对典型变量中u2与x2的相关系数为0.4614，可以看出u2可以作为文化消费特性的指标，第二对典型变量中v2与Y1和Y3之间的分别相关系数为0.8464和0.3013，可见典型变量v2主要代表了家庭成员的年龄特征和教育程度，u2和 v2的相关系数为0.1869，说明文化消费与年龄和受教育程度之间的有关。第50页，共65页，编辑于2022年，星期五4、各组原始变量被典型变量所解释的方差X组原始变量被ui解释的方差比例X组原始变量被vi解释的方差比例y组原始变量被ui解释的方差比例y组原始变量被vi解释的方差比例51第51页，共65页，编

16、辑于2022年，星期五 被典型变量解释的被典型变量解释的X组原始变量的方差组原始变量的方差被本组的典型变量解释被本组的典型变量解释被对方被对方Y组典型变量解释组典型变量解释比例比例累计比例累计比例典型相关典型相关系数平方系数平方比例比例累计比例累计比例10.88030.88030.47330.41660.416620.11971.00000.03490.00420.4208第52页，共65页，编辑于2022年，星期五 被典型变量解释的被典型变量解释的Y组原始变量的方差组原始变量的方差被本组的典型变量解释被本组的典型变量解释被对方被对方X组典型变量解释组典型变量解释比例比例累计比例累计比例典型相

17、关典型相关系数平方系数平方比例比例累计比例累计比例1 0.46890.46890.47330.22190.22192 0.27310.74200.03490.00950.2315第53页，共65页，编辑于2022年，星期五 5、简单相关、复相关和典型相关之间的关系 若p1且q1，则x和y的典型相关就是简单相关；若p1或q1，则x和y的典型相关就是复相关；54第54页，共65页，编辑于2022年，星期五五、样本典型相关系数 在实际应用中，总体的协方差矩阵常常是未知的，类似于其他的统计分析方法，需要从总体中抽出一个样本，根据样本对总体的协方差或相关系数矩阵进行估计，然后利用估计得到的协方差或相关系

18、数矩阵进行分析。由于估计中抽样误差的存在，所以估计以后还需要进行有关的假设检验。55第55页，共65页，编辑于2022年，星期五 1、假设有X组和Y组变量，样本容量为n。假设(X1,Y1),(X2,Y2),(Xn,Yn)，观测值矩阵为：56第56页，共65页，编辑于2022年，星期五57第57页，共65页，编辑于2022年，星期五 2、计算特征根和特征向量 求M1和 M2的特征根 ，对应的特征向量 。则特征向量构成典型变量的系数，特征根为典型变量相关系数的平方。58第58页，共65页，编辑于2022年，星期五 对两组变量x和y进行典型相关分析，采用的也是一种降维技术。我们希望使用尽可能少的典型

19、变量对数，为此需要对一些较小的典型相关系数是否为零进行假设检验。H0经检验被拒绝，则应进一步检验假设。59第59页，共65页，编辑于2022年，星期五 典型相关分析的基本思想：首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有最大相关性。如此下去，直至两组变量的相关性被提取完为止。本例想利用我国1999年城镇居民的家庭收入来源和消费性支出的数据了解我国居民消费构成及主要影响因素分析所用的数据来自：中国统计年鉴2000。我国居民消费构成及主要影响因素 第60页，共65页，编辑于2022年，星期五

20、收入指标：X1可支配收入 X2实际收入 X3国有单位职工收入 X4集体单位职工收入 X5其他经济类型职工收入，X6转移收入 支出指标：Y1消费性支出 Y2食品 Y3衣着 Y4交通和通讯 Y5医疗和保健 Y6娱乐、教育、文化服务 Y7居住 第61页，共65页，编辑于2022年，星期五序号序号 典型相关系数典型相关系数 典型变量典型变量1 0.990174 U1 =0.9989X1+-0.0595X2+0.0776X3+0.0489X4-0.0931X5+0.0074X6 V1=1.3263Y1-0.0270Y2-0.0005Y3-0.0769Y4-0.0717Y5-0.2031Y6-0.0219

21、Y2 0.868704 U2 =-4.8668X1+0.1264X2+1.9585X3+0.3299X4+1.4095X5+2.6453X6 V2=-4.4920Y1+2.5421Y2+1.2480Y3-0.4621Y4+1.0443Y5+0.8610Y6+0.0586Y7第62页，共65页，编辑于2022年，星期五由累计贡献率得知,第一组和第二组变量的累计贡献率已达到了97.56%,而且,这两组的系数和方差与其他组相比要大得多.即只需要前两组变量就已经可以解释全部信息的97.56%.在第一对典型变量中，U1主要受可支配收入的影响，V1主要受消费性支出的影响；可见实际收入对消费支出的影响远小于

22、可支配收入的影响。居民消费主要依据其可支配收入而定。第二对典型变量中，U2主要受国有单位职工收入、其他经济类型职工收入和转移收入的影响，V2主要受食品、衣着、医疗和保健的影响。第63页，共65页，编辑于2022年，星期五在此，可见我国集体单位的职工收入还不能够与国有甚至是其他经济类型的单位这职工收入相比，这也从一个侧面放反映了集体单位规模等方面的现状。再有就是我国居民食品和衣着方面的支出仍占了总支出的大部分，反映了我国居民总体收入水平还不够高；其次，医疗保健支出的比例比较大是可喜的，说明我国居民已经可以把部分精力放在了自己身体的调养上来，全国居民的总体健康状况在上升之中。让我们担忧的是在教育方

23、面的支出所占比例太小，不符合现今世界发展对教育程度的要求。科技是第一生产力，如何提高国民的科技文化知识水平是当今的一大重点。在当代激烈的竞争中，没有知识的支撑是不行的。64第64页，共65页，编辑于2022年，星期五o在SPSS中可以有两种方法来拟合典型相关分析，第一种是采用Manova过程来拟合，第二种是采用专门提供的宏程序来拟合，第二种方法在使用上非常简单，而输出的结果又非常详细，因此这里只对它进行介绍。该程序名为Canonical correlation.sps，就放在SPSS的安装路径之中，调用方式如下：INCLUDE SPSS所在路径Canonical correlation.sps.65第65页，共65页，编辑于2022年，星期五