概率论与数理统计优秀课件.ppt

《概率论与数理统计优秀课件.ppt》由会员分享，可在线阅读，更多相关《概率论与数理统计优秀课件.ppt（111页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、概率论与数理统计1第1页，本讲稿共111页8.1 引言引言8.2 因子模型因子模型8.3 参数估计方法参数估计方法8.4 方差最大的正交旋转方差最大的正交旋转8.5 因子得分因子得分8.6 Q型因子分析型因子分析第八章第八章 因因 子子 分分 析析 目目 录录2第2页，本讲稿共111页第八章第八章 因因 子子 分分 析析 因子分析是主成分分析的推广和发展因子分析是主成分分析的推广和发展,它也是它也是多元统计分析中降维的一种方法多元统计分析中降维的一种方法.因子分析是研究因子分析是研究相关阵或协差阵的内部依赖关系相关阵或协差阵的内部依赖关系,它将多个变量综合它将多个变量综合为少数几个因子为少数几

2、个因子,以再现原始变量与因子之间的以再现原始变量与因子之间的相关关系相关关系.因子分析的形成和早期发展一般认为是从因子分析的形成和早期发展一般认为是从Charles SpearmanCharles Spearman在在19041904年发表的文章开始年发表的文章开始.他提他提出这种方法用来解决智力测验得分的统计分析出这种方法用来解决智力测验得分的统计分析.目目前因子分析在心理学、社会学、经济学等学科前因子分析在心理学、社会学、经济学等学科都取得成功的应用都取得成功的应用.3第3页，本讲稿共111页第八章第八章 8.1 引 言什么是因子分析因子分析 例例1 1 为了了解学生的学习能力为了了解学生

3、的学习能力,观测了观测了n个学生个学生p个科目的成绩个科目的成绩(分数分数),),用用X1 1,Xp表示表示p个科目个科目(例如例如代数、几何、语文、英语、政治代数、几何、语文、英语、政治,),),X(t)=(=(xt1,xtp)()(t=1,=1,n)表示第表示第t个学生个学生p个科目的个科目的成绩成绩,我们对这些资料进行归纳分析我们对这些资料进行归纳分析,可以看出各个可以看出各个科目科目(即变量即变量)由两部分组成由两部分组成:Xi=aiF+i(i=1,=1,p)(8.1.1)(8.1.1)其中其中F是对所有是对所有Xi(i=1,=1,p)所共有的因子所共有的因子,它表示它表示智能高低的因

4、子智能高低的因子;i是变量是变量Xi特有的特殊因子特有的特殊因子.这就这就是一个最简单的因子模型是一个最简单的因子模型.4第4页，本讲稿共111页第八章第八章 8.1 引 言什么是因子分析因子分析 进一步可把这个简单因子模型推广到多个因子进一步可把这个简单因子模型推广到多个因子的情况的情况,即全体科目即全体科目X所共有的因子有所共有的因子有m个个,如数学如数学推导因子、记忆因子、计算因子推导因子、记忆因子、计算因子等等.分别记为分别记为F1 1,Fm,即即 Xi=ai1 F1 1+ai2 F2 2+aim Fm+i (i=1,=1,p)(8.1.2)(8.1.2)用这用这m个不可观测的相互独立

5、的公共因子个不可观测的相互独立的公共因子F1 1,Fm(也称为潜因子也称为潜因子)和一个特殊因子和一个特殊因子i来描述来描述原始可测的相关变量原始可测的相关变量(科目科目)X1 1,Xp,并解释分析并解释分析学生的学习能力学生的学习能力.5第5页，本讲稿共111页第八章第八章8.1 引 言什么是因子分析因子分析 例例2 2 调查青年对婚姻家庭的态度调查青年对婚姻家庭的态度,抽取了抽取了n个青个青年回答了年回答了p=50=50个问题的答卷个问题的答卷,这些问题可归纳为如这些问题可归纳为如下几个方面下几个方面,对相貌的重视、对孩子的观点等对相貌的重视、对孩子的观点等,这也这也是一个因子分析的模型是

6、一个因子分析的模型,每一个方面就是一个因子每一个方面就是一个因子.例例3 3 考察五个生理指标考察五个生理指标:收缩压收缩压(X1)(X1)、舒张压、舒张压(X2)(X2)、心跳间隔、心跳间隔(X3)(X3)、呼吸间隔、呼吸间隔(X4)(X4)和舌下温度和舌下温度(X5).(X5).从生理学的知识从生理学的知识,这五个指标是受植物神经支这五个指标是受植物神经支配的配的,植物神经又分为交感神经和副交感神经植物神经又分为交感神经和副交感神经,因此因此这五个指标有两个公共因子这五个指标有两个公共因子,也可用因子分析的模型也可用因子分析的模型去处理它去处理它.6第6页，本讲稿共111页第八章第八章 8

7、.1 引 言什么是因子分析因子分析 例例4 4 Linden Linden对二次大战对二次大战(1945(1945年以后年以后)奥林匹奥林匹 克克十项全能的得分进行研究十项全能的得分进行研究(n=160),=160),用用X1-X10X1-X10表示十表示十项全能的标准化得分数据项全能的标准化得分数据(十项全能包括十项全能包括:100:100米米,铝铝球球,跳高跳高,跳远跳远,400,400米米,110,110米跨栏米跨栏,铁饼铁饼,撑杆撑杆,标枪标枪,1500,1500米米),),目的是分析哪些因素决定了十项全能的成目的是分析哪些因素决定了十项全能的成绩绩,以此来指导运动员的选拔工作以此来指

8、导运动员的选拔工作.这些因素可归纳为如下几类这些因素可归纳为如下几类:短跑速度短跑速度,爆发性爆发性臂力臂力,腿力腿力,耐力等耐力等.这也是一个因子分析的模型这也是一个因子分析的模型,每每一个因素就是一个公共因子一个因素就是一个公共因子.7第7页，本讲稿共111页第八章第八章8.1 引 言什么是因子分析因子分析 因子分析的主要应用因子分析的主要应用有两方面有两方面:一是寻求基本结构一是寻求基本结构,简化观测系统，将具有简化观测系统，将具有错综复杂关系的对象错综复杂关系的对象(变量或样品变量或样品)综合为少数综合为少数几个因子几个因子(不可观测的不可观测的,相互独立的随机变量相互独立的随机变量)

9、，以再现因子与原变量之间的内在联系，以再现因子与原变量之间的内在联系;二是用于分类二是用于分类,对对p个变量或个变量或n个样品进行分个样品进行分类类.8第8页，本讲稿共111页第八章第八章8.1 引 言什么是因子分析因子分析 因子分析根据研究对象可以分为因子分析根据研究对象可以分为R R型和型和Q Q型因子分析型因子分析.R R型因子分析研究变量型因子分析研究变量(指标指标)之间的相关关系之间的相关关系,通过通过对变量的相关阵或协差阵内部结构的研究对变量的相关阵或协差阵内部结构的研究,找出控找出控制所有变量的几个公共因子制所有变量的几个公共因子(或称主因子、潜因子或称主因子、潜因子),),用以

10、对变量或样品进行分类用以对变量或样品进行分类.Q Q型因子分析研究样品之间的相关关系型因子分析研究样品之间的相关关系,通过通过 对样品的相似矩阵内部结构的研究找出控制所有对样品的相似矩阵内部结构的研究找出控制所有样品的几个主要因素样品的几个主要因素(或称主因子或称主因子).).9第9页，本讲稿共111页第八章第八章 8.1 引 言什么是因子分析因子分析 因子分析与主成分分析有区别因子分析与主成分分析有区别:主成分分析一般不用数学模型来描述主成分分析一般不用数学模型来描述,它只是通它只是通常的变量变换常的变量变换,而因子分析需要构造因子模型而因子分析需要构造因子模型(正交正交或斜交或斜交););

11、主成分分析中主成分的个数和变量个数主成分分析中主成分的个数和变量个数p相同相同,它是将一组具有相关性的变量变换为一组独立的综它是将一组具有相关性的变量变换为一组独立的综合变量合变量(注意应用主成分分析解决实际问题时注意应用主成分分析解决实际问题时,一一般只选取般只选取m(mp)个主成分个主成分),),而因子分析的目的是要而因子分析的目的是要用尽可能少的公因子用尽可能少的公因子,以便构造一个结构简单的因子以便构造一个结构简单的因子模型模型;10第10页，本讲稿共111页第八章第八章8.1 引 言什么是因子分析因子分析 主成分分析是将主成分表示为原变量的主成分分析是将主成分表示为原变量的线性组合线

12、性组合,而因子分析是将原始变量表示而因子分析是将原始变量表示为公因子和特殊因子的线性组合为公因子和特殊因子的线性组合.另一方面这两种分析方法之间在某些另一方面这两种分析方法之间在某些情况下也有一定联系情况下也有一定联系.这些我们将从下面这些我们将从下面的介绍中看到的介绍中看到.11第11页，本讲稿共111页第八章第八章 8.2 因子模型 正交因子模型正交因子模型 设设X=(=(X1 1,Xp)是可观测的随机向量是可观测的随机向量,E,E(X)=)=,D(,D(X)=)=.F=(=(F1 1,Fm)()(m，相应特征向量为，相应特征向量为l1 1*,l2 2*,lm*.则有近似分解式：则有近似分

13、解式：R*=AA,其中其中令令则则A和和为因子模型的一个解为因子模型的一个解 这个解就称为主因子解这个解就称为主因子解 .40第40页，本讲稿共111页第八章第八章 8.3 8.3 参数估计方法参数估计方法主因子法主因子法 在实际应用中特殊因子方差在实际应用中特殊因子方差i2 2 或公因子方或公因子方差差(也称为共同度也称为共同度)hi2 2 是未知的是未知的.以上得到的解是近似以上得到的解是近似解解.为了得到近似程度更好的解，常常采用为了得到近似程度更好的解，常常采用迭代主迭代主因子法因子法,即利用上面得到的即利用上面得到的D*=作为特殊方差的初始估计，重复上作为特殊方差的初始估计，重复上述

14、步骤，直到解稳定为止述步骤，直到解稳定为止.因特殊因子方差因特殊因子方差 ,故求特殊因子方差故求特殊因子方差的初始估计等价于求公因子方差的初始估计等价于求公因子方差(或称或称共同度共同度)hi2 2的初始估计的初始估计.41第41页，本讲稿共111页第八章第八章 8.3 8.3 参数估计方法参数估计方法主因子法主因子法 公因子方差公因子方差(或称变量的共同度或称变量的共同度)几种常用的初几种常用的初始估计方法始估计方法：hi2 2取为第取为第i个变量与其他所有变量的多重相关个变量与其他所有变量的多重相关系数的平方系数的平方(或者取或者取i2 2=1/=1/rii,其中其中rii是是R-1-1的

15、对角元的对角元素素,则则hi2 2=1-=1-i2 2.PRIORS=ASMC|A).PRIORS=ASMC|A).hi2 2 取为第取为第i个变量与其他变量相关系数绝对个变量与其他变量相关系数绝对值的最大值值的最大值(PRIORS=MAX|M);(PRIORS=MAX|M);取取hi2 2=1,=1,它等价于主成分解它等价于主成分解(PRIORS=ONE|O).(PRIORS=ONE|O).42第42页，本讲稿共111页第八章第八章 8.3 8.3 参数估计方法参数估计方法极大似然法极大似然法 假定公因子假定公因子F和特殊因子和特殊因子服从正态分布，那么我服从正态分布，那么我们可得到因子载荷

16、阵和特殊方差的极大似然估计们可得到因子载荷阵和特殊方差的极大似然估计.设设p维观测向量维观测向量X(1)(1),X(n)为来自正态总体为来自正态总体N Np(,)的的随机样本，则样本似然函数为随机样本，则样本似然函数为,的函数的函数L(,).设设=AA+D，取，取=X,则似然函数则似然函数L(X,AA+D)为为A,D的函数的函数:(A,D),求求A,D使使达最大达最大.为保证得为保证得到唯一解，可附加计算上方便的唯一性条件：到唯一解，可附加计算上方便的唯一性条件：AD-1 1A=对角阵对角阵,用迭代方法可求得极大似然估计用迭代方法可求得极大似然估计A和和D.43第43页，本讲稿共111页第八章

17、第八章 8.3 8.3 参数估计方法参数估计方法应用例子应用例子8.3.28.3.2 对全国对全国30个省市自治区经济发展基本情况的八项个省市自治区经济发展基本情况的八项指标作因子分析指标作因子分析.考虑的八项指标为考虑的八项指标为:X1-GDP X2-居民消费水平居民消费水平 X3-固定资产投资固定资产投资 X4-职工平均工资职工平均工资 X5-货物周转量货物周转量 X6-居民消费价格指数居民消费价格指数 X7-商品零售价格指数商品零售价格指数 X8-工业总产值工业总产值 （数据来源（数据来源1996年年“中国统计年鉴中国统计年鉴”)44第44页，本讲稿共111页第八章第八章 8.3 8.3

18、 参数估计方法参数估计方法应用例子应用例子8.3.28.3.2 甘肃甘肃 553.35 1007 114.81 5493 507.0 119.8 116.5 468.79青海青海 165.31 1445 47.76 5753 61.6 118.0 116.3 105.80北京北京 1394.89 2505 519.01 8144 373.9 117.3 112.6 843.43天津天津 920.11 2720 345.46 6501 342.8 115.2 110.6 582.51河北河北 2849.52 1258 704.87 4839 2033.3 115.2 115.8 1234.85山

19、西山西 1092.48 1250 290.90 4721 717.3 116.9 115.6 697.25内蒙内蒙 832.88 1387 250.23 4134 781.7 117.5 116.8 419.39辽宁辽宁 2793.37 2397 387.99 4911 1371.1 116.1 114.0 1840.55吉林吉林 1129.20 1872 320.45 4430 497.4 115.2 114.2 762.47黑龙江黑龙江 2014.53 2334 435.73 4145 824.8 116.1 114.3 1240.37上海上海 2462.57 5343 996.48 92

20、79 207.4 118.7 113.0 1642.95江苏江苏 5155.25 1926 1434.95 5943 1025.5 115.8 114.3 2026.64浙江浙江 3524.79 2249 1006.39 6619 754.4 116.6 113.5 916.59安徽安徽 2003.58 1254 474.00 4609 908.3 114.8 112.7 824.14福建福建 2160.52 2320 553.97 5857 609.3 115.2 114.4 433.67 X1 X2 X3 X4 X5 X6 X7 X845第45页，本讲稿共111页第八章第八章 8.3 8.

21、3 参数估计方法参数估计方法应用例子应用例子8.3.28.3.2 江西江西 1205.11 1182 282.84 4211 411.7 116.9 115.9 571.84山东山东 5002.34 1527 1229.55 5145 1196.6 117.6 114.2 2207.69河南河南 3002.74 1034 670.35 4344 1574.4 116.5 114.9 1367.92湖北湖北 2391.42 1527 571.68 4685 849.0 120.0 116.6 1220.72湖南湖南 2195.70 1408 422.61 4797 1011.8 119.0 11

22、5.5 843.83广东广东 5381.72 2699 1639.83 8250 656.5 114.0 111.6 1396.35广西广西 1606.15 1314 382.59 5105 556.0 118.4 116.4 554.97海南海南 364.17 1814 198.35 5340 232.1 113.5 111.3 64.33四川四川 3534.00 1261 822.54 4645 902.3 118.5 117.0 1431.81贵州贵州 630.07 942 150.84 4475 301.4 121.4 117.2 324.72云南云南 1206.68 1261 334

23、.00 5149 310.4 121.3 118.1 716.65西藏西藏 55.98 1110 17.87 7382 4.2 117.3 114.9 5.57陕西陕西 1000.03 1208 300.27 4396 500.9 119.0 117.0 600.98宁夏宁夏 169.75 1355 61.98 5079 121.8 117.1 115.3 114.40新疆新疆 834.57 1469 376.95 5348 339.0 119.7 116.7 428.76解解 此例中此例中,n=30,=30,p=8.=8.在在以上三种估计方法中以上三种估计方法中,主成分解主成分解应用较广泛应

24、用较广泛.具体计算步骤如下具体计算步骤如下:46第46页，本讲稿共111页第八章第八章 8.3 8.3 参数估计方法参数估计方法应用例子应用例子8.3.28.3.2(1)(1)由原始数据由原始数据X计算样本均值及样本相关阵计算样本均值及样本相关阵.(2)(2)求样本相关阵求样本相关阵R的特征值和标准化特征向量的特征值和标准化特征向量.记记2 2 p为为R的特征根的特征根,相应单位正交特相应单位正交特征向量为征向量为l1,l2,lp.(3)(3)求因子模型的因子载荷阵求因子模型的因子载荷阵.确定公因子的个数确定公因子的个数m.如如m为满足为满足1 1+m/1 1+m+p0.800.80的最小正整

25、数的最小正整数 由前由前m个单位正交特征向量个单位正交特征向量l1,lm,令令 ai=(=(i)1/21/2 li(i=1,2,=1,2,m),),则则A=(=(a1 1,am)为因子载荷阵为因子载荷阵.47第47页，本讲稿共111页第八章第八章 8.3 8.3 参数估计方法参数估计方法应用例子应用例子8.3.28.3.2 Xi的共同度的共同度hi2 2的估计为的估计为 (5)(5)对对m个公因子个公因子(或称潜因子或称潜因子,主因子主因子)作解释作解释.求出因子载荷阵求出因子载荷阵A后后,即得可观测变量即得可观测变量X1 1,Xp可以由可以由m个不可观测的公因子及各自的特殊因个不可观测的公因

26、子及各自的特殊因子表示子表示,但这但这m个公因子的实际意义表示什么个公因子的实际意义表示什么?则要则要结合专业知识给出解释结合专业知识给出解释.(4)(4)求特殊因子方差求特殊因子方差:令令48第48页，本讲稿共111页第八章第八章 8.3 8.3 参数估计方法参数估计方法应用例子应用例子8.3.28.3.2 以下以下SASSAS程序首先用程序首先用DATADATA步生成步生成SASSAS数据集数据集D832D832，然后调用，然后调用SAS/STATSAS/STAT软件中的软件中的FACTORFACTOR过程进行因子过程进行因子分析分析.在在PROC FACTORPROC FACTOR语句中

27、，语句中，选项选项METHOD=PRINMETHOD=PRIN和和PRIORS=ONEPRIORS=ONE表示用主成分法估计因子载荷阵表示用主成分法估计因子载荷阵A和和D.因主成分法是常用的参数估计法，这两个选项的值因主成分法是常用的参数估计法，这两个选项的值为系统的预置值为系统的预置值,可以省略不写可以省略不写.选项选项P=0P=0.80(80(或或P=80)P=80)表示选取公因子个数表示选取公因子个数m,使使m为满足为满足1 1+m/p 0.80 0.80的最小正整数的最小正整数.49第49页，本讲稿共111页第八章第八章 8.3 8.3 参数估计方法参数估计方法应用例子应用例子8.3.

28、28.3.2 选项选项SIMPLESIMPLE要求打印输出原相关变量的样本均值和要求打印输出原相关变量的样本均值和标准差标准差.VAR VAR语句列出进行因子分析的相关变量语句列出进行因子分析的相关变量X1X1至至X8 X8 data d832;input group$x1-x8;cards;北京北京 1394.89 2505 519.01 8144 373.9 117.3 112.6 843.43天津天津 920.11 2720 345.46 6501 342.8 115.2 110.6 582.51.;proc factor data=d832 method=prin priors=one

29、 p=0.80 simple;var x1-x8;run;50第50页，本讲稿共111页第八章第八章 8.3 8.3 参数估计方法参数估计方法应用例子应用例子8.3.28.3.2的输出结果的输出结果 八项经济发展指标八项经济发展指标的均值和标准差的均值和标准差(相关阵相关阵R这里省略了这里省略了)51第51页，本讲稿共111页第八章第八章 8.3 8.3 参数估计方法参数估计方法应用例子应用例子8.3.28.3.2的输出结果的输出结果 相关阵相关阵R的特征值、相邻特征值之差、贡献率和累计贡献率的特征值、相邻特征值之差、贡献率和累计贡献率52第52页，本讲稿共111页第八章第八章8.3 8.3

30、参数估计方法参数估计方法应用例子应用例子8.3.28.3.2的输出结果的输出结果 因子载荷阵因子载荷阵A(m=3)=3)=A53第53页，本讲稿共111页第八章第八章8.3 8.3 参数估计方法参数估计方法应用例子应用例子8.3.28.3.2的输出结果的输出结果 每个公因子解释的方差及最终选取的三个公每个公因子解释的方差及最终选取的三个公因子所估计的总方差和因子所估计的总方差和m=3=3时各变量的共同度时各变量的共同度A阵中各列的平方阵中各列的平方和和q2k(k=1,2,3)或相关阵或相关阵R的特征的特征值值k(k=1,2,3)A阵中各行的平阵中各行的平方和方和h2j(共同度共同度)(j=1,

31、2,8)54第54页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋方差最大的正交旋转转 因子分析的目的不仅是求出公共因子因子分析的目的不仅是求出公共因子,更主要的是知更主要的是知道每个公共因子的实际意义道每个公共因子的实际意义,以便对实际问题作出科学的分析以便对实际问题作出科学的分析.但由但由8.38.3介绍的估计方法所求出的公因子解介绍的估计方法所求出的公因子解,初始因子载初始因子载荷阵并不满足荷阵并不满足“简单结构准则简单结构准则”,即各个公共因子的典型代表即各个公共因子的典型代表变量不很突出变量不很突出,因而容易使公共因子的意义含糊不清因而容易使公共因子的意义含糊不清,不利不

32、利于对因子进行解释于对因子进行解释.为此必须对因子载荷阵施行旋转变换为此必须对因子载荷阵施行旋转变换,使得使得各因子各因子载荷的平方按列向载荷的平方按列向0 0和和1 1两极转化两极转化,达到其结构简化达到其结构简化的目的的目的.这种变换因子载荷阵的方法称为这种变换因子载荷阵的方法称为因子旋转因子旋转,而旋转变换的方法主要有正交旋转而旋转变换的方法主要有正交旋转,斜交旋转等斜交旋转等.55第55页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转理论依据理论依据 且且(8.4.1)(8.4.2)56第56页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转

33、方差最大的正交旋转理论依据理论依据 (8.4.1)(8.4.1)和和(8.4.2)(8.4.2)式说明式说明,若若F是因子模型的公是因子模型的公因子向量因子向量,则对任一正交阵则对任一正交阵,F=Z 也是公因子也是公因子向量向量.相应的相应的A是公因子是公因子Z 的因子载荷阵的因子载荷阵.利用这一性质利用这一性质,在因子分析的实际计算中在因子分析的实际计算中,当求当求得初始因子载荷阵得初始因子载荷阵A以后以后,就反复右乘正交阵就反复右乘正交阵,使使A具有更明显的实际意义具有更明显的实际意义.这种变换载荷矩阵的方法这种变换载荷矩阵的方法,称为因子轴称为因子轴的正交旋转的正交旋转.57第57页，本

34、讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转因子载荷的方差因子载荷的方差 h2 2i 如果如果A的每一列的每一列(即因子载荷向量即因子载荷向量)数值越分散数值越分散,相应相应的因子载荷向量的方差越大的因子载荷向量的方差越大.58第58页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转因子载荷的方差因子载荷的方差 下面来引入度量因子载荷阵分散程度的统计量下面来引入度量因子载荷阵分散程度的统计量-因因子载荷的方差子载荷的方差.首先首先“标准化标准化”:A=a11 a1m.ap1 apma211 a21m.a2p1 a2pm消除符号消除符号

35、的影响的影响a211/h12 a21m/h12.a2p1/hp2 a2pm/hp2消除各变量对公因子依消除各变量对公因子依赖程度赖程度(即共同度即共同度)不同不同的影响的影响=d112 d1m2.dp12dpm259第59页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转因因子载荷的方差子载荷的方差 为消除为消除aij符号不同的影响及各变量对公因子依赖符号不同的影响及各变量对公因子依赖程度不同的影响程度不同的影响,令令60第60页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转因因子载荷的方差子载荷的方差 61第61页，本讲稿共111

36、页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转因子载荷的方差因子载荷的方差 则因子载荷阵则因子载荷阵A的方差为的方差为:若若Vj值越大值越大,A的第的第j个因子载荷向量数值个因子载荷向量数值越分散越分散,如果载荷值或是趋于如果载荷值或是趋于1 1或是趋于或是趋于0,0,这这时相应的公因子时相应的公因子Fj具有简化结构具有简化结构.我们希望我们希望因子载荷阵因子载荷阵A的方差尽可能大的方差尽可能大.62第62页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转方差最大的正交旋转方差最大的正交旋转 设设m=2,=2,因子载荷阵因子载荷阵A为为:则则B=A

37、是是Z=F的因子载荷阵的因子载荷阵.这相当于将由这相当于将由F1 1，F2 2确定的因子平面旋转一个角度确定的因子平面旋转一个角度.利用微积分的方法利用微积分的方法可以确定选择适当的角度可以确定选择适当的角度 ，使载荷阵的总方差达，使载荷阵的总方差达最大最大.63第63页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转方差最大的正交旋转方差最大的正交旋转 当当m2 2时时,可以逐次对每两个因子可以逐次对每两个因子Fk,Fj(kj)进进行以上旋转行以上旋转.选择正交旋转的角度选择正交旋转的角度 kj使这两个因子使这两个因子的方差之和达最大的方差之和达最大.m个因子的

38、全部配对旋转个因子的全部配对旋转,共需旋转共需旋转C Cm2 2次次,全部旋全部旋转完毕算一次循环转完毕算一次循环(或一轮或一轮),),经第一轮旋转后计算旋经第一轮旋转后计算旋转后的因子载荷方差转后的因子载荷方差V(1)(1),此时不能认为此时不能认为V(1)(1)就是最就是最大方差大方差,还需从旋转后的载荷阵出发还需从旋转后的载荷阵出发,再进行第二轮再进行第二轮旋转，旋转，,等等等等.64第64页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转应用例子应用例子8.8.4.2(8.3.2(8.3.2的继续的继续)在例在例8.3.28.3.2中，考虑对因子载荷阵作方

39、差最大的中，考虑对因子载荷阵作方差最大的正交旋转正交旋转,并由旋转后的因子载荷阵解释公因子的含并由旋转后的因子载荷阵解释公因子的含义义.解解 在以下在以下SASSAS程序中，程序中，PROC FACTORPROC FACTOR语句的选语句的选项项ROTATE=VARIMAX(ROTATE=VARIMAX(或或R=V)R=V)表示对因子载荷阵进行方表示对因子载荷阵进行方差最大正交旋转，差最大正交旋转，选项选项N=3N=3指定公因子个数指定公因子个数m=3=3.proc factor data=d832 rotate=varimax n=3;var x1-x8;run;65第65页，本讲稿共111

40、页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转应用例子应用例子8.4.2(8.3.2(8.3.2的继续的继续)的输出结果的输出结果 正交变换阵正交变换阵方差最大方差最大正交旋转正交旋转后的后的因子因子载荷阵载荷阵A66第66页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转应用例子应用例子8.8.4.2(8.3.2(8.3.2的继续的继续)的输出结果的输出结果 变量变量X1的共同度的共同度 h12 2=0.944830 =(0.95501)2+(0.12507)2+(-0.13094)2每个公因子每个公因子解释的方差解释的方差,与旋转前稍与旋转前稍

41、有些差异有些差异.三个公因子估计三个公因子估计的总方差的总方差7.1667547.166754=3.206521+2.217780=3.206521+2.217780+1,742453+1,74245367第67页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转应用例子应用例子8.4.2(8.3.2(8.3.2的继续的继续)的结果分析的结果分析 从方差最大正交旋转后的从方差最大正交旋转后的因子载荷阵因子载荷阵A中可见，每中可见，每个因子只有少数几个指标的因子个因子只有少数几个指标的因子载荷较大，因此可载荷较大，因此可以由因子载荷阵以由因子载荷阵A对指标进行分类。对

42、指标进行分类。八项指标按高载荷可以分三类：八项指标按高载荷可以分三类：第一个因子在指标第一个因子在指标X1,X3,X8X1,X3,X8上有较大的载荷，上有较大的载荷，这些是从这些是从GDP,GDP,固定资产投资固定资产投资,工业总产值这三个方面工业总产值这三个方面反映经济发展状况的，因此命名为反映经济发展状况的，因此命名为总量因子总量因子；68第68页，本讲稿共111页第八章第八章8.48.4方差最大的正交旋转方差最大的正交旋转应用例子应用例子8.4.2(8.3.2(8.3.2的继续的继续)的结果分析的结果分析 第二个因子在指标第二个因子在指标X2,X4,X5X2,X4,X5上有较大的载荷，上

43、有较大的载荷，这些是从这些是从居民消费水平居民消费水平,职工平均工资和货物周转职工平均工资和货物周转量这三个方面反映经济发展状况的，因此命名为量这三个方面反映经济发展状况的，因此命名为消消费因子费因子；第三个因子在指标第三个因子在指标X6X6和和X7X7上有较大的载荷，上有较大的载荷，这些是从这些是从居民消费价格指数和商品零售价格指数居民消费价格指数和商品零售价格指数这二个方面反映经济发展状况的，因此命名为这二个方面反映经济发展状况的，因此命名为价价格因子格因子；69第69页，本讲稿共111页第八章第八章 8.5 8.5 因子因子得分得分 我们已经讨论了如何从样本协差阵或相关阵我们已经讨论了如

44、何从样本协差阵或相关阵R出发出发,来获得公共因子和因子载荷阵来获得公共因子和因子载荷阵,并给出公共因并给出公共因子的实际背景子的实际背景,当我们一旦获得公共因子和因子载当我们一旦获得公共因子和因子载荷阵以后荷阵以后,我们应当反过来我们应当反过来考察每一个样品的公共考察每一个样品的公共因子的估计因子的估计,即所谓的因子得分即所谓的因子得分,因子得分可用于模因子得分可用于模型的诊断型的诊断,也可作进一步分析的原始数据也可作进一步分析的原始数据.但请注意但请注意,因子得分的计算并不是通常意义下的因子得分的计算并不是通常意义下的参数估计参数估计,而是对不可观测的随机向量而是对不可观测的随机向量F(公公

45、共因子）取值的估计共因子）取值的估计.70第70页，本讲稿共111页第八章第八章 8.5 8.5 因子得分因子得分最小二乘法最小二乘法 设设X具有因子模型具有因子模型(不妨设不妨设=0)=0)X=AF+假定因子载荷阵假定因子载荷阵A已知已知,由由A和和X来来估计估计F,使得使得达最小值达最小值-2AX+2AAF=0 可得可得F的估计为的估计为:=XX-2XAF+FAAF71第71页，本讲稿共111页第八章第八章 8.58.5因子因子得分得分最小二乘法最小二乘法 就是因子得分的最小二乘估计就是因子得分的最小二乘估计.对样品对样品X(i),因子得分值为因子得分值为如果我们用主成分法估计因子载荷阵如

46、果我们用主成分法估计因子载荷阵A,那么在计那么在计算因子得分的估计时算因子得分的估计时,通常用最小二乘法通常用最小二乘法.此时此时 AA=diag(=diag(,2 2,m)72第72页，本讲稿共111页第八章第八章 8.58.5因子因子得分得分最小二乘法最小二乘法 公因子得分向量为公因子得分向量为:73第73页，本讲稿共111页第八章第八章 8.58.5因子因子得分得分最小二乘法最小二乘法 对样品对样品X(i),代入公因子向量代入公因子向量F,相应的相应的因子得分为因子得分为因子得分阵因子得分阵F为为:其中其中zij就是主成分就是主成分得分得分74第74页，本讲稿共111页第八章第八章 8.

47、5 8.5 因子因子得分得分最小二乘法最小二乘法 对照第七章介绍的样本主成分对照第七章介绍的样本主成分,可以看到可以看到,第第i个样品的因子得分个样品的因子得分F F(i)和样本主成分得分和样本主成分得分Z Z(i)的对应分量仅相差一个常数的对应分量仅相差一个常数:75第75页，本讲稿共111页第八章第八章 8.5 8.5 因子得分因子得分加权最小二乘法加权最小二乘法 设设X具有正交因子模型具有正交因子模型(不妨设不妨设=0)=0)X=AF+假定因子载荷阵假定因子载荷阵A和特殊方差已知和特殊方差已知,而把特殊因子而把特殊因子 看作误差看作误差.因因Var(Var(i i)=)=i2 2(i=1

48、,.,=1,.,p)一般不一般不相等相等.于是我们用加权最小二乘法估计公共因子于是我们用加权最小二乘法估计公共因子F的值的值.用误差方差的倒数作为权数的误差平方和用误差方差的倒数作为权数的误差平方和76第76页，本讲稿共111页第八章第八章 8.5 8.5 因子因子得分得分加权最小二乘法加权最小二乘法 (8.5.1)(8.5.1)式中式中,A,D已知已知,X为可观测的为可观测的值也是已知的值也是已知的,求求F的估计值的估计值.(8.5.1）令(由附录矩阵微商的由附录矩阵微商的(8.2)和和(8.3)式式)77第77页，本讲稿共111页第八章第八章 8.58.5因子因子得分得分加权最小二乘法加权

49、最小二乘法 这就是因子得分的加权最小二乘估计这就是因子得分的加权最小二乘估计.(8.5.2）可得到可得到F的估计值的估计值:78第78页，本讲稿共111页第八章第八章 8.5 8.5 因子得分因子得分加权最小二乘法与最大似然估计加权最小二乘法与最大似然估计 若假定若假定XN Np(AF,D),),X的似然函数的对数为的似然函数的对数为 L(L(F)=-0.5()=-0.5(X-AF)D-1-1(X-AF)-0.5Ln|2)-0.5Ln|2 D|由此可得由此可得F的极大似然估计仍为的极大似然估计仍为(8.5.2)(8.5.2)式式,这个估计也称为巴特莱特因子得分这个估计也称为巴特莱特因子得分.实

50、际问题中实际问题中,A,D未知未知,自然的作法是将它们的自然的作法是将它们的某种估计代入某种估计代入(8.5.2),(8.5.2),对样品对样品X(i),因子得分值为因子得分值为79第79页，本讲稿共111页第八章第八章 8.5 8.5 因子因子得分得分回归法回归法 在因子模型中在因子模型中,我们也可以反过来将公共因子我们也可以反过来将公共因子表示为变量的线性组合表示为变量的线性组合,即用即用 Fj=j1X1+jpXp (j=1,m)(8.5.3)来计算每个样品的公因子得分来计算每个样品的公因子得分.(8.5.3)式称为因子得分函数式称为因子得分函数.以下用回归法给出以下用回归法给出(8.5.