因子分析原理.ppt
《因子分析原理.ppt》由会员分享,可在线阅读,更多相关《因子分析原理.ppt(87页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、关于因子分析原理1现在学习的是第1页,共87页2 1 1 引言引言 因子分析(factor analysis)是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系,探求观测数据中的基本结构,并用少数几个假想变量来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量,而假想变量是不可观测的潜在变量,称为因子。 例如,在企业形象或品牌形象的研究中,消费者可以通过一个有24个指标构成的评价体系,评价百货商场的24个方面的优劣。现在学习的是第2页,共87页3 但消费者主要关心的是三个方面,即商店的环境、商店的服务和商品的价格。因子分析方法可以通过24个
2、变量,找出反映商店环境、商店服务水平和商品价格的三个潜在的因子,对商店进行综合评价。而这三个公共因子可以表示为: iiiiiiFFFx33221124, 1i 称 是不可观测的潜在因子。24个变量共享这三个因子,但是每个变量又有自己的个性,不被包含的部分 ,称为特殊因子。321FFF、i现在学习的是第3页,共87页4注:注: 因子分析与回归分析不同,因子分析中的因子是因子分析与回归分析不同,因子分析中的因子是一个比较抽象的概念,而回归因子有非常明确的实际一个比较抽象的概念,而回归因子有非常明确的实际意义;意义; 主成分分析分析与因子分析也有不同,主成分主成分分析分析与因子分析也有不同,主成分分
3、析仅仅是变量变换,而因子分析需要构造因子模分析仅仅是变量变换,而因子分析需要构造因子模型。型。 主成分分析主成分分析: :原始变量的线性组合表示新的综合变原始变量的线性组合表示新的综合变量,即主成分;量,即主成分; 因子分析:潜在的假想变量和随机影响变量因子分析:潜在的假想变量和随机影响变量的线性组合表示原始变量。的线性组合表示原始变量。现在学习的是第4页,共87页5 2 因子分析模型因子分析模型 一、数学模型一、数学模型 设 个变量,如果表示为iX), 2 , 1(pip11iiiimmiXa Fa F)(pm 11111211122212222212mmpppppmpmXFXFXF或XAF
4、或现在学习的是第5页,共87页6 称为 公共因子,是不可观测的变量,他们的系数称为因子载荷。 是特殊因子,是不能被前m个公共因子包含的部分。并且满足:mFFF,21iIFD111)(cov( , )0,F,F即不相关;mFFF,21即 互不相关,方差为1。现在学习的是第6页,共87页722221)(pD即互不相关,方差不一定相等, 。), 0(2iiN现在学习的是第7页,共87页8用矩阵的表达方式X- = AF+ ( )EF0( )E0( )VarFI22212( )(,)pVardiag1 11212 122212()()()()()()cov()()()()()ppppppE FE FE
5、FE FE FE FEE FE FE FF,F0现在学习的是第8页,共87页9二、因子分析模型的性质 1、原始变量X的协方差矩阵的分解X- = AF+ ()( )( )VarVarVarX- = AF A+x = AA + DA是因子模型的系数22212( )(,)pVardiagD D的主对角线上的元素值越小,则公共因子共享的成分越多。现在学习的是第9页,共87页10 2、模型不受计量单位的影响 将原始变量X做变换X*=CX,这里Cdiag(c1,c2,cn),ci0。)C(X-) = C(AF+CXC +CAF +C*XC +CAF+C*X + A F + *FF现在学习的是第10页,共8
6、7页11*()EF0*( )E0*()VarFI*22212()(,)pVardiag* *cov()()EF ,F 0现在学习的是第11页,共87页12 3、因子载荷不是惟一的 设T为一个pp的正交矩阵,令A*=AT,F*=TF,则模型可以表示为*X+A F +()ET F0( )E0*()()( )VarVarVarFTFTF TI22212( )(,)pVardiag*cov()()EF ,F 0且满足条件因子模型的条件现在学习的是第12页,共87页13 三、三、 因子载荷矩阵中的几个统计特征因子载荷矩阵中的几个统计特征 1 1、因子载荷、因子载荷a aijij的统计意义的统计意义 因子
7、载荷 是第i个变量与第j个公共因子的相关系数 ija模型为 imimiiFaFaX11 在上式的左右两边乘以 jF,再求数学期望 )()()()()(11jijmimjjijjijiFEFFEaFFEFFEaFXE 根据公共因子的模型性质,有ijFxji (载荷矩阵中第i行,第j列的元素)反映了第i个变量与第j个公共因子的相关重要性。绝对值越大,相关的密切程度越高。现在学习的是第13页,共87页14 2 2、变量共同度的统计意义、变量共同度的统计意义定义:定义:变量 的共同度是因子载荷矩阵的第i行的元素的平方和。记为iX统计意义统计意义:imimiiFaFaX11两边求方差 )()()()(2
8、112imimiiVarFVaraFVaraXVarmjiija1221 所有的公共因子和特殊因子对变量 的贡献为1。如果 非常靠近1, 非常小,则因子分析的效果好,从原变量空间到公共因子空间的转化性质好。iXmjija122imjija12。mjijiah122现在学习的是第14页,共87页15 3 3、公共因子、公共因子 方差贡献的统计意义方差贡献的统计意义jF因子载荷矩阵中各列元素的平方和 称为所有的 对 的方差贡献和。衡量的相对重要性。piijjaS12), 1(mjjFiXjF现在学习的是第15页,共87页16 3 3 因子载荷矩阵的估计方法因子载荷矩阵的估计方法 设随机向量 的均值
9、为 ,协方差为 , 为的特征根, 为对应的标准化特征向量,则pxxx,21x021pp21u,u,u12p = UUAA +D(一)主成分分析法(一)主成分分析法现在学习的是第16页,共87页17 上式给出的 表达式是精确的,然而,它实际上是毫无价值的,因为我们的目的是寻求用少数几个公共因子解释,故略去后面的p-m项的贡献,有21111mmmmmmp1122ppu uu uu uuuu up2uuuuuuppp21122111100p 212ppuuuuuu现在学习的是第17页,共87页18 12 mmm1122AA +Du uu uu uD1121122 mmp mpmm p2uuuuuDA
10、ADu 上式有一个假定,模型中的特殊因子是不重要的,因而从 的分解中忽略了特殊因子的方差。22212(,)pdiagD其中221miiiijjsa现在学习的是第18页,共87页19注:残差矩阵 SAAD其中S为样本的协方差矩阵。现在学习的是第19页,共87页20 (二)主因子法(二)主因子法 主因子方法是对主成分方法的修正,假定我们首先对变量进行标准化变换。则 R=AA+D R*=AA=R-D称R*为约相关矩阵,为约相关矩阵, R*对角线上的元素是对角线上的元素是 ,而不是1。2ih现在学习的是第20页,共87页212112122122212ppppphrrrhrRrrhR-D直接求R*的前p
11、个特征根和对应的正交特征向量。得如下的矩阵:*1122ppAuuu*10pR特征根:*12,pu uu正交特征向量:现在学习的是第21页,共87页2221222pRR 当特殊因子当特殊因子 的方差不为且的方差不为且已知的,问题非常好解决。i*11*221122*ppppuuuuuu现在学习的是第22页,共87页23*1122mmAuuu2121100phhD现在学习的是第23页,共87页24 在实际的应用中,个性方差矩阵一般都是未知的,可以通过一组样本来估计。估计的估计的方法有如下几种方法有如下几种: 首先,求 的初始估计值,构造出 2ih*R 1)取 ,在这个情况下主因子解与主成分解等价;
12、2)取 , 为xi与其他所有的原始变量xj的复相关系数的平方,即xi对其余的p-1个xj的回归方程的判定系数,这是因为xi 与公共因子的关系是通过其余的p-1个xj 的线性组合联系起来的;12ih22iiRh 2iR现在学习的是第24页,共87页25 2)取 ,这意味着取xi与其余的xj的简单相关系数的绝对值最大者;)( |max2ijrhiji 4)取 ,其中要求该值为正数。pjijijirph, 1211 5)取 ,其中 是 的对角元素。iiirh/12iir1R现在学习的是第25页,共87页26 (三)极大似然估计法(略) 如果假定公共因子F和特殊因子 服从正态分布,那么可以得到因子载荷
13、和特殊因子方差的极大似然估计。设 为来自正态总体Np( , )的随机样本。 n21x,x,xAA )()(21exp)(112 iininp2XX12 ()( )()()()nLff Xf Xf X,A,DX)()(21exp)2(12121 iipnixx现在学习的是第26页,共87页27 它通过 依赖 和 。上式并不能唯一确定 ,为此可添加一个唯一性条件: 这里 式一个对角矩阵,用数值极大化的方法可以得到极大似然估计 。极大似然估计 将使 为对角阵,且似然函数达到最大。 相应的共同度的似然估计为: 第J个因子对总方差的贡献:1和x和、1222212imiiiaaah222212pjjjja
14、aaS现在学习的是第27页,共87页28 例例 假定某地固定资产投资率 ,通货膨胀率 ,失业率 ,相关系数矩阵为试用主成分分析法求因子分析模型。1x2x3x15/25/15/215/15/15/11现在学习的是第28页,共87页29 特征根为: 55. 11 85. 02 6 . 03 6 . 0707. 085. 0331. 055. 1629. 06 . 0707. 085. 0331. 055. 1629. 0085. 0883. 055. 1475. 0A707. 0331. 0629. 0707. 0331. 0629. 00883. 0475. 0U548. 0305. 0783.
15、 0548. 0305. 0783. 00814. 0569. 0现在学习的是第29页,共87页30 可取前两个因子F1和F2为公共因子,第一公因子F1物价就业因子,对X的贡献为1.55。第一公因子F2为投资因子,对X的贡献为0.85。共同度分别为1,0.706,0.706。211814. 0569. 0FFx3212548. 0305. 0783. 0FFFx3213548. 0305. 0783. 0FFFx现在学习的是第30页,共87页31 假定某地固定资产投资率 ,通货膨胀率 ,失业率 ,相关系数矩阵为试用主因子分析法求因子分析模型。假定用代替初始的 。 。1x2x3x15/25/15
16、/215/15/15/11)( |max2ijrhiji2ih52, 1,51232221hhh221251111515/25/25/15/215/15/15/15/1*R现在学习的是第31页,共87页32 特征根为: 9123. 010877. 0203 对应的非零特征向量为:261. 0657. 0261. 0657. 0929. 0369. 00877. 0261. 09123. 0657. 00877. 0261. 09123. 0657. 00877. 0929. 09123. 0369. 0077. 0628. 0077. 0628. 0275. 0352. 0现在学习的是第32页
17、,共87页331211275. 0352. 0FFx2212077. 0625. 0FFx3211077. 0682. 0FFx新的共同度为:18129. 0275.352. 02221oh3966. 0077. 0625. 02222h4710. 0077. 0682. 02223h现在学习的是第33页,共87页34 4 因子旋转(正交变换) 建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组,更重要的要知道每个公共因子的意义,以便进行进一步的分析,如果每个公共因子的含义不清,则不便于进行实际背景的解释。由于因子载荷阵是不惟一的,所以应该对因子载荷阵进行旋转。目的是使因子载荷阵的结
18、构简化,使载荷矩阵每列或行的元素平方值向0和1两极分化。有三种主要的正交旋转法。四次方最大法、方差最大法方差最大法和等量最大法。(一)为什么要旋转因子(一)为什么要旋转因子现在学习的是第34页,共87页35 百米跑成绩 跳远成绩 铅球成绩 跳高成绩 400米跑成绩 百米跨栏 铁饼成绩 撑杆跳远成绩 标枪成绩 1500米跑成绩 1X2X3X4X5X6X7X8X9X10X奥运会十项全能运动项目奥运会十项全能运动项目得分数据的因子分析得分数据的因子分析 现在学习的是第35页,共87页36102. 017. 002. 001. 039. 018. 008. 009. 007. 0124. 034. 0
19、18. 013. 017. 044. 021. 011. 0124. 033. 023. 039. 024. 036. 020. 0132. 017. 027. 073. 031. 028. 0134. 046. 036. 052. 040. 0129. 019. 049. 063. 0138. 051. 034. 0142. 035. 0159. 01现在学习的是第36页,共87页37变量共同度0.6910.217-0.58-0.2060.840.7890.184-0.1930.0920.70.7020.5350.047-0.1750.80.6740.1340.1390.3960.650.6
20、20.551-0.084-0.4190.870.6870.042-0.1610.3450.620.621-0.5210.109-0.2340.720.5380.0870.4110.440.660.434-0.4390.372-0.2350.570.1470.5960.658-0.2790.891F2F3F4F1X2X3X4X5X6X7X8X9X10X 因子载荷矩阵可以看出,除第一因子在所有的变量在公共因子上有较大的正载荷,可以称为一般运动因子。其他的3个因子不太容易解释。似乎是跑和投掷的能力对比,似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子,得下表 现在学习的是第37页,共87页38变量共
21、同度0.844*0.1360.156-0.1130.840.631*0.1940.515*-0.0060.70.2430.825*0.223-0.1480.810.2390.150.750*0.0760.650.797*0.0750.1020.4680.870.4040.1530.635*-0.170.620.1860.814*0.147-0.0790.72-0.0360.1760.762*0.2170.66-0.0480.735*0.110.1410.570.045-0.0410.1120.934*0.891F2F3F4F1X2X3X4X5X6X7X8X9X10X现在学习的是第38页,共87
22、页39 通过旋转,因子有了较为明确的含义。 百米跑, 跳远和 400米跑,需要爆发力的项目在 有较大的载荷, 可以称为短跑速度因子; 铅球, 铁饼和 标枪在 上有较大的载荷,可以称为爆发性臂力因子; 百米跨栏, 撑杆跳远, 跳远和为 跳高在 上有较大的载荷, 爆发腿力因子; 长跑耐力因子。2X5X1F1F3X7X9X2F6X8X2X4X3F3F4F1X现在学习的是第39页,共87页40变换后因子的共同度变换后因子的共同度设 正交矩阵,做正交变换正交矩阵,做正交变换 AB )()(1mlljilppijabBmjmjmlljilijiabh111222)()(B mjmlmjmlmljttjlj
23、itilljilaaa1 11 1 122)(2111222Aimlmjmlilljilhaa变换后因子的共同度没有发生变化!变换后因子的共同度没有发生变化!(二)旋转方法(二)旋转方法现在学习的是第40页,共87页41变换后因子贡献变换后因子贡献设 正交矩阵,做正交变换正交矩阵,做正交变换 AB )()(1qlljilppijabBpipiqlljilijjabS111222)()(B piqlpiqlqltttjljitilljilaaa1111 122piqlqlljjljilSa1112222)(A变换后因子的贡献发生了变化!变换后因子的贡献发生了变化!现在学习的是第41页,共87页4
24、2 1、方差最大法 方差最大法从简化因子载荷矩阵的每一列出发,使和每个因子有关的方差最大法从简化因子载荷矩阵的每一列出发,使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上又较高的载荷的平方的方差最大。当只有少数几个变量在某个因子上又较高的载荷时,对因子的解释最简单。载荷时,对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后,使每个因子上的载荷尽量拉开距离,一部分的载荷趋于1,另一部分趋于0。2122211211ppaaaaaaA221122212122121111FaFaXFaFaXFaFaXppp现在学习的是第42页,共87页43cossinsincosT设旋转
25、矩阵为:cossinsincosAATB则cossinsincoscossinsincos112112111211ppppaaaaaaaa*2*1*12*11ppaaaa现在学习的是第43页,共87页441,2, ;1,2ijijiadip jh令211(pjijiddp这是列和)max)()(1212 mjpijijddV简化准则为:00V令,则可以解出0000cossinsincosT旋转矩阵为:max(8.4.2)123m即:V +V +V+V现在学习的是第44页,共87页451000cossin0sincosT1000cossin0sincos T111 TT现在学习的是第45页,共8
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 因子分析 原理
限制150内