第八章 因子分析1.ppt

《第八章 因子分析1.ppt》由会员分享，可在线阅读，更多相关《第八章 因子分析1.ppt（29页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第九章 因子分析n第一节第一节 因子分析方法因子分析方法n一、因子分析及基本思想一、因子分析及基本思想n因子分析起源于因子分析起源于20世纪早期，用于研究心理学和教育学方面的问题，世纪早期，用于研究心理学和教育学方面的问题，但是由于计算量大，又缺乏强有力的计算工具，使因子分析的应用和但是由于计算量大，又缺乏强有力的计算工具，使因子分析的应用和发展受到了很大的限制，甚至停滞了很长一段时间。高速计算机的出发展受到了很大的限制，甚至停滞了很长一段时间。高速计算机的出现，使因子分析的理论研究和计算有了很大的进展。目前，这一方法现，使因子分析的理论研究和计算有了很大的进展。目前，这一方法在经济学、社会学

2、、考古学、生物学、医学、地质学及体育科学等领在经济学、社会学、考古学、生物学、医学、地质学及体育科学等领域都得到了广泛的应用，并取得了显著的成绩。域都得到了广泛的应用，并取得了显著的成绩。n（一）什么是因子分析（一）什么是因子分析n因子分析因子分析是主成分分析的推广和发展，它是将具有错综复杂关系的变是主成分分析的推广和发展，它是将具有错综复杂关系的变量（或样品）综合为数量较少的几个因子，以显示原始变量与因子之量（或样品）综合为数量较少的几个因子，以显示原始变量与因子之间的相互关系，同时根据不同因子还可以对变量进行分类，是多元统间的相互关系，同时根据不同因子还可以对变量进行分类，是多元统计分析中

3、处理降维的一种统计分析方法。计分析中处理降维的一种统计分析方法。n举例：n比如通过考试得到若干名学员的语文、数学、物理、化学、外语等几比如通过考试得到若干名学员的语文、数学、物理、化学、外语等几门课程的考试成绩，把每门功课的成绩作为一个变量，显然，这些变门课程的考试成绩，把每门功课的成绩作为一个变量，显然，这些变量必定受到一些公共因素的影响，比如：逻辑思维能力、形象思维能量必定受到一些公共因素的影响，比如：逻辑思维能力、形象思维能力和记忆力等，都是影响这些课程成绩的公共因素。另外，每门功课力和记忆力等，都是影响这些课程成绩的公共因素。另外，每门功课n的成绩还可能受自身特点的影响，如语文的写作能

4、力，化学的动手能的成绩还可能受自身特点的影响，如语文的写作能力，化学的动手能力等。力等。n这里的公共因素，称为这里的公共因素，称为公共因子公共因子，是事物的基本因子或本质因子，是，是事物的基本因子或本质因子，是不可直接观测到的潜在变量。因子分析就是利用少数几个潜在变量或不可直接观测到的潜在变量。因子分析就是利用少数几个潜在变量或公共因子去解释较多个显在变量或可观测变量中存在的复杂关系。也公共因子去解释较多个显在变量或可观测变量中存在的复杂关系。也就是说：就是说：因子分析就是把每个原始变量（可观测变量）分解为两部分因子分析就是把每个原始变量（可观测变量）分解为两部分因素：一部分是由所有变量共同具

5、有的少数几个公共因子构成，另一因素：一部分是由所有变量共同具有的少数几个公共因子构成，另一部分是每个原始变量独自具有的因素，即特殊因素或特殊因子部分。部分是每个原始变量独自具有的因素，即特殊因素或特殊因子部分。正是特殊因子的存在，才使某一原始变量有别于其它原始变量。正是特殊因子的存在，才使某一原始变量有别于其它原始变量。n某某 公司对公司对100名招聘人员的知识和能力进行测试，出了名招聘人员的知识和能力进行测试，出了50道试题的道试题的试卷，其内容包括的面较广，但总的来讲可归纳为试卷，其内容包括的面较广，但总的来讲可归纳为6个方面：语言表个方面：语言表达能力、逻辑思维能力、判断事物的敏捷和果断

6、程度，思想修养、兴达能力、逻辑思维能力、判断事物的敏捷和果断程度，思想修养、兴趣爱好、生活常识等，我们将每一个方面称为一个因子。假设这趣爱好、生活常识等，我们将每一个方面称为一个因子。假设这100个人测试的分数为个人测试的分数为(Q型因子分子型因子分子)n可以用上述6个因子表示成线性函数：n i=1,2,100n其中：表示6个公共因子，它们的系数n称为因子载荷，表示第i个应试人员在6个因子方面的能力，n是第i个应试人员的能力和知识不能被前6个因子包括的部分，称为特殊因子，通常假定 。这个模型与回归模型在形式上相似，但实质很不同。这里的 值是未知的，有关参数的统计意义更不一样。n因子分析的任务就

7、是先估计出nFi赋予有实际背景的解释。n二、因子分析的基本思想二、因子分析的基本思想n因子分析因子分析是通过对事物可观测变量 的分析，挖掘出影响这些变量的公共因素，同时将各个变量剩余的属性特征归为一类，统称为剩余因子或特殊因子，这样p个原始变量就可表述n为 ，i=1，2，P(R型因子分析)其中：为公共因子，为第i个变量的特殊因子。由于q个公共因子中的每一个都说明影响变量的一种基本特征，所以各个公共因子一定是相互独立的。而p个特殊因子，不仅与各公共因子独立，而且他们之间也一定是相互独立的。将原始变量表述为q个公共因子的线性组合，即将原始变量置于q个公共因子组成的空间下进行分析研究是因子分析的实质

8、，这必然涉及到公共因子个数q的多少问题。一般说，公共因子的个数q，要小于等于变量的个数p，且q越小越好，这样就可以将高维空间的问题化为低维空间处理。这样，因子分析方法一方面可用少数几个因子去描述多个变量之间的关系；另一方面，可对原始变量进行分类，把相关性较高即联系紧密的变量归为同一类，而不同类的变量之间的相关性较低。因子分析的基本思想是通过对变量（或样品）的相关系数矩阵（样品为距离矩阵）内部结构的研究，找出能控制所有变量（或样品）的少数几个随机变量去描述多个变量（或样品）之间的相关（或相似）关系，在这里，这少数几个随机变量是不可观测的，通常称为因子。然后再根据相关性（或相似性）的大小把变量（或

9、样品）分组，使得同组内的变量（或样品）之间相关性（或相似性）较高，但不同组的变量（或样品）相关性（或相似性）较低。第二节 因子分析的数学模型一、因子分析模型如果：1.是可观测的随机向量，且均值向量 协方差阵 协方差阵与相关系数矩阵相等；是不可观测的随机向量，为公共因子，且均值向量 协方差阵 即向量的各个分量是相互独立的；2.3.与 F相互独立，即 且 则称为因子模型 称为因子载荷，表示i个变量在第 j个公共因子上的负荷,矩阵A称为因子载荷矩阵 二、因子分析模型的性质二、因子分析模型的性质性质性质1：的协方差阵 的一个分解式是 但这种分解并不是唯一的。假设 是一个 的正交矩阵，令 性质性质2：模

10、型不受单位的影响这个型仍满足三、因子模型中公共因子、因子载荷和变量共同度的统计意义三、因子模型中公共因子、因子载荷和变量共同度的统计意义（一）因子载荷的统计意义由假设 知（二）变量共同度的统计意义的共同度定义为因子载荷矩阵中第 i行元素的平方和，即 Xi*的方差由两部分构成，第一部分为共的方差由两部分构成，第一部分为共hi2，它刻划全部公共，它刻划全部公共因子对变量因子对变量Xi*的总方差贡献，的总方差贡献，hi2越接近于越接近于1，说明该变量的，说明该变量的几乎全部原始信息都被所选取的公共因子说明了；越接近几乎全部原始信息都被所选取的公共因子说明了；越接近0，说明公共因子对说明公共因子对Xi

11、*的影响很小，主要由特殊因子所描述；第的影响很小，主要由特殊因子所描述；第二部分二部分i2为特殊因子方差，仅与变量为特殊因子方差，仅与变量Xi*本身的变化有关。本身的变化有关。（三）公共因子（三）公共因子Fj的方差贡献及统计意义的方差贡献及统计意义将因子载荷矩阵中第将因子载荷矩阵中第j列元素平方相加称为公共因子列元素平方相加称为公共因子Fj的方差贡献。即：的方差贡献。即：它表示同一公共因子它表示同一公共因子Fj对诸变量所提供的方差贡献之和，是衡量公共因对诸变量所提供的方差贡献之和，是衡量公共因子相对重要程度的指标。子相对重要程度的指标。第三节第三节 因子载荷矩阵的估计方法因子载荷矩阵的估计方法

12、 对对A的估计方法很多：如主成分法、主因子法、重心法、因子分析法、的估计方法很多：如主成分法、主因子法、重心法、因子分析法、最大似然法等。最大似然法等。一、主成分法一、主成分法（一）主成分分析与因子分析的区别与联系（一）主成分分析与因子分析的区别与联系区别区别（1）主成分分析是通过正交旋转，将一组有相关性的原变量，转化）主成分分析是通过正交旋转，将一组有相关性的原变量，转化为一组不相关的新变量为一组不相关的新变量主成分；而因子分析是根据变量之间相关主成分；而因子分析是根据变量之间相关系数矩阵内部结构的研究，找出影响这些变量的公共因素系数矩阵内部结构的研究，找出影响这些变量的公共因素。（2）主成

13、分分析中把主成分表示为原变量的线性组合，而因子分析中）主成分分析中把主成分表示为原变量的线性组合，而因子分析中把原变量表示成因子的线性组合把原变量表示成因子的线性组合。（3）主成分分析中每个主成分相应的系数是唯一确定的；但因子分析）主成分分析中每个主成分相应的系数是唯一确定的；但因子分析中，每个因子相应的系数不是唯一的。中，每个因子相应的系数不是唯一的。联系联系在求解过程中二者都是从一个协方差阵（相关系数矩阵）出发来研在求解过程中二者都是从一个协方差阵（相关系数矩阵）出发来研究问题。究问题。（二）因子载荷阵的求法设标准化随机向量 的协差阵为的协差阵为，根据线性代数的知识：，根据线性代数的知识：

14、所以所以这时的因子模型为：这时的因子模型为：X*=AFn因子载荷矩阵A的第j列元素是除常数外第j个主成分的系数，故这种方法称为主成分法。如果考虑特殊因子，则协方差阵如果考虑特殊因子，则协方差阵其中其中在实际运用中如何确定公共因子个数？在实际运用中如何确定公共因子个数？例题：例题：35家上市公司资料家上市公司资料(原始资料）原始资料）.sav二、主轴因子法二、主轴因子法n如果标准化随机向量满足因子模型X=AF+,则X的相关矩阵令令则称则称R*为为X的约相关矩阵，或称为调整相关矩阵的约相关矩阵，或称为调整相关矩阵。求解求解R*的特征根与特征向量，进而可求出因子载荷矩阵的特征根与特征向量，进而可求出

15、因子载荷矩阵A。R*有有q个正特征根个正特征根，设为，设为相应的标准正交特征向量为相应的标准正交特征向量为 则则 上面的分析是以上面的分析是以R*为基础的为基础的，而而R*的计算是以共同度的计算是以共同度hi2为前提的为前提的，事实上，事实上，hi2是未知的，需要进行估计。其估计方法有：是未知的，需要进行估计。其估计方法有：（1）取）取其中：其中：为为R-1的第的第i个对角元素，此时个对角元素，此时（2）取）取Xi与其它原始变量与其它原始变量的最大值，此时的最大值，此时（3）取）取hi2 1，得到的，得到的是一个主成分解。是一个主成分解。第四节 因子旋转n一、因子旋转的目的一、因子旋转的目的n

16、建立因子分析模型的目的不仅在于要找出公共因子，更重要的是建立因子分析模型的目的不仅在于要找出公共因子，更重要的是要知道每个公共因子的意义，以便对实际问题做出科学的分析。要知道每个公共因子的意义，以便对实际问题做出科学的分析。如果得到的初始因子解各主因子的典型代表变量不很突出，容易如果得到的初始因子解各主因子的典型代表变量不很突出，容易使因子的意义含糊不清，不便于对实际问题进行分析。根据因子使因子的意义含糊不清，不便于对实际问题进行分析。根据因子载荷矩阵的不唯一性，可以对因子载荷矩阵实施旋转，使旋转之载荷矩阵的不唯一性，可以对因子载荷矩阵实施旋转，使旋转之后的载荷矩阵在每一列上元素的绝对值尽量地

17、拉开大小距离，也后的载荷矩阵在每一列上元素的绝对值尽量地拉开大小距离，也就是说尽可能地使其中的一些元素接近于就是说尽可能地使其中的一些元素接近于0，另一些元素接近于，另一些元素接近于1，这样就可以得到令人满意的公共因子，从而达到对公共因子，这样就可以得到令人满意的公共因子，从而达到对公共因子进行合理解释的目的。进行合理解释的目的。二、方差最大正交旋转二、方差最大正交旋转方差最大正交旋转，就是选择适当的正交变换矩阵方差最大正交旋转，就是选择适当的正交变换矩阵T，在其左面乘载荷，在其左面乘载荷矩阵矩阵A(即即AT)，使旋转后得到的因子载荷阵的总方差达到最大。如果第，使旋转后得到的因子载荷阵的总方差

18、达到最大。如果第i个变量在第个变量在第j个公共因子上的载荷，经过方差极大旋转后其值增大，意味个公共因子上的载荷，经过方差极大旋转后其值增大，意味着这个变量在其他因子上的载荷要缩小，所以方差最大旋转是使载荷按着这个变量在其他因子上的载荷要缩小，所以方差最大旋转是使载荷按列向列向0、1两极分化，同时也包含着按行向两极分化。两极分化，同时也包含着按行向两极分化。假设公因子Fj的解释能力能够以其因子载荷平方的方差来度量，考虑两个因子的平面正交旋转，设因子载荷矩阵为:正交阵正交阵记记经过旋转要求两组数据的方差达到最大。两组数据的方差达到最大。即即将V对求导，并令其为零，经过计算，其旋转角度可按下面公式求

19、得其其中中由此就可以得出由此就可以得出的取值范围。分子取值符号分母取值符号4 的取值范围的取值范围+-+-+公共因子个数多于两个，可以每次取两个，全部配对旋转，q个因子的两两配对旋转共需进行 n这样就完成第一轮旋转,对第一轮所得结果用上述方法继续进行旋转，得到第二轮旋转的结果,如此进行下去，每一次旋转之后，载荷矩阵各列平方的相对方差之和总会比上一次有所增加，即在实际应用中，当在实际应用中，当V(S)的值变化不大时，即可停止旋转。的值变化不大时，即可停止旋转。一、汤姆森（一、汤姆森（Thompson）因子得分（回归法）因子得分（回归法）因子得分可以通过多元回归的方法估计，其具体做法是首先把公共因

20、子表示为变量的线性组合，即：j=1，2，q由于变量和公共因子都已标准化，所以，第五节第五节 因子得分因子得分实际上，当因子分析模型建立之后，我们需要反过来考察样品之间的相互关系。比如当关于企业经济效益的因子模型建立后，我们希望知道每一个企业经济效益的优劣，或者把企业划分归类，如哪些企业经济效益好，哪些企业经济效益一般，哪些企业经济效益较差，这就需要计算因子得分。因子得分就是公共因子在每一个样品上的得分。这时，可先求出回归系数，然后给出因子得分的计算公式。由因子载荷的意义可知：即所以因此记二、巴特莱特（Bartlett）因子得分这种方法是把个体P个变量的取值 当作因变量，把载荷矩阵Apq作为自变量数据阵，把Fq1当作未知参数，而特殊因子的取值（未知）看作误差，于是得到如下的线性回归模型：即：我们采用与求解线性回归模型相同的方法求得因子得分 最小二乘估计法，也就是寻找 由于p个个性方差不相等，因此，应采用加权的的一组取值 使得加权的残差平方和达到最小，这样求得的解就称为巴特莱特（Bartlett）因子得分例：35家上市公司2000年年报资料：35家上市公司资料(原始资料）.sav