第六章多元统计PPT讲稿.ppt

《第六章多元统计PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第六章多元统计PPT讲稿.ppt（108页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第六章多元统计第1页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心2第六章第六章 因子分分析因子分分析 目录 上页 下页 返回 结束 6.1 6.1 因子分析的基本理论因子分析的基本理论6.2 6.2 因子载荷的求解因子载荷的求解6.3 6.3 因子分析的步骤与逻辑框图因子分析的步骤与逻辑框图6.4 6.4 因子分析的上机实现因子分析的上机实现第2页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心3第六章第六章 因子分分析因子分分析 目录 上页 下页 返回 结束 因子分析（因子分析（factor anal

2、ysis）模型是主成分分析的推广。它也）模型是主成分分析的推广。它也是利用降维的思想，由研究原始变量相关矩阵内部的依赖关系是利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。相对于主成分分析，因子分析子的一种多变量统计分析方法。相对于主成分分析，因子分析更倾向于描述原始变量之间的相关关系；因此，因子分析的出更倾向于描述原始变量之间的相关关系；因此，因子分析的出发点是原始变量的相关矩阵。因子分析的思想始于发点是原始变量的相关矩阵。因子分析的思想始于1904年年

3、Charles Spearman对学生考试成绩的研究。近年来，随着电子计对学生考试成绩的研究。近年来，随着电子计算机的高速发展，人们将因子分析的理论成功地应用于心理学、算机的高速发展，人们将因子分析的理论成功地应用于心理学、医学、气象、地质、经济学等各个领域，也使得因子分析的理医学、气象、地质、经济学等各个领域，也使得因子分析的理论和方法更加丰富。本章主要介绍因子分析的基本理论及方法，论和方法更加丰富。本章主要介绍因子分析的基本理论及方法，运用因子分析方法分析实际问题的主要步骤及因子分析的上机运用因子分析方法分析实际问题的主要步骤及因子分析的上机实现等内容。实现等内容。第3页，共108页，编辑

4、于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心4 目录 上页 下页 返回 结束 6.1 6.1 因子分析的基本理论因子分析的基本理论6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 第4页，共108页，编辑于2022年，星期三 因子分析的基本思想是根据相关性大小把原始变量分组，使得同组因子分析的基本思想是根据相关性大小把原始变量分组，使得同组内的变量之间相关性较高，而不同组的变量间的相关性则较低。每组内的变量之间相关性较高，而不同组的变量间的相关性则较低。每组变量代表一个基本结构，并

5、用一个不可观测的综合变量表示，这个基变量代表一个基本结构，并用一个不可观测的综合变量表示，这个基本结构就称为公共因子。对于所研究的某一具体问题，原始变量就可本结构就称为公共因子。对于所研究的某一具体问题，原始变量就可以分解成两部分之和的形式，一部分是少数几个不可测的所谓公共因以分解成两部分之和的形式，一部分是少数几个不可测的所谓公共因子的线性函数，另一部分是与公共因子无关的特殊因子。在经济统计子的线性函数，另一部分是与公共因子无关的特殊因子。在经济统计中，描述一种经济现象的指标可以有很多，比如要反映物价的变动情中，描述一种经济现象的指标可以有很多，比如要反映物价的变动情况，对各种商品的价格做全

6、面调查固然可以达到目的，但这样做显然况，对各种商品的价格做全面调查固然可以达到目的，但这样做显然耗时耗力，为实际工作者所不取。实际上，某一类商品中很多商品的耗时耗力，为实际工作者所不取。实际上，某一类商品中很多商品的价格之间存在明显的相关性或相互依赖性，只要选择几种主要商品的价格之间存在明显的相关性或相互依赖性，只要选择几种主要商品的价格或进而对这几种主要商品的价格进行综合，得到某一种假想的价格或进而对这几种主要商品的价格进行综合，得到某一种假想的“综合商品综合商品”的价格，就足以反映某一类物价的变动情况，这里，的价格，就足以反映某一类物价的变动情况，这里，“综综合商品合商品”的价格就是提取出

7、来的因子。的价格就是提取出来的因子。2023/1/25中国人民大学六西格玛质量管理研究中心5 目录 上页 下页 返回 结束 6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想第5页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心6 目录 上页 下页 返回 结束 6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想 这样，对各类商品物价或仅对主要类别商品的物价进行类似分析然后加以这样，对各类商品物价或仅对主要类别商品的物价进行类似分析然后加以综合，就可以反映出物价的整体变动情况。这一过程也就是从一些有错综复综合，就可以反映出物价的整体

8、变动情况。这一过程也就是从一些有错综复杂关系的经济现象中找出少数几个主要因子，每一个主要因子就代表经济变杂关系的经济现象中找出少数几个主要因子，每一个主要因子就代表经济变量间相互依赖的一种经济作用。抓住这些主要因子就可以帮助我们对复杂的量间相互依赖的一种经济作用。抓住这些主要因子就可以帮助我们对复杂的经济问题进行分析和解释。经济问题进行分析和解释。因子分析还可用于对变量或样品的分类处理，我们在得出因子的表达式之因子分析还可用于对变量或样品的分类处理，我们在得出因子的表达式之后，就可以把原始变量的数据代入表达式得出因子得分值，根据因子得分在后，就可以把原始变量的数据代入表达式得出因子得分值，根据

9、因子得分在因子所构成的空间中把变量或样品点画出来，形象直观地达到分类的目的。因子所构成的空间中把变量或样品点画出来，形象直观地达到分类的目的。因子分析不仅仅可以用来研究变量之间的相关关系，还可以用来研究样品之因子分析不仅仅可以用来研究变量之间的相关关系，还可以用来研究样品之间的相关关系，通常将前者称之为间的相关关系，通常将前者称之为R 型因子分析，后者称之为型因子分析，后者称之为Q 型因子分型因子分析。我们下面着重介绍型因子分析。析。我们下面着重介绍型因子分析。第6页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心7 目录 上页 下页 返回 结束 6

10、.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型（一）（一）Charles Spearman提出因子分析时用到的例子提出因子分析时用到的例子为了对因子分析的基本理论有一个完整的认识，我们先给出为了对因子分析的基本理论有一个完整的认识，我们先给出Charles Spearman 1904年用到的例子。在该例中年用到的例子。在该例中Spearman研究了研究了33名学生在古典语（名学生在古典语（C）、法语）、法语（F）、英语（）、英语（E）、数学（）、数学（M）、判别（）、判别（D）和音乐（）和音乐（Mu）六门考试成绩之间）六门考试成绩之间的相关性并得到如下相关阵：的相关性并

11、得到如下相关阵：第7页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心8 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 式中，为第式中，为第 门科目标准化后的考试成绩，均值为门科目标准化后的考试成绩，均值为0 0，方差为，方差为1 1。为公共因子，对各科考试成绩均有影响，是均值为为公共因子，对各科考试成绩均有影响，是均值为0 0，方差为，方差为1 1。为仅对第为仅对第 门科目考试成绩有影响的特殊因子，门科目考试成绩有影响的特殊因子，与与 相互独立。相互独立。也就是说，每一门科目的考试成绩都可以

12、看作是由一个公共因子也就是说，每一门科目的考试成绩都可以看作是由一个公共因子（可以认为是一般智力）与一个特殊因子的和。（可以认为是一般智力）与一个特殊因子的和。SpearmanSpearman注意到上面相关阵中一个有趣的规律，这就是如果不注意到上面相关阵中一个有趣的规律，这就是如果不考虑对角元素的话，任意两列的元素大致成比例，对考虑对角元素的话，任意两列的元素大致成比例，对C C列和列和E E列列有：有：于是于是SpearmanSpearman指出每一科目的考试成绩都遵从以下形式：指出每一科目的考试成绩都遵从以下形式：（6.1）第8页，共108页，编辑于2022年，星期三2023/1/25中国

13、人民大学六西格玛质量管理研究中心9 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型(6.2)(6.2)式与式与 无关，也正与在相关矩阵中所观察到的比例关系相一致。无关，也正与在相关矩阵中所观察到的比例关系相一致。在满足以上假定的条件下，就有：在满足以上假定的条件下，就有：于是，有 （6.2）除此之外，还可以得到如下有关除此之外，还可以得到如下有关 方差的关系式：方差的关系式：第9页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心10 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析

14、的基本理论及模型因子分析的基本理论及模型因此，常数因此，常数 的意义就在于其平方表示了公共因子的意义就在于其平方表示了公共因子 解释解释 的方的方差的比例，因此被称之为因子载荷，而差的比例，因此被称之为因子载荷，而 被称作共同度。被称作共同度。对对SpearmanSpearman的例子进行推广，假定每一门科目的考试成绩都受的例子进行推广，假定每一门科目的考试成绩都受到到 个公共因子的影响及一个特殊因子的影响，于是（个公共因子的影响及一个特殊因子的影响，于是（6.16.1）就）就变成了如下因子分析模型的一般形式：变成了如下因子分析模型的一般形式：(6.4)因为因为 是一个常数，与是一个常数，与

15、相互独立且相互独立且 与与 的方差均被假定为的方差均被假定为1 1。于是有于是有（6.3）第10页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心11 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型式中，式中，为标准化后的第为标准化后的第 门科目的考试成绩，均值为门科目的考试成绩，均值为0 0，方差为，方差为1 1。是彼此独立的公共因子，都满足均值为是彼此独立的公共因子，都满足均值为0 0，方差为，方差为1 1。为特殊因为特殊因子，与每一个公共因子均不相关且均值为子，与每一个公共因子均不相关且均

16、值为0 0。则则 为对第为对第 门科目考试成绩的因子载荷。对该模型，门科目考试成绩的因子载荷。对该模型，有：有：（6.5）式中，式中，表示公共因子解释表示公共因子解释 方差的比例，称为方差的比例，称为 的的共同度，相对的共同度，相对的 可称为可称为 的特殊度或剩余方差，表示的特殊度或剩余方差，表示 的方差中与公共因子无关的部分。因为共同度不会大于的方差中与公共因子无关的部分。因为共同度不会大于1 1，因，因此，此，。由模型。由模型(6.4)(6.4)还可以很容易地得到如下还可以很容易地得到如下 与与 相关系数的关系式：相关系数的关系式：（6.6）所以当所以当 与与 在某一公共因子上的载荷均较大

17、时，也就表在某一公共因子上的载荷均较大时，也就表明了明了 与与 的相关性较强。的相关性较强。第11页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心12 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型（二）一般因子分析模型（二）一般因子分析模型下面我们给出更为一般的因子分析模型：设有下面我们给出更为一般的因子分析模型：设有 个样品，每个样个样品，每个样品观测品观测 个指标，这个指标，这 个指标之间有较强的相关性（要求个指标相个指标之间有较强的相关性（要求个指标相关性较强的理由是很明确的，只有相关

18、性较强才能从原始变量中关性较强的理由是很明确的，只有相关性较强才能从原始变量中提取出提取出“公共公共”因子）。为了便于研究，并消除由于观测量纲的因子）。为了便于研究，并消除由于观测量纲的差异及数量级不同所造成的影响，将样本观测数据进行标准化处差异及数量级不同所造成的影响，将样本观测数据进行标准化处理，使标准化后的变量均值为理，使标准化后的变量均值为0 0，方差为，方差为1 1。为方便把原始变量及。为方便把原始变量及标准化后的变量向量均用标准化后的变量向量均用 表示，用表示，用 表示标准表示标准化的公共因子。化的公共因子。第12页，共108页，编辑于2022年，星期三2023/1/25中国人民大

19、学六西格玛质量管理研究中心13 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型（2 2）（）是不可观测的变量，其均值向）是不可观测的变量，其均值向 量量 ，协方差矩阵，协方差矩阵 ，即向量，即向量 的各分量是相互独立的；的各分量是相互独立的；如果：如果：（1 1）是可观测随机向量，且均值向量是可观测随机向量，且均值向量 ，协，协方差矩阵方差矩阵 ，且协方差矩阵，且协方差矩阵 与相关阵与相关阵 相等；相等；（3 3）与与 相互独立，且相互独立，且 ，的协方差阵的协方差阵 是对角方阵是对角方阵第13页，共108页，编辑于2022年，星期三20

20、23/1/25中国人民大学六西格玛质量管理研究中心14 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 即即 的各分量之间也是相互独立的。则模型的各分量之间也是相互独立的。则模型 (6.7)称为因子模型，模型称为因子模型，模型(6.7)(6.7)式的矩阵形式为：式的矩阵形式为：(6.8)其中 第14页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心15 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型由模型（由模型（6.76.7）及其假设前提

21、知，公共因子）及其假设前提知，公共因子 相互独立且相互独立且不可测，是在原始变量的表达式中都出现的因子。公共因子的含不可测，是在原始变量的表达式中都出现的因子。公共因子的含义，必须结合实际问题的具体意义确定。义，必须结合实际问题的具体意义确定。叫做特殊因子，叫做特殊因子，是向量是向量 的分量的分量 （）所特有的因子。各特殊因子）所特有的因子。各特殊因子之间以及特殊因子与所有公共因子之间也都是相互独立的。矩阵之间以及特殊因子与所有公共因子之间也都是相互独立的。矩阵 中的元素中的元素 称为因子载荷，称为因子载荷，的绝对值大的绝对值大 ，表明，表明 与与 的相的相依程度越大，或称公共因子依程度越大，

22、或称公共因子 对于对于 的载荷量越大，进行因子分的载荷量越大，进行因子分析的目的之一，就是要求出各个因子载荷的值。析的目的之一，就是要求出各个因子载荷的值。第15页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心16 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型经过后面的分析我们会看到，因子载荷的概念与上一章主成分分经过后面的分析我们会看到，因子载荷的概念与上一章主成分分析中的因子负荷量相对等，实际上，由于因子分析与主成分分析析中的因子负荷量相对等，实际上，由于因子分析与主成分分析非常类似，在

23、模型非常类似，在模型(6.7)(6.7)式中，若把式中，若把 看作看作 的综合作用，则除了此处的因子为不可测变量这一区别，因子载的综合作用，则除了此处的因子为不可测变量这一区别，因子载荷与主成分分析中的因子负荷量是一致的；很多人对这两个概念荷与主成分分析中的因子负荷量是一致的；很多人对这两个概念并不加以区分而都称做因子载荷。矩阵并不加以区分而都称做因子载荷。矩阵 称为因子载荷矩阵。称为因子载荷矩阵。为了更好地理解因子分析方法，有必要讨论一下载荷矩阵的为了更好地理解因子分析方法，有必要讨论一下载荷矩阵的统计意义与公因子与原始变量之间的关系。统计意义与公因子与原始变量之间的关系。第16页，共108

24、页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心17 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型1.1.因子载荷因子载荷 的统计意义的统计意义 由模型(6.7)式（6.9）即即 是是 与与 的协方差，而注意到，的协方差，而注意到，与与 （）都是均值为）都是均值为0 0，方差为，方差为1 1的变量，因此，的变量，因此，同时也是同时也是 与与 的相的相关系数。请读者对比主成分分析一章有关因子负荷量的论述并关系数。请读者对比主成分分析一章有关因子负荷量的论述并对两者进行比较。对两者进行比较。第17页，共10

25、8页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心18 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型2 2变量共同度与剩余方差变量共同度与剩余方差在上面在上面SpearmanSpearman的例子中我们提到了共同度与剩余方差的概念，的例子中我们提到了共同度与剩余方差的概念，对一般因子模型对一般因子模型(6.7)(6.7)式的情况，我们重新总结这两个概念如式的情况，我们重新总结这两个概念如下：下：称称 为变量为变量 的共同度，记为的共同度，记为 （）。）。由因子分析模型的假设前提，易得：由因子分析模型的假

26、设前提，易得：记记 ，则，则 (6.10)(6.9)上式表明共同度上式表明共同度 与剩余方差与剩余方差 有互补的关系，有互补的关系，越大表明越大表明 对对公共因子的依赖程度越大，公共因子能解释公共因子的依赖程度越大，公共因子能解释 方差的比例越方差的比例越大，因子分析的效果也就越好。大，因子分析的效果也就越好。第18页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心19 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型3 3公因子公因子 的方差贡献的方差贡献共同度考虑的是所有公共因子共同度考虑的是

27、所有公共因子 与某一个原始变量的关与某一个原始变量的关系，与此类似，考虑某一个公共因子系，与此类似，考虑某一个公共因子 与所有原始变量与所有原始变量 的关系。的关系。记记 （），则），则 表示的是公共因表示的是公共因 子子 对于对于 的每一分量的每一分量 （）所提供的方差的总和，）所提供的方差的总和，称为公因子称为公因子 对原始变量向量对原始变量向量 的方差贡献，它是衡量公因子相的方差贡献，它是衡量公因子相对重要性的指标。对重要性的指标。越大，则表明公共因子越大，则表明公共因子 对对 的贡献越大，或的贡献越大，或者说对者说对 的影响和作用就越大。如果将因子载荷矩阵的影响和作用就越大。如果将因子

28、载荷矩阵 的所有的所有 （）都计算出来，并按其大小排序，就可以依此提炼出）都计算出来，并按其大小排序，就可以依此提炼出最有影响的公共因子。最有影响的公共因子。第19页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心20 目录 上页 下页 返回 结束 6.26.2 因子载荷的求解因子载荷的求解6.2.1 6.2.1 主成分法主成分法6.2.2 6.2.2 主轴因子法主轴因子法6.2.4 6.2.4 因子旋转因子旋转6.2.3 6.2.3 极大似然法极大似然法6.2.5 6.2.5 因子得分因子得分6.2.6 6.2.6 主成分分析与因子分析的区别主成分

29、分析与因子分析的区别第20页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心21 目录 上页 下页 返回 结束 6.26.2 因子载荷的求解因子载荷的求解 因子分析可以分为确定因子载荷，因子旋转及计因子分析可以分为确定因子载荷，因子旋转及计算因子得分三个步骤。首要的步骤即为确定因子载算因子得分三个步骤。首要的步骤即为确定因子载荷或是根据样本数据确定出因子载荷矩阵荷或是根据样本数据确定出因子载荷矩阵 。有很多。有很多方法可以完成这项工作，如主成分法，主轴因子法，方法可以完成这项工作，如主成分法，主轴因子法，最小二乘法，极大似然法，最小二乘法，极大似然法

30、，因子提取法等。这些方因子提取法等。这些方法求解因子载荷的出发点不同，所得的结果也不完法求解因子载荷的出发点不同，所得的结果也不完全相同。下面我们着重介绍比较常用的主成分法、全相同。下面我们着重介绍比较常用的主成分法、主轴因子法与极大似然法。主轴因子法与极大似然法。第21页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心22 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法 用主成分法确定因子载荷是在进行因子分析之前先对数据进用主成分法确定因子载荷是在进行因子分析之前先对数据进行一次主成分分析，然后把前面几个主成分作为未旋转的公因行一

31、次主成分分析，然后把前面几个主成分作为未旋转的公因子。相对于其它确定因子载荷的方法而言，主成分法比较简单。子。相对于其它确定因子载荷的方法而言，主成分法比较简单。但是由于用这种方法所得的特殊因子但是由于用这种方法所得的特殊因子 之间并不相互独之间并不相互独立，因此，用主成分法确定因子载荷不完全符合因子模型的假立，因此，用主成分法确定因子载荷不完全符合因子模型的假设前提，也就是说所得的因子载荷并不完全正确。但是当共同设前提，也就是说所得的因子载荷并不完全正确。但是当共同度较大时，特殊因子所起的作用较小，因而特殊因子之间的相度较大时，特殊因子所起的作用较小，因而特殊因子之间的相关性所带来的影响就几

32、乎可以忽略。事实上，很多有经验的分关性所带来的影响就几乎可以忽略。事实上，很多有经验的分析人员在进行因子分析时，总是先用主成分法进行分析，然后析人员在进行因子分析时，总是先用主成分法进行分析，然后再尝试其他的方法。再尝试其他的方法。第22页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心23 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法式中，式中，为随机向量为随机向量 的相关矩阵的特征值所对应的特征向量的的相关矩阵的特征值所对应的特征向量的分量，因为特征向量之间彼此正交，从分量，因为特征向量之间彼此正交，从 到到 的转换关系是可逆

33、的转换关系是可逆的，很容易得出由的，很容易得出由 到到 的转换关系为：的转换关系为：用主成分法寻找公因子的方法如下：假定从相关阵出发求解主用主成分法寻找公因子的方法如下：假定从相关阵出发求解主成分，设有成分，设有 个变量，则我们可以找出个变量，则我们可以找出 个主成分。将所得的个主成分。将所得的 个个主成分按由大到小的顺序排列，记为主成分按由大到小的顺序排列，记为 ，则主成分与原，则主成分与原始变量之间存在如下关系式始变量之间存在如下关系式:（6.11）第23页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心24 目录 上页 下页 返回 结束 6.2

34、6.2.1 主成分法主成分法(6.12)我们对上面每一等式只保留前我们对上面每一等式只保留前 个主成分而把后面的部分用个主成分而把后面的部分用代替，则（代替，则（6.126.12）式变为：）式变为：(6.13)第24页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心25 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法 式（式（6.136.13）在形式上已经与因子模型）在形式上已经与因子模型(6.7)(6.7)相一致，且相一致，且 （）之间相互独立，且）之间相互独立，且 与与 之间相互独立，为了之间相互独立，为了 把把 转化成合适的公

35、因子，现在要做的工作只是把主成分转化成合适的公因子，现在要做的工作只是把主成分 变为变为方差为方差为1 1的变量。为完成此变换，必须将的变量。为完成此变换，必须将 除以其标准差，由上除以其标准差，由上一章主成分分析的知识知其标准差即为特征根的平方根一章主成分分析的知识知其标准差即为特征根的平方根 。于是，。于是，令令 ，则，则(6.13)(6.13)式变为：式变为：这与因子模型（这与因子模型（6.76.7）完全一致，这样，就得到了载荷）完全一致，这样，就得到了载荷 矩阵和矩阵和一组初始公因子（未旋转）。一组初始公因子（未旋转）。第25页，共108页，编辑于2022年，星期三2023/1/25中

36、国人民大学六西格玛质量管理研究中心26 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法一般设一般设 为样本相关阵为样本相关阵 的特征根，的特征根，为对为对应的标准正交化特征向量。设应的标准正交化特征向量。设 ，则因子载荷矩阵，则因子载荷矩阵 的一个的一个解为：解为：(6.14)共同度的估计为：(6.15)那么如何确定公因子的数目那么如何确定公因子的数目 呢？一般而言，这取决于问题的呢？一般而言，这取决于问题的研究者本人，对于同一问题进行因子分析时，不同的研究者可能研究者本人，对于同一问题进行因子分析时，不同的研究者可能会给出不同的公因子数；当然，有时候由数据本身的特征可以很会

37、给出不同的公因子数；当然，有时候由数据本身的特征可以很明确地确定出因子数目。当用主成分法进行因子分析时，也可以明确地确定出因子数目。当用主成分法进行因子分析时，也可以借鉴确定主成分个数的准则，如所选取的公因子的信息量的和达借鉴确定主成分个数的准则，如所选取的公因子的信息量的和达到总体信息量的一个合适比例为止。但对这些准则不应生搬硬套，到总体信息量的一个合适比例为止。但对这些准则不应生搬硬套，应按具体问题具体分析，总之要使所选取的公因子能够合理地描应按具体问题具体分析，总之要使所选取的公因子能够合理地描述原始变量相关阵的结构，同时要有利于因子模型的解释。述原始变量相关阵的结构，同时要有利于因子模

38、型的解释。第26页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心27 目录 上页 下页 返回 结束 6.26.2.2 主轴因子法主轴因子法 主轴因子法也比较简单，且在实际应用中也比较普遍。用主主轴因子法也比较简单，且在实际应用中也比较普遍。用主轴因子法求解因子载荷矩阵的方法其思路与主成分法有类似的轴因子法求解因子载荷矩阵的方法其思路与主成分法有类似的地方，两都均是从分析矩阵的结构入手；两者不同的地方在于，地方，两都均是从分析矩阵的结构入手；两者不同的地方在于，主成分法是在所有的主成分法是在所有的 个主成分能解释标准化原始变量所有方个主成分能解释标准

39、化原始变量所有方差的基础之上进行分析的，而主轴因子法中，假定差的基础之上进行分析的，而主轴因子法中，假定 个公共因个公共因子只能解释原始变量的部分方差，利用公因子方差（或共同度）子只能解释原始变量的部分方差，利用公因子方差（或共同度）来代替相关矩阵主对角线上的元素来代替相关矩阵主对角线上的元素1 1，并以新得到的这个矩阵，并以新得到的这个矩阵（称之为调整相关矩阵）为出发点，对其分别求解特征根与特（称之为调整相关矩阵）为出发点，对其分别求解特征根与特征向量并得到因子解。征向量并得到因子解。在因子模型（在因子模型（6.76.7）中，不难得到如下关于）中，不难得到如下关于 的相关矩阵的相关矩阵 的关

40、系式：的关系式：第27页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心28 目录 上页 下页 返回 结束 6.26.2.2 主轴因子法主轴因子法注意到，上面的分析是以首先得到调整相关矩阵注意到，上面的分析是以首先得到调整相关矩阵 为基础的，而实为基础的，而实际上，际上，与共同度（或相对的，剩余方差）都是未知的，需要我们先与共同度（或相对的，剩余方差）都是未知的，需要我们先进行估计。一般我们先给出一个初始估计，然后估计出载荷矩进行估计。一般我们先给出一个初始估计，然后估计出载荷矩 阵阵 后再给出较好的共同度或剩余方差的估计。初始估计的方法有很多，后再

41、给出较好的共同度或剩余方差的估计。初始估计的方法有很多，可尝试对原始变量先进行一次主成分分析，给出初始估计值。可尝试对原始变量先进行一次主成分分析，给出初始估计值。式中，式中，为因子载荷矩阵，为因子载荷矩阵，为一对角阵，其对角元素为相应特殊为一对角阵，其对角元素为相应特殊因子的方差。则称因子的方差。则称 为调整相关矩阵，显然为调整相关矩阵，显然 的主对的主对角元素不再是角元素不再是1 1，而是共同度，而是共同度 。分别求解。分别求解 的特征值与标准正交的特征值与标准正交特征向量，进而求出因子载荷矩阵特征向量，进而求出因子载荷矩阵 。此时，。此时，有有 个正的特征值。个正的特征值。设设 为为 的

42、特征根，的特征根，为对应的标准正交化特为对应的标准正交化特征向量。征向量。，则因子载荷矩阵，则因子载荷矩阵 的一个主轴因子解为：的一个主轴因子解为：(6.16)第28页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心29 目录 上页 下页 返回 结束 6.26.2.3 极大似然法极大似然法如果假定公共因子如果假定公共因子 和特殊因子和特殊因子 服从正态分布，则能够得到因子服从正态分布，则能够得到因子载荷和特殊因子方差的极大似然估计。设载荷和特殊因子方差的极大似然估计。设 为来自正为来自正态总体态总体 的随机样本，其中的随机样本，其中 。从似然函数的理

43、论。从似然函数的理论知：知：(6.17)它通过它通过 依赖于依赖于 和和 。但。但(6.17)(6.17)并不能唯一确定并不能唯一确定 ，为此，为此，添加如下条件：添加如下条件：(6.18)这里，这里，是一个对角阵，用数值极大化的方法可以得到极大似然是一个对角阵，用数值极大化的方法可以得到极大似然估计估计 和和 。极大似然估计。极大似然估计 、和和 ，将使，将使 为对角阵，为对角阵，且使且使(6.17)(6.17)式达到最大。式达到最大。第29页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心30 目录 上页 下页 返回 结束 6.26.2.4 因子

44、旋转因子旋转 不管用何种方法确定初始因子载荷矩阵不管用何种方法确定初始因子载荷矩阵 ，它们都不是唯一的。，它们都不是唯一的。设设 是初始公共因子，则可以建立如下它们的线性组合是初始公共因子，则可以建立如下它们的线性组合得到新的一组公共因子得到新的一组公共因子 ，使得，使得，彼此相，彼此相互独立同时也能很好地解释原始变量之间的相关关系。互独立同时也能很好地解释原始变量之间的相关关系。这样的线性组合可以找到无数组，由此便引出了因子分析的第二个步骤这样的线性组合可以找到无数组，由此便引出了因子分析的第二个步骤因子旋转。建立因子分析模型的目的不仅在于要找公共因子，更重因子旋转。建立因子分析模型的目的不

45、仅在于要找公共因子，更重要的是知道每一个公共因子的意义，以便对实际问题进行分析。要的是知道每一个公共因子的意义，以便对实际问题进行分析。第30页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心31 目录 上页 下页 返回 结束 6.26.2.4 因子旋转因子旋转然而我们得到的初始因子解各主因子的典型代表变量不是很突出，然而我们得到的初始因子解各主因子的典型代表变量不是很突出，容易使因子的意义含糊不清，不便于对实际问题进行分析。出于容易使因子的意义含糊不清，不便于对实际问题进行分析。出于该种考虑，可以对初始公因子进行线性组合，即进行因子旋转，该种考虑，

46、可以对初始公因子进行线性组合，即进行因子旋转，以期找到意义更为明确，实际意义更明显的公因子。经过旋转后，以期找到意义更为明确，实际意义更明显的公因子。经过旋转后，公共因子对公共因子对 的贡献的贡献 并不改变，但由于载荷矩阵发生变化，公并不改变，但由于载荷矩阵发生变化，公共因子本身就可能发生很大的变化，每一个公共因子对原始变量共因子本身就可能发生很大的变化，每一个公共因子对原始变量的贡献的贡献 不再与原来相同，从而经过适当的旋转我们就可以得到不再与原来相同，从而经过适当的旋转我们就可以得到比较令人满意的公共因子。比较令人满意的公共因子。因子旋转分为正交旋转与斜交旋转，正交旋转由初始载荷矩因子旋转

47、分为正交旋转与斜交旋转，正交旋转由初始载荷矩阵阵 右乘一正交阵而得到。经过正交旋转而得到的新的公因子右乘一正交阵而得到。经过正交旋转而得到的新的公因子仍然保持彼此独立的性质。而斜交旋转则放弃了因子之间彼此仍然保持彼此独立的性质。而斜交旋转则放弃了因子之间彼此独立这个限制，因而可能达到更为简洁的形式，其实际意义也独立这个限制，因而可能达到更为简洁的形式，其实际意义也更容易解释。更容易解释。第31页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心32 目录 上页 下页 返回 结束 6.26.2.4 因子旋转因子旋转但不论是正交旋转还是斜交旋转，都应当使新

48、的因子载荷系数要但不论是正交旋转还是斜交旋转，都应当使新的因子载荷系数要么尽可能地接近于么尽可能地接近于0 0，要么尽可能的远离，要么尽可能的远离0 0。因为一个接近于。因为一个接近于0 0的载的载荷荷 表明表明 与与 的相关性很弱；而一个绝对值比较大的载荷的相关性很弱；而一个绝对值比较大的载荷 则表则表明公因子明公因子 在很大程度上解释了在很大程度上解释了 的变化。这样，如果任一原始的变化。这样，如果任一原始变量都与某些公共因子存在较强的相关关系，而与另外的公因子变量都与某些公共因子存在较强的相关关系，而与另外的公因子之间几乎不相关的话，公共因子的实际意义就会比较容易确定。之间几乎不相关的话

49、，公共因子的实际意义就会比较容易确定。下面介绍正交旋转中的方差最大化正交旋转，该方法由下面介绍正交旋转中的方差最大化正交旋转，该方法由H.KH.K凯凯泽泽(H.F.Kaiser)(H.F.Kaiser)首先提出，是应用最为普遍的正交旋转方法。方首先提出，是应用最为普遍的正交旋转方法。方差最大化正交旋转方法的提出以下面的假设为前提：公因子差最大化正交旋转方法的提出以下面的假设为前提：公因子 的的解释能力能够以其因子载荷平方的方差，即解释能力能够以其因子载荷平方的方差，即 的方差来的方差来度量。我们先考虑两个因子的平面正交旋转，设因子载荷矩阵为度量。我们先考虑两个因子的平面正交旋转，设因子载荷矩阵

50、为:第32页，共108页，编辑于2022年，星期三2023/1/25中国人民大学六西格玛质量管理研究中心33 目录 上页 下页 返回 结束 6.26.2.4 因子旋转因子旋转令 则则 为正交阵为正交阵,记 (6.19)第33页，共108页，编辑于2022年，星期三 经过如上变换，希望所得结果能使载荷矩阵的每一列元素的绝经过如上变换，希望所得结果能使载荷矩阵的每一列元素的绝对值向对值向1 1和和0 0两极分化，或者说使因子的贡献两极分化，或者说使因子的贡献 尽量分散。这实际尽量分散。这实际上就是希望把变量上就是希望把变量 分成两部分，一部分主要与第一因子分成两部分，一部分主要与第一因子有关，另一