多元统计分析-第六章.ppt

2023/1/51第第六六章章 因子分分析因子分分析 目录 上页 下页 返回 结束 6.1 6.1 因子分析的基本理论因子分析的基本理论6.2 6.2 因子载荷的求解因子载荷的求解6.3 6.3 因子分析的步骤与逻辑框图因子分析的步骤与逻辑框图6.4 6.4 因子分析的上机实现因子分析的上机实现2023/1/52第第六六章章 因子分分析因子分分析 目录 上页 下页 返回 结束 因子分析因子分析(factor analysis)是一种数据简化的技是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系，探术。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个求观测数据中的基本结构，并用少数几个假想变量假想变量来表示其基本的数据结构。这几个假想变量能够反来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测映原来众多变量的主要信息。原始的变量是可观测的的显在变量显在变量，而假想变量是不可观测的，而假想变量是不可观测的潜在变量潜在变量，称为称为因子因子。因子分析的思想始于因子分析的思想始于1904年年Charles Spearman对学对学生考试成绩的研究。生考试成绩的研究。2023/1/53 目录 上页 下页 返回 结束 6.1 6.1 因子分析的基本理论因子分析的基本理论6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 因子分析的基本思想是根据相关性大小把原因子分析的基本思想是根据相关性大小把原始变量分组，使得同组内的变量之间相关性较高，始变量分组，使得同组内的变量之间相关性较高，而不同组的变量间的相关性则较低。每组变量代而不同组的变量间的相关性则较低。每组变量代表一个基本结构，并用一个不可观测的综合变量表一个基本结构，并用一个不可观测的综合变量表示，这个基本结构就称为公共因子。表示，这个基本结构就称为公共因子。2023/1/54 目录 上页 下页 返回 结束 6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想物理物理数学数学英语英语语文语文逻辑思维逻辑思维语言能力语言能力2023/1/55 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型（一）（一）Charles Spearman提出因子分析时用到的例子提出因子分析时用到的例子在该例中在该例中Spearman研究了研究了33名学生在古典语（名学生在古典语（C）、法语（）、法语（F）、英语（）、英语（E）、）、数学（数学（M）、判别（）、判别（D）和音乐（）和音乐（Mu）六门考试成绩之间的相关性并得到如下）六门考试成绩之间的相关性并得到如下相关阵：相关阵：2023/1/56 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 式中，为第式中，为第 门科目标准化后的考试成绩，均值为门科目标准化后的考试成绩，均值为0 0，方差为，方差为1 1。为公共因子，对各科考试成绩均有影响，是均值为为公共因子，对各科考试成绩均有影响，是均值为0 0，方差为，方差为1 1。为仅对第为仅对第 门科目考试成绩有影响的特殊因子，门科目考试成绩有影响的特殊因子，与与 相互独立。也相互独立。也就是说，每一门科目的考试成绩都可以看作是由一个公共因子（可就是说，每一门科目的考试成绩都可以看作是由一个公共因子（可以认为是一般智力）与一个特殊因子的和。以认为是一般智力）与一个特殊因子的和。SpearmanSpearman注意到上面相关阵中一个有趣的规律，这就是如果不考注意到上面相关阵中一个有趣的规律，这就是如果不考虑对角元素的话，任意两列的元素大致成比例，对虑对角元素的话，任意两列的元素大致成比例，对C C列和列和E E列有：列有：于是于是SpearmanSpearman指出每一科目的考试成绩都遵从以下形式：指出每一科目的考试成绩都遵从以下形式：（6.1）2023/1/57 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型(6.2)(6.2)式与式与 无关，也正与在相关矩阵中所观察到的比例关系相一致。无关，也正与在相关矩阵中所观察到的比例关系相一致。在满足以上假定的条件下，就有：在满足以上假定的条件下，就有：于是，有 （6.2）除此之外，还可以得到如下有关除此之外，还可以得到如下有关 方差的关系式：方差的关系式：为对第为对第 门科目考试成绩的因子载荷门科目考试成绩的因子载荷8 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型因此，常数因此，常数 的意义就在于其平方表示了公共因子的意义就在于其平方表示了公共因子 解释解释 的方的方差的比例，因此被称之为因子载荷，而差的比例，因此被称之为因子载荷，而 被称作共同度。被称作共同度。对对SpearmanSpearman的例子进行推广，假定每一门科目的考试成绩都受的例子进行推广，假定每一门科目的考试成绩都受到到 个公共因子的影响及一个特殊因子的影响，于是（个公共因子的影响及一个特殊因子的影响，于是（6.16.1）就）就变成了如下因子分析模型的一般形式：变成了如下因子分析模型的一般形式：(6.4)因为因为 是一个常数，与是一个常数，与 相互独立且相互独立且 与与 的方差均被假定为的方差均被假定为1 1。于是有于是有（6.3）是彼此独立的公共因子，都满足均值为是彼此独立的公共因子，都满足均值为0，方差为，方差为1。为特殊因子，与每一个公共因子均不相关且均值为为特殊因子，与每一个公共因子均不相关且均值为0。2023/1/59 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 所以当所以当 与与 在某一公共因子上的载荷均较大时，也就表在某一公共因子上的载荷均较大时，也就表明了明了 与与 的相关性较强。的相关性较强。（6.5）(6.4)共同度共同度剩余方差剩余方差（6.6）模型模型(6.4)还可以很容易地得到如下还可以很容易地得到如下 与与 相关系数的关系式：相关系数的关系式：2023/1/510 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型（二）一般因子分析模型（二）一般因子分析模型下面我们给出更为一般的因子分析模型：设有下面我们给出更为一般的因子分析模型：设有 个样品，每个样个样品，每个样品观测品观测 个指标，这个指标，这 个指标之间有较强的相关性（要求个指标个指标之间有较强的相关性（要求个指标相关性较强的理由是很明确的，只有相关性较强才能从原始变相关性较强的理由是很明确的，只有相关性较强才能从原始变量中提取出量中提取出“公共公共”因子）。为了便于研究，并消除由于观测因子）。为了便于研究，并消除由于观测量纲的差异及数量级不同所造成的影响，将样本观测数据进行量纲的差异及数量级不同所造成的影响，将样本观测数据进行标准化处理，使标准化后的变量均值为标准化处理，使标准化后的变量均值为0 0，方差为，方差为1 1。为方便把。为方便把原始变量及标准化后的变量向量均用原始变量及标准化后的变量向量均用 表示，用表示，用 表示标准化的公共因子。表示标准化的公共因子。2023/1/511 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型（2 2）（）是不可观测的变量，其均值向）是不可观测的变量，其均值向 量量 ，协方差矩阵，协方差矩阵 ，即向量，即向量 的各分量是相互独立的；的各分量是相互独立的；如果：如果：（1 1）是可观测随机向量，且均值向量是可观测随机向量，且均值向量 ，协，协方差矩阵方差矩阵 ，且协方差矩阵，且协方差矩阵 与相关阵与相关阵 相等；相等；（3 3）与与 相互独立，且相互独立，且 ，的协方差阵的协方差阵 是对角方阵是对角方阵2023/1/512 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 即即 的各分量之间也是相互独立的。则模型的各分量之间也是相互独立的。则模型 (6.7)称为因子模型，模型称为因子模型，模型(6.7)(6.7)式的矩阵形式为：式的矩阵形式为：(6.8)其中 因子载荷矩阵因子载荷矩阵2023/1/513 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型由模型（由模型（6.76.7）及其假设前提知，公共因子）及其假设前提知，公共因子 相互独立相互独立且不可测，是在原始变量的表达式中都出现的因子。公共因子且不可测，是在原始变量的表达式中都出现的因子。公共因子的含义，必须结合实际问题的具体意义确定。的含义，必须结合实际问题的具体意义确定。叫做特叫做特殊因子，是向量殊因子，是向量 的分量的分量 （）所特有的因子。各）所特有的因子。各特殊因子之间以及特殊因子与所有公共因子之间也都是相互独特殊因子之间以及特殊因子与所有公共因子之间也都是相互独立的。矩阵立的。矩阵 中的元素中的元素 称为因子载荷，称为因子载荷，的绝对值大的绝对值大 ，表明表明 与与 的相依程度越大，或称公共因子的相依程度越大，或称公共因子 对于对于 的载荷量的载荷量越大，进行因子分析的目的之一，就是要求出各个因子载荷的越大，进行因子分析的目的之一，就是要求出各个因子载荷的值。值。2023/1/514 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型1.1.因子载荷因子载荷 的统计意义的统计意义 由模型(6.7)式（6.9）即即 是是 与与 的协方差，而注意到，的协方差，而注意到，与与 （）都是均值为）都是均值为0 0，方差为，方差为1 1的变量，因此，的变量，因此，同时也是同时也是 与与 的相的相关系数。关系数。2023/1/515 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型2 2变量共同度与剩余方差变量共同度与剩余方差 (6.9)越大表明越大表明 对公共因子的依赖程度越大，公共因子能解对公共因子的依赖程度越大，公共因子能解释释 方差的比例越大，因子分析的效果也就越好。方差的比例越大，因子分析的效果也就越好。（6.5）(6.4)2023/1/516 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型3 3公因子公因子 的方差贡献的方差贡献 记记 （），则），则 表示的是公共因表示的是公共因 子子 对于对于 的每一分量的每一分量 （）所提供的方差的总和，）所提供的方差的总和，称为公因子称为公因子 对原始变量向量对原始变量向量 的方差贡献，它是衡量公因子相的方差贡献，它是衡量公因子相对重要性的指标。对重要性的指标。越大，则表明公共因子越大，则表明公共因子 对对 的贡献越大，或的贡献越大，或者说对者说对 的影响和作用就越大。如果将因子载荷矩阵的影响和作用就越大。如果将因子载荷矩阵 的所有的所有 （）都计算出来，并按其大小排序，就可以依此提炼出）都计算出来，并按其大小排序，就可以依此提炼出最有影响的公共因子。最有影响的公共因子。2023/1/517 目录 上页 下页 返回 结束 6.26.2 因子载荷的求解因子载荷的求解6.2.1 6.2.1 主成分法主成分法6.2.2 6.2.2 主轴因子法主轴因子法6.2.4 6.2.4 因子旋转因子旋转6.2.3 6.2.3 极大似然法极大似然法6.2.5 6.2.5 因子得分因子得分6.2.6 6.2.6 主成分分析与因子分析的区别主成分分析与因子分析的区别2023/1/518 目录 上页 下页 返回 结束 6.26.2 因子载荷的求解因子载荷的求解 因子分析可以分为确定因子载荷，因子旋转及计因子分析可以分为确定因子载荷，因子旋转及计算因子得分三个步骤。首要的步骤即为确定因子载算因子得分三个步骤。首要的步骤即为确定因子载荷或是根据样本数据确定出因子载荷矩阵荷或是根据样本数据确定出因子载荷矩阵 。有很多。有很多方法可以完成这项工作，如主成分法，主轴因子法，方法可以完成这项工作，如主成分法，主轴因子法，最小二乘法，极大似然法，最小二乘法，极大似然法，因子提取法等。这些方因子提取法等。这些方法求解因子载荷的出发点不同，所得的结果也不完法求解因子载荷的出发点不同，所得的结果也不完全相同。下面我们着重介绍比较常用的主成分法、全相同。下面我们着重介绍比较常用的主成分法、主轴因子法与极大似然法。主轴因子法与极大似然法。2023/1/519 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法式中，式中，为随机向量为随机向量 的相关矩阵的特征值所对应的特征向量的的相关矩阵的特征值所对应的特征向量的分量，因为特征向量之间彼此正交，从分量，因为特征向量之间彼此正交，从 到到 的转换关系是可的转换关系是可逆的，很容易得出由逆的，很容易得出由 到到 的转换关系为：的转换关系为：用主成分法寻找公因子的方法如下：假定从相关阵出发求解主用主成分法寻找公因子的方法如下：假定从相关阵出发求解主成分，设有成分，设有 个变量，则我们可以找出个变量，则我们可以找出 个主成分。将所得的个主成分。将所得的 个个主成分按由大到小的顺序排列，记为主成分按由大到小的顺序排列，记为 ，则主成分与原，则主成分与原始变量之间存在如下关系式始变量之间存在如下关系式:（6.11）2023/1/520 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法(6.12)我们对上面每一等式只保留前我们对上面每一等式只保留前 个主成分而把后面的部分用个主成分而把后面的部分用代替，则（代替，则（6.126.12）式变为：）式变为：(6.13)2023/1/521 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法 式（式（6.136.13）在形式上已经与因子模型）在形式上已经与因子模型(6.7)(6.7)相一致，且相一致，且 （）之间相互独立，且）之间相互独立，且 与与 之间相互独立，为了之间相互独立，为了 把把 转化成合适的公因子，现在要做的工作只是把主成分转化成合适的公因子，现在要做的工作只是把主成分 变变为方差为为方差为1 1的变量。为完成此变换，必须将的变量。为完成此变换，必须将 除以其标准差，由除以其标准差，由上一章主成分分析的知识知其标准差即为特征根的平方根上一章主成分分析的知识知其标准差即为特征根的平方根 。于是，令于是，令 ，则，则(6.13)(6.13)式变为：式变为：这与因子模型（这与因子模型（6.76.7）完全一致，这样，就得到了载荷）完全一致，这样，就得到了载荷 矩阵和矩阵和一组初始公因子（未旋转）。一组初始公因子（未旋转）。2023/1/522 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法一般设一般设 为样本相关阵为样本相关阵 的特征根，的特征根，为对为对应的标准正交化特征向量。设应的标准正交化特征向量。设 ，则因子载荷矩阵，则因子载荷矩阵 的一的一个解为：个解为：(6.14)共同度的估计为：(6.15)那么如何确定公因子的数目那么如何确定公因子的数目 呢？一般而言，这取决于问题的呢？一般而言，这取决于问题的研究者本人，当用主成分法进行因子分析时，也可以借鉴确定主研究者本人，当用主成分法进行因子分析时，也可以借鉴确定主成分个数的准则，如所选取的公因子的信息量的和达到总体信息成分个数的准则，如所选取的公因子的信息量的和达到总体信息量的一个合适比例为止。但对这些准则不应生搬硬套，应按具体量的一个合适比例为止。但对这些准则不应生搬硬套，应按具体问题具体分析，总之要使所选取的公因子能够合理地描述原始变问题具体分析，总之要使所选取的公因子能够合理地描述原始变量相关阵的结构，同时要有利于因子模型的解释。量相关阵的结构，同时要有利于因子模型的解释。2023/1/523 目录 上页 下页 返回 结束 6.26.2.2 主轴因子法主轴因子法 主轴因子法也比较简单，且在实际应用中也比较普遍。用主主轴因子法也比较简单，且在实际应用中也比较普遍。用主轴因子法求解因子载荷矩阵的方法其思路与主成分法有类似的轴因子法求解因子载荷矩阵的方法其思路与主成分法有类似的地方，两都均是从分析矩阵的结构入手；两者不同的地方在于，地方，两都均是从分析矩阵的结构入手；两者不同的地方在于，主成分法是在所有的主成分法是在所有的 个主成分能解释标准化原始变量所有方个主成分能解释标准化原始变量所有方差的基础之上进行分析的，而主轴因子法中，假定差的基础之上进行分析的，而主轴因子法中，假定 个公共因个公共因子只能解释原始变量的部分方差，利用公因子方差（或共同度）子只能解释原始变量的部分方差，利用公因子方差（或共同度）来代替相关矩阵主对角线上的元素来代替相关矩阵主对角线上的元素1 1，并以新得到的这个矩阵，并以新得到的这个矩阵（称之为调整相关矩阵）为出发点，对其分别求解特征根与特（称之为调整相关矩阵）为出发点，对其分别求解特征根与特征向量并得到因子解。征向量并得到因子解。在因子模型（在因子模型（6.76.7）中，不难得到如下关于）中，不难得到如下关于 的相关矩阵的相关矩阵 的关系式：的关系式：2023/1/5246.26.2.2 主轴因子法主轴因子法注意到，上面的分析是以首先得到调整相关矩阵注意到，上面的分析是以首先得到调整相关矩阵 为基础的，而实为基础的，而实际上，际上，与共同度（或相对的，剩余方差）都是未知的，需要我们先与共同度（或相对的，剩余方差）都是未知的，需要我们先进行估计。一般我们先给出一个初始估计，然后估计出载荷矩进行估计。一般我们先给出一个初始估计，然后估计出载荷矩 阵阵 后再给出较好的共同度或剩余方差的估计。初始估计的方法有很多，后再给出较好的共同度或剩余方差的估计。初始估计的方法有很多，可尝试对原始变量先进行一次主成分分析，给出初始估计值。可尝试对原始变量先进行一次主成分分析，给出初始估计值。式中，式中，为因子载荷矩阵，为因子载荷矩阵，为一对角阵，其对角元素为相应特殊为一对角阵，其对角元素为相应特殊因子的方差。则称因子的方差。则称 为调整相关矩阵，显然为调整相关矩阵，显然 的主对的主对角元素不再是角元素不再是1 1，而是共同度，而是共同度 。分别求解。分别求解 的特征值与标准正交的特征值与标准正交特征向量，进而求出因子载荷矩阵特征向量，进而求出因子载荷矩阵 。此时，。此时，有有 个正的特征值。个正的特征值。设设 为为 的特征根，的特征根，为对应的标准正交化特为对应的标准正交化特征向量。征向量。，则因子载荷矩阵，则因子载荷矩阵 的一个主轴因子解为：的一个主轴因子解为：(6.16)例例 假定某地固定资产投资率 ，通货膨胀率 ，失业率 ，相关系数矩阵为试用主成分分析法求因子分析模型。特征根为：可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X的贡献为1.55。第一公因子F2为投资因子，对X的贡献为0.85。共同度分别为1，0.706，0.706。假定某地固定资产投资率 ，通货膨胀率 ，失业率 ，相关系数矩阵为试用主因子分析法求因子分析模型。假定用代替初始的 。特征根为：对应的非零特征向量为：2023/1/531 目录 上页 下页 返回 结束 6.26.2.3 极大似然法极大似然法如果假定公共因子如果假定公共因子 和特殊因子和特殊因子 服从正态分布，则能够得到因服从正态分布，则能够得到因子载荷和特殊因子方差的极大似然估计。设子载荷和特殊因子方差的极大似然估计。设 为来自为来自正态总体正态总体 的随机样本，其中的随机样本，其中 。从似然函数的理。从似然函数的理论知：论知：(6.17)它通过它通过 依赖于依赖于 和和 。但。但(6.17)(6.17)并不能唯一确定并不能唯一确定 ，为此，为此，添加如下条件：添加如下条件：(6.18)这里，这里，是一个对角阵，用数值极大化的方法可以得到极大似然是一个对角阵，用数值极大化的方法可以得到极大似然估计估计 和和 。极大似然估计。极大似然估计 、和和 ，将使，将使 为对角阵，为对角阵，且使且使(6.17)(6.17)式达到最大。式达到最大。2023/1/532 目录 上页 下页 返回 结束 6.26.2.4 因子旋转因子旋转 不管用何种方法确定初始因子载荷矩阵不管用何种方法确定初始因子载荷矩阵 ，它们都不是唯一的。，它们都不是唯一的。设设 是初始公共因子，则可以建立如下它们的线性组合是初始公共因子，则可以建立如下它们的线性组合得到新的一组公共因子得到新的一组公共因子 ，使得，使得，彼此相，彼此相互独立同时也能很好地解释原始变量之间的相关关系。互独立同时也能很好地解释原始变量之间的相关关系。这样的线性组合可以找到无数组，由此便引出了因子分析的第这样的线性组合可以找到无数组，由此便引出了因子分析的第二个步骤二个步骤因子旋转。建立因子分析模型的目的不仅在于要找因子旋转。建立因子分析模型的目的不仅在于要找公共因子，更重要的是知道每一个公共因子的意义，以便对实际公共因子，更重要的是知道每一个公共因子的意义，以便对实际问题进行分析。问题进行分析。百米跑成绩 跳远成绩 铅球成绩 跳高成绩 400米跑成绩 百米跨栏 铁饼成绩 撑杆跳远成绩 标枪成绩 1500米跑成绩 奥运会十项全能运动项目奥运会十项全能运动项目得分数据的因子分析得分数据的因子分析 因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表 通过旋转，因子有了较为明确的含义。百米跑，跳远和 400米跑，需要爆发力的项目在 有较大的载荷，可以称为短跑速度因子；铅球，铁饼和 标枪在 上有较大的载荷，可以称为爆发性臂力因子；百米跨栏，撑杆跳远，跳远和为 跳高在 上有较大的载荷，爆发腿力因子；长跑耐力因子。2023/1/538 目录 上页 下页 返回 结束 6.26.2.4 因子旋转因子旋转 因子旋转分为正交旋转与斜交旋转，正交旋转由初始载荷矩因子旋转分为正交旋转与斜交旋转，正交旋转由初始载荷矩阵阵 右乘一正交阵而得到。经过正交旋转而得到的新的公因子右乘一正交阵而得到。经过正交旋转而得到的新的公因子仍然保持彼此独立的性质。而斜交旋转则放弃了因子之间彼此仍然保持彼此独立的性质。而斜交旋转则放弃了因子之间彼此独立这个限制，因而可能达到更为简洁的形式，其实际意义也独立这个限制，因而可能达到更为简洁的形式，其实际意义也更容易解释。更容易解释。2023/1/539 目录 上页 下页 返回 结束 6.26.2.4 因子旋转因子旋转但不论是正交旋转还是斜交旋转，都应当使新的因子载荷系数要但不论是正交旋转还是斜交旋转，都应当使新的因子载荷系数要么尽可能地接近于么尽可能地接近于0 0，要么尽可能的远离，要么尽可能的远离0 0。因为一个接近于。因为一个接近于0 0的载的载荷荷 表明表明 与与 的相关性很弱；而一个绝对值比较大的载荷的相关性很弱；而一个绝对值比较大的载荷 则表则表明公因子明公因子 在很大程度上解释了在很大程度上解释了 的变化。这样，如果任一原始的变化。这样，如果任一原始变量都与某些公共因子存在较强的相关关系，而与另外的公因子变量都与某些公共因子存在较强的相关关系，而与另外的公因子之间几乎不相关的话，公共因子的实际意义就会比较容易确定。之间几乎不相关的话，公共因子的实际意义就会比较容易确定。下面介绍正交旋转中的方差最大化正交旋转，该方法由下面介绍正交旋转中的方差最大化正交旋转，该方法由H.KH.K凯凯泽泽(H.F.KaiserH.F.Kaiser)首先提出，是应用最为普遍的正交旋转方法。方首先提出，是应用最为普遍的正交旋转方法。方差最大化正交旋转方法的提出以下面的假设为前提：公因子差最大化正交旋转方法的提出以下面的假设为前提：公因子 的的解释能力能够以其因子载荷平方的方差，即解释能力能够以其因子载荷平方的方差，即 的方差来的方差来度量。我们先考虑两个因子的平面正交旋转，设因子载荷矩阵为度量。我们先考虑两个因子的平面正交旋转，设因子载荷矩阵为:2023/1/540 目录 上页 下页 返回 结束 6.26.2.4 因子旋转因子旋转令 则则 为正交阵为正交阵,记 (6.19)经过如上变换，希望所得结果能使载荷矩阵的每一列元素的绝经过如上变换，希望所得结果能使载荷矩阵的每一列元素的绝对值向对值向1 1和和0 0两极分化，或者说使因子的贡献两极分化，或者说使因子的贡献 尽量分散。这实际尽量分散。这实际上就是希望把变量上就是希望把变量 分成两部分，一部分主要与第一因子分成两部分，一部分主要与第一因子有关，另一部分主要与第二因子有关，这也就要求有关，另一部分主要与第二因子有关，这也就要求 ，这两组数据的方差要尽可能地大。分别考虑两列的相这两组数据的方差要尽可能地大。分别考虑两列的相对方差对方差 （6.20）2023/1/541 目录 上页 下页 返回 结束 6.26.2.4 因子旋转因子旋转2023/1/542 目录 上页 下页 返回 结束 6.26.2.4 因子旋转因子旋转 这里取这里取 是为了消除是为了消除 符号不同的影响，除以符号不同的影响，除以 是为了消除各个是为了消除各个变量对公共因子依赖程度不同的影响，现在要求总的方差达到变量对公共因子依赖程度不同的影响，现在要求总的方差达到最大，即要求使最大，即要求使达到最大值，考虑达到最大值，考虑 对对 的导数，利用的导数，利用(6.19)(6.19)，（，（6.206.20）式，）式，经过计算知要使经过计算知要使须满足：须满足：（6.21）其中：而 2023/1/543 目录 上页 下页 返回 结束 6.26.2.5 因子得分因子得分 当因子模型建立起来之后，我们往往需要反过来考察每一当因子模型建立起来之后，我们往往需要反过来考察每一个样品的性质及样品之间的相互关系。这就需要进行因子分个样品的性质及样品之间的相互关系。这就需要进行因子分析的第三步骤的分析，即因子得分。顾名思义，因子得分就析的第三步骤的分析，即因子得分。顾名思义，因子得分就是公共因子是公共因子 在每一个样品点上的得分。这需要我们在每一个样品点上的得分。这需要我们给出公共因子用原始变量表示的线性表达式，这样的表达式给出公共因子用原始变量表示的线性表达式，这样的表达式一旦能够得到，就可以很方便的把原始变量的取值代入到表一旦能够得到，就可以很方便的把原始变量的取值代入到表达式中求出各因子的得分值。达式中求出各因子的得分值。2023/1/544 目录 上页 下页 返回 结束 6.26.2.5 因子得分因子得分 在上一章的分析中我们曾给出了主成分得分的概念，其意义和在上一章的分析中我们曾给出了主成分得分的概念，其意义和作用与因子得分相似。但是在此处公因子用原始变量线性表示的作用与因子得分相似。但是在此处公因子用原始变量线性表示的关系式并不易得到。在主成分分析中，主成分是原始变量的线性关系式并不易得到。在主成分分析中，主成分是原始变量的线性组合，当取组合，当取 个主成分时，主成分与原始变量之间的变换关系是可个主成分时，主成分与原始变量之间的变换关系是可逆的，只要知道了原始变量用主成分线性表示的表达式，就可以逆的，只要知道了原始变量用主成分线性表示的表达式，就可以方便的得到用原始变量表示主成分的表达式；而在因子模型中，方便的得到用原始变量表示主成分的表达式；而在因子模型中，公共因子的个数少于原始变量的个数，且公共因子是不可观测的公共因子的个数少于原始变量的个数，且公共因子是不可观测的隐变量，载荷矩阵隐变量，载荷矩阵 不可逆，因而不能直接求得公因子用原始变量不可逆，因而不能直接求得公因子用原始变量表示的精确线性组合。一个解决该问题的方法是用回归的思想求表示的精确线性组合。一个解决该问题的方法是用回归的思想求出线性组合系数的估计值，即建立如下以公因子为因变量，原始出线性组合系数的估计值，即建立如下以公因子为因变量，原始变量为自变量的回归方程：变量为自变量的回归方程：（6.22）2023/1/545 目录 上页 下页 返回 结束 6.26.2.5 因子得分因子得分 此处因为原始变量与公因子变量均为标准化变量，因此回此处因为原始变量与公因子变量均为标准化变量，因此回归模型中不存在常数项。在最小二乘意义下，可以得到归模型中不存在常数项。在最小二乘意义下，可以得到 的的估计值：估计值：（6.23）式中，为因子载荷矩阵，为原始变量的相关阵，式中，为因子载荷矩阵，为原始变量的相关阵，为原始变量向为原始变量向量。量。在估计出公因子得分后，可以利用因子得分进行进一步的在估计出公因子得分后，可以利用因子得分进行进一步的分析，如样本点之间的比较分析，对样本点的聚类分析等，当分析，如样本点之间的比较分析，对样本点的聚类分析等，当因子数因子数m 较少时，还可以方便地把各样本点在图上表示出来，较少时，还可以方便地把各样本点在图上表示出来，直观地描述样本的分布情况，从而便于把研究工作引向深入。直观地描述样本的分布情况，从而便于把研究工作引向深入。2023/1/546 目录 上页 下页 返回 结束 6.26.2.6主成分分析与因子分析的区别主成分分析与因子分析的区别 1 1、因子分析把展示在我们面前的诸多变量看成由对每一个变量、因子分析把展示在我们面前的诸多变量看成由对每一个变量都有作用的一些公共因子和一些仅对某一个变量有作用的特殊因都有作用的一些公共因子和一些仅对某一个变量有作用的特殊因子线性组合而成。因此，我们的目的就是要从数据中探查能对变子线性组合而成。因此，我们的目的就是要从数据中探查能对变量起解释作用的公共因子和特殊特殊因子，以及公共因子和特殊量起解释作用的公共因子和特殊特殊因子，以及公共因子和特殊因子组合系数。主成分分析则简单一些，它只是从空间生成的角因子组合系数。主成分分析则简单一些，它只是从空间生成的角度寻找能解释诸多变量变异绝大部分的几组彼此不相关的新变量度寻找能解释诸多变量变异绝大部分的几组彼此不相关的新变量（主成分）。（主成分）。2 2、因子分析中是把变量表示成各因子的线性组合，而主成分分、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成各变量的线性组合。析中则是把主成分表示成各变量的线性组合。3 3、主成分分析中不需要有假设，因子分析则需要一些假设。因、主成分分析中不需要有假设，因子分析则需要一些假设。因子分析的假设包括：各个公共因子之间不相关，特殊因子子分析的假设包括：各个公共因子之间不相关，特殊因子（specific factorspecific factor）之间也不相关，公共因子和特殊因子之间）之间也不相关，公共因子和特殊因子之间也不相关。也不相关。2023/1/547 目录 上页 下页 返回 结束 6.26.2.6主成分分析与因子分析的区别主成分分析与因子分析的区别 4 4、抽取主因子的方法不仅仅有主成分法，还有极大似然法等，、抽取主因子的方法不仅仅有主成分法，还有极大似然法等，基于这些不同算法得到的结果一般也不同。而主成分只能用主基于这些不同算法得到的结果一般也不同。而主成分只能用主成分法抽取。成分法抽取。5 5、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，主成分一般是固定的；而因子分析中因子不值是唯一的时候，主成分一般是固定的；而因子分析中因子不是固定的，可以旋转得到不同的因子。是固定的，可以旋转得到不同的因子。6 6、在因子分析中，因子个数需要分析者指定（、在因子分析中，因子个数需要分析者指定（spssspss根据一定根据一定的条件自动设定，只要是特征值大于的条件自动设定，只要是特征值大于1 1的因子进入分析），指的因子进入分析），指定的因子数量不同而结果不同。在主成分分析中，成分的数量定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。是一定的，一般有几个变量就有几个主成分。2023/1/548 目录 上页 下页 返回 结束 6.26.2.6主成分分析与因子分析的区别主成分分析与因子分析的区别 7 7、和主成分分析相比，由于因子分析可以使用旋转技术帮助解、和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。而如果想把现有的变量变成释因子，在解释方面更加有优势。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这中情况来进入后续的分析，则可以使用主成分分析。当然，这中情况也可以使用因子得分做到。所以这种区分不是绝对的。也可以使用因子得分做到。所以这种区分不是绝对的。2023/1/549 目录 上页 下页 返回 结束 6.3 6.3 因子分析的步骤与逻辑框图因子分析的步骤与逻辑框图6.3.1 6.3.1 因子分析的步骤因子分析的步骤6.3.2 6.3.2 因子分析的逻辑框图因子分析的逻辑框图2023/1/550 目录 上页 下页 返回 结束 6.3 6.3 因子分析的步骤与逻辑框图因子分析的步骤与逻辑框图 上面我们介绍了因子分析的基本思想及基本的理论上面我们介绍了因子分析的基本思想及基本的理论方法，下面我们把因子分析的步骤及逻辑框图总结如方法，下面我们把因子分析的步骤及逻辑框图总结如下，以帮助读者能更加清楚因子分析各步之间的脉络下，以帮助读者能更加清楚因子分析各步之间的脉络关系及更好的运用因子分析方法解决实际问题。关系及更好的运用因子分析方法解决实际问题。2023/1/551 目录 上页 下页 返回 结束 6.3.1 6.3.1 因子分析的步骤因子分析的步骤进行因子分析应包括如下几步：进行因子分析应包括如下几步：1.1.根据研究问题选取原始变量；根据研究问题选取原始变量；2.2.对原始变量进行标准化并求其相关阵，分析变量之间的相对原始变量进行标准化并求其相关阵，分析变量之间的相关性；关性；3.3.求解初始公共因子及因子载荷矩阵；求解初始公共因子及因子载荷矩阵；4.4.因子旋转；因子旋转；5.5.因子得分；因子得分；6.6.根据因子得分值进行进一步分析。根据因子得分值进行进一步分析。2023/1/552 目录 上页 下页 返回 结束 6.3.2 6.3.2 因子分析的逻辑框图因子分析的逻辑框图 图图6-16-12023/1/553 目录 上页 下页 返回 结束 6.4 6.4 因子分析的上机实现因子分析的上机实现 在上一章中在上一章中 ，我们用，我们用SPSS的的Factor Analysis模块实现了主成模块实现了主成分分析，实际上，分分析，实际上，Factor Analysis主要是主要是SPSS软件进行因子分软件进行因子分析的模块，由于主成分分析与因子分析（特别是因子分析中的析的模块，由于主成分分析与因子分析（特别是因子分析中的主成分法）之间有密切的关系，主成分法）之间有密切的关系，SPSS软件将这两种分析方法放软件将这两种分析方法放到同一分析模块到同一分析模块 中。中。下面我们先用下面我们先用SPSS软件自带的数据说明软件自带的数据说明Factor Analysis模块进模块进行因子分析的方法，然后给出一个具体案例。为了与主成分分行因子分析的方法，然后给出一个具体案例。为了与主成分分析进行比较，我们此处仍延用析进行比较，我们此处仍延用SPSS自带的自带的Employee data.sav数数据集据集。【例例6.1】数据集数据集Employee data.sav中各变量解释说明见上一