第14章因子分析1统计学原理(精品).ppt

第第14章章 因子分析因子分析因子分析因子分析因子分析1 1 因子分析的概念因子分析的概念2 2 数学模型及统计意义数学模型及统计意义3 3 因子载荷阵的估计方法因子载荷阵的估计方法4 4 因子得分因子得分5 5 因子旋转因子旋转*6 6 计算步骤及实例计算步骤及实例因子分析的概念因子分析的概念因子分析的概念因子分析的概念 因子分析的概念起源于因子分析的概念起源于Karl PearsonKarl Pearson和和Charles Charles SpearmenSpearmen等人关于智力测验的统计分析。等人关于智力测验的统计分析。19041904年年Charles SpearmanCharles Spearman发表了一篇著名论文发表了一篇著名论文对智力测对智力测验得分进行统计分析验得分进行统计分析被视为因子分析的起点。因被视为因子分析的起点。因子分析最早用来研究心理学和教育方面的问题，但子分析最早用来研究心理学和教育方面的问题，但因子分析由于计算量大，在缺少计算机条件下其应因子分析由于计算量大，在缺少计算机条件下其应用受到了很大限制。随着计算机的大量使用，使得用受到了很大限制。随着计算机的大量使用，使得因子分析的计算问题得到了解决大大促进了该方法因子分析的计算问题得到了解决大大促进了该方法的发展。的发展。因子分析方法应用范围十分广泛，在经济管理科因子分析方法应用范围十分广泛，在经济管理科学、社会科学、生物学、医学、地质科学、考古学、学、社会科学、生物学、医学、地质科学、考古学、教育学乃至体育科学等取得了显著成就。教育学乃至体育科学等取得了显著成就。1 1 引言引言引言引言 因子分析是主成分分析的推广和发展，它是将具有错综因子分析是主成分分析的推广和发展，它是将具有错综因子分析是主成分分析的推广和发展，它是将具有错综因子分析是主成分分析的推广和发展，它是将具有错综复杂关系的变量（或样品）综合为数量较少的几个因子，以复杂关系的变量（或样品）综合为数量较少的几个因子，以复杂关系的变量（或样品）综合为数量较少的几个因子，以复杂关系的变量（或样品）综合为数量较少的几个因子，以再现原始变量与因子之间的相互关系，同时根据不同因子还再现原始变量与因子之间的相互关系，同时根据不同因子还再现原始变量与因子之间的相互关系，同时根据不同因子还再现原始变量与因子之间的相互关系，同时根据不同因子还可以对变量进行分类，它也是属于多元分析中可以对变量进行分类，它也是属于多元分析中可以对变量进行分类，它也是属于多元分析中可以对变量进行分类，它也是属于多元分析中处理降维处理降维处理降维处理降维的一的一的一的一种统计方法。种统计方法。种统计方法。种统计方法。1 1 引言引言引言引言因子分析因子分析因子分析因子分析(factor analysis)(factor analysis)是一种数据简化的技术。它通过研究是一种数据简化的技术。它通过研究是一种数据简化的技术。它通过研究是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，众多变量之间的内部依赖关系，探求观测数据中的基本结构，众多变量之间的内部依赖关系，探求观测数据中的基本结构，众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几个假并用少数几个假想变量来表示其基本的数据结构。这几个假并用少数几个假想变量来表示其基本的数据结构。这几个假并用少数几个假想变量来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可想变量能够反映原来众多变量的主要信息。原始的变量是可想变量能够反映原来众多变量的主要信息。原始的变量是可想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是观测的显在变量，而假想变量是观测的显在变量，而假想变量是观测的显在变量，而假想变量是不可观测的潜在变量，称为不可观测的潜在变量，称为不可观测的潜在变量，称为不可观测的潜在变量，称为因子。因子。因子。因子。问题一：问题一：问题一：问题一：某公司对某公司对某公司对某公司对100100名招聘人员的知识和能力名招聘人员的知识和能力名招聘人员的知识和能力名招聘人员的知识和能力进行测试，出了进行测试，出了进行测试，出了进行测试，出了5050道题的试卷，其内容包括的面较道题的试卷，其内容包括的面较道题的试卷，其内容包括的面较道题的试卷，其内容包括的面较广，但总的来讲可归纳为六个方面：广，但总的来讲可归纳为六个方面：广，但总的来讲可归纳为六个方面：广，但总的来讲可归纳为六个方面：语言表达能力语言表达能力语言表达能力语言表达能力、逻辑思维能力逻辑思维能力逻辑思维能力逻辑思维能力、判断事物的敏捷判断事物的敏捷判断事物的敏捷判断事物的敏捷和和和和果断程度果断程度果断程度果断程度、思想思想思想思想修养修养修养修养、兴趣爱好兴趣爱好兴趣爱好兴趣爱好、生活常识生活常识生活常识生活常识等，我们将每一个方面等，我们将每一个方面等，我们将每一个方面等，我们将每一个方面称为因子称为因子称为因子称为因子 .100100人测试的分数人测试的分数人测试的分数人测试的分数 可以用上述六个因子可以用上述六个因子可以用上述六个因子可以用上述六个因子表示成线性函数：表示成线性函数：表示成线性函数：表示成线性函数：称为公共因子称为公共因子称为公共因子称为公共因子 称为特殊因子称为特殊因子称为特殊因子称为特殊因子 称为因子载荷称为因子载荷称为因子载荷称为因子载荷 问题二：问题二：问题二：问题二：在企业形象或品牌形象的研究中，消费者可以通过在企业形象或品牌形象的研究中，消费者可以通过在企业形象或品牌形象的研究中，消费者可以通过在企业形象或品牌形象的研究中，消费者可以通过一个有一个有一个有一个有2424个指标构成的评价体系，评价百货商场的个指标构成的评价体系，评价百货商场的个指标构成的评价体系，评价百货商场的个指标构成的评价体系，评价百货商场的2424个方面个方面个方面个方面的优劣。的优劣。的优劣。的优劣。消费者主要关心的是三个方面，即消费者主要关心的是三个方面，即消费者主要关心的是三个方面，即消费者主要关心的是三个方面，即商店的环境商店的环境商店的环境商店的环境、商店的服务商店的服务商店的服务商店的服务和和和和商品的价格商品的价格商品的价格商品的价格。因子分析方法可以通。因子分析方法可以通。因子分析方法可以通。因子分析方法可以通过过过过2424个变量，找出反映商店环境、商店服务水平个变量，找出反映商店环境、商店服务水平个变量，找出反映商店环境、商店服务水平个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的因子，对商店进行综合和商品价格的三个潜在的因子，对商店进行综合和商品价格的三个潜在的因子，对商店进行综合和商品价格的三个潜在的因子，对商店进行综合评价。而这三个公共因子可以表示为：评价。而这三个公共因子可以表示为：评价。而这三个公共因子可以表示为：评价。而这三个公共因子可以表示为：问题三，服装剪裁问题问题三，服装剪裁问题问题三，服装剪裁问题问题三，服装剪裁问题 对于裁缝来说，服装裁剪需要根据许多指标来进行决对于裁缝来说，服装裁剪需要根据许多指标来进行决对于裁缝来说，服装裁剪需要根据许多指标来进行决对于裁缝来说，服装裁剪需要根据许多指标来进行决定，虽然有许多指标如领长、袖长、等一些列指标，但最定，虽然有许多指标如领长、袖长、等一些列指标，但最定，虽然有许多指标如领长、袖长、等一些列指标，但最定，虽然有许多指标如领长、袖长、等一些列指标，但最后关键指标是后关键指标是后关键指标是后关键指标是衣服的长度衣服的长度衣服的长度衣服的长度和和和和衣服的宽度衣服的宽度衣服的宽度衣服的宽度两个核心指标或者两个核心指标或者两个核心指标或者两个核心指标或者因子。其他指标都是相关指标。因子。其他指标都是相关指标。因子。其他指标都是相关指标。因子。其他指标都是相关指标。因子分析的因子分析的基本思想基本思想是通过变量的相关系数矩是通过变量的相关系数矩阵内部结构的研究，找出能控制所有变量的少数阵内部结构的研究，找出能控制所有变量的少数几个随机变量去描述多个变量之间的相关关系，几个随机变量去描述多个变量之间的相关关系，但在这里，这少数几个随机变量是不可观测的，但在这里，这少数几个随机变量是不可观测的，通常称为因子。然后根据相关性的大小把变量分通常称为因子。然后根据相关性的大小把变量分组，使得同组内的变量之间相关性较高，但不同组，使得同组内的变量之间相关性较高，但不同组的变量相关性较低组的变量相关性较低.注：注：注：注：因子分析与回归分析因子分析与回归分析因子分析与回归分析因子分析与回归分析不同，因子分析中的因子是一个不同，因子分析中的因子是一个不同，因子分析中的因子是一个不同，因子分析中的因子是一个比较抽象的概念，而回归因子有非常明确的实际意义；比较抽象的概念，而回归因子有非常明确的实际意义；比较抽象的概念，而回归因子有非常明确的实际意义；比较抽象的概念，而回归因子有非常明确的实际意义；主成分分析分析与因子分析主成分分析分析与因子分析主成分分析分析与因子分析主成分分析分析与因子分析也有不同，主成分分析仅也有不同，主成分分析仅也有不同，主成分分析仅也有不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。仅是变量变换，而因子分析需要构造因子模型。仅是变量变换，而因子分析需要构造因子模型。仅是变量变换，而因子分析需要构造因子模型。主成分分析主成分分析主成分分析主成分分析:原始变量的线性组合表示新的综合变量，原始变量的线性组合表示新的综合变量，原始变量的线性组合表示新的综合变量，原始变量的线性组合表示新的综合变量，即主成分；即主成分；即主成分；即主成分；因子分析：潜在的假想变量和随机影响变量的线性组因子分析：潜在的假想变量和随机影响变量的线性组因子分析：潜在的假想变量和随机影响变量的线性组因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。合表示原始变量。合表示原始变量。合表示原始变量。2 数学模型及统计意义数学模型及统计意义1）因子分析因子分析模型模型(正交因子模型正交因子模型)（1 1）R R型型型型因子分析模型因子分析模型因子分析模型因子分析模型 (变量变量变量变量因子模型因子模型因子模型因子模型)用矩阵表示：用矩阵表示：用矩阵表示：用矩阵表示：简记为简记为简记为简记为且满足且满足且满足且满足:其中其中其中其中X X是可实测的是可实测的是可实测的是可实测的p p个指标所构成个指标所构成个指标所构成个指标所构成p p维随机向量，维随机向量，维随机向量，维随机向量，F F是不可观是不可观是不可观是不可观测的向量，测的向量，测的向量，测的向量，F F称为称为称为称为X X的的的的公共因子或潜因子公共因子或潜因子公共因子或潜因子公共因子或潜因子；a aij ij称为称为称为称为因子载荷因子载荷因子载荷因子载荷是是是是第第第第i i个变量在第个变量在第个变量在第个变量在第j j个公共因子上的负荷，如果把变量个公共因子上的负荷，如果把变量个公共因子上的负荷，如果把变量个公共因子上的负荷，如果把变量X Xi i看成看成看成看成mm维维维维因子空间中的一个向量，则表示因子空间中的一个向量，则表示因子空间中的一个向量，则表示因子空间中的一个向量，则表示X Xi i在坐标轴在坐标轴在坐标轴在坐标轴F Fj j上的投影，矩上的投影，矩上的投影，矩上的投影，矩阵阵阵阵A A称为称为称为称为因子载荷矩阵因子载荷矩阵因子载荷矩阵因子载荷矩阵；称为称为称为称为X X的的的的特殊因子特殊因子特殊因子特殊因子，通常理论上要，通常理论上要，通常理论上要，通常理论上要求的协方差阵是对角阵，其中包括了随机误差求的协方差阵是对角阵，其中包括了随机误差求的协方差阵是对角阵，其中包括了随机误差求的协方差阵是对角阵，其中包括了随机误差.由上述模型满足的条件由上述模型满足的条件由上述模型满足的条件由上述模型满足的条件可知可知可知可知：是不相关的是不相关的是不相关的是不相关的.此时此时此时此时X X1 1,X X2 2,X Xn n表示表示表示表示n n个样品个样品个样品个样品.（2）Q型型因子分析模型因子分析模型(样品样品样品样品因子模型因子模型因子模型因子模型)因子分析的目的因子分析的目的因子分析的目的因子分析的目的就是通过模型就是通过模型就是通过模型就是通过模型 代替代替代替代替X X，由于，由于，由于，由于 ，从而达到简化变量维数的愿，从而达到简化变量维数的愿，从而达到简化变量维数的愿，从而达到简化变量维数的愿望。望。望。望。2 2）因子载荷和变量共同度及其统计意义）因子载荷和变量共同度及其统计意义）因子载荷和变量共同度及其统计意义）因子载荷和变量共同度及其统计意义(1 1)因子因子因子因子载载载载荷的统计意义荷的统计意义荷的统计意义荷的统计意义于是于是于是于是:已知模型：已知模型：已知模型：已知模型：两端后乘两端后乘两端后乘两端后乘F Fj j得：得：得：得：所以上式可写成：所以上式可写成：所以上式可写成：所以上式可写成：由于在标准化下有：由于在标准化下有：由于在标准化下有：由于在标准化下有：因此因此因此因此因子载荷因子载荷因子载荷因子载荷 a ai i j j的统计意义的统计意义的统计意义的统计意义：第第第第i i个变量与第个变量与第个变量与第个变量与第j j个公共因个公共因个公共因个公共因子的相关系数子的相关系数子的相关系数子的相关系数，即表示即表示即表示即表示X Xi i依赖依赖依赖依赖F Fj j的的的的份量（比重）份量（比重）份量（比重）份量（比重）.(2)(2)变量共同度的统计意义变量共同度的统计意义变量共同度的统计意义变量共同度的统计意义所谓变量所谓变量所谓变量所谓变量X Xi i的的的的共同度定义共同度定义共同度定义共同度定义为因子载荷阵为因子载荷阵为因子载荷阵为因子载荷阵A A中第中第中第中第i i行元行元行元行元素的平方和，即素的平方和，即素的平方和，即素的平方和，即共同度共同度共同度共同度 h hi i2 2:它刻划全部公共因子对变量它刻划全部公共因子对变量它刻划全部公共因子对变量它刻划全部公共因子对变量X Xi i的总方差所的总方差所的总方差所的总方差所作的贡献，作的贡献，作的贡献，作的贡献，越接近越接近越接近越接近1 1，说明由原始变量空间转为因，说明由原始变量空间转为因，说明由原始变量空间转为因，说明由原始变量空间转为因子空间转化的性质越好，保留原来信息量多子空间转化的性质越好，保留原来信息量多子空间转化的性质越好，保留原来信息量多子空间转化的性质越好，保留原来信息量多；其值；其值；其值；其值越小，越小，越小，越小，说明公共因子对说明公共因子对说明公共因子对说明公共因子对X Xi i影响很小，主要由特殊因影响很小，主要由特殊因影响很小，主要由特殊因影响很小，主要由特殊因子子子子 来描述来描述来描述来描述，因此是因此是因此是因此是X Xi i方差的重要组成部分。方差的重要组成部分。方差的重要组成部分。方差的重要组成部分。所以所以所以所以 i i2 2:是特定变量所产生的方差，称为特殊因子方差是特定变量所产生的方差，称为特殊因子方差是特定变量所产生的方差，称为特殊因子方差是特定变量所产生的方差，称为特殊因子方差,仅与变量仅与变量仅与变量仅与变量X Xi i本身的变化有关，它是使本身的变化有关，它是使本身的变化有关，它是使本身的变化有关，它是使X Xi i的方差为的方差为的方差为的方差为1 1的的的的补充值。补充值。补充值。补充值。3)3)公公公公共共共共因子因子因子因子F Fj j的方差贡献的统计意义的方差贡献的统计意义的方差贡献的统计意义的方差贡献的统计意义将因子载荷矩阵中各列元素的平方和记为将因子载荷矩阵中各列元素的平方和记为将因子载荷矩阵中各列元素的平方和记为将因子载荷矩阵中各列元素的平方和记为称称称称q qj j为为为为公公公公共共共共因因因因子子子子F Fj j对对对对变变变变量量量量组组组组X X的的的的贡贡贡贡献献献献，即即即即S Sj j表表表表示示示示同同同同一一一一公公公公共共共共因因因因子子子子F Fj j对对对对诸诸诸诸变变变变量量量量所所所所提提提提供供供供的的的的方方方方差差差差贡贡贡贡献献献献之之之之总总总总和和和和，它是它是它是它是衡量公共因子相对重要性衡量公共因子相对重要性衡量公共因子相对重要性衡量公共因子相对重要性指标。指标。指标。指标。3 因子载荷阵的估计方法因子载荷阵的估计方法 设随机向量设随机向量设随机向量设随机向量X X的协差阵为的协差阵为的协差阵为的协差阵为 ,i i为的特征根，为的特征根，为的特征根，为的特征根，e ei i为对为对为对为对应的标准正交化特征向量应的标准正交化特征向量应的标准正交化特征向量应的标准正交化特征向量(只要特征根不等，对应的只要特征根不等，对应的只要特征根不等，对应的只要特征根不等，对应的单位特征向量一定是正交的单位特征向量一定是正交的单位特征向量一定是正交的单位特征向量一定是正交的)，则根据线性代数知识，则根据线性代数知识，则根据线性代数知识，则根据线性代数知识可分解为可分解为可分解为可分解为 1 1）忽略特殊因子）忽略特殊因子）忽略特殊因子）忽略特殊因子 上边给出的上边给出的上边给出的上边给出的 表达式是精确的，但实际应用时表达式是精确的，但实际应用时表达式是精确的，但实际应用时表达式是精确的，但实际应用时总是希望公共因子个数小于变量的个数即总是希望公共因子个数小于变量的个数即总是希望公共因子个数小于变量的个数即总是希望公共因子个数小于变量的个数即mm p p，当最后当最后当最后当最后p p-mm个特征根较小时，通常是略去最后个特征根较小时，通常是略去最后个特征根较小时，通常是略去最后个特征根较小时，通常是略去最后p p-mm项对项对项对项对 的贡献，于是得到的贡献，于是得到的贡献，于是得到的贡献，于是得到上式是假定了因子模型中的特殊因子是不重要的，因上式是假定了因子模型中的特殊因子是不重要的，因上式是假定了因子模型中的特殊因子是不重要的，因上式是假定了因子模型中的特殊因子是不重要的，因而从而从而从而从 的分解中忽略掉特殊因子的方差的分解中忽略掉特殊因子的方差的分解中忽略掉特殊因子的方差的分解中忽略掉特殊因子的方差.2 2）考虑特殊因子）考虑特殊因子）考虑特殊因子）考虑特殊因子当当当当 未知，可用样本协差阵未知，可用样本协差阵未知，可用样本协差阵未知，可用样本协差阵S S去代替，要经过标准化处理，去代替，要经过标准化处理，去代替，要经过标准化处理，去代替，要经过标准化处理，则则则则S S与相关阵与相关阵与相关阵与相关阵R R相同，仍然可作上面类似的表示。相同，仍然可作上面类似的表示。相同，仍然可作上面类似的表示。相同，仍然可作上面类似的表示。一般设一般设一般设一般设 为样本相关阵为样本相关阵为样本相关阵为样本相关阵R R的特征根，相应的的特征根，相应的的特征根，相应的的特征根，相应的标准正交化特征向量为标准正交化特征向量为标准正交化特征向量为标准正交化特征向量为 ，设，设，设，设 mm p p，则因子载荷阵，则因子载荷阵，则因子载荷阵，则因子载荷阵的估计的估计的估计的估计 即即即即4 因子得分因子得分因子分析的数学模型是将变量因子分析的数学模型是将变量因子分析的数学模型是将变量因子分析的数学模型是将变量(或样品或样品或样品或样品)表示为公共因表示为公共因表示为公共因表示为公共因子的线性组合：子的线性组合：子的线性组合：子的线性组合：往往需要反过来将公共因子表示为变量（或样品）往往需要反过来将公共因子表示为变量（或样品）往往需要反过来将公共因子表示为变量（或样品）往往需要反过来将公共因子表示为变量（或样品）的线性组合，即的线性组合，即的线性组合，即的线性组合，即称上式为称上式为称上式为称上式为因子得分的函数。因子得分的函数。因子得分的函数。因子得分的函数。用它来计算每个样品的用它来计算每个样品的用它来计算每个样品的用它来计算每个样品的公共因子得分。公共因子得分。公共因子得分。公共因子得分。由于因子得分函数中方程的个数由于因子得分函数中方程的个数由于因子得分函数中方程的个数由于因子得分函数中方程的个数mm小于变量的个数小于变量的个数小于变量的个数小于变量的个数p p，因此不能精确计算出因子得分，只能对因子得分进，因此不能精确计算出因子得分，只能对因子得分进，因此不能精确计算出因子得分，只能对因子得分进，因此不能精确计算出因子得分，只能对因子得分进行估计。行估计。行估计。行估计。这里用这里用这里用这里用回归法进行估计回归法进行估计回归法进行估计回归法进行估计。ThomsonThomson假设公共因子可以对假设公共因子可以对假设公共因子可以对假设公共因子可以对p p个变量作回归，个变量作回归，个变量作回归，个变量作回归，F Fj j(j j=1,=1,mm)对变量对变量对变量对变量X X1 1,X Xp p的回归方程为的回归方程为的回归方程为的回归方程为由于假设变量及公共因子都已经标准化了，所以由于假设变量及公共因子都已经标准化了，所以由于假设变量及公共因子都已经标准化了，所以由于假设变量及公共因子都已经标准化了，所以由因子载荷的意义知：由因子载荷的意义知：由因子载荷的意义知：由因子载荷的意义知：即即即即其中其中其中其中因此因此因此因此记记记记则则则则于是于是于是于是其中其中其中其中这就是估计因子得分的计算公式。这就是估计因子得分的计算公式。这就是估计因子得分的计算公式。这就是估计因子得分的计算公式。建立了因子分析模型的目的不仅仅要找出公共因子建立了因子分析模型的目的不仅仅要找出公共因子建立了因子分析模型的目的不仅仅要找出公共因子建立了因子分析模型的目的不仅仅要找出公共因子以及对变量进行分组，更重要的以及对变量进行分组，更重要的以及对变量进行分组，更重要的以及对变量进行分组，更重要的要知道每个公共因要知道每个公共因要知道每个公共因要知道每个公共因子的意义子的意义子的意义子的意义，以便进行进一步的分析，如果每个公共，以便进行进一步的分析，如果每个公共，以便进行进一步的分析，如果每个公共，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释因子的含义不清，则不便于进行实际背景的解释因子的含义不清，则不便于进行实际背景的解释因子的含义不清，则不便于进行实际背景的解释.由由由由于因子载荷阵是不惟一的，所以应该对因子载荷阵于因子载荷阵是不惟一的，所以应该对因子载荷阵于因子载荷阵是不惟一的，所以应该对因子载荷阵于因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使因子载荷阵的结构简化，使载进行旋转。目的是使因子载荷阵的结构简化，使载进行旋转。目的是使因子载荷阵的结构简化，使载进行旋转。目的是使因子载荷阵的结构简化，使载荷矩阵每列或行的元素平方值荷矩阵每列或行的元素平方值荷矩阵每列或行的元素平方值荷矩阵每列或行的元素平方值向向0 0和和1 1两极分化两极分化。有。有。有。有三种主要的正交旋转法。四次方最大法、三种主要的正交旋转法。四次方最大法、三种主要的正交旋转法。四次方最大法、三种主要的正交旋转法。四次方最大法、方差最大方差最大法法和等量最大法。和等量最大法。和等量最大法。和等量最大法。5 5 因子旋转因子旋转因子旋转因子旋转 5 5 因子旋转因子旋转因子旋转因子旋转 原因子原因子原因子原因子模型模型模型模型令令令令新因子新因子新因子新因子模型模型模型模型变成变成变成变成因子载荷阵不是唯一的。因子载荷阵不是唯一的。因子载荷阵不是唯一的。因子载荷阵不是唯一的。证明如下证明如下证明如下证明如下设设设设C C为一个为一个为一个为一个pppp的的的的正交正交正交正交矩阵矩阵矩阵矩阵仍满足仍满足仍满足仍满足正是由于因子载荷阵不是正是由于因子载荷阵不是正是由于因子载荷阵不是正是由于因子载荷阵不是唯一的，可寻找合适的正唯一的，可寻找合适的正唯一的，可寻找合适的正唯一的，可寻找合适的正交矩阵，使得因子载荷阵交矩阵，使得因子载荷阵交矩阵，使得因子载荷阵交矩阵，使得因子载荷阵具有特殊的结构。具有特殊的结构。具有特殊的结构。具有特殊的结构。因子载荷旋转：用一个正交阵右乘因子载荷旋转：用一个正交阵右乘因子载荷旋转：用一个正交阵右乘因子载荷旋转：用一个正交阵右乘A A，使旋转后的因使旋转后的因使旋转后的因使旋转后的因子载荷阵结构简化，便于对公共因子进行解释。有子载荷阵结构简化，便于对公共因子进行解释。有子载荷阵结构简化，便于对公共因子进行解释。有子载荷阵结构简化，便于对公共因子进行解释。有三种主要的正交旋转法三种主要的正交旋转法三种主要的正交旋转法三种主要的正交旋转法:四次方最大法、方差最大法四次方最大法、方差最大法四次方最大法、方差最大法四次方最大法、方差最大法和等量最大法和等量最大法和等量最大法和等量最大法。本节只介绍常用的方差最大正交旋。本节只介绍常用的方差最大正交旋。本节只介绍常用的方差最大正交旋。本节只介绍常用的方差最大正交旋转法。转法。转法。转法。对对对对A A按行计算共同度按行计算共同度按行计算共同度按行计算共同度5 5 因子旋转因子旋转因子旋转因子旋转 首先考虑首先考虑首先考虑首先考虑mm=2=2的情形。的情形。的情形。的情形。设因子载荷阵设因子载荷阵设因子载荷阵设因子载荷阵然后对规格化后的矩阵，为书写方便仍记为然后对规格化后的矩阵，为书写方便仍记为然后对规格化后的矩阵，为书写方便仍记为然后对规格化后的矩阵，为书写方便仍记为A A，施行，施行，施行，施行方差最大正交旋转。方差最大正交旋转。方差最大正交旋转。方差最大正交旋转。设正交阵设正交阵设正交阵设正交阵记记记记这样做的目的是使因子载荷阵这样做的目的是使因子载荷阵这样做的目的是使因子载荷阵这样做的目的是使因子载荷阵A A的结构简化，为此，的结构简化，为此，的结构简化，为此，的结构简化，为此，正交旋正交旋正交旋正交旋转转转转的角度的角度的角度的角度 必须满足必须满足必须满足必须满足：旋转后所得到因子载荷旋转后所得到因子载荷旋转后所得到因子载荷旋转后所得到因子载荷阵的总方差阵的总方差阵的总方差阵的总方差V V达到最大值，即达到最大值，即达到最大值，即达到最大值，即达到最大值。达到最大值。达到最大值。达到最大值。根据求极值原理，先求根据求极值原理，先求根据求极值原理，先求根据求极值原理，先求V V对对对对 的导数的导数的导数的导数令令令令经过计算，其旋转角度经过计算，其旋转角度经过计算，其旋转角度经过计算，其旋转角度 可按下面公式求得：可按下面公式求得：可按下面公式求得：可按下面公式求得：记记记记 则则则则根据根据根据根据tgtg(4(4)的分式的分子和分母取值的正负号来确定的分式的分子和分母取值的正负号来确定的分式的分子和分母取值的正负号来确定的分式的分子和分母取值的正负号来确定角角角角 的取值范围如下表：的取值范围如下表：的取值范围如下表：的取值范围如下表：分子取值符号分母取值符号取值范围取值范围+0 0 /2 20 0 /8 8+/2 2 /8 8 /4 4 /2/2/4 4/8 8+/2/2 0 0/8 8 0 0如果公共因子有如果公共因子有如果公共因子有如果公共因子有mm个，则需逐次对每两个公共因子进行上述个，则需逐次对每两个公共因子进行上述个，则需逐次对每两个公共因子进行上述个，则需逐次对每两个公共因子进行上述旋转，必须满足使旋转后所得到的因子载荷阵的总方差达到旋转，必须满足使旋转后所得到的因子载荷阵的总方差达到旋转，必须满足使旋转后所得到的因子载荷阵的总方差达到旋转，必须满足使旋转后所得到的因子载荷阵的总方差达到最大值，即最大值，即最大值，即最大值，即使使使使达到最大达到最大达到最大达到最大。其中其中其中其中T Tkj kj 为如下的正交阵：为如下的正交阵：为如下的正交阵：为如下的正交阵：A A经过经过经过经过T Tkjkj旋转旋转旋转旋转(变换变换变换变换)后，矩阵后，矩阵后，矩阵后，矩阵 B B=ATATk k j j ，其元素为，其元素为，其元素为，其元素为其中旋转角度其中旋转角度其中旋转角度其中旋转角度 仍按下面公式求得仍按下面公式求得仍按下面公式求得仍按下面公式求得mm个因子，每次取两个全部配对进行旋转，共需旋个因子，每次取两个全部配对进行旋转，共需旋个因子，每次取两个全部配对进行旋转，共需旋个因子，每次取两个全部配对进行旋转，共需旋转转转转C Cmm2 2次，算做一个循环完毕，如果循环完毕得出次，算做一个循环完毕，如果循环完毕得出次，算做一个循环完毕，如果循环完毕得出次，算做一个循环完毕，如果循环完毕得出的因子载荷阵还没有达到目的，则可以继续进行第的因子载荷阵还没有达到目的，则可以继续进行第的因子载荷阵还没有达到目的，则可以继续进行第的因子载荷阵还没有达到目的，则可以继续进行第二二二二轮轮轮轮次配对旋转，具体地说如果第一轮旋转完毕的次配对旋转，具体地说如果第一轮旋转完毕的次配对旋转，具体地说如果第一轮旋转完毕的次配对旋转，具体地说如果第一轮旋转完毕的因子载荷阵记为因子载荷阵记为因子载荷阵记为因子载荷阵记为B B(1)(1)从从从从B B(1)(1)算出算出算出算出V V(1)(1)。从从从从B B(1)(1)出发进行第二轮旋转循环，旋转完毕得出发进行第二轮旋转循环，旋转完毕得出发进行第二轮旋转循环，旋转完毕得出发进行第二轮旋转循环，旋转完毕得B B(2)(2)如此不断重复旋转循环可得如此不断重复旋转循环可得如此不断重复旋转循环可得如此不断重复旋转循环可得V V值的一个非降序列：值的一个非降序列：值的一个非降序列：值的一个非降序列：从从从从B B(2)(2)算出算出算出算出V V(2)(2)。因为因子载荷的绝对值不大于因为因子载荷的绝对值不大于因为因子载荷的绝对值不大于因为因子载荷的绝对值不大于1 1，故这个序列是有上，故这个序列是有上，故这个序列是有上，故这个序列是有上界的，于是有极限记为界的，于是有极限记为界的，于是有极限记为界的，于是有极限记为 ，即为，即为，即为，即为V V的最大值。因此只的最大值。因此只的最大值。因此只的最大值。因此只要循环次数要循环次数要循环次数要循环次数k k充分大，就有充分大，就有充分大，就有充分大，就有 为所要求的精度。在实际应用中，经过若干次旋转为所要求的精度。在实际应用中，经过若干次旋转为所要求的精度。在实际应用中，经过若干次旋转为所要求的精度。在实际应用中，经过若干次旋转之后，若相对方差改变不大，则停止旋转，最后得之后，若相对方差改变不大，则停止旋转，最后得之后，若相对方差改变不大，则停止旋转，最后得之后，若相对方差改变不大，则停止旋转，最后得即为旋转后的因子载荷矩阵。即为旋转后的因子载荷矩阵。即为旋转后的因子载荷矩阵。即为旋转后的因子载荷矩阵。6 计算步骤及实例计算步骤及实例 计算步骤计算步骤设原始数据资料如下表：设原始数据资料如下表：设原始数据资料如下表：设原始数据资料如下表：变量变量变量变量样品样品样品样品 X X1 1 X X2 2 X Xp p 1 1x x1111 x x1212 x x1 1p p 2 2x x2121 x x2222 x x2 2p p n nx xn n1 1 x xn n2 2x xnpnp第一步第一步第一步第一步 将原始数据标准化，为书写方便仍记为将原始数据标准化，为书写方便仍记为将原始数据标准化，为书写方便仍记为将原始数据标准化，为书写方便仍记为x xij ij。第二步第二步第二步第二步 建立变量的相关系数阵建立变量的相关系数阵建立变量的相关系数阵建立变量的相关系数阵若作若作若作若作Q Q型因子分析，则建立样品的相似系数阵型因子分析，则建立样品的相似系数阵型因子分析，则建立样品的相似系数阵型因子分析，则建立样品的相似系数阵Q Q=(=(Q Qij ij)n n n n。其中。其中。其中。其中其中其中其中其中第三步第三步第三步第三步 求求求求R R的特征根及相应的单位特征向量，分别的特征根及相应的单位特征向量，分别的特征根及相应的单位特征向量，分别的特征根及相应的单位特征向量，分别记为记为记为记为 和和和和 ，记，记，记，记根据累计贡献率的要求比如根据累计贡献率的要求比如根据累计贡献率的要求比如根据累计贡献率的要求比如 ，取前，取前，取前，取前mm个特征根个特征根个特征根个特征根及相应的特征向量写出因子载荷阵：及相应的特征向量写出因子载荷阵：及相应的特征向量写出因子载荷阵：及相应的特征向量写出因子载荷阵：第四步第四步第四步第四步 对对对对A A进行方差最大正交旋转。进行方差最大正交旋转。进行方差最大正交旋转。进行方差最大正交旋转。第五步第五步第五步第五步 计算因子得分。计算因子得分。计算因子得分。计算因子得分。例题例题对全国对全国对全国对全国3030个省市自治区的经济发展八项指标作因子个省市自治区的经济发展八项指标作因子个省市自治区的经济发展八项指标作因子个省市自治区的经济发展八项指标作因子分析。分析。分析。分析。第二步第二步第二步第二步 建立指标间的相关系数阵建立指标间的相关系数阵建立指标间的相关系数阵建立指标间的相关系数阵R R。首先首先首先首先对原始数据标准化，以消除量纲的影响；对原始数据标准化，以消除量纲的影响；对原始数据标准化，以消除量纲的影响；对原始数据标准化，以消除量纲的影响；X1X2X3X4X5X6X7X8X11.0000.2670.9510.1910.617-0.274-0.2640.874X20.2671.0000.4260.718-0.151-0.234-0.5930.363X30.9510.4261.0000.4000.431-0.282-0.3590.792X40.1910.7180.4001.000-0.356-0.134-0.5390.104X50.617-0.1510.431-0.3561.000-0.2550.0220.659X6-0.274-0.234-0.282-0.134-0.2551.0000.760-0.126X7-0.264-0.593-0.359-0.5390.0220.7601.000-0.192X80.8740.3630.7920.1040.659-0.126-0.1921.000第三步第三步第三步第三步 求求求求R R的特征值和特征向量。的特征值和特征向量。的特征值和特征向量。的特征值和特征向量。序号序号特征值特征值方差贡献率方差贡献率%累积贡献率累积贡献率%13.75546.94346.94322.19527.44374.38631.21415.17889.56440.4035.03394.59650.2132.66097.25660.1391.73798.99376.594E-020.82499.81781.462E-020.183100.00由于前三个特征值的累计贡献率已达由于前三个特征值的累计贡献率已达由于前三个特征值的累计贡献率已达由于前三个特征值的累计贡献率已达89.564%89.564%。所。所。所。所以取前三个特征值所对应的特征向量如下：以取前三个特征值所对应的特征向量如下：以取前三个特征值所对应的特征向量如下：以取前三个特征值所对应的特征向量如下：第一特征向量第一特征向量u1第二特征向量第二特征向量U2第三特征向量第三特征向量u30.4706410.1079950.192410.4567080.2565120.1098190.4247120.2875360.19241-0.319440.4009310.3975250.3127290.404310.245050.2508020.498801-0.247770.240481-0.488680.332179-0.262670.1673920.723351第四步第四步第四步第四步 建立因子载荷阵。建立因子载荷阵。建立因子载荷阵。建立因子载荷阵。