多元统计分析-第六章.ppt
《多元统计分析-第六章.ppt》由会员分享,可在线阅读,更多相关《多元统计分析-第六章.ppt(82页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、2023/1/51第第六六章章 因子分分析因子分分析 目录 上页 下页 返回 结束 6.1 6.1 因子分析的基本理论因子分析的基本理论6.2 6.2 因子载荷的求解因子载荷的求解6.3 6.3 因子分析的步骤与逻辑框图因子分析的步骤与逻辑框图6.4 6.4 因子分析的上机实现因子分析的上机实现2023/1/52第第六六章章 因子分分析因子分分析 目录 上页 下页 返回 结束 因子分析因子分析(factor analysis)是一种数据简化的技是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系,探术。它通过研究众多变量之间的内部依赖关系,探求观测数据中的基本结构,并用少数几个求观测数据
2、中的基本结构,并用少数几个假想变量假想变量来表示其基本的数据结构。这几个假想变量能够反来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测映原来众多变量的主要信息。原始的变量是可观测的的显在变量显在变量,而假想变量是不可观测的,而假想变量是不可观测的潜在变量潜在变量,称为称为因子因子。因子分析的思想始于因子分析的思想始于1904年年Charles Spearman对学对学生考试成绩的研究。生考试成绩的研究。2023/1/53 目录 上页 下页 返回 结束 6.1 6.1 因子分析的基本理论因子分析的基本理论6.1.1 6.1.1 因子分析的基本思想因子分析的
3、基本思想6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 因子分析的基本思想是根据相关性大小把原因子分析的基本思想是根据相关性大小把原始变量分组,使得同组内的变量之间相关性较高,始变量分组,使得同组内的变量之间相关性较高,而不同组的变量间的相关性则较低。每组变量代而不同组的变量间的相关性则较低。每组变量代表一个基本结构,并用一个不可观测的综合变量表一个基本结构,并用一个不可观测的综合变量表示,这个基本结构就称为公共因子。表示,这个基本结构就称为公共因子。2023/1/54 目录 上页 下页 返回 结束 6.1.1 6.1.1 因子分析的基本思想因子分析的基本思想物理物理
4、数学数学英语英语语文语文逻辑思维逻辑思维语言能力语言能力2023/1/55 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型(一)(一)Charles Spearman提出因子分析时用到的例子提出因子分析时用到的例子在该例中在该例中Spearman研究了研究了33名学生在古典语(名学生在古典语(C)、法语()、法语(F)、英语()、英语(E)、)、数学(数学(M)、判别()、判别(D)和音乐()和音乐(Mu)六门考试成绩之间的相关性并得到如下)六门考试成绩之间的相关性并得到如下相关阵:相关阵:2023/1/56 目录 上页 下页 返回 结束
5、 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 式中,为第式中,为第 门科目标准化后的考试成绩,均值为门科目标准化后的考试成绩,均值为0 0,方差为,方差为1 1。为公共因子,对各科考试成绩均有影响,是均值为为公共因子,对各科考试成绩均有影响,是均值为0 0,方差为,方差为1 1。为仅对第为仅对第 门科目考试成绩有影响的特殊因子,门科目考试成绩有影响的特殊因子,与与 相互独立。也相互独立。也就是说,每一门科目的考试成绩都可以看作是由一个公共因子(可就是说,每一门科目的考试成绩都可以看作是由一个公共因子(可以认为是一般智力)与一个特殊因子的和。以认为是一般智力)与一个
6、特殊因子的和。SpearmanSpearman注意到上面相关阵中一个有趣的规律,这就是如果不考注意到上面相关阵中一个有趣的规律,这就是如果不考虑对角元素的话,任意两列的元素大致成比例,对虑对角元素的话,任意两列的元素大致成比例,对C C列和列和E E列有:列有:于是于是SpearmanSpearman指出每一科目的考试成绩都遵从以下形式:指出每一科目的考试成绩都遵从以下形式:(6.1)2023/1/57 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型(6.2)(6.2)式与式与 无关,也正与在相关矩阵中所观察到的比例关系相一致。无关,也正
7、与在相关矩阵中所观察到的比例关系相一致。在满足以上假定的条件下,就有:在满足以上假定的条件下,就有:于是,有 (6.2)除此之外,还可以得到如下有关除此之外,还可以得到如下有关 方差的关系式:方差的关系式:为对第为对第 门科目考试成绩的因子载荷门科目考试成绩的因子载荷8 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型因此,常数因此,常数 的意义就在于其平方表示了公共因子的意义就在于其平方表示了公共因子 解释解释 的方的方差的比例,因此被称之为因子载荷,而差的比例,因此被称之为因子载荷,而 被称作共同度。被称作共同度。对对SpearmanS
8、pearman的例子进行推广,假定每一门科目的考试成绩都受的例子进行推广,假定每一门科目的考试成绩都受到到 个公共因子的影响及一个特殊因子的影响,于是(个公共因子的影响及一个特殊因子的影响,于是(6.16.1)就)就变成了如下因子分析模型的一般形式:变成了如下因子分析模型的一般形式:(6.4)因为因为 是一个常数,与是一个常数,与 相互独立且相互独立且 与与 的方差均被假定为的方差均被假定为1 1。于是有于是有(6.3)是彼此独立的公共因子,都满足均值为是彼此独立的公共因子,都满足均值为0,方差为,方差为1。为特殊因子,与每一个公共因子均不相关且均值为为特殊因子,与每一个公共因子均不相关且均值
9、为0。2023/1/59 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 所以当所以当 与与 在某一公共因子上的载荷均较大时,也就表在某一公共因子上的载荷均较大时,也就表明了明了 与与 的相关性较强。的相关性较强。(6.5)(6.4)共同度共同度剩余方差剩余方差(6.6)模型模型(6.4)还可以很容易地得到如下还可以很容易地得到如下 与与 相关系数的关系式:相关系数的关系式:2023/1/510 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型(二)一般因子分析模型(二)一般因子分析模
10、型下面我们给出更为一般的因子分析模型:设有下面我们给出更为一般的因子分析模型:设有 个样品,每个样个样品,每个样品观测品观测 个指标,这个指标,这 个指标之间有较强的相关性(要求个指标个指标之间有较强的相关性(要求个指标相关性较强的理由是很明确的,只有相关性较强才能从原始变相关性较强的理由是很明确的,只有相关性较强才能从原始变量中提取出量中提取出“公共公共”因子)。为了便于研究,并消除由于观测因子)。为了便于研究,并消除由于观测量纲的差异及数量级不同所造成的影响,将样本观测数据进行量纲的差异及数量级不同所造成的影响,将样本观测数据进行标准化处理,使标准化后的变量均值为标准化处理,使标准化后的变
11、量均值为0 0,方差为,方差为1 1。为方便把。为方便把原始变量及标准化后的变量向量均用原始变量及标准化后的变量向量均用 表示,用表示,用 表示标准化的公共因子。表示标准化的公共因子。2023/1/511 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型(2 2)()是不可观测的变量,其均值向)是不可观测的变量,其均值向 量量 ,协方差矩阵,协方差矩阵 ,即向量,即向量 的各分量是相互独立的;的各分量是相互独立的;如果:如果:(1 1)是可观测随机向量,且均值向量是可观测随机向量,且均值向量 ,协,协方差矩阵方差矩阵 ,且协方差矩阵,且协方
12、差矩阵 与相关阵与相关阵 相等;相等;(3 3)与与 相互独立,且相互独立,且 ,的协方差阵的协方差阵 是对角方阵是对角方阵2023/1/512 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型 即即 的各分量之间也是相互独立的。则模型的各分量之间也是相互独立的。则模型 (6.7)称为因子模型,模型称为因子模型,模型(6.7)(6.7)式的矩阵形式为:式的矩阵形式为:(6.8)其中 因子载荷矩阵因子载荷矩阵2023/1/513 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型由模型(由模
13、型(6.76.7)及其假设前提知,公共因子)及其假设前提知,公共因子 相互独立相互独立且不可测,是在原始变量的表达式中都出现的因子。公共因子且不可测,是在原始变量的表达式中都出现的因子。公共因子的含义,必须结合实际问题的具体意义确定。的含义,必须结合实际问题的具体意义确定。叫做特叫做特殊因子,是向量殊因子,是向量 的分量的分量 ()所特有的因子。各)所特有的因子。各特殊因子之间以及特殊因子与所有公共因子之间也都是相互独特殊因子之间以及特殊因子与所有公共因子之间也都是相互独立的。矩阵立的。矩阵 中的元素中的元素 称为因子载荷,称为因子载荷,的绝对值大的绝对值大 ,表明表明 与与 的相依程度越大,
14、或称公共因子的相依程度越大,或称公共因子 对于对于 的载荷量的载荷量越大,进行因子分析的目的之一,就是要求出各个因子载荷的越大,进行因子分析的目的之一,就是要求出各个因子载荷的值。值。2023/1/514 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型1.1.因子载荷因子载荷 的统计意义的统计意义 由模型(6.7)式(6.9)即即 是是 与与 的协方差,而注意到,的协方差,而注意到,与与 ()都是均值为)都是均值为0 0,方差为,方差为1 1的变量,因此,的变量,因此,同时也是同时也是 与与 的相的相关系数。关系数。2023/1/515
15、目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型2 2变量共同度与剩余方差变量共同度与剩余方差 (6.9)越大表明越大表明 对公共因子的依赖程度越大,公共因子能解对公共因子的依赖程度越大,公共因子能解释释 方差的比例越大,因子分析的效果也就越好。方差的比例越大,因子分析的效果也就越好。(6.5)(6.4)2023/1/516 目录 上页 下页 返回 结束 6.1.2 6.1.2 因子分析的基本理论及模型因子分析的基本理论及模型3 3公因子公因子 的方差贡献的方差贡献 记记 (),则),则 表示的是公共因表示的是公共因 子子 对于对于 的每一
16、分量的每一分量 ()所提供的方差的总和,)所提供的方差的总和,称为公因子称为公因子 对原始变量向量对原始变量向量 的方差贡献,它是衡量公因子相的方差贡献,它是衡量公因子相对重要性的指标。对重要性的指标。越大,则表明公共因子越大,则表明公共因子 对对 的贡献越大,或的贡献越大,或者说对者说对 的影响和作用就越大。如果将因子载荷矩阵的影响和作用就越大。如果将因子载荷矩阵 的所有的所有 ()都计算出来,并按其大小排序,就可以依此提炼出)都计算出来,并按其大小排序,就可以依此提炼出最有影响的公共因子。最有影响的公共因子。2023/1/517 目录 上页 下页 返回 结束 6.26.2 因子载荷的求解因
17、子载荷的求解6.2.1 6.2.1 主成分法主成分法6.2.2 6.2.2 主轴因子法主轴因子法6.2.4 6.2.4 因子旋转因子旋转6.2.3 6.2.3 极大似然法极大似然法6.2.5 6.2.5 因子得分因子得分6.2.6 6.2.6 主成分分析与因子分析的区别主成分分析与因子分析的区别2023/1/518 目录 上页 下页 返回 结束 6.26.2 因子载荷的求解因子载荷的求解 因子分析可以分为确定因子载荷,因子旋转及计因子分析可以分为确定因子载荷,因子旋转及计算因子得分三个步骤。首要的步骤即为确定因子载算因子得分三个步骤。首要的步骤即为确定因子载荷或是根据样本数据确定出因子载荷矩阵
18、荷或是根据样本数据确定出因子载荷矩阵 。有很多。有很多方法可以完成这项工作,如主成分法,主轴因子法,方法可以完成这项工作,如主成分法,主轴因子法,最小二乘法,极大似然法,最小二乘法,极大似然法,因子提取法等。这些方因子提取法等。这些方法求解因子载荷的出发点不同,所得的结果也不完法求解因子载荷的出发点不同,所得的结果也不完全相同。下面我们着重介绍比较常用的主成分法、全相同。下面我们着重介绍比较常用的主成分法、主轴因子法与极大似然法。主轴因子法与极大似然法。2023/1/519 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法式中,式中,为随机向量为随机向量 的相关矩阵的特征值所对
19、应的特征向量的的相关矩阵的特征值所对应的特征向量的分量,因为特征向量之间彼此正交,从分量,因为特征向量之间彼此正交,从 到到 的转换关系是可的转换关系是可逆的,很容易得出由逆的,很容易得出由 到到 的转换关系为:的转换关系为:用主成分法寻找公因子的方法如下:假定从相关阵出发求解主用主成分法寻找公因子的方法如下:假定从相关阵出发求解主成分,设有成分,设有 个变量,则我们可以找出个变量,则我们可以找出 个主成分。将所得的个主成分。将所得的 个个主成分按由大到小的顺序排列,记为主成分按由大到小的顺序排列,记为 ,则主成分与原,则主成分与原始变量之间存在如下关系式始变量之间存在如下关系式:(6.11)
20、2023/1/520 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法(6.12)我们对上面每一等式只保留前我们对上面每一等式只保留前 个主成分而把后面的部分用个主成分而把后面的部分用代替,则(代替,则(6.126.12)式变为:)式变为:(6.13)2023/1/521 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法 式(式(6.136.13)在形式上已经与因子模型)在形式上已经与因子模型(6.7)(6.7)相一致,且相一致,且 ()之间相互独立,且)之间相互独立,且 与与 之间相互独立,为了之间相互独立,为了 把把 转化成合适的公因子,现在要做的工作只是把
21、主成分转化成合适的公因子,现在要做的工作只是把主成分 变变为方差为为方差为1 1的变量。为完成此变换,必须将的变量。为完成此变换,必须将 除以其标准差,由除以其标准差,由上一章主成分分析的知识知其标准差即为特征根的平方根上一章主成分分析的知识知其标准差即为特征根的平方根 。于是,令于是,令 ,则,则(6.13)(6.13)式变为:式变为:这与因子模型(这与因子模型(6.76.7)完全一致,这样,就得到了载荷)完全一致,这样,就得到了载荷 矩阵和矩阵和一组初始公因子(未旋转)。一组初始公因子(未旋转)。2023/1/522 目录 上页 下页 返回 结束 6.26.2.1 主成分法主成分法一般设一
22、般设 为样本相关阵为样本相关阵 的特征根,的特征根,为对为对应的标准正交化特征向量。设应的标准正交化特征向量。设 ,则因子载荷矩阵,则因子载荷矩阵 的一的一个解为:个解为:(6.14)共同度的估计为:(6.15)那么如何确定公因子的数目那么如何确定公因子的数目 呢?一般而言,这取决于问题的呢?一般而言,这取决于问题的研究者本人,当用主成分法进行因子分析时,也可以借鉴确定主研究者本人,当用主成分法进行因子分析时,也可以借鉴确定主成分个数的准则,如所选取的公因子的信息量的和达到总体信息成分个数的准则,如所选取的公因子的信息量的和达到总体信息量的一个合适比例为止。但对这些准则不应生搬硬套,应按具体量
23、的一个合适比例为止。但对这些准则不应生搬硬套,应按具体问题具体分析,总之要使所选取的公因子能够合理地描述原始变问题具体分析,总之要使所选取的公因子能够合理地描述原始变量相关阵的结构,同时要有利于因子模型的解释。量相关阵的结构,同时要有利于因子模型的解释。2023/1/523 目录 上页 下页 返回 结束 6.26.2.2 主轴因子法主轴因子法 主轴因子法也比较简单,且在实际应用中也比较普遍。用主主轴因子法也比较简单,且在实际应用中也比较普遍。用主轴因子法求解因子载荷矩阵的方法其思路与主成分法有类似的轴因子法求解因子载荷矩阵的方法其思路与主成分法有类似的地方,两都均是从分析矩阵的结构入手;两者不
24、同的地方在于,地方,两都均是从分析矩阵的结构入手;两者不同的地方在于,主成分法是在所有的主成分法是在所有的 个主成分能解释标准化原始变量所有方个主成分能解释标准化原始变量所有方差的基础之上进行分析的,而主轴因子法中,假定差的基础之上进行分析的,而主轴因子法中,假定 个公共因个公共因子只能解释原始变量的部分方差,利用公因子方差(或共同度)子只能解释原始变量的部分方差,利用公因子方差(或共同度)来代替相关矩阵主对角线上的元素来代替相关矩阵主对角线上的元素1 1,并以新得到的这个矩阵,并以新得到的这个矩阵(称之为调整相关矩阵)为出发点,对其分别求解特征根与特(称之为调整相关矩阵)为出发点,对其分别求
25、解特征根与特征向量并得到因子解。征向量并得到因子解。在因子模型(在因子模型(6.76.7)中,不难得到如下关于)中,不难得到如下关于 的相关矩阵的相关矩阵 的关系式:的关系式:2023/1/5246.26.2.2 主轴因子法主轴因子法注意到,上面的分析是以首先得到调整相关矩阵注意到,上面的分析是以首先得到调整相关矩阵 为基础的,而实为基础的,而实际上,际上,与共同度(或相对的,剩余方差)都是未知的,需要我们先与共同度(或相对的,剩余方差)都是未知的,需要我们先进行估计。一般我们先给出一个初始估计,然后估计出载荷矩进行估计。一般我们先给出一个初始估计,然后估计出载荷矩 阵阵 后再给出较好的共同度
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 统计分析 第六
限制150内