第8章 主成分分析与因子分析-1.ppt

《第8章 主成分分析与因子分析-1.ppt》由会员分享，可在线阅读，更多相关《第8章 主成分分析与因子分析-1.ppt（108页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第8章章 主成分分析与因子分析主成分分析与因子分析许多变量之间存在的相关性增加了问题许多变量之间存在的相关性增加了问题分析的复杂性分析的复杂性在减少分析变量的同时，尽量减少原变在减少分析变量的同时，尽量减少原变量包含信息的损失，对所收集的资料做量包含信息的损失，对所收集的资料做全面的分析全面的分析主要内容主要内容8.1 主成分分析主成分分析8.2 因子分析因子分析8.3 主成分分析和因子分析的区别主成分分析和因子分析的区别8.4 用用SPSS进行因子分析进行因子分析主成分和因子分析的作用主成分和因子分析的作用 能降低所研究的数据空间的维数；能降低所研究的数据空间的维数；可以用于分析筛选回归变

2、量，构造回归可以用于分析筛选回归变量，构造回归模型；模型；可以用于综合评价；可以用于综合评价；可以对变量进行分类可以对变量进行分类主成分分析主成分分析n能尽可能多地反映原来变量的有用信息，能尽可能多地反映原来变量的有用信息，且相互之间又是无关的综合变量称为且相互之间又是无关的综合变量称为主成主成分分(Principal Components)n主成分分析主成分分析就是考虑各变量间的相互关系，就是考虑各变量间的相互关系，利用降维的思想把多个变量转换成较少的利用降维的思想把多个变量转换成较少的几个互不相关的综合变量几个互不相关的综合变量主成分分析原理消除自变量间的相关性与多维变量降维坐标的旋转变换

3、正交阵正交阵正交阵正交阵降维依据降维依据降维依据降维依据 原理一般化 满足满足（1）（2）正交或正交或正交或正交或U U为正交阵为正交阵为正交阵为正交阵主成分分析的基本问题n每一个主成分的系数如何确定每一个主成分的系数如何确定n如何保留主成分如何保留主成分n如何解释主成分如何解释主成分主成分系数的确定n前提假设前提假设 n第一主成分的系数满足：第一主成分的系数满足：系数的求解结论n若若 的特征值为的特征值为 对应的单位特征向量为：对应的单位特征向量为：nP P个主成分分别是：个主成分分别是：且（且（1 1）（2 2）或或或主成分的保留主成分总方差主成分总方差主成分总方差主成分总方差=原变量的总

4、方差原变量的总方差原变量的总方差原变量的总方差选择主成分的方法(1)贡献率:第i 个主成分的贡献率为累积贡献率:前m个主成分的累积贡献率为选择法则:保留m 个主成分(Cumulative)选择主成分的方法(2)特征值大于特征值大于1原则原则 若若则保留则保留m个主成分个主成分主成分的解释原始指标原始指标 对各个主成分的贡献对各个主成分的贡献 相关系数：相关系数：保留的保留的m个主成分对每个个主成分对每个 的贡献的贡献主成分与原指标间的相关系数m个主成分对原始指标 的贡献前m个主成分提取了 中 的信息由相关阵求主成分指标标准化指标标准化标准化变量的协标准化变量的协方差阵为原始变方差阵为原始变量的

5、相关系数阵量的相关系数阵求相关系数阵的特征值：求相关系数阵的特征值：和对应的单位特征向量：和对应的单位特征向量：写出写出p p个主成分的表达式个主成分的表达式前前m 个主成分的累积贡献率：个主成分的累积贡献率：主成分与标准化指标间的相关系数主成分与标准化指标间的相关系数 主成分的方差主成分的方差样本主成分的计算过程样本主成分的计算过程求数据的样本相关系数阵求数据的样本相关系数阵 求求 的特征值的特征值 和所对应的单位特征向量：和所对应的单位特征向量：(Correlation Matrices)(Eigenvalues)(Eigenvectores)主成分的系数主成分的系数写出写出p p个主成分

6、的表达式：个主成分的表达式：是样本均值是样本均值,是样本标准差是样本标准差标准化数据标准化数据主成分分析的SPSS实现Analyze Data Reduction Factor选取选取点击点击点击点击点击点击1点击点击2点击点击可选可选可选可选可选可选点击点击点击点击点击点击1点击点击2点击点击3可选可选主成分的最后得分点击点击1点击点击2计算计算命名命名计算计算命名命名主成分的应用（主成分的应用（1）利用第一主成分进行综合评价利用第一主成分进行综合评价第一主成分的第一主成分的系数都大于系数都大于0 0第一主成分的第一主成分的贡献率超过贡献率超过80%80%(正向指标)主成分综合评价的SPSS

7、实现Transform Rank Cases点击点击1点击点击2可选可选点击点击主成分的应用（2）。u利用第一、二个主成分进行分类利用第一、二个主成分进行分类若第一、二个主成分的若第一、二个主成分的累积贡献率累积贡献率 ，则由第一、二个主成分在平面上则由第一、二个主成分在平面上的散点图，实现对样品进行分类的散点图，实现对样品进行分类主成分分类的SPSS实现Graphs Scatter确定确定点击点击点击点击点击点击主成分回归（应用3）第二步第二步第三步第三步第一步第一步建立因变量建立因变量 与自变量与自变量 之间的回归方之间的回归方程程若发现自变量若发现自变量之间有多重共之间有多重共线性线性,

8、利用利用的样本数据进的样本数据进行主成分分析行主成分分析若主成分若主成分的累积贡献率的累积贡献率超过超过85%，则，则建立建立 与与的回归方程的回归方程科研案例 n韩伟,李钢.主成分分析在地区科技竞争力评测中的应用.数理统计与管理.2006,25(5):512-517摘要n近年来对于科技竞争力的研究在国内近年来对于科技竞争力的研究在国内方兴未艾方兴未艾,其中对于科技竞争力的评测其中对于科技竞争力的评测是众多学者研究的重点和热点是众多学者研究的重点和热点,也是各也是各级决策者最为关心、最为重要的课题级决策者最为关心、最为重要的课题之一。本文根据科技竞争力概念和内之一。本文根据科技竞争力概念和内涵

9、来确定评测指标体系的构成要素涵来确定评测指标体系的构成要素,建建立了评测指标体系立了评测指标体系,并利用主成分分析并利用主成分分析方法对采集来的数据进行分析方法对采集来的数据进行分析,得到最得到最终的评测结果。终的评测结果。国际竞争力n企业目前和未来在各自的环境中企业目前和未来在各自的环境中,以比以比其国内和国外的竞争者更具有吸引力其国内和国外的竞争者更具有吸引力的价格和质量来进行设计生产并销售的价格和质量来进行设计生产并销售产品一级提供服务的能力和机会。产品一级提供服务的能力和机会。1985年世界经济论坛年世界经济论坛n是一个国家是一个国家(地区地区)或企业在世界市场或企业在世界市场上均衡的

10、生产出比其他竞争对手更多上均衡的生产出比其他竞争对手更多财富的能力。财富的能力。1994 年的国际竞争力报告年的国际竞争力报告一般综合评价过程综合指标综合指标确定权重确定权重数据处理数据处理选择指标体系选择指标体系区域科技竞争力评价区域科技竞争力评价n三级指标体系三级指标体系n将第三级指标混在一起，对混合指将第三级指标混在一起，对混合指标进行主成分分析，利用少数的几标进行主成分分析，利用少数的几个主成分代替第二级指标个主成分代替第二级指标n利用利用DELPH和和AHP方法确定第二方法确定第二级主成分指标和一级指标的权重级主成分指标和一级指标的权重n最后得到每个一级指标的综合值和最后得到每个一级

11、指标的综合值和每个地区科技竞争力的综合值每个地区科技竞争力的综合值因子分析 1.1.因子分析的基本理论因子分析的基本理论因子分析的基本理论因子分析的基本理论 4 4.因子得分因子得分因子得分因子得分2.2.因子分析的数学模型因子分析的数学模型因子分析的数学模型因子分析的数学模型3.3.公公公公因子的求法因子的求法因子的求法因子的求法 2.2.因子分析的数学模型因子分析的数学模型因子分析的数学模型因子分析的数学模型因子分析的基本理论 因子分析与主成分分析的共同点因子分析与主成分分析的共同点通过对相关矩阵的研究将多个变量归结为少数的几个综合变量(因子)因子分析因子分析n1904年年Charles

12、Spearman发表发表对智力测验对智力测验得分进行统计分析得分进行统计分析n因子分析探讨存在因子分析探讨存在相关关系相关关系的变量之间是的变量之间是否存在否存在不能直接观测不能直接观测到但是对可观测指标到但是对可观测指标的变化起的变化起支配作用支配作用的潜在因子（的潜在因子（Factor）的）的分析方法分析方法n商店有一系列指标，但是消费者真正关心商店有一系列指标，但是消费者真正关心的是：商店的环境、服务和商品的价格，的是：商店的环境、服务和商品的价格，这三者就是因子。这三者就是因子。因子分析因子分析n做什么？做什么？因子分析是多元统计分析中处理降维的一种统计因子分析是多元统计分析中处理降维

13、的一种统计方法，它主要将具有错综复杂关系的变量或者样方法，它主要将具有错综复杂关系的变量或者样品综合为数量较少的几个因子，以再现原始变量品综合为数量较少的几个因子，以再现原始变量与因子之间的相互关系与因子之间的相互关系n依据处理的对象不同，可以分为两类：依据处理的对象不同，可以分为两类：R R型因子分析，对变量做降维处理型因子分析，对变量做降维处理 Q Q型因子分析，对样本做降维处理处理型因子分析，对样本做降维处理处理 因子分析基本思想因子分析基本思想n研究变量的相关矩阵内部结构研究变量的相关矩阵内部结构n找出能控制所有变量的少数几个公共因子找出能控制所有变量的少数几个公共因子去描述多个变量之

14、间的相关关系去描述多个变量之间的相关关系n根据相关性大小把变量分组根据相关性大小把变量分组组内变量相关性较高组内变量相关性较高不同组变量相关性较低不同组变量相关性较低nR型因子分析型因子分析n因子分析的几个概念因子分析的几个概念n1、因子载荷、因子载荷n2、变量共同度、变量共同度 n3、公因子、公因子Fj的方差贡献的方差贡献 n4 4、因子旋转、因子旋转 因子旋转的目的是为了使得因子载荷阵的结构简因子旋转的目的是为了使得因子载荷阵的结构简化，便于对公共因子进行解释。化，便于对公共因子进行解释。这里所谓的结构简化是使每个变量仅在一个公共这里所谓的结构简化是使每个变量仅在一个公共因子上有较大的载荷

15、，而在其余公共因子上载荷因子上有较大的载荷，而在其余公共因子上载荷比较小。比较小。这种变换因子载荷阵的方法称为因子轴的旋转。这种变换因子载荷阵的方法称为因子轴的旋转。旋转的方法有很多种，如正交旋转，斜交旋轴等。旋转的方法有很多种，如正交旋转，斜交旋轴等。n5、因子得分、因子得分因子分析的一般步骤因子分析的一般步骤n第一步：确定分析变量，第一步：确定分析变量，收集收集数据资料数据资料n第二步：对原始数据进行第二步：对原始数据进行标准化标准化n第三步：计算所选变量的第三步：计算所选变量的相关系数相关系数矩阵矩阵n第四步：提取第四步：提取公因子公因子，主成分分析，累计方差贡，主成分分析，累计方差贡献

16、率大于献率大于80%，或方差大于，或方差大于1的因子的因子n第五步：因子第五步：因子旋转旋转：坐标变换是每个原始变量在：坐标变换是每个原始变量在尽可能少的公因子之间有密切联系尽可能少的公因子之间有密切联系n第六步：计算公因子第六步：计算公因子得分得分，方便进行进一步的综，方便进行进一步的综合评估、聚类分析和回归分析合评估、聚类分析和回归分析n利用因子分析过程分析各个城市的利用因子分析过程分析各个城市的市政设施建设情况市政设施建设情况n执行执行【AnalyzeAnalyze】/【Dimension Dimension ReductionReduction】/【FactorFactor】命令，弹命

17、令，弹出如图所示对话框。出如图所示对话框。n结果解读结果解读 1 1、相关系数表、相关系数表变量间相关性很高 2 2、KMOKMO检验和检验和BartlettBartlett球形检验球形检验结果表结果表 大于0.7，适合因子分析拒绝原假设，认为各变量之间不独立KMO（Kaiser-Meyer-Olkin)检验检验n是用于比较变量间简单相关系数和偏相关系数的指标。是用于比较变量间简单相关系数和偏相关系数的指标。nKMO统计量是取值在统计量是取值在0和和1之间。当所有变量间的简单相之间。当所有变量间的简单相关系数平方和远远大于偏相关系数平方和时，关系数平方和远远大于偏相关系数平方和时，KMO值接值

18、接近近1.KMO值越接近于值越接近于1,意味着变量间的相关性越强，原有意味着变量间的相关性越强，原有变量越适合作因子分析；当所有变量间的简单相关系数平变量越适合作因子分析；当所有变量间的简单相关系数平方和接近方和接近0时，时，KMO值接近值接近0.KMO值越接近于值越接近于0,意味着变意味着变量间的相关性越弱，原有变量越不适合作因子分析。量间的相关性越弱，原有变量越不适合作因子分析。nKaiser给出了常用的给出了常用的kmo度量标准度量标准:0.9以上表示非常适合；以上表示非常适合；0.8表示适合；表示适合；0.7表示一般；表示一般；0.6表示不太适合；表示不太适合；0.5以下表以下表示极不

19、适合。示极不适合。巴特利特球形检验法巴特利特球形检验法n以相关系数矩阵为基础的。以相关系数矩阵为基础的。n零假设：相关系数矩阵是一个单位阵，即相关系数矩阵对零假设：相关系数矩阵是一个单位阵，即相关系数矩阵对角线的所有元素均为角线的所有元素均为1，所有非对角线上的元素均为零。，所有非对角线上的元素均为零。n巴特利特球形检验法的统计量是根据相关系数矩阵的行列巴特利特球形检验法的统计量是根据相关系数矩阵的行列式得到的。如果该值较大，且其对应的相伴概率值小于指式得到的。如果该值较大，且其对应的相伴概率值小于指定的显著水平时，拒绝零假设，表明相关系数矩阵不是单定的显著水平时，拒绝零假设，表明相关系数矩阵

20、不是单位阵，原有变量之间存在相关性，适合进行主成分分析；位阵，原有变量之间存在相关性，适合进行主成分分析；n反之，零假设成立，原有变量之间不存在相关性，数据不反之，零假设成立，原有变量之间不存在相关性，数据不适合进行主成分分析。适合进行主成分分析。3 3、变量共同度表、变量共同度表该变量95.4的信息已经被提取 4 4、主成分表、主成分表 5 5、碎石图、碎石图提取一个主成分即可 6 6、因子负荷矩阵、因子负荷矩阵 7 7、因子得分系数矩阵、因子得分系数矩阵因子分析的数学模型一般形式一般形式矩阵形式矩阵形式可实测的可实测的p个指标个指标不可观测的公共因子不可观测的公共因子载荷矩阵载荷矩阵特殊因

21、子包括随机误差特殊因子包括随机误差限制条件1.2.3.因子分析的具体任务Two寻找抽象公因子 ,通过分析赋予具有实际意义的解释,并给予命名.One由样本数据估计系数:Three建立公共因子与原始变量之间的关系,从而获得每个样本的公因子得分.因子模型的性质 的协方差阵的协方差阵 与因子载荷阵与因子载荷阵 之间之间的关系：的关系：因子载荷阵不是唯一的因子载荷阵不是唯一的.若若 是一是一个正交阵个正交阵,则则 仍是一个载荷阵仍是一个载荷阵.性质性质性质性质1 1 1 1性质性质性质性质2 2 2 2 因子载荷阵的可得性因子载荷阵的可得性正交旋转使新的因子更有意义正交旋转使新的因子更有意义 因子模型中

22、各系数以及因子的意义n因子载荷的统计意义因子载荷的统计意义 若因子模型中各个变量都已经标准化，则若因子模型中各个变量都已经标准化，则 因子载荷因子载荷因子载荷因子载荷 是第是第是第是第i i个变量与第个变量与第个变量与第个变量与第j j 个公个公个公个公共因子的相关系数，它反映了变量共因子的相关系数，它反映了变量共因子的相关系数，它反映了变量共因子的相关系数，它反映了变量依赖于公共因子的程度。依赖于公共因子的程度。依赖于公共因子的程度。依赖于公共因子的程度。n变量公共度变量公共度 若因子模型中各个变量都已经标准化，若因子模型中各个变量都已经标准化，则则变量变量 的公共度的公共度公共度刻画了全部

23、公共因子对变量公共度刻画了全部公共因子对变量公共度刻画了全部公共因子对变量公共度刻画了全部公共因子对变量原始信息的解释能力，公共度越大原始信息的解释能力，公共度越大原始信息的解释能力，公共度越大原始信息的解释能力，公共度越大公共因子的解释能力就越强。公共因子的解释能力就越强。公共因子的解释能力就越强。公共因子的解释能力就越强。n公共因子的方差贡献公共因子的方差贡献 公共因子公共因子 对对X的总贡献为：的总贡献为：公共因子的贡献是一个公共因子对诸公共因子的贡献是一个公共因子对诸公共因子的贡献是一个公共因子对诸公共因子的贡献是一个公共因子对诸变量总方差的贡献，它衡量这个公因变量总方差的贡献，它衡量

24、这个公因变量总方差的贡献，它衡量这个公因变量总方差的贡献，它衡量这个公因子的相对重要程度。子的相对重要程度。子的相对重要程度。子的相对重要程度。公因子的求法第一步第一步第二步第二步第三步第三步确确确确定定定定初初初初始始始始公公公公因因因因子子子子因因因因子子子子旋旋旋旋转转转转计计计计算算算算因因因因子子子子得得得得分分分分初始公因子的确定（主成分法）1.1.2.2.初始公因子是：初始公因子是：初始公因子是：初始公因子是：载荷的初始估计：载荷的初始估计：载荷的初始估计：载荷的初始估计：一般结论一般结论一般结论一般结论为样本相关系数阵为样本相关系数阵 的的特征值，特征值，是是对应的单位正交特征

25、向对应的单位正交特征向量，若量，若m个主成分的累个主成分的累计贡献率大于计贡献率大于85%,则则初始载荷阵为：初始载荷阵为：此时：此时：因子旋转n理想的因子载荷阵理想的因子载荷阵近似近似1 1近似近似1 1近似近似0 0近似近似0 0根据根据根据根据 的特质命名的特质命名的特质命名的特质命名根据根据根据根据 的特质命名的特质命名的特质命名的特质命名 寻找正交阵寻找正交阵 使使并保证每一列平方元素的方差最大并保证每一列平方元素的方差最大方差最大化正交旋转方差最大化正交旋转m=2时的正交化旋转正交变换正交变换方差最大准则方差最大准则初始载荷阵初始载荷阵初始载荷阵初始载荷阵是的方差,是的方差m=3的

26、正交化旋转初始载荷阵初始载荷阵初始载荷阵初始载荷阵正交旋转正交旋转正交旋转正交旋转 作用于作用于作用于作用于1 1 1 1、2 2 2 2列列列列正交旋转正交旋转正交旋转正交旋转 作用于作用于作用于作用于2 2 2 2、3 3 3 3列列列列 正交旋转正交旋转正交旋转正交旋转 作用于作用于作用于作用于1 1 1 1、3 3 3 3列列列列第第第第1 1 1 1轮旋转结果轮旋转结果轮旋转结果轮旋转结果第第第第2 2 2 2轮旋转结果轮旋转结果轮旋转结果轮旋转结果第第第第3 3 3 3轮旋转结果轮旋转结果轮旋转结果轮旋转结果每一列元素平方每一列元素平方的方差和的方差和每一列元素平方每一列元素平方的

27、方差和的方差和每一列元素平方每一列元素平方的方差和的方差和旋转终止条件 载荷阵载荷阵YES旋转停止旋转停止旋转停止旋转停止NO新一轮旋转新一轮旋转新一轮旋转新一轮旋转因子得分相关系数阵相关系数阵因子载荷阵因子载荷阵标准化标准化因子得分原理科研案例n候文.对应用主成分进行综合评价的探讨.数理统计与管理.2006,25(2):211-214利用主成分分析进行综合评价的优点n可以消除各指标不同量纲的影响可以消除各指标不同量纲的影响n可以消除各指标之间相关性所带来的信可以消除各指标之间相关性所带来的信息重叠息重叠n克服了人为确定权重的问题克服了人为确定权重的问题主成分分析的缺陷n第一主成分的代表性与原

28、变量间的相关第一主成分的代表性与原变量间的相关性有关。性有关。若相关性大，则第一主成分的若相关性大，则第一主成分的贡献率大，综合评价的效果也较好。贡献率大，综合评价的效果也较好。反反之，效果较差。之，效果较差。n第一主成分的系数可能有正有负，与评第一主成分的系数可能有正有负，与评价的实际意义不符。价的实际意义不符。主成分综合评价法的改进第一步第二步第三步利利利利用用用用因因因因子子子子分分分分析析析析将将将将原原原原始始始始变变变变量量量量分分分分组组组组对对对对每每每每一一一一组组组组变变变变量量量量进进进进行行行行主主主主成成成成分分分分分分分分析析析析并并并并保保保保留留留留每每每每一一

29、一一组组组组第第第第一一一一主主主主成成成成分分分分将将将将每每每每一一一一组组组组第第第第一一一一主主主主成成成成分分分分的的的的值值值值综综综综合合合合成成成成最最最最终终终终的的的的评评评评价价价价值值值值主成分分析与因子分析的区别主成分分析与因子分析的区别n1.主成分分析是将主成分表示为原观测变量的线主成分分析是将主成分表示为原观测变量的线性组合，而因子分析是讲原观测变量表示为各公性组合，而因子分析是讲原观测变量表示为各公因子的线性组合因子的线性组合n2.主成分分析中，公共因子数等于变量数，没有主成分分析中，公共因子数等于变量数，没有特殊因子，而因子分析有特殊因子特殊因子，而因子分析有

30、特殊因子n3.主成分分析假设各主成分之间不相关，而因子主成分分析假设各主成分之间不相关，而因子分析假设包括各个公因子之间不相关，特殊因子分析假设包括各个公因子之间不相关，特殊因子之间不相关，公共因子和特殊因子之间不相关之间不相关，公共因子和特殊因子之间不相关主成分分析与因子分析的区别主成分分析与因子分析的区别n4.主成分分析中，每个变量系数唯一确定，主成分分析中，每个变量系数唯一确定，而因子分析中，每个因子不是唯一的而因子分析中，每个因子不是唯一的n5.主成分分析重点在于解释各个变量的总方主成分分析重点在于解释各个变量的总方差，而因子分析重点在于各国变量之间协差，而因子分析重点在于各国变量之间协方差方差