(精品)数学建模：主成分分析.ppt

《(精品)数学建模：主成分分析.ppt》由会员分享，可在线阅读，更多相关《(精品)数学建模：主成分分析.ppt（76页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主成分分析主成分分析Principal component analysis主成分分析的基本思想主成分分析的基本思想主成分数学模型与几何解释主成分数学模型与几何解释主成分的推导主成分的推导主成分分析的应用主成分分析的应用主成分回归主成分回归主成分分析，是一种通过主成分分析，是一种通过降维降维来简化数据结构的方法：来简化数据结构的方法：把把多个多个变量化为变量化为少数少数几个综合变量（综合指标）几个综合变量（综合指标），而而这这几几个个综综合合变变量量可可以以反反映映原原来来多多个个变变量量的的大大部部分分信信息息,（85%85%以以上上），所所含含的的信信息息又又互互不不重重叠叠，即即各各个个

2、指指标它们之间要相互标它们之间要相互独立独立，互不相关互不相关。主成分分析主要起着主成分分析主要起着降维降维和和简化数据结构简化数据结构的作用。的作用。这些综合变量就叫这些综合变量就叫因子因子或或主成分主成分，它是不可观测的，它是不可观测的，即它不是具体的变量即它不是具体的变量,只是几个指标的只是几个指标的综合综合。1 基本思想例：小学各科成绩的例：小学各科成绩的评估评估可以用下面的可以用下面的综合综合成绩来成绩来体现：体现：a1a1语文语文a2a2数学数学a3a3自然自然a4a4社会科学社会科学 确定权重系数的过程就可以看作是确定权重系数的过程就可以看作是主成分主成分分分析的过程，得到的加权

3、成绩总和就相对于析的过程，得到的加权成绩总和就相对于新的综新的综合变量合变量主成分主成分 主成分分析法是一种常用的基于变量主成分分析法是一种常用的基于变量协方差矩阵协方差矩阵对信息进行处理、压缩和抽提的有效方法。对信息进行处理、压缩和抽提的有效方法。为什么要根据方差确定主成分？为什么要根据方差确定主成分？情形情形II II下总分的方差为下总分的方差为0 0，显然不能反映三个学生各，显然不能反映三个学生各科成绩各有所长的实际情形，而科成绩各有所长的实际情形，而红色红色标记的变量对应标记的变量对应的方差最大，可反映原始数据的大部分信息的方差最大，可反映原始数据的大部分信息对对主成分的要求主成分的要

4、求 上例可见，用上例可见，用总分总分 有时可以反映原分数表的情况，保留原有信息；有时可以反映原分数表的情况，保留原有信息；有时则把信息丢尽，不能反映原理的情况和差异。有时则把信息丢尽，不能反映原理的情况和差异。根据总分所对应的根据总分所对应的方差方差可以确定其代表了多大可以确定其代表了多大 比例的原始数据（分数）信息。比例的原始数据（分数）信息。一般来说，我们希望能用一个或少数几个综合指一般来说，我们希望能用一个或少数几个综合指标（分数）来标（分数）来代替代替原来分数表做统计分析，而且希原来分数表做统计分析，而且希望新的综合指标能够尽可能地保留原有信息，并具望新的综合指标能够尽可能地保留原有信

5、息，并具有有最大的方差。最大的方差。2 2 数学模型与几何解释数学模型与几何解释 假设我们所讨论的实际问题中，有假设我们所讨论的实际问题中，有p p个指标，个指标，我们把这我们把这p p个指标看作个指标看作p p个随机变量，记为个随机变量，记为X1，X2，Xp，主成分分析就是要把这主成分分析就是要把这p p个指标的问题，转变为讨论个指标的问题，转变为讨论 m m 个新个新的指标的指标F1，F2，Fm (m|t|Intercept x1X2x31111-10.12799-0.051400.586950.286851.212160.070280.094620.10221-8.36-0.73 6.2

6、02.810.0001 0.48830.00040.0263Parameter EstimatesDependent Mean 21.89091R-Square0.9919Root MSE 0.48887Adj R-Sq0.9884Summary of FitF1F2F3x1X2x30.70630.04350.7065-0.03570.9990-0.02580.70700.0070-0.7072EigenvectorsEigenvalueDifference ProportionCumulativePCR1PCR2PCR31.9992 0.99820.00261.00100.99550.666

7、4 0.3327 0.00090.6664 0.99911.0000Eigenvalues of the Correlation MatrixF1=0.7063x1+0.0435x2+0.7065x3F2=-0.0357x1+0.9990 x2-0.0258x3 Obs x1 x2 x3 y*F1 F2 F3 1 -1.50972 0.54571 -1.53319 -1.31852 -2.12589 0.63866 0.020722 2 -1.11305 0.48507 -1.20848 -1.20848 -1.61893 0.55554 0.071113 3 -0.76971 -0.1212

8、7 -0.80140 -0.63625 -1.11517 -0.07298 0.021730 4 -0.63637 -0.12127 -0.62209 -0.61424 -0.89430 -0.08237 -0.010813 5 -0.45970 -1.33395 -0.37008 -0.68027 -0.64421 -1.30669 -0.072582 6 -0.12970 -0.66697 -0.09869 -0.32813 -0.19035 -0.65915 -0.026553 7 0.25031 -0.72761 0.30355 0.17807 0.35962 -0.74367 -0.

9、042781 8 0.59365 1.39458 0.69610 1.01440 0.97180 1.35406 -0.062863 9 1.05032 1.03078 1.09350 1.36654 1.55932 0.96405 -0.023574 10 1.24366 1.09141 1.19042 1.25649 1.76700 1.01522 0.044988 11 1.48033 -1.57648 1.35035 0.97038 1.93110 -1.66266 0.080613 SourceDFSum of SquaresMean SquareF 值值ProbFModelErro

10、rTotal28109.88280.117210.00004.94140.0147337.23020.0001Analysis of VarianceVariableDFEstimateStandard Errort 值值Prob|t|F1F2110.69000.19130.02710.038325.4859 4.99300.00010.0011Parameter Estimates标准化后的变量把标准化变量还原，代入得：影响人们外出旅游的因素有居民收入、交通、闲影响人们外出旅游的因素有居民收入、交通、闲暇时间、旅游目的地治安状况、旅游目的地的环暇时间、旅游目的地治安状况、旅游目的地的环境卫生

11、以及接待能力等等。境卫生以及接待能力等等。由于资料的可得性和代表性，选择以下变量由于资料的可得性和代表性，选择以下变量。国内旅游人数（百万人）农村居民人均纯收入（元）城镇居民人均可支配收入（元）公路线路里程（万公里）数据见sasuser.tourmx例例2 国内旅游人数模型国内旅游人数模型VariableDFEstimateStandardErrort 值值Prob|t|Intercept IncomeonIncomeocHighway1111417.8201-0.13810.1737-3.000974.02300.06990.03020.81925.6445-1.97595.7589-3.6

12、6330.0005 0.08360.00040.0064Parameter EstimatesDependent Mean 558.1017R-Square0.9920Root MSE 19.2003Adj R-Sq0.9890Summary of FitF1F2F3x1X2x30.58100.59180.5588-0.5167-0.26230.81500.6289-0.76220.1533EigenvectorsEigenvalueDifference ProportionCumulativePCR1PCR2PCR32.8088 0.18500.00622.62380.17880.9363

13、0.06170.00210.9363 0.99791.0000Eigenvalues of the Correlation MatrixF1=0.5810 x1+0.5918x2+0.5588x3F2=-0.5167x1-0.2623x2+0.8150 x3 SourceDFSum of SquaresMean SquareF 值值ProbFModelErrorTotal291110.71130.288711.00005.35560.0321166.93280.0001Analysis of VarianceVariableDFEstimateStandard Errort 值值Prob|t|

14、F1F2110.5767-0.46200.03220.125617.8977-3.67940.00010.0051Parameter Estimates标准化后的变量把标准化变量还原，代入得：主成分的改进1、无量纲化的改进无量纲化的改进从标准化的数据提取的主成分，实际上只包含了各指标间从标准化的数据提取的主成分，实际上只包含了各指标间相互影响这一部分信息，不能准确反映原始数据所包含的相互影响这一部分信息，不能准确反映原始数据所包含的全部信息。全部信息。改进原始数据的无量纲化方法改进原始数据的无量纲化方法u 均值化方法均值化方法均值化后，数据的协方差矩阵均值化后，数据的协方差矩阵S 中的元素中的

15、元素均值化后，数据的协方差矩阵均值化后，数据的协方差矩阵对角线上是原变量标准差系数的平方，其他位置对角线上是原变量标准差系数的平方，其他位置上是变量两两之间的相互关系。上是变量两两之间的相互关系。均值化处理后的协方差矩阵不仅消除了指标量纲与均值化处理后的协方差矩阵不仅消除了指标量纲与数量级的影响，还能包含原始数据的全部信息。数量级的影响，还能包含原始数据的全部信息。2、广义主成分分析广义主成分分析 非线性主成分非线性主成分有许多实际问题，其观测数据阵并非线性结构，而呈现非线性结构。对于非线性结构的观测阵，应根据指标变量的具体的非线性结构，选用适当的曲面作坐标平面。采用原指标的非线性函数构造综合

16、指标。由Grandesikan（1966）和Wilkinson（1968）提出。他们提议用原变量 的广义线性式其中为X的已知函数形式对于给定的观测数据阵，若采用线性主成分分析效果很差（S或R的特征值取值分散，指标压缩很少或分析结果严重违反客观实际），可采用非线性主成分分析。计算Y的观测数据阵 .根据已给定的函数关系式对Y求线性主成分，求得 k 个线性主成分广义主成分分析的关键在于确定非线性函数究竟取何种形式，应视具体情况，结合有关专业理论或实践经验给定。成分向量成分向量的广义主成分分析的广义主成分分析设随机向量设随机向量 满足下列条件：满足下列条件：从而每一分量可视为某一成分的含量，则称从而每一分量可视为某一成分的含量，则称X为为成分向量。成分向量。其观测数据阵其观测数据阵称为合成数据称为合成数据“对数对数-线性比线性比”主成分主成分Aitchison教授（教授（1981年）提出用年）提出用“对数对数-比比”变换变换为成分向量为成分向量X的任一恒正函数。的任一恒正函数。一般可取一般可取相应的相应的Y的观测数据阵为的观测数据阵为称之为称之为“对数对数-中心化中心化”变换变换