《主成分分析》PPT课件 (2).ppt

《《主成分分析》PPT课件 (2).ppt》由会员分享，可在线阅读，更多相关《《主成分分析》PPT课件 (2).ppt（57页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主成分分析主成分分析宁波大学商学院综合得分：引言引言变量太多会增加计算的复杂性变量太多给分析问题和解释问题带来困难变量提供的信息在一定程度上会有所重叠用为数较少的互不相关的新变量来反映原变量所提供的绝大部分信息引言引言总体主成分总体主成分设 为某实际问题所涉及的 个随机变量。记 ，其协方差矩阵为 它是一个 阶负定矩阵。设 为 个常数向量，考虑如下线性组合：总体主成分总体主成分易知有 我们希望用 代替原来 个变量 ，这就要求 尽可能地反映原来 个变量的信息。这里用方差来度量。即要求 达到最大。对任意常数 ，若取 ，则 。总体主成分总体主成分 因此，必须对 加以限制，否则 无界。最方便的限制是要求

2、 具有单位长度，即我们在约束条件 之下，求 使 达到最大，因此 所确定的随机变量 称为 的第一主成分。总体主成分总体主成分如果第一主成分 还不足以反映原变量的信息，进一步求 。在约束条件 求使 达到最大。第二主成分第二主成分：依次类推 总体主成分的求法总体主成分的求法设 是 的协方差矩阵，的特征值及相应的正交单位化特征向量分别为 及 ，则 的第 个主成分为 其中 。易见：事实上，令 ，则 为一正交矩阵，且总体主成分的求法总体主成分的求法设 为X的第一主成分，其中 。令 则 并且当 时，等号成立。这时 总体主成分的求法总体主成分的求法在约束条件 下，当 时，达到最大，且 设 为X的第二主成分，则

3、有 即有 且 总体主成分的求法总体主成分的求法令 则有 从而 并且当 ，即 时，。由此知，当 时，满足 ，且使 达到最大。总体主成分的性质总体主成分的性质主成分的协方差矩阵及总方差 记 为主成分向量，则 ，其中 ，且 由此得主成分的方差为总体主成分的性质总体主成分的性质第 个主成分 的贡献率：前 个主成分的累计贡献率：总体主成分的性质总体主成分的性质主成分 与变量 的相关系数 由于 ，故 ，从而 由此可得 与 的相关系数为各主成分与原始变量间的相关各主成分与原始变量间的相关系数系数原变量主成分例例4.14.1设随机变量 的协方差矩阵为 求 的各主成分。解解 易求得 的特征值及相应的正交单位化特

4、征向量分别为例例4.14.1因此 的主成分为 如果我们只取第一主成分，则贡献率为 若取前两个主成分，则累计贡献率为例例4.14.1进一步可求得前两个主成分与各原始变量的相关系数 同理，可求得 即 与 ，高度相关而与 不相关；与 ，以概率1呈完全线性关系。标准化变量的主成分标准化变量的主成分在实际问题中，不同的变量往往有不同的量纲，由于不同的量纲会引起各变量取值的分散程度差异较大，这时总体方差则主要受方差较大的变量的控制。若用 求主成分，则优先照顾了方差大的变量，有时会造成很不合理的结果。为了消除由于量纲的不同带来的影响，常采用变量标准化的方法，即令 其中 。标准化变量的主成分标准化变量的主成分

5、这时，的协方差矩阵便是 的相关矩阵 ，其中 利用 的相关矩阵 作主成分分析，可以得到如下结论：标准化变量的主成分标准化变量的主成分设 为标准化的随机向量，其协方差矩阵（即 的相关矩阵）为 ，则 的第 个主成分为 并且 其中 为 的特征值，为相应于特征值 的正交单位化特征向量 。这时，第 个主成分的贡献率为 ，前 个主成分的累计贡献率为 ，与 的相关系数为例例4.24.2设 的协方差矩阵为 相应的相关矩阵为 分别从 和 出发，作主成分分析。例例4.24.2解解 如果从 出发作主成分分析，易求得其特征值和相应的正交单位化特征向量为 的两个主成分分别为 第一主成分的贡献率为例例4.24.2 与 ，的

6、相关系数分别是 我们可以看到，由于 的方差很大，它完全控制了提取信息量占99.2的第一主成分（在 中的系数为0.999），淹没了变量 的作用。如果从 出发求主成分，可求得其特征值和相应的正交单位化特征向量为例例4.24.2 的两个主成分分别为 此时，第一个主成分的贡献率有所下降，为 注：当涉及的各变量的变化范围差异较大时，从 出发求主成分比较合理。样本主成分样本主成分设 为取自 的一个容量为 的简单随机样本，则样本协方差矩阵及样本相关矩阵分别为 其中样本主成分样本主成分设 是样本协方差矩阵，其特征值为 相应的正交单位化特征向量为 ，这里 。则第 个样本主成分为 其中 为X的任一观测值。当依次代

7、入X的n个观测值 时，便得到第i个样本主成分 的n个观测值 ，我们称为第i个主成分的得分得分。有样本主成分样本主成分第 个样本主成分的贡献率定义为 ，前 个样本主成分的累计贡献率定义为 。样本主成分样本主成分同样，为了消除量纲的影响，我们可以对样本进行标准化，即令 则标准化数据的样本协方差矩阵即为原数据的样本相关矩阵 。由 出发所求得的样本主成分称为标准化样本主成分。只要求出 的特征值及相应的正交单位化特征向量，类似上述结果可求得标准化样本主成分。这时标准化样本总方差为 。样本主成分样本主成分实际应用中，将样本 代入各主成分 中，可得到各样本主成分的观测值 原变量主成分12序号 PROC PR

8、INCOMP可对输入资料文件做主成分分析输入资料文件可以是原始数据、相关系数矩阵或样本协方差矩阵等输出包括相关矩阵或协方差矩阵、特征值、特征向量及标准化的主成分值等PROC PRINCOMPProc princomp 选项串；var 变量名称串；partial 变量名称串；freq 变量名称串；weight 变量名称串；by 变量名称串；PROC PRINCOMPProc princomp options;data=sas data set:指出要分析的sas数据集名称。这个数据集可以是原始观测值的sas数据集，也可以是相关矩阵（typecorr）或协方差矩阵（typecov）。若省略数据集选

9、项，则自动使用最新建立的sas数据集。PROC PRINCOMPProc princomp options;outsas data set：命名一个输出的sas数据集，其中包含原始数据以及各主成分的得分（即各主成分的观测值）。outstatsas data set：命名一个包含各变量的均值、标准差、相关矩阵或协方差矩阵、特征值和特征向量的输出sas数据集。PROC PRINCOMPProc princomp options;covariance（或COV）：要求从协方差矩阵出发作主成分分析。若省略此选项，则从相关矩阵出发进行分析。除非各变量的度量单位是可比较的或已经过某种方式的标准化，否则不宜

10、使用此选项，应从相关矩阵出发作主成分分析。Nn：指定要计算的主成分个数“n”。其默认值为参与分析的变量个数。PROC PRINCOMPProc princomp options;prefixname：规定各主成分的名称的前缀。省略此句则sas系统自动赋予各主成分名称分别为prin1，prin2，。若“nameA”，则各主成分名称分别为A1，A2，。前缀的字符个数加上后面数字位数应不超过8个字符。例例4.34.3对10名男中学生的身高（）、胸围（）和体重（）进行测量，得数据如表。对其作主成分分析。序号身高（cm）胸围（cm）体重（kg）1149.569.538.52162.577.055.531

11、62.778.550.84162.287.565.55156.574.549.06156.174.545.57172.076.551.08173.281.559.59159.574.543.510157.779.053.5例例4.34.3Data students;input x1 x2 x3;cards;149.5 69.5 38.5 157.7 79.0 53.5 ;proc princomp cov;var x1-x3;run;例例4.34.3由上面的sas proc princomp过程，可以算得样本协方差矩阵为S的特征值与单位正交化特征向量分别为例例4.34.3各主成分的贡献率分别为

12、：前两个主成分的累计贡献率已达98.855，实际应用中可只取前两个主成分，即例例4.44.4某市为了全面分析机械类各企业的经济效益，选择了8个不同的利润指标，14家企业关于这8个指标的统计数据如表。试进行主成分分析。例例4.44.4data lirun;input x1-x8;cards;40.4 24.7 7.2 6.1 8.3 8.7 2.442 20.0 38.5 9.1 11.3 9.5 12.2 16.4 1.327 11.6 ;proc princomp cov;var x1-x8;run;例例4.54.5某医学院测得20例肝癌患者的4项肝功能指标：SGPT（转氨酶），肝大指数，Z

13、nT（锌浊度）和AFP（胎甲球），依次用X1X4表示，观察数据如表。试进行主成分分析。例例4.54.5data p1;input x1-x4;cards;40 2 5 2010 1.5 5 30120 3 13 50250 4.5 18 0120 3.5 9 5010 1.5 12 5040 1 19 40270 4 13 60280 3.5 11 60170 3 9 60180 3.5 14 40130 2 30 50220 1.5 17 20160 1.5 35 60220 2.5 14 30140 2 20 20220 2 14 1040 1 10 020 1 12 60120 2 20

14、 0;proc princomp out=pc prefix=y;var x1-x4;run;例例4.64.6一月和七月平均气温的主成分分析 在数据集TEMPERAT中存放有美国一些城市一月和七月的平均气温。我们希望对这两个气温进行主成分分析，希望用一个统一的温度来作为总的可比的温度，所以进行主分量分析。例例4.64.6DATA TEMPERAT;INPUT CITY$1-15 JANUARY JULY;CARDS;MOBILE 51.2 81.6PHOENIX 51.2 91.2LITTLE ROCK 39.5 81.4SACRAMENTO 45.1 75.2DENVER 29.9 73.0

15、HARTFORD 24.8 72.7WILMINGTON 32.0 75.8WASHINGTON DC 35.6 78.7JACKSONVILLE 54.6 81.0MIAMI 67.2 82.3ATLANTA 42.4 78.0BOISE 29.0 74.5CHICAGO 22.9 71.9PEORIA 23.8 75.1INDIANAPOLIS 27.9 75.0DES MOINES 19.4 75.1WICHITA 31.3 80.7LOUISVILLE 33.3 76.9NEW ORLEANS 52.9 81.9PORTLAND,MAINE 21.5 68.0BALTIMORE 33.

16、4 76.6BOSTON 29.2 73.3DETROIT 25.5 73.3SAULT STE MARIE 14.2 63.8DULUTH 8.5 65.6MINNEAPOLIS 12.2 71.9JACKSON 47.1 81.7KANSAS CITY 27.8 78.8ST LOUIS 31.3 78.6GREAT FALLS 20.5 69.3OMAHA 22.6 77.2RENO 31.9 69.3CONCORD 20.6 69.7ATLANTIC CITY 32.7 75.1ALBUQUERQUE 35.2 78.7例例4.64.6ALBANY 21.5 72.0BUFFALO 2

17、3.7 70.1NEW YORK 32.2 76.6CHARLOTTE 42.1 78.5RALEIGH 40.5 77.5BISMARCK 8.2 70.8CINCINNATI 31.1 75.6CLEVELAND 26.9 71.4COLUMBUS 28.4 73.6OKLAHOMA CITY 36.8 81.5PORTLAND,OREG 38.1 67.1PHILADELPHIA 32.3 76.8PITTSBURGH 28.1 71.9PROVIDENCE 28.4 72.1COLUMBIA 45.4 81.2SIOUX FALLS 14.2 73.3MEMPHIS 40.5 79.6

18、NASHVILLE 38.3 79.6DALLAS 44.8 84.8EL PASO 43.6 82.3HOUSTON 52.1 83.3SALT LAKE CITY 28.0 76.7BURLINGTON 16.8 69.8NORFOLK 40.5 78.3RICHMOND 37.5 77.9SPOKANE 25.4 69.7CHARLESTON,WV 34.5 75.0MILWAUKEE 19.4 69.9CHEYENNE 26.6 69.1;PROC PRINCOMP COV OUT=PRIN;VAR JULY JANUARY;RUN;例例4.54.5例例4.64.6输出中，第一部分为简

19、单统计量（均值和标准差），第二部分为协方差的特征值（注意我们在过程中用了COV选项，无此选项用相关阵），从这里可以看到贡献率（Proportion）和累计贡献率（Cumulative），第三部分为特征向量。按本结果的特征向量值及用COV选项规定使用协方差阵，我们可以知道两个主分量如此计算：PRIN1=0.326866*JULY+0.945071*JANUARY PRIN2=0.945071*JULY+(-0.326866)*JANUARY 如果没有用COV选项，原始变量还需要除以标准差。由系数可见，第一主分量是两个月份的加权平均，代表了一个地方的气温水平，第二主分量系数一正一负，反应了冬季和夏季的气温差别。请 注意：此时的特征向量是与上不同的，而主成份公式也应用标准化后的值的。