应用数理统计14主成分分析.ppt

《应用数理统计14主成分分析.ppt》由会员分享，可在线阅读，更多相关《应用数理统计14主成分分析.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、主成分分析 实实际际问问题题中中，同同一一个个总总体体的的p个个指指标标之之间间往往往往存存在在着着相相关关关关系系。主主成成份份分分析析的的主主要要目目的的是是在在这这p个个指指标标中中寻寻找找几几个个相相互互无无关关的的综综合合性性指指标标，使使这这几几个个综综合合性性的的指指标标性性能能反反应应出出原原来来p个指标的信息。这些综合指标就是主成份。个指标的信息。这些综合指标就是主成份。1 基本思想基本思想2 数学模型与几何解数学模型与几何解释释 假设实际问题中有假设实际问题中有p个指标，我们把这个指标，我们把这p个个指标看作指标看作p个随机变量，记为个随机变量，记为x1，x2，xp，主成分

2、分析就是要把这主成分分析就是要把这p个指标的问题，转变为个指标的问题，转变为讨论讨论p个指标的线性组合的问题，而这些新的指个指标的线性组合的问题，而这些新的指标标y1，y2，yk(kp），），按照保留主要信息量按照保留主要信息量的原则充分反映原指标的信息，并且相互无关。的原则充分反映原指标的信息，并且相互无关。这种由讨论多个指标降为少数几个综合指标的这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做过程在数学上就叫做降维降维。主成分分析通常的做法，是寻求原指标的主成分分析通常的做法，是寻求原指标的线性组合线性组合yi：满足如下的条件：满足如下的条件：(2)主成分之间相互无关，即无重叠的

3、信息主成分之间相互无关，即无重叠的信息。即。即(3)主成分的方差依次递减，重要性依次递减，即主成分的方差依次递减，重要性依次递减，即(1)每个主成分的系数平方和为每个主成分的系数平方和为1（否则其方（否则其方差可能为无穷大），即差可能为无穷大），即主主成成分分分分析析的的几几何何解解释释平移、旋转坐标轴平移、旋转坐标轴oo主主成成分分分分析析的的几几何何解解释释平移、旋转坐标轴平移、旋转坐标轴oo 主主成成分分分分析析的的几几何何解解释释平移、旋转坐标轴平移、旋转坐标轴oo二维空间中主成分的几何意义：二维空间中主成分的几何意义：设有设有n个样品，每个个样品，每个样品有两个观测变量样品有两个观测

4、变量xl和和x2。在由变量。在由变量xl和和x2 所确定所确定的二维平面中，的二维平面中，n个样本点所散布的情况如椭圆状。个样本点所散布的情况如椭圆状。由图可以看出这由图可以看出这n个样本点无论是沿着个样本点无论是沿着xl 轴方向或轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别轴方向都具有较大的离散性，其离散的程度可以分别用观测变量用观测变量xl 的方差和的方差和x2 的方差定量地表示。显然，的方差定量地表示。显然，如果只考虑如果只考虑xl和和x2 中的任何一个，那么包含在原始数中的任何一个，那么包含在原始数据中的信息将会有较大的损失。据中的信息将会有较大的损失。将将xl 轴和轴和

5、x2轴先平移，再同时按逆时针方向旋转轴先平移，再同时按逆时针方向旋转 角角度，得到新坐标轴度，得到新坐标轴Fl和和F2，则，则 旋转变换的目的是为了使得旋转变换的目的是为了使得n个样品点在个样品点在Fl轴方向上的轴方向上的离散程度最大，即离散程度最大，即yl的方差最大。变量的方差最大。变量yl代表了原始数代表了原始数据的大部分信息，在研究某些实际问题时，即使不考据的大部分信息，在研究某些实际问题时，即使不考虑变量虑变量y2也无损大局。也无损大局。经过上述旋转变换原始数据的经过上述旋转变换原始数据的大部分信息集中到大部分信息集中到Fl轴上，对数据中包含的信息起到轴上，对数据中包含的信息起到了浓缩

6、作用。了浓缩作用。yl，y2除了可以对包含在除了可以对包含在Xl，X2中的信息起着浓中的信息起着浓缩作用之外，还具有缩作用之外，还具有不相关不相关的性质，这就使得在的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的各点的方差大部分都归结在性。二维平面上的各点的方差大部分都归结在Fl轴上，而轴上，而F2轴上的方差很小。轴上的方差很小。yl和和y2称为原始变量称为原始变量x1和和x2的综合变量。的综合变量。F简化了系统结构，抓住了主简化了系统结构，抓住了主要矛盾。要矛盾。3 主成分的推导及性质主成分的推导及性质 一、两个线性代数的

7、结论一、两个线性代数的结论 1 1、若、若A A是是p p阶实对称阵，则一定可以找到正交阵阶实对称阵，则一定可以找到正交阵U U，使，使其中其中 是是A A的特征根。的特征根。2 2、若若上上述述矩矩阵阵的的特特征征根根所所对对应应的的单单位位特特征征向向量量为为 则则U U是正交矩阵，即有是正交矩阵，即有令令 二、主成分的推导二、主成分的推导 （一）（一）第一主成分第一主成分设设x x的协方差阵为的协方差阵为由由于于x x为为非非负负定定的的对对称称阵阵，所所以以存存在在正正交交阵阵U U，使得使得其中其中 1 1,p p为为x x的特征根，不妨假设的特征根，不妨假设 1 1 p p。U是由

8、特征根相对应的特征向量所组成的正交阵：是由特征根相对应的特征向量所组成的正交阵：设有设有P P维单位向量维单位向量下面证明，由下面证明，由U的第一列元素所构成的原始变量的的第一列元素所构成的原始变量的线性组合有最大的方差。线性组合有最大的方差。y y1 1称为第一主成分。称为第一主成分。如果第一主成分的信息不够，则需要寻找如果第一主成分的信息不够，则需要寻找第二主成分。第二主成分。（二）（二）第二主成分第二主成分在约束条件在约束条件 下，寻找第二主成分下，寻找第二主成分 因为因为所以所以 于是，对任意的于是，对任意的p p维向量维向量a2 2，有，有 所以如果取线性变换：所以如果取线性变换：则

9、则y y2 2的方差为的方差为2 2次大，并且次大，并且y y1 1和和y y2 2线性无关。线性无关。类似地，可以得到方差逐步减少的类似地，可以得到方差逐步减少的p p个线性无关个线性无关 的主成分：的主成分：小结：方差逐步减少的小结：方差逐步减少的p p个线性无关的主成分为个线性无关的主成分为 写为矩阵形式：写为矩阵形式：1 1、均值、均值2 2、原原总总体体的的总总方方差差（或或称称为为总总惯惯量量）等等于于不不相相关的主成分的方差之和关的主成分的方差之和4 4 主成分的性质主成分的性质4 4、贡献率与累积贡献率、贡献率与累积贡献率1 1）贡献率：）贡献率：第第i个主成分的方差在全部方差

10、中所占比个主成分的方差在全部方差中所占比重重 ，称为第，称为第i个主成分的贡献率个主成分的贡献率，反映了第反映了第i个指标提供多大的信息，有多大的综合能力个指标提供多大的信息，有多大的综合能力。2 2）累积贡献率：）累积贡献率：前前k个主成分共有多大的综合能力，个主成分共有多大的综合能力，用这用这m个主成分的方差和在全部方差中所占比重个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。来描述，称为累积贡献率。累积贡献率大小反映累积贡献率大小反映m个主成分提取了个主成分提取了的多少信息，但没有表达某个变量被提取了多少的多少信息，但没有表达某个变量被提取了多少信息，为此引人下述概念。信息，

11、为此引人下述概念。例例:设设x1,x2,x3的协方差矩阵为的协方差矩阵为 解得特征根为解得特征根为 第第一一个个主主成成分分的的贡贡献献率率为为5.83/（5.83+2.00+0.17）=72.875%，尽尽管管第第一一个个主主成成分分的的贡贡献献率率并并不不小小，但但在在本本题题中中第第一一主主成成分分不不含含第第三三个原始变量的信息，所以应该取两个主成分。个原始变量的信息，所以应该取两个主成分。相应的正交特征向量为相应的正交特征向量为5 标准化变量的主成分及其性质标准化变量的主成分及其性质在在实实际际问问题题中中，总总体体的的协协方方差差阵阵通通常常是是未未知知的的，需要由样本方差阵估计。需要由样本方差阵估计。记样本观测阵为记样本观测阵为5 样本的主成分则样本协方差阵则样本协方差阵S和样本相关阵和样本相关阵R分别为分别为一、样本主成分及其性质一、样本主成分及其性质1.主成分得分阵主成分得分阵注意到注意到所以，主成分得分阵和标准化后的原始观测所以，主成分得分阵和标准化后的原始观测阵之间满足：阵之间满足：2.样本主成分的性质样本主成分的性质