PCA算法的原理及其示例(共7页).doc

《PCA算法的原理及其示例(共7页).doc》由会员分享，可在线阅读，更多相关《PCA算法的原理及其示例(共7页).doc（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上PCA算法的原理及其示例郑琛(北京师范大学，北京 )摘要：主成分分析是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题，对于某些复杂数据就可应用主成分分析法对其进行简化。计算主成分的目的是将高维数据投影到较低维空间。文中介绍了PCA算法的基本概念和基本原理，利用算法在降维和特征提取方面的有效性，结合人脸识别的实例进行详细的阐述。关键字：主成分分析；数据降维；特征提取一、 PCA算法的基本概念 PCA是Principal component analysis的缩写,中文翻译为主成分分析。主成分又称主分量、主元素。它

2、是研究如何通过原来变量的少数几个线性组合来解释随机向量的方差-协方差结构,是数据压缩和特征提取中一种多维向量的统计分析方法1。这种方法可以有效的找出数据中最“主要”的元素和结构,去除噪音2和冗余,将原有的复杂数据降维,揭示隐藏在复杂数据背后的简单结构。它的优点是简单,而且无参数限制,可以方便的应用与各个场合。因此应用极其广泛,从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最有价值的结果之一。二、 PCA算法的原理与基本思想 PCA算法的原理是设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和变量尽可能多地反映原来变量的信息的统计的方

3、法，也是数学上处理降维的一种方法。 PCA算法的基本思想是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。典型的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var（F1）越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称 F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现再F2中，用数学语言表达就是要求Cov（F1，F2）

4、=0，则称F2为第二主成分，以此类推可以构造出第三、第四，.，第P个主成分。应当注意，主成分分析本身往往并不是目的，而是达到目的的一种手段，因此，它多用在大型研究项目的某个中间环节。如把它用在多重回归，便产生了主成分回归，这种回归具有优良性质，另外，它在压缩、特征提取及分类应用中非常有用。三、 PCA求解的一般步骤PCA求解：特征方程的根在线形代数中,PCA问题可以描述成以下形式:寻找一组正交基组成的矩阵P,有Y=PX,使得CYYYT是对角阵。则P的行向量(也就是一组正交基),就是数据X的主元向量。对CY进行推导: CY=YYT=(PX)(PX)T=PXXTPT=P(XXT)PT CY=PAP

5、T定义AXXT,则A是一个对称阵。对A进行对角化求取特征向量得:A=EDET则D是一个对角阵，而E则是对称阵A的特征向量排成的矩阵。这里要提出的一点是,A是一个mm的矩阵,而它将有r(rm)个特征向量。其中r是矩阵A的秩。如果rm,则A即为退化阵。此时分解出的特征向量不能覆盖整个m空间。此时只需要在保证基的正交性的前提下,在剩余的空间中任意取得m-r维正交向量填充R的空格即可。它们将不对结果造成影响。因为此时对应于这些特征向量的特征值,也就是方差值为零。求出特征向量矩阵后我们取P-ET，则A=PTDP，由线形代数可知P矩阵有性质P-1=PT，从而进行如下计算: CY=PAPT=P(PTDP)P

6、T=(PPT)D(PPT)=(PP-1)D(PP-1) CY=D可知此时的P就是我们需要求得变换基。至此我们可以得到PCA的结果:X的主元即是XXT的特征向量,也就是矩阵P的行向量。矩阵CY对角线上第i个元素是数据X在方向Pi的方差。我们可以得到PCA求解的一般步骤:1)采集数据形成mn的矩阵。m为观测变量个数,n为采样点个数。2)在每个观测变量(矩阵行向量)上减去该观测变量的平均值得到矩阵X。3)对XXT进行特征分解,求取特征向量以及所对应的特征根。四、举例说明基于PCA算法的人脸识别PCA方法由于其在降维和特征提取方面的有效性，在人脸识别领域得到了广泛的应用。PCA方法的基本原理是:利用K

7、-L变换3抽取人脸的主要成分，构成特征脸空间，识别时将测试图像投影到此空间，得到一组投影系数，通过与各个人脸图像比较进行识别。利用特征脸法进行人脸识别的过程由训练阶段和识别阶段两个阶段组成。其具体步骤如下：训练阶段第一步：假设训练集有200个样本，由灰度图组成，每个样本大小为M*N，写出训练样本矩阵：其中向量xi为由第i个图像的每一列向量堆叠成一列的MN维列向量,即把矩阵向量化,如下图所示：如：第i个图像矩阵为则xi为第二步：计算平均脸4 计算训练图片的平均脸：第三步：计算差值脸 计算每一张人脸与平均脸的差值:第四步：构建协方差矩阵第五步：求协方差矩阵的特征值和特征向量，构造特征脸空间协方差矩

8、阵的维数为MN*MN，考虑其维数较大，计算量比较大，所以采用奇异值分解(SingularValue Decomposition ,SVD)定理5，通过求解AT A的特征值和特征向量来获得AAT的特征值和特征向量。求出AT A的特征值 及其正交归一化特征向量根据特征值的贡献率选取前p个最大特征向量及其对应的特征向量贡献率是指选取的特征值的和与占所有特征值的和比，即：一般取 即使训练样本在前p个特征向量集上的投影有99%的能量求出原协方差矩阵的特征向量则“特征脸”空间为：第六步 将每一幅人脸与平均脸的差值脸矢量投影到“特征脸”空间，即识别阶段第一步：将待识别的人脸图像 与平均脸的差值脸投影到特征空

9、间，得到其特征向量表示：第二步：定义阈值第三步：采用欧式距离来计算 与每个人脸的距离为了区分人脸和非人脸，还需要计算原始图像 与由特征脸空间重建的图像 之间的距离其中：根据以下规则对人脸进行分类：1)若 ，则输入图像不是人脸图像；2)若 ，且 ， 则输入图像包含未知人脸；3)若 ，且 ， 则输入图像为库中第k个人的人脸。五、结束语 PCA技术的一大好处是对数据进行降维的处理。我们可以对新求出的“主元”向量的重要性进行排序,根据需要取前面最重要的部分,将后面的维数省去,可以达到降维从而简化模型或是对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。 在前文的例子中,经过PCA处理后的数据只

10、剩下了一维,也就是弹簧运动的那一维,从而去除了冗余的变量,揭示了实验数据背后的物理原理。PCA技术的一个很大的优点是,它是完全无参数限制的。在PCA的计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算进行干预,最后的结果只与数据相关,与用户是独立的。但是,这一点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识,掌握了数据的一些特征,却无法通过参数化等方法对处理过程进行干预,可能会得不到预期的效果,效率也不高。参考文献：1Jose C.A Fast On-line Algorithm for PCA and Its Convergence CharacteristicsJ.IEEE,Transactions on Neural Network, 2000, 4(2):299-3072唐懿芳,钟达夫,主成分分析方法对数据进行预处理J.广西师范大学学报.3 彭 辉,等.基于K-L变换的人脸自动识别方法J.清华大学学报(自然科学版),1997,(3).4 何国辉,甘俊英(2006), “PCA类内平均脸法在人脸识别中的应用研究”.计算机应用研究,2006年第三期.5 徐 仲,等.矩阵论简明教程（第四版）M.北京:科学出版社，2005.专心-专注-专业