基于PCA的人脸识别.doc

基于PCA的人脸识别哲盼（华北电力大学 自动化系， 071003）摘要：人脸识别技术，作为目前模式识别领域研究的热点也是难点之一，其最早提出可以追溯到1888年1。然而，到目前为止，由于人脸识别问题自身的复杂性，使得虽然有众多科学研究人员潜心研究多年，也做出了许多的成果，但离彻底解决并达到实用，仍旧有很多关键性的问题需要解决。本文结合研究生阶段参与教研室的科研项目，对人脸识别做了一定的研究。论文首先介绍了人脸识别的背景、研究围以与方法，对人脸识别领域的一些理论方法作了总体的介绍。本文中所采用的人脸识别方法是比较经典的PCA(Principle Component Analysis，主成分分析)2-6。关键词：人脸识别，主成分分析，PCA，特征脸PCA-based face recognitionCHEN Zhe-pan(Department of Automation North China Electric Power University, Baoding 071003 China)Abstract:Techniques for face recognition were proposed by Francis Galton as early as 18881In recent years considerable progress has been made in the area of face recognition：Through the development of techniques like Eigenfaces computers can now outperform humans in many face recognition tasks，particularly those in which large databases of faces must be searchedWhilst these methods performs extremely well under constrained conditions，the problem of face recognition under gross variations remains largely unsolvedThis thesis details the PCA(Principle Component Analysis)algorithm and the development of a real-time face recognition system aimed to operate in constrained environmentsKeywords：face recognition,principle component analysis,PCA, Eigenfaces 12 / 120 引言随着社会的不断发展进步以与各方面对快速有效的身份识别技术的迫切需求，生物特征识别技术在最近十年中得到了很快的发展。生物特征识别技术是为了验证身份而采用自动测量技术对身体的特征或个人行为特点进行采集处理，并将采集的特征或特点与模板进行比较，从而完成身份验证的一种解决方案。由于生物特征识别技术利用人本身所具有的特征(如指纹、虹膜、人脸等)进行身份认证，因而它比传统的根据人所携带物品(如)和你所记忆的容(如账号和密码)更加安全和可靠。我们有理由相信生物特征识别技术将使人们的生活方式产生重大的变化7。人脸识别是生物特征识别技术的一种，它也是人们生活中最常用的一种身份认证手段，同时它也是当前最热门的模式识别研究课题之一。通过人脸我们可以判定许多信息:性别、种族、大致年龄与表情等。与其它的生物特征识别技术相比，人脸识别在采集特征时不需要与采集对象进行直接接触，因此人们不会产生排斥的心理，所以人脸识别可以成为一种最友好的身份认证技术。人脸识别应用前景广泛，可用于公安机关罪犯身份的认证，档案管理，银行的监控系统，入口控制等。人脸识别对于我们人类而言是一件非常简单的问题，但人脸识别的机制实际上是非常复杂的。人脸识别的课题涉与到计算机视觉、图像处理、机器学习、模式识别等很多方面的知识8。近年来人脸识别技术己经取得了很大发展，产生了很多新颖的方法，一些人脸识别系统也己经投入市场。但还有很多的因素制约着它的发展，人脸识别的鲁棒性受人脸自身和环境的复杂性，如表情、姿态、光照变化的影响很大。所以它仍是目前一项非常具有挑战性的研究课题。1 人脸特征提取与识别方法人脸识别本质上是三维塑性物体二维投影图像的匹配问题，它的困难体现在：(1)人脸塑性交形(如表情等)的不确定性；(2)人脸模式的多样性(如胡须，发型，眼镜，化妆等)；(3)图像获取过程中的不确定性(如光照的强度，光源方向等)。识别人脸主要依据人脸上的特征，也就是说依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定的度量。由于人脸变化复杂，因此特征表述和特征提取十分困难。在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一化。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小，灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度地克服光照变换的影响而提高识别率9。关于人脸特征提取和识别的方法可概述如下：基于几何特征的方法：人脸由眼睛，鼻子，嘴巴，下巴等部件构成，正因为这些部件的形状，大小和结构上的各种差异才使得世界上由这些每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸识别的重要特征。基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。基于特征脸的方法：Turk和Pontland2,3提出特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸。识别时将测试图像投影到主元子空间上，得到一组投影系数，和各个已知人的人脸图像进行比较进行识别。特征脸方法是一种简单，快速，实用的基于变换系数特征的算法，但由于它本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练集比较像，所以它有着很大的局限性。基于弹性模型的方法：Lades等人针对畸变不变性的物体识别提出了动态模型(DLA)，将物体用稀疏图形来描述，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连接关系并用几何距离标记，然后应用塑性图形匹配技术来寻找最近的已知图形10,11。Wiscott等人在此基础上作了改进，用FERET图像库做实验，用300幅人脸图像和另外300幅图像做比较，准确率达到97.3%12。此方法的缺点是计算量非常巨大。神经网络方法：神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述还是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。其他方法：Brunelli等对模板匹配方法作了大量实验，结果表明在尺度，光照，旋转角度等各种条件稳定的情况下，模板匹配的效果优于其他方法13，但它对光照，旋转和表情变化比较敏感，影响了它的直接使用。Goudail等人采用局部自相关性作为人脸识别的判断依据，它具有平移不变性，在脸部表情变化时比较稳定14。在最近的一些工作中15，Benarie等提出VFR的表示框架并将它用于人脸识别的工作中，Lam等人研究了不同视点下的人脸匹配和识别问题闭，Vetter等人讨论了由单幅人脸图像生成其他视点的人脸图像的可能性，Mirhosseini等则探讨了多种信息融合的人脸识别方法。本文主要从基于代数特征的主成分分析(PCA)方法着手，在大量实验的基础上对影响人脸识别的因素进行了研究和探讨。2 基于PCA的人脸识别2.1 概述主成分分析(Principal Components Analysis。即PCA，也称为K-L变换)，是图像压缩中的一种最优正交变换。PCA用于统计特征提取构成了子空间法模式识别的基础。它从图像整体代数特征出发，基于图像的总体信息进行分类识别。Simvich和Kirby首先将K-L变换用于人脸图像的最优表示。Turk和Pentland进一步提出了“特征脸”(Eigcnface)这个概念下文首先介绍了PCA算法的原理和实现过程，然后给出了在ORL库上的实验结果。将PCA方法用于人脸识别，其实是假设所有的人脸都处于一个低维线形空间，而且不同的人脸在这个空间中具有可分性。其具体做法是由高维图像空间经KL变换后得到一组新的正交基，对这些正交基作一定的取舍，保留其中的一部分生成低维的人脸空间，也即人脸的特征子空间。完整的PCA人脸识别算法步骤包括：(1)、人脸图像预处理。(2)、读入人脸库。训练形成特征子空间。(3)、把训练图像和测试图像投影到上一步骤中得到的子空间上。(4)、选择一定的距离函数进行识别。2.2 人脸图像预处理人脸图像的预处理主要处理旧照片或扫描照片因拍摄环境不同产生的光照干扰和角度倾斜。常用的处理有：(1) 、图像噪声滤波输入图像一般在人脸定位、特征提取等方面都会受到噪声问题的影响，一般来说，去除噪声的算法主要是平滑滤波：平滑滤波算法首先需要选择一定的图像区域，在这个区域，选取一个像素作为中心，进而在区域选择一个小的区间，该区间的像素作为该像素区间的基数，然后讲过一种公式化的预算变化推导出该中心像素的新值。一般通过卷积的方法实现平滑滤波。(2) 、图像旋转在有些情况下，人脸的正面图像会因为坐姿，摄像机倾斜等问题产生不同角度的偏差和倾斜现象，这些偏差数值不一，有大有小，但是在图像识别过程中，细微的、小角度的偏差也会对图像的视觉效果造成一定程度的影响，由此，对这些小角度的处理是也是人脸预处理的必要步骤。调整人脸角度的原理一般是依据常识情况下，图像中，在正常无倾斜的情况下，人物两眼处于同一个水平线上，对人物两眼间的夹角进行计算，如果夹角为0，则图像是水平的，如果夹角不为零，则说明两眼存在一定程度的倾斜。具体计算时，将两眼夹角设为，将的数值计算出后，反向旋转角度，就可以得出校正后的图像。具体计算方法如下：设两眼的瞳孔坐标分别为（x1,Y1）和（x2,Y2），则的求取公式如下：设图像中任意点的坐标为（x,y），旋转后该点的坐标为（X,Y），则在进行具体操作时，需要注意我们通常对数据图像进行存储时，存储方式一般是矩阵方式，如果 仅仅是将处理图像进行扩大存放，就会导致图像位移。因此，在调整图片角度时，所应进行的预备步骤是首先将图像四个顶点进行旋转，然后取得这些坐标的最值，进而在确定旋转后图像应有的高度和宽度，然后依次对矩阵进行扩展。(3) 、图像姿态归一化处理在进行图像识别过程中，还会遇到人物姿态存在一定深度的偏转现象，对这种图像，一般我们都会将其调整到图片正面视图以保证图片的质量，在图像旋转中，两眼间的角度是进行图片旋转的基准，而在此，两眼间的中点和鼻、鼻尖的角度为计算的基准。两眼的中点与鼻、鼻尖处于同一条垂直线上为正面视图，如果不在一条垂直线上，则视为姿态偏转视图。其计算原理是将双眼、鼻尖三个点作为特征点，进而求出两幅图像间的仿射变化关系，进而将输入的图像进行校准，从而补偿由姿态深度偏转带来的影响。2.3 PCA人脸识别流程(1) 、读入人脸库。读入每一个二维的人脸图像数据并转化为一维的向量。每人选择一定数量的图像构成训练集，其余构成测试集。假设图像的大小是W×h(w和h分别为图像的宽度和高度)，整个人脸库中图像个数是n，用于训练的人脸图像个数是n1，测试的图像个数是n2，令m=w×h，则训练集是一个m×n1的矩阵，测试集是m×n2的矩阵。第i幅人脸可以表示为(m为一位向量维数)：(2) 、计算KL变换的生成矩阵，进行KL变换。KL变换的生成矩阵可以是训练样本的总体散布矩阵S。，也可以是训练样本的类问散布矩阵Sb等。散布矩阵由训练集生成。总体散布矩阵可表示为(忽略系数)：若取总体散布矩阵St作为生成矩阵。记则可写成：若将类散布矩阵Sb(忽略系数)作为KL交换的生成矩阵，即：这里c为训练样本集中模式类别数，两(i=l，c)是训I练样本集中各类模式样本的均值矢量，且记：则生成矩阵为：此时产生矩阵的秩r一般为c。(3) 、计算生成矩阵的特征值和特征向量，构造子空间。首先把特征值从大到小进行排序，同样的，其对应的特征向量的顺序也作相应的调整。然后选择其中的一部分构造特征子空间。(4) 、把训练图像和测试图像投影到特征空间中。每一幅人脸图像投影到子空间后，就对应于子空间中的一个点，同样，子空间中的任一点也对应于一幅图像。这些子空间中的点在重构以后的图像很像“人脸”，所以它们被称为“特征脸”(见图2-1)，这也是Eigneice名称的由来，而通过K·L变换进行人脸识别的方法被称为“特征脸”方法。有了这样一个由“特征脸”组成的降维子空间，任何一幅人脸图像都可以向其做投影并获得一组坐标系数，这组系数表明了该图像在予空间中的位置，这样原来的人脸图像的识别问题就转化为依据子空间中的训练样本点进行分类的问题。下一步就可以运用模式分类的理论进行识别。(5) 、把投影到子空间中的所有测试图像和训练图像进行比较，确定待识样本所属的类别。这里可以采用多种不同的分类器进行方式：如曼哈顿距离、最近邻分类器、最小距离分类器、贝叶斯分类器等。图2-1“特征脸”图像（依次为分别取第1、2、3、4、5、10、30、80、130、180个特征向量所得）2.4 特征向量的选取虽然协方差矩阵z最多有对应于非零特征值的k(kn1且k远小于m)个特征向量，但是通常情况下，k仍然很大，而事实上，根据应用的要求，并非所有的特征向量都有需要保留，而特征空间投影的计算速度是直接与创建子空间所用的特征向量的数目相关，若考虑到计算时间的因素，可以适当的减去一些信息量少的特征向量，而且，去掉这些特征向量之后不一定不利于分类结果，有的情况下反而能够提高识别性能。下面讨论五种不同的特征值选择方法：(1) 、标准的特征空间投影：所有k个对应于非零特征值的特征向量均被用于创建特征脸子空间；该方法在七值比较大的时候，计算速度比较慢，而且不利于分类，没有达到降维人脸空间维数的效果。(2) 、丢弃最后40的特征向量：因为特征向量是按照特征值降序来排列的，该方法丢弃了反映最少的40图像间差异的特征向量。(3)、保持前面的C一1个特征向量：将特征值按照降序排列，同时只保留最前面的c一1个特征向量。其中C为训练图像的类别数。(4)、按照计算信息量来确定维数：不同于前面固定的丢弃一些特征向量，该方法采用保证剩余的特征向量说包含的信息与总的信息量相比大于一定的阈值e的值通常取为09。可以依照下列公式计算：(5)、丢弃最前面的三个特征向量：同样将特征值按照降序排列。文献16提到对应于最大三个特征值的特征向量有可能反应了图像间由于光线不同而造成的差异，可以丢弃前面的三个特征向量会提高识别率。3 实验结果与分析以上详细讨论了PCA人脸识别的方法与一些需要注意的问题。针对上面提出的问题，本文进行了一系列的实验。所有的实验都在MATLAB7.6下进行。机器配置为Intel(R)Core(TM)i3-2130 CPU3.40GHz,2.84GB存。考虑到ORL是较为通用的人脸库，国的文章大多都采用这个库作为实验的人脸库，下文的主要分析是基于在ORL库上的实验数据进行的。3.1 子空间维数与识别率的关系：由上面的讨论可以知道，如果训练集人脸个数为n，则总体散布矩阵的特征向量维数最多只能为n，远小于图像的大小。但所有这些特征向量是否都需要?如果需要，需要多少个?选择不同个数的特征向量对识别率有什么影响?这些都是值得探讨的问题。在图21中的“特征脸”可以发现，前面的特征向量，反映了较多的信息，越往后，各“特征脸”之间的差异不是很大，虽然也能够看出是一个人脸形状，但是包含的信息少了。为了更有效的说明子空间维数与识别率的关系，本文在取训练样本数为240时分别取子空间维数为1到100，绘出了识别率的曲线图如图3-1所示。由图可以很明显的看出，随着子空间维数的增加，识别率也响应的提高。在子空间维数较小时，识别率的变化特别明显。基本上子空间维数从30开始，识别率就趋于稳定了。所以选择合适的子空间维数不但可以提高识别率还可以减少运算时间。图3-1不同子空间维数下的识别曲线线图横坐标为子空间维数，纵坐标为识别率3.2 训练样本数与识别率的关系：在一样的子空间维数下，取不同的训练样本数，最后的识别率也不同。训练样本数识别率10.67820.75030.78940.84650.88060.90670.94180.93890.925表3-1不同训练样本数下的识别率（训练样本数3表示3个人训练7个人测试）由表3-1可知训练样本少的情况下的整体识别率要比训练样本多的情况低，其识别率曲线趋向平稳的过程也越慢。当然从直观上来讲，这也符合我们的认识：用于训练的人越多，训练也就越充分，其能识别的情况就越多。但这种结论并不能推广到一般的情况，尤其并不是子空间的维数越多越好。观察识别率曲线可以发现，识别率并不是平稳增加的。观察大量的实验数据可以发现，存在一个极值点，之后子空间维数的增加识别率就再也不会超过那个极值点了。对也就说明并不是所有的特征向量都代表了有效的人脸信息，有的特征向量所代表的可能是和人脸信息无关的噪声、背景等无效信息，把这些特征向量加入作为构成子空间的基，会导致识别率的下降。4 总结随着计算机技术的迅猛发展，人们期望着计算机能具有人的视觉功能，然而除了一些专用的视觉系统外，迄今为止，还没有较为成功的通用视觉系统。人脸识别是计算机视觉领域中一个相当困难而又极富挑战性的前沿课题，还处于探索阶段，离实用还有很长的一段路要走。除了个人身份验证外，安全监控如罪犯跟踪、反恐怖活动等对高技术的要求，人机智能界面的需要，特别是因特网上包含人脸图像的大型数据库日益增多，对此类数据库的大量查询和检索等等，对人脸自动识别的要求日益迫切。本文简单介绍了人脸识别特征提取与常用的方法，并介绍了常见的人脸图像预处理方法，最后对PCA人脸识别方法进行了深入的研究，详细介绍了该方法的原理与实现步骤，并通过编程对该方法进行测试，分析不同条件下的识别率情况。结果表明，基于PCA的人脸识别具有不错的识别率，想要进一步提高识别率可以从图像预处理和子空间维数的选择等方面进行深入研究。参考文献：1 RGalton“Personal identification and description”，Nature，June 21，1888，173-1772Turk M and Pentland AEigenfaces for recognitionJCognitive Neuroscience，1991，3(1)：71-863Turk M and Pentland A Face Recognition using eigenfaces，In Proceeding of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,1994，pp：586-5914 Pentland A et a1View-based modular eigenspaces for face recognitionProcIEEE Confon CVPR,1994，84-915 Kirby M and Sirovich LApplication of the KL procedure for the characterization of human facesIEEE TransPattern AnalMachine Intell，1990，12(1)：1031086 辉，长水，荣钢，边肇棋基于K-L变换的人脸自动识别方法清华大学学报(自然科学版)，1997，370)：67707 田捷，鑫.生物特征识别技术理论与应用.:电子工业，20058 春晖.人脸识别技术的研究与实现.理工大学硕士学位论文，20049 YAdini et a1Face Recognition：The Problem of Compensating for Changes in IlluminationDirection，IEEE TransPAMI，1997，19：721-732，10 MLades et a1Distortion invariant object recognition in dynamic link architectureIEEE TransComputer,1993，42：300·311.11 JZhang et a1ProcFace recognition：eigenface，elastic matching，and neural nets,IEEE，1997，85：1423-143512 Wiskott L et a1Face recognition by elastic bunch graph matchingIEEE TransPattern AnalMachine Intel，1997，19(7)13 RBrunelliTPiggioDyanmic 3D Models with Local and Global Deformations：Deformable Super quadrics，IEEE TransPAMI，1993，15：1042105214 EGoudail et a1Face recognition system using local autocorrelations and multiscaleintegration，IEEE TransPAMI，1996，18：1024·102815 JBenarie,DNandyFrequency Domain Representation for Objects With Application for Pose Invariant Face Recognition，IEEE TransPAMI，1998，20：449-45716 92Yambor w，Draper B，and Bevefidge JR，Analysis of PCA-based Face Recognition Algorithms：Eigenvector Selection and Distance MeasuresSecond Workshop on Empirical Evaluation Methods in Computer Vision，2000附录：源代码：function accuracy1=face2(num)allsamples=;%所有训练图像train_num=num;%p=Dimension;for i=1:40for j=1:train_numa=imread(strcat('E:个人文件课件模式识别ORL人脸数据库s',num2str(i),'',num2str(j),'.bmp');% imshow(a);b=a(1:112*92); % b 是行矢量 1×N，其中N10304，提取顺序是先列后行，即从上到下，从左到右b=double(b);allsamples=allsamples;b; % allsamples 是一个M * N 矩阵，allsamples 中每一行数据代表一图片，其中M200endendsamplemean=mean(allsamples); % 平均图片，1 × Nfor i=1:40*train_num xmean(i,:)=allsamples(i,:)-samplemean; % xmean 是一个M × N 矩阵，xmean每一行保存的数据是“每个图片数据-平均图片”end;% 获取特征值与特征向量sigma=xmean*xmean' % M * M 阶矩阵v d=eig(sigma);d1=diag(d);% 按特征值大小以降序排列dsort = flipud(d1);vsort = fliplr(v);%以下选择90%的能量dsum = sum(dsort);dsum_extract = 0;p = 0;while( dsum_extract/dsum < 0.9)p = p + 1;dsum_extract = sum(dsort(1:p);enddsum_extract = sum(dsort(1:p);i=1;% (训练阶段)计算特征脸形成的坐标系base = xmean' * vsort(:,1:p) * diag(dsort(1:p).(-1/2);% base 是N×p 阶矩阵，除以dsort(i)(1/2)是对人脸图像的标准化（使其方差为1）% xmean' * vsort(:,i)是小矩阵的特征向量向大矩阵特征向量转换的过程%while (i<=p && dsort(i)>0)% base(:,i) = dsort(i)(-1/2) * xmean' * vsort(:,i); % base 是N×p 阶矩阵，除以dsort(i)(1/2)是对人脸图像的标准化（使其方差为1）% i = i + 1; % xmean' * vsort(:,i)是小矩阵的特征向量向大矩阵特征向量转换的过程%end% 以下两行add by gongxun 将训练样本对坐标系上进行投影,得到一个 M*p 阶矩阵allcoorallcoor = allsamples * base; % allcoor 里面是每训练人脸图片在M*p 子空间中的一个点，即在子空间中的组合系数，accu = 0; % 下面的人脸识别过程中就是利用这些组合系数来进行识别% 测试过程for i=1:40for j=(train_num+1):10 %读入测试图像a=imread(strcat('E:个人文件课件模式识别ORL人脸数据库s',num2str(i),'',num2str(j),'.bmp');b=a(1:10304);b=double(b);tcoor= b * base; %计算坐标，是1×p 阶矩阵for k=1:40*train_nummdist(k)=norm(tcoor-allcoor(k,:);end;%三阶近邻dist,index2=sort(mdist);class1=floor(index2(1)-1)/train_num )+1;class2=floor(index2(2)-1)/train_num)+1;class3=floor(index2(3)-1)/train_num)+1;if class1=class2 && class2=class3class=class1;elseif class1=class2class=class1;elseif class2=class3class=class2;end;if class=iaccu=accu+1;end;end;end;accuracy=accu/(40*(10-train_num);%输出识别率accuracy1=accuracy;end分 数:任课教师签字：_基于PCA的人脸识别    学年学期: 2012-2013学年第一学期课程名称: 模式识别学生姓名: 哲盼学号: 2122216016提交时间: 2012.1.15