基于3D模型的多姿态人脸识别及其关键技术研究.pdf

《基于3D模型的多姿态人脸识别及其关键技术研究.pdf》由会员分享，可在线阅读，更多相关《基于3D模型的多姿态人脸识别及其关键技术研究.pdf（71页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、西安电子科技大学硕士学位论文基于3D模型的多姿态人脸识别及其关键技术研究姓名：李夏忠申请学位级别：硕士专业：计算机应用技术指导教师：刘志镜20040101摘要人脸识别的应用前景十分广泛，但是目前对于多姿态人脸识别的研究不多，多姿态人脸识别率不高，制约了人脸识别系统的大量推广。本文针对以上问题，对多姿态人脸识别中的几个关键问题进行了有益的研究。利用正面、侧面照片建立起三维虚拟人脸模型，然后对待识别照片进行角度估计，把人脸三维模型进行投影，将多姿态识别转换成同一角度下的两张照片的识别，从而解决人脸的多姿态识别问题。本文提出了两种完整的利用人脸3 D 模型解决多姿态识别的方案，并提出了一种新的计算待

2、识别照片旋转角度的算法，利用多项式方法生成了多姿态人脸库，然后把待识别照片与多姿态人脸库中的照片在本征脸空间上进行匹配，这种方法对于多姿态照片的角度计算是一种有效的方法。实验结果显示多姿态识别效果良好，有很好的鲁棒性。关键词：人脸识别3 D 模型多姿态角度计算A b s t r a c tT h ef a c er e c o g n i t i o nt e c h n o l o g yh a sg o o dp r o s p e c ti nm a n yp r a c t i c a la p p l i c a t i o n sb u tt h er e l a t i v e

3、l yi m m a t u r e dr e s e a r c ht op o s e v a r i e df a c er e c o g n i t i o na n dt h ec o n s e q u e n t l yl o wr e c o g n i t i o nr a t eh a v eb e c o m et h eb a r r i e rt oi t sp o p u l a r i t y T os o l v et h ea b o v em e n t i o n e dp r o b l e m，Id i dal o to fr e s e a r c

4、 hw o r ko nt h ek e yt e c h n o l o g i e so fp o s e v a r i e df a c er e c o g n i t i o na n dp u tf o r w a r dam e t h o di nw h i c hav i r t u a l3 Dm o d e li sb u i l tt h r o u g ha n a l y s i n gf r o n t a la n ds i d e f a c ei m a g e sa n dp r o j e c t e da c c o r d i n gt ot h

5、ee s t i m a t e dr o t a t i n ga n g l eo ft h ei n p u tf a c e，t h u st h ep o s e-v a r i e df a c er e c o g n i t i o nC a nb et r a n s f o r m e di n t ot h ep r o b l e mo fs i n g l e-p o s e df a c er e c o g n i t i o n I nt h i st h e s i s，t w oc o m p l e t es c h e m e sf o rp o s e

6、 v a r i e df a c er e c o g n i t i o nb a s e do n3 Dm o d e la r ep u tf o r w a r d，a n dan e wa r i t h m e t i cf o re s t i m a t i n gt h er o t a t i n ga n g l ei sa l s op u tf o r w a r d，u s i n gp o l y n o m i a lm e t h o dc r e a t ep o s e v a r i e df a c el i b r a r y,t h e nm a

7、 t c h i n gt h eu n k n o w ni m a g ew i t ht h ei m a g e si nt h el i b r a r yi ne i g e n f a c es p a c e，w h i c hi sa ne f f e c t i v em e t h o df o re s t i m a t i n gt h ea n g l eo ft h eu n k n o w ni m a g er o t a t i n g T h ee x p e r i m e n tr e s u l t ss h o wt h a tt h i sa

8、r i t h m e t i ch a sh i g hr e c o g n i t i o nr a t ea n dr o b u s t n e s s K e y w o r d：F a c eR e c o g n i t i o n3 DM o d e lP o s e-v a r i e dA n g l eE s t i m a t e独创性(或创新性)声明Y10 0 6 08 2本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科

9、技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所作过的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：盘必日期：丝坐!：至关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。(保密的论文在解密后遵守此规

10、定)本学位论文属于保密在二年解密后适用本授权书。本人签名：导师签名日期：矽仁J，i日期：至翌生!：垂麴第一章绪论第一章绪论1 1 选题背景和意义生物识别是身份识别的前沿研究方向，具有很高的科学研究价值。同时它具有广泛的应用前景及巨大的潜在经济价值。到2 0 0 4 年，全球通过网站达成的贸易额将达到4 万亿美元。此外，到2 0 0 5 年全球因特网用户将达到7 6 5 亿。与此同时，网络黑客的破坏活动也会层出不穷，人们不难想象信息安全如果得不到保障会造成多么大的损失。鉴于生物识别的可靠性，未来人们在上网购物或者交易时，首先在生物识别仪上进行一下身份认证，可以保证网络管理机构有效监督网络交易的参

11、与者，大大降低不法分子对网络交易的破坏活动。随着网络技术和桌上视频的广泛采用，图像捕捉设备正在成为个人计算机的标准外设，同时电子商务等网络资源的利用对身份验证提出了新的要求，人脸识别成为最有潜力的生物身份验证手段。在日常生活中，人们识别周围的人用的最多的是脸像，因而脸像识别是一种最容易被接受的身份鉴定方法。由于脸像识别的非侵犯性，具有直接、友好、方便的特点，是人们最容易接受的身份鉴别方式。首先，脸像作为一种高普遍性、可以非接触式采集的重要生物特征，可以用以进行身份鉴别。脸像识别技术可以被应用在多种不同的安全领域：证件(如：驾驶执照、护照)中的身份认证；楼宇进出的安全控制；重要场所中的安全检测和

12、监控：智能卡中的身份认证。脸像识别技术在信息安全领域也有着巨大的潜在应用价值。随着网络技术同益走进人们的R 常生活，越来越多的用户可以访问互联网，越来越多的信息被置入互联网。而由于网络信息访问的便捷性，网络的安全控制成为一个R 益迫切的重要问题。利用脸像识别技术，可以进行计算机的登录控制，可以进行应用程序安全使用、数据库安全访问和文件加密，可以实现局域网和广域网的安全控制，可以保护电子商务的安全性。其次，脸像识别技术可以用于创建友好自然的人机交互方式，是智能计算机领域研究的重要内容之一。一个可以识别使用者脸像的智能计算机，可以按照其特点为该使用者提供工作环境，从而使人与计算机之间的交互如同人与

13、人之间的交互一样轻松自如。另外，脸像识别技术还被用在图像库检索技术，在大型脸像库中检索出与索引脸像相同或相近的脸像。例如：公安部门可以利用脸像识别技术进行罪犯库的管理和查询。对于人脸识别的研究是各国争相研究的热点，其产品化工作也正在进行中，市场巨大。从应用角度讲洎动人脸识别除了可以用于身份识别和验证之外还可用于图基于3 D 模型的多姿态人脸识别及其关键技术研究像库的检索，根据用户需要，从一个大的人脸库中查找某一特定的人，在图像信息查询领域具有广泛的应用前景，可以大大提高工作效率。从识别方法看，目前的人脸识别方法主要分为基于几何特征的方法、基于模板的人脸识别方法、主成份分析方法和连接主义方法等几

14、类。人脸识别按姿态可划分为前视人脸识别和多姿态人脸识别，其中前者的研究已经较为深入 1 3 ，也取得了很好的结果，而后者虽有一些文献(4 5】论述，但仍然存在许多没有解决的问题，这也是导致目前人脸识别技术没有得到充分推广的主要原因之一。1 2 国内外研究现状近3 0 年来，人脸自动识别的研究取得了很大的进展，从工程索引(E 1)上检索到的相关文献已达数千篇，包括I E E E T P A M I 在内的重要国际期刊也有专栏甚至专刊报道面像识别的最新研究进展，同时还出现了专门的国际学术会议，如人脸手势识别国际学术会议。面像识别领域内最著名的国际研究机构包括：美国麻省理工学院媒体实验室(M I X

15、M e d i aL a b)及人工智能实验室(A IL a b)、南加州大学(U S C)、C M U 卡内基梅隆机器人研究及交互系统实验室、马里兰大学(U M D)等。另外，一些国家或地区也有不少研究机构在面像识别领域进行了大量的研究工作。9 0 年代中后期以来，国内的许多研究机构在自然科学基金、8 6 3 计划、攀登计划等资助下，开始了对面像识别的研究。其中主要包括清华大学计算机系、自动化系、电子系以及哈尔滨工业大学、南京理工大学信息学院、中科院自动化所、上海交通大学图像处理与模式识别研究所、中山大学数学系等，他们在面像识别研究领域都进行了许多很有意义的尝试，积累了经验。四川大学周激流等

16、实现了具有反馈的人脸正面识别系统，运用积分投影法提取面部特征的关键点并用于识别，获碍了较为满意的效果。他们同时尝试了“稳定视点”特征提取方法，为使系统中包含3 D 信息，他对人脸侧面剪影识别做了一定研究，并实现了正、侧面互相参照的识别系统。中国科技大学杨光正等提出一种基于镶嵌图的人脸自动识别方法，采用基于知识的三级金字塔结构对人脸进行分割和定位，前两级建立在不同分辨率的镶嵌图基础上，用于对人脸进行基本定位，第三级用一种改进的边缘检测方法进一步检测眼睛和嘴。基于这些器官的匹配就可进行人脸识别。清华大学张长水等对特征脸的方法做了进一步发展，提出采用类间散布矩阵作为产生矩阵，进步降低了产生的维数，在

17、保持识别率的情况下大大降低了运算量。他们对多模板的人脸检测问题也进行了研究。南京理工大学杨静宇等主要采用奇异值分解方法进行人脸识别研究，如用第一章绪论D a u b e c h i e s 正交小波变换对人脸图像作预处理，得到它在不同频带的4 个子图像对它们分别提取奇异值，然后用最近邻方法进行分类，同时设计一种适用于多分类结果融合的群体决策算法，并且对分类结果有选择的进行融合。他们还研究了基于F i s h e r 最佳鉴别矢量的人脸识别方法，并对神经网络用于人脸识别也进行了研究。上海交通大学李介谷等则专门研究了人脸斜视图像的集合特征提取与恢复。他们的实验建立了人脸斜视图像的数学模型，并对如何

18、从斜视图像特征中恢复出标准特征做了一定研究，对如何消除识别中斜视的影响，提高识别率有一定的帮助。他们还研究了基于计算机视觉场模型的人脸识别技术。戚飞虎等在单样本正面人脸的识别以及人脸椭圆特征和眼睛特征的提取方面也做了大量研究工作。东南大学何振亚等采用对称主元分析神经网络，用去冗余和权值正交相结合的方法对人脸特征提取和识别。实验表明。该方法所用特征数据量小，特征提取运算量也较小，比较好地实现了大量人脸样本的存储和人脸的主特征向量，并将之用于人脸识别和恢复。南京邮电大学顾庆寿等提出一种基于自适应神经网络判决树的人脸识别方法，综合利用多种神经网络模型和特征提取算法，并基于此算法开发了一套人脸识别实验

19、系统。浙江大学章高清等基于特征曲线对人脸进行快速识别。该方法首先对不同姿态和大小的人脸进行定位和归一化，然后在归一化后的图像上建立多重特征曲线，作为对人脸特征的描述，最后利用傅里叶描述子对特征曲线进行解析提取关键特征，得到人脸的表征向量。采用两个人脸表征向量之间的相似性距离来测量两个人脸的相似性。清华大学的苏光大研究的人像组合与人像识别系统综合系统于2 0 0 0 年通过了公安部主持的专家鉴定，鉴定委员会认为，该系统中的人像组合与人像识别系统均处于国内领先地位，其人像识别技术达到了国际先进水平。人像识别系统采用了独特的整体与局部相结合的识别方法，对于不同年龄、不同姿态的人面像以及对于人像组合形

20、成的人面像进行人像识别，达到了较高的识别率。该系统采用集群计算机技术进行并行查询，有效地提高了查询速度：该系统建立了集人员档案、人面像图像、人面像特征的知识型数据库，实现了基于知识的人像查询。该系统在近1 0 万人的大数据库中进行人像识别，达到了实际应用的程度。该系统是国内第一个用于公安刑侦工作的人像识别系统，目前已在国内推广应用。国外从1 9 9 5 年后推出了数个人脸识别系统的产品，目前的研究仍方兴未艾。一些公司看准了人脸识别系统在商贸和保安方面的广阔应用前景，动用了大量人力和物力，独立或与高校合作，研制开发了实用的人脸识别系统，包括软件和硬件。主要产品有：由一位从M I T 出来的神经网

21、络专家M i c h a e lK u p e r s t 博士创建的M i r i o 公司从4基于3 D 模型的多姿态人脸识别及其关键技术研究事人脸识别系统的软件开发和应用，主要用神经网络技术。该公司有两个产品，一个是T r u e F a c eC y b e rW a t c h，是世界上第一套用于计算机、网络和数据安全保障的软件；另一个是T r u e F a c eG a t eW a t c h，是一套专用的入口控制系统(包括软硬件)，可用于楼宇和房屋的入口验证。T r u e F a c e 的工作过程是先在数据库里存储每个用户的几张照片，通常5 到6 张就够了。用户输入自己的

22、名字后，摄影机被激活，实时拍下用户的幅图像，T r u e F a c e 将这张图与库里的图进行比较，确定这人是不是合法用户。该系统在P e n t i u m l 6 6 上处理一张图像要费时3-4 秒，光照和人脸位置最影响速度，因为人脸的定位最花时间。该系统对是否配戴眼镜、穿不同的衣服或改变发型等情况具有较强的鲁棒性，但是特殊的旋转角度、倾斜角度，或古怪的表情、异常光照等都会影响正确识别。T r u e F a c e 是第一个也是唯一个通过国际计算机安全协会括体测试的人脸识别软件。美国F a c e K e y 公司目前申请了好几项人脸识别的专利，比如I C 卡验证系统，F a c e

23、 K e y 等。F a c e K e y 是第一个也是唯一一个将人脸识别和指纹识别结合起来进行安全入口控制的产品，两者结合可使错误接收率仅为百万分之一。其他人脸识别产品还有德国的F a c eV A C S、美国的F a c e I t、德国的Z N F a c e、美国的F a c e T o o l s、F a c e N e t、F a c e W a r e、P a s s F a c e、E y e m a t i c、B i o I D 等。但是以上系统对于姿态变化的考虑不是很多。在考虑姿态变化方面，B e y m e r 等采用引入虚视点的方法，即将二维的图像和三维的人脸模型

24、相结合，对多姿态的人脸图像进行识别，这种通过合成的方法进行识别要求三维模型必须足够精确，同时计算非常复杂，此外在多视点方法上，B e y m e r 引入了1 5 个不同视角的模型，通过模板匹配进行识别。L a d e s 等采用弹性匹配技术识别不同姿态的人脸，这种方法的基本假设是要求较为准确地定位特征，由于人脸上缺乏足够的纹理信息，因此，常常难以满足这一假设。当前处理人脸深度旋转主要有四种新的思路：其一是利用与深度旋转无关的信息，如肤色，模型；其二是利用多姿态人脸的数据库，对图像平面内的人脸旋转，通过定位出的两个瞳孔点的位置加以配准，再对配准后特定姿态的人脸进行识别：其三是利用人脸三维几何特

25、征进行识别；其四是利用人脸的3 D 模型进行识别，这种方法的关键是人脸3 D 模型的实时建立及模型的准确性。本文采用的是利用人脸的3 D 模型进行识别的方法。国外在三维人脸建模方面的研究工作开展的比较早。从1 9 7 4 年P a r k e r 6 首先用计算机生成人脸图像以来，2 0 多年间计算机图形工作者在这方面的研究取得了许多重要的研究成果。近几年里，L e e 等人【7】用3 D 扫描仪来创建人脸模型，并提出了一种处理和改进扫描结果的方法。T A k i m o t o 8 用两张人脸正、侧面照片来建立人脸模型。P i g h i n 等人 9】开发了一套系统，通过多幅照片来进行人脸

26、三维重构，最后可以生成具有相当真实感的三维人脸模型。微软研究院的Z h e n g y o u Z h a n g 1 0 等人用人脸视频作为输入，用户只要在其中两帧中各标出5 个特征点，就可以自动生成三维人脸模型。R M K o c h 1 1】第一章绪论等人使用有限元的方法，开发了一个可以进行面颅部外科手术计划及手术后面部效果预测的原型系统。V o l k e rB l a n z 等人 1 2 1 提出了一种新的基于统计的人脸建模方式。他们建立一个三维人脸库，对于一张正面人脸照片，用库中人脸模型线性组合的正面投影去逼近这张照片。国内近几年在人脸造型方面也有很大的发展。浙江大学C A D&

27、C G 国家重点实验室的梅丽等人 1 3 1 给定特定人脸的正侧面正交图像及提供一个内嵌肌肉向量的一般人脸三维多边形网格模型，采用s n a k e 技术自动适配人脸特征线，基于特定人脸的特征线相对于一般人脸模型上的特征线的位移，变分插值一般人脸网格，适配特定人脸几何。然后用多分辨率样条技术产生无缝的人脸纹理镶嵌图，纹理映射后生成高度真实感的能以任意视线方向观察的特定人脸。进而通过组合特定人脸的肌肉向量的运动，变形模型，组合出特定人脸的各种表情。该方法能在廉价的P C 平台上实现，快速，简单而且具有真实感北京工业大学的尹宝才等人U 4 3 研究人脸建模和人脸纹理映射的方法。西安电子科技大学的郑

28、飞和陈梅【1 5 提出了使用人脸照片合成全景图像的方法进行三维重建。1 3 本文的研究路线及研究内容当前处理人脸深度旋转主要有四种新的思路：其一是利用与深度旋转无关的信息，如肤色，模型；其二是利用多姿态人脸的数据库，对图像平面内的人脸旋转，通过定位出的两个瞳孔点的位置加以配准，再对配准后特定姿态的人脸进行识别；其三是利用人脸三维几何特征进行识别：其四是利用人脸的3 D 模型进行识别，本文采用的是利用人脸的3 D 模型进行识别的方法。本文采用的研究路线是：首先根据特定人的正投影视图建立出特定人的3 D 模型，然后将3 D 模型进行任意角度的投影产生出多姿态人脸图像，然后基于该正投影视图和生成的多

29、姿态图像进行多姿态人脸识别。具体流程可以参看图1 1。图1 1研究路线流程幽6基于3 D 模型的多姿态人脸识别及其关键技术研究基于人脸3 D 模型的多姿态人脸识别中要用到的关键技术有：多姿态人脸图像检测：多姿态人脸图像的特征提取；多姿态人脸图像的姿态估计；3 D 人脸模型的建立及基于人脸3 D 模型的多姿态人脸识别算法。以上关键技术都是本文主要的研究内容，本文在阐述对这些关键技术的研究时首先对已有的相关技术进行了综述。本文的主要研究成果：1 针对多姿态人脸识别中姿态估计的难点，本文提出了一种新的计算偏转角度的算法，详细的介绍见4 2。2 本文详细介绍了特定人的3 D 模型的建立，讨论了一般3

30、D 人脸模型到特定人脸3 D 模型的调整，介绍了多方向纹理信息加到3 D 模型的技术，提供了根据人的正、侧面照片虚拟出3 D 人脸的完整过程，详细介绍见5 2。3 本文提出了两种新的基于3 D 模型的多姿态人脸识别算法。详细介绍见5 3。1 4 本文的章节安排本文的内容组织可以参看图1 1，章节安排如下：第一章绪论，介绍了多姿态人脸识别的研究背景和意义，并对现有的多姿态人脸识别技术进行的总结，然后对现有的基于3 D 人脸模型的多姿态人脸识别技术进行了综述，在此基础上给出了本文的研究路线和研究内容。第二章多姿态人脸图像检测与定位，首先对现有的人脸检测方法进行了综述，然后针对多姿态人脸图像的特殊性

31、采用了基于肤色滤波模型的人脸检测，提出了采用同态滤波的小波局部增强算法进行亮度补偿来弥补基于肤色滤波模型的人脸检测算法对亮度敏感的缺陷。第三章多姿态人脸特征提取技术，首先对现有的人脸特征提取方法进行了总结，然后对在3 D 入脸模型建立中要使用到的征侧面人脸的特征提取方法进行了介绍。第四章多姿态人脸照片的姿态估计，介绍了多姿态人脸照片的姿态估计的必要性，然后提出了一种基于多项式变换的姿态估计算法。第五章基于3 D 人脸模型的多姿态人脸识别的两种算法，首先介绍了3 D 人脸模型的建立方法，然后提出了两种基于3 D 人脸模型的多姿态人脸识别的算法。第六章基于3 D 人脸模型的多姿态人脸识别系统，介绍

32、了基于3 D 人脸模型的多姿态人脸识别系统原理和实现和实验结果。第七章结束语，致谢和参考文献。第二章多姿态人脸图像检测与定位第二章多姿态人脸图像检测与定位2 1 概述人脸检测：就是从图像中检测出人头或人脸，并确定它们的粗定位信息。人脸检测的目标至少包含三个：(1)检测图像中是否包含人脸；(2)如有人脸，确定人脸数目；(3)确定各个人脸的基本位置。在背景中检测人脸的存在，确定人脸的位置和尺寸是人脸识别中比较关键的问题。早期，研究者主要重视人脸特征的提取和人脸模式的分类匹配，采用的人脸图像是标准照片，随着实际应用的不断深入，就需要在复杂的背景条件中进行快速的人脸检测。一般情况下，输入图像含有复杂背

33、景，需要将人脸从背景中分割出来，人脸识别的结果直接和人脸检测的准确程度相关。本章首先对已有的人脸检测与定位方法进行了回顾，因为基于肤色滤波模型的人脸检测算法可以检测出任意背景、任意姿态、多种尺寸的多个人脸 1 6】，所以本文采用基于肤色滤波模型的人脸检测算法检测人脸，而基于肤色滤波模型的人脸检测算法最大的缺点是对亮度敏感 1 6】，所以本文对文献【1 7】进行了改进，采用了一种同态滤波的小波局部增强算法预先对图像进行亮度补偿。2 2 已有的人脸检测与定位方法综述人脸检测的基本思想是用统计或知识的方法对人脸进行建模，比较所有可能的待检测区域和人脸模型的匹配度，从而得到可能存在的人脸。其方法大致可

34、以分为基于统计和基于知识两类，前者将人脸图像作为一个高维矢量，使人脸检测转化为高维空间中分布信号的检测问题；后者利用人脸子图的空间分布知识建立若干规则，将人脸检测问题转化为假设验证问题。2 2 1 基于统计的人脸检测2 2 1 1 神经网络方法人脸模式、眼睛模式和嘴巴模式等都有比较明显的特点，神经网络的权值具有记忆功能，当训练样本比较全面时，神经网络可以处理比较复杂的检测问题，所以许多检测算法采用神经网络方法。R o w l e y 等【1 8】使用B P 网络进行人脸检测，他们的网络具有三组隐节点，分别对应输入图像的某处局部特征。该算法在训练过程中自动生成“非人脸样本”，其方法是输入不含人脸

35、的场景图像，将被误判为人脸的子图像作为“非人脸”样本。为了提高正确率，系统还同时对几个网络分别处理出来的结果进行综合调整。基于3 D 模型的多姿态人脸识别及其关键技术研究在1 3 0 幅图片上进行了检测试验，这些图片分别来自扫描、报纸等(均不在训练集中)，检测的正确率在7 8 9 到9 0 5 之间。J u e l l 和M a r s h 1 9 使用分层网络，该网络由四个B P 子网组成，分别检测人脸。预处理时先对原图进行边缘增强。网络分为两层，“子层”网有三个，分别检测眼睛、鼻子和嘴巴。“父层”网判断“子层”能否构成一张人脸。B u r e l 和C a r e l 2 0 采用多层感知

36、机(M L P)进行人脸检测。先使用K o h o n e n网对原始的训练集进行粗分类，然后用M L P 网络进行精确分类。他们的实验表明，除了大部分被遮住或者旋转角度很大的人脸无法检测外，其他人脸基本都能够检测到。V i n c e n t 2 1 用一个分级的特征检测系统定位眼睛和嘴巴，降低分辨率后的图像分别输入四个已经被训练过的多层感知器，对左右眼睛、嘴巴和人脸中心进行粗定位，再经后处理定出比较精确的位置。他们的实验表明该方仅对倾斜角度比较大或者训练集中没有眼睛的图像定位效果差一些。其他使用神经网络方法的还有L i n 等【2 2 用图像高频分量作为特征子空间，用一个概率决策神经网络(

37、P D B N N)进行人脸检测。V i e n n e t 和S o u l i e 等【2 3】用小波多尺度和延时神经网络(T D N N)进行人脸检测，T D N N 只将超出的闽值的误差反向传播。该方法可以检测半侧的人脸，准确率达到9 0。综上所述，神经网络方法能够适应较为复杂的人脸检测，准确性也比较高，所以使用神经网络进行人脸检测的算法比较多。但是，由于人脸属于高维矢量，导致网络中训练节点众多，算法往往需要大量的训练样本，因此，神经网络方法的研究着重于系统的优化训练。2 2 1 2 相关性模板法相关性模板方法计算人脸模板与局部图像的相关程度，如果超过设定的门限，就认为检测到了人脸。其

38、中，椭圆型模板是最常见的人脸检测模板，它适用于检测人脸的轮廓。K w o n 和L o b o 2 4 首先使用“s n a k e l e t s”模板来寻找候选边缘，然后用选举方法从这些“s n a k e l e t s”模板中选出与人脸最为相似的椭圆，人脸的定位中心就是椭圆中心。七十年代初，有一种方法是在平滑后的图像上寻找与人脸形状相似的边缘位置，然后在原灰度图像上进一步提取准确的头部边缘，用试探方法将边缘连在一起，采用试探法进一步提取准确的头部边缘，然后再使用试探法将边缘连在一起，根据头部边缘定位眼睛、鼻子和嘴巴；G r a w 2 5 等人采用头型模板在低分辨率图像的边缘图像上定位

39、头部，边缘检测采用S o b e l 算子，将头的外缘连起来，再逐步到高分辨率图像对应的位置上进一步定出更精确的头部轮廓，接着根据头部轮廓的位置，进一步定出眼睛、眉毛和嘴唇的轮廓。第二章多姿态人脸图像检测与定位2 2 1 3 子空间法子空间法假设所有人脸模式集都占据在一个小的带参的子空间上，这个子空间可以用数据集及其主分量求得。如果某个图像模式与这个类的距离小于门限，则可以判断该模式是人脸模式。P e n t l a n d 和T u r k 等 2 6 将K L 变换引入到人脸检测，在人脸识别中利用的是主元子空间，而人脸检测使用的是次元子空闻，用待检测区域在次元子空间上的投影能量，即待检测区

40、域到特征脸空间的距离作为检测的统计量，距离越小，表明越像人脸。子空间方法的特点在于简便易行，但是由于没有反例样本信息。所以对于类似人脸的物体辨别能力不足。2 2 2 基于知识模型的人脸检测2 2 2 1 图像空间分布规律利用人脸模式共有的独特空间图像分布的相互关系，即图像不变性，比如人脸上的亮度分布有一个顺次结构，图像中灰度分布最符合这种不变性的部分就是人脸部分。A k a m a t s u 2 7 1 等人用彩色图像的色彩信息定位眼睛和嘴巴。这种分割是在变换后的色彩坐标系如H S V 和Y I Q 中进行的。根据人脸模式灰度分布的特点，嘴唇比周围皮肤有更高的Q 分量值，皮肤区域在I 和H

41、分量图像的直方图上有清晰的峰。将这些信息与眼睛和嘴巴在人脸上分布的相对位置关系结合，就能够检测到眼睛和嘴巴。Y i n gD a i 2 8 等人用S G L D 矩阵(即灰度级相关矩阵)实现了在复杂背景中的人脸定位，即使在脸部分辨率很低的情况下也能实现正确的定位。同种族人的肤色在颜色空间中的分布相对比较集中，颜色信息在一定程度上可以将人脸同大部分背景区分开来。L e e 等【2 9】设计了肤色模型表征人脸颜色，利用感光模型进行复杂背景下人脸及器官的检测与分割。2 2 2 2 人脸器官分布规律适用于证件照上头部位置比较固定的情况，最常见的是眼睛定位，最常用的方法是对于边缘图像作垂直和水平方向的

42、一维“积分投影”并结合五官分布的先验知识。Y a n g 和H u a n g 3 0 3 1 1 提出了一种分层的基于知识的系统，用同一张图在不同分辨率下构成相应分辨率下的马赛克图，从中实现从复杂背景中定位眼睛、口和鼻的位置。B r u n e l l i 等 3 2 1 人用垂直方向边缘图像的积分投影检测脸的两侧和鼻子，水平方向边缘积分投影用于定位眼睛、嘴巴和鼻子。S t r i n g a 3 3 也是用眼睛部位水平边缘线丰富的特点定位出眼睛在垂直方向上的大致位置。1 0基于3 D 模型的多姿态人脸识别及其关键技术研究2 2 2 3 运动规律通常相对背景，人总是在运动中的，利用运动信息可

43、以简单有效地将人脸从任意复杂的背景中分割出来【3 4】。其中包括利用眨眼、说话等方法的活体人脸检测方法。2 2 2 4 对称性规律人脸具有一定的轴对称性，各器官也具有一定的对称性。Z a b r o d s h k y 3 5 提出连续对称性检测方法，检测一个圆形区域的对称性，从而确定是否为人脸。I n t r a t o r 3 6 等利用广义对称变换理论和边缘图像确定人脸对称轴，然后根据人脸五官分布的约束条件及在对称轴上对称值最大的地方定位眼睛和嘴巴。2 3 基于肤色滤波模型的人脸检测因为多姿态人脸图像的特殊性，所以本文选用跟姿态无关的基于肤色滤波模型的入脸检测算法来进行多姿态人脸图像检测

44、。而基于肤色滤波模型的人脸检测算法最大的缺陷是对亮度敏感 1 6】，所以本文对文献 1 7 算法进行了改进，在进行人脸检测之前对图像采用同态滤波的小波局部增强算法进行亮度补偿，本文算法由以下三大步组成：f 1)对图像采用同态滤波的小波局部增强算法进行亮度补偿：(2)基于彩色分割的人脸候选区检测；(3)基于马赛克先验知识的人脸判定。2 3 1 对图像采用同态滤波的小波局部增强算法进行亮度补偿在图像处理的实际应用中我们发现时常需要对图像进行局部区域细节上的处理。而采用直方图均衡化局部增强算法时，图像灰度值的连续性会受到损失，造成图像的可视粒度增大。如果在同态滤波算法中又会存在更大的问题，因为同态滤

45、波是在频域中提出的，它对每一点的计算都需要用到其它点的信息，是一种全局的计算，这不适合图像局部增强的要求。就算我们把要处理的区域转换到频域仍然十分复杂。空域中对此所做的大量研究结果也不尽人意。考虑到利用小波的时(频)域分析特性，我们可在小波域来实现同态滤波效果的图像局部增强的算法，这样基本可以解决我们所遇到的问题。它可以提供一种对多边形区域的增强算法，并且不会造成图像可视粒度的增大，而且对每个点的处理都不用考虑整个处理区域的像素特性。第二章多姿态人脸图像检测与定位2 3 1 1 算法框图懋矧淼y恃定区域ff 取对数，(z。y)l 黜誓峰剑罐竺坚r 1 铡鬣2 3 1 2 算法实现蹄o c 川(

46、a b)对小波系数进行增强处理。科耵埘瓴6)】1 磷(x，y)I 对小波处理后+的系数I D W T图2 1采用同态滤波的小波局部增强算法实现框图在实验室环境中，当光照条件发生变化时，人脸颜色也会发生一定的变化。实验表明，当待检测图像的亮度高于目标模板的亮度时，即光线较强时，人脸大部分区域的颜色不会超出正常光照条件下人脸颜色的变化范围。但当待检测图像的亮度低于目标模板的亮度时，即光线较暗时，人脸颜色的变化受亮度降低的影响较大，此时，待检测图像中人脸的颜色很可能会超出正常光照条件下人脸颜色的变化范围。为此，我们在进行人脸检测时先对图像进行亮度补偿。本文提出利用同态滤波增强的小波域增强算法进行亮度

47、补偿。我们首先需要将已选定的图像f(x，y)进行取对数运算，将入射光和反射光分离，式(2 1)。然后将f(x，y)进行D W T 变换，将其分解到小波域，用函数E(x)进f(x，Y)=i(x，y)D，(x，Y)(2-1)行增强运算，最后用I D W T 进行重构，再进行取指数运算，即得到增强后的图像。算法的实现过程图如图2 1 所示。E(X)函数的选择是我们整个算法中关键的一步，这里E(x)的自变量应该是图像分解后的各小波系数。E(x)为了要完成同态滤波的增强功能，它的频域特性就应该满足同态滤波器的传递函数的特性。帐ff；2,。(r e,n)=E f d(r，一(1 霸(m 一=且瞻(曩帆旷冒

48、k(I 矗(卅妒目眩+(在这里，它要完成压缩图像动态范围同脚，一)m，n)M，忍)州。开)(2-2)1 2基于3 D 模型的多姿态人脸识别及其关键技术研究高图像各部分对比度的工作。即E(x)应该在低频区进行压缩处理，对高频区进行提升处理。对照着图2 2 所示的小波分解示意图，我们看到，二维图像通过小波多分辨分解，可以将图像分割成在每尺度下的三个高频分量和一个低频分量。如图2 2 中，H H l 表示的是第l 层的对角线方向上的边界分量：L H l 表示第l 层的水平边界分量；H L l 表示第l 层的垂直边界分量：L L 表示图像的低频部分，主要包括一些物体的轮廓信息。笨峭ll。HHL I删t

49、H Ll l H l，3 小渡箭辩羼戡H 赢隳分熏b 瞧臻势量图2 2 小波分解示意图那么，增强函数E(x)要完成的工作，就是为这些小波系数分别选取系数值，这些系数值对低频系数L L 进行压缩，而对各高频分量进行扩大即能达到同态滤波增强的功能。由上分析，我们这样来定义增强函数E(x)：re x；m，_ 象：LD 厶x；J 删x L 日。：X H L：x H H ：其中的白变量x 为小波域系数值，上标l 代表小波分解层数。系数满足：0 C f 1；为了使用方便，我们可以令D i=O h ，=D 厶=D 12 3 2 基于彩色分割的人脸候选区检测(2 3)它的各个增强M i n g H s u a

50、 n Y a n g 等【3 5】认为，图像中肤色区域和背景区域的主要差别不在于颜色本身，而在于图像中象素的强度。同种族人的肤色，去除像素强度的影响，在颜色空间上分布相对集中，服从高斯分布，图2 3 为肤色在C I EL U V 空间上的分布统计模型。将输入图像映射到C I EL U V 空间上，减少光照的影响，设肤色第二章多姿态人脸图像检测与定位X=(u，矿)f，则Z 分布服从二维高斯分布N(t，)，其中=(麒，所)7=袭妻，据此建立肤色模型。，1+j o：7，一一”j+蚋，。p”：6。一。：图2 3C I EL u V 空间上的肤色分布模型 3 5 1根据肤色在颜色空间中的分布特点，可以将