3D模型的多姿态人脸识别.pdf

《3D模型的多姿态人脸识别.pdf》由会员分享，可在线阅读，更多相关《3D模型的多姿态人脸识别.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、3D模型的多姿态人脸识别张小平,李夏忠,刘志镜(西安电子科技大学 计算机信息应用研究中心陕西 西安710071)摘要:多姿态人脸识别是当前人脸识别中的难点,识别率普遍不是很高。本文提出了一种利用正面、侧面照片建立起三维虚拟人脸模型,然后对待识别照片进行角度估计,把模型库中的每一个3D模型在该角度附近进行多次投影,搜索出与待识别照片相似度最高的照片。这种方法可以有效的提高人脸识别率,增强人脸识别系统的鲁棒性。关键词:人脸识别;三维模型;多姿态;角度计算中图分类号:TP36811文献标识码:B文章编号:1004373X(2003)1405904Posevaried Face Recogn itio

2、n Based on 3D modelZHAN G Xiaoping,L IXiazhong,L I U Zhijing(Computer Information Research Center,Xidian U niversity,Xian,710071,China)Abstract:Posevaried Face Recognition is a nut of face recognition and has a low ratio of recognition at present1A way ispresented by building the 3D virtual person m

3、odel using front and side face photo and then making the projection of the each 3Dmodel near the rotating angle esti mated by the unknown photo for many ti mes and finding out the si m ilar photo1Recognition ratiocan be raised effectively and systems robust is increased also by thismethodKeywords:fa

4、ce recognition;3D model;posevaried;angle reckon收稿日期:200304221引言近年来,随着自动身份验证、视觉监视系统等应用领域的需求,计算机人脸识别技术受到了广泛的重视。但目前大多数研究集中在正面人脸图像的识别上,然而图像中人脸的姿态不一定是固定的,研究多姿态人脸识别是非常必要的。在这方面,Beymer等采用引入虚视点的方法,即将二维的图像和三维的人脸模型相结合,对多姿态的人脸图像进行识别,用这种方法进行识别计算非常复杂1。另外,L ades等采用弹性匹配技术识别不同姿态的人脸2,这种方法要求较为准确地定位特征,但是人脸通常缺乏足够的纹理信息 难

5、以满足这一要求。当前,处理人脸多姿态识别主要有3种方法:一是利用多姿态人脸数据库,通过定位两个瞳孔点的位置加以配准,再对配准后特定姿态的人脸进行识别,这种方法需要很大的人脸数据库;二是利用与姿态无关的信息进行识别,如肤色模型,这种方法识别率不是很高;三是利用人脸三维几何特征进行识别,但对人脸旋转角度有限制。本文采用建立人脸的三维虚拟模型的方法对人脸进行识别,可以有效地解决上述问题。2三维虚拟人脸建模本文采用从固定拓扑的一般人头模型变形的建模方法,由于人类面部特征的位置、分布基本上是一样的,特定人脸的模型可以通过对一个原始模型中特征和其他一些网格点位置进行自动或交互式的调整(保持拓扑不变)得到。

6、为了使标准人脸网格体在形状上与特定人相吻合,在特征细节上仍需进一步地调整与修改。如果采用自动拟合方法,问题将转化为模式匹配问题,具体做法不在此讨论。自动拟合方法虽然自动化程度高,但计算时间长,而且由于噪声的影响,结果常常不是很理想。如果采用人机交互进行拟合,先将标准人脸图像的网格重叠到特定人的人脸图像上,然后利用鼠标拉动网格点使得标准人脸图像的眼眉、嘴、牙等主要对应部分尽可能地匹配,就可以使人脸模型更精确。211特定人脸3D网格模型的建立这里采用的是人机交互方式,系统的内部有一个原始的人头模型,以后所有特定模型的建立都是基于这个原始模型。假定包含整个原始模型的最小的立方体的高、宽、深度分别为h

7、,w,d,单位是象素点。可按95现代电子技术2003年第14期总第157期实 战 基 地以下步骤建立一个特定人脸模型:(1)显示正面的照片 用户在照片上定义人头所在的区域,区域的定义要求越小越好,正好把人头包括进去。用户在正面照片上定义的矩形的高和宽为hf,wf,并给出了特定人头的最小外包含立方体的高h(=hf)和宽w(=wf)。(2)显示侧面照片 用户定义人头侧面所在的最小矩形。这个矩形的高和宽为hs,ws。然后令hs=hf,ws=wshs?hs,最小外包含立方体的深度d=ws。本文对相机的焦距,相机和模特的距离不做任何要求(在文献3中,对相机的位置和焦距有严格的要求,而文献4中则使用了复杂

8、的算法从多张照片恢复相机的位置),正面和侧面照片的焦距和距离可以有很大不同,其结果是有可能一张照片上的人头大,另一张照片上的人头小。本文通过使hs=hf,基本上使得两张照片上的人头大小相同。(3)对原始模型中的所有点进行变换 x=xw?w,y=yh?h,z=zd?d。然后把原始模型网格的正面投影到正面的照片上,网格的侧面投影到侧面的照片上,如图1所示。由于人类脸型和特征分布的规律性,原始网格和照片的形状和特征大致匹配。图1 原始模型网络正侧面投影(4)对网格中和照片不相匹配的地方进行调整为了达到在拉动模型网格点时周围其他网格点自动做相应的移动,即在现实上近似地模拟人脸皮肤的粘弹特性,需要建立一

9、个自动变形模型。设V=v0,v1,vn,v1,v2,vm是空间网格结点的集合,假设结点v0被移动到v0,被该移动所影响的其他结点v1,v2,vn做相应运动,v1,v2,vm是固定结点,其中移动结点的新位置是我们所需要求出的。我们认为平衡状态是在结点移动和网线变化总和最小时达到,设v1,v2,vn是结点v1,v2,vn的新位置,e1,e2,eE是平衡时的网线向量,T=(x1,y1,z1,x2,y2,z2,xn,yn,zn),T是结点v1,v2,vn的坐标向量,其中E是空间网格的网线个数。这一问题可表示成如下优化问题:m inTR3nf(T)=Cni=1vi-vi 2+nj=1ajej 2其中:c

10、,a1,a2,aE是加权系数。由于向量T的元素个数较多,求解这一优化问题的计算量相对也较大。为了降低计算复杂性,在具体计算中,可考虑采取一些简化。我们称两结点间最少的网线个数为两结点“距离”。一般来讲,距离越大,影响越小。我们可以设定一个阈值,与被移动结点“距离”超过这一阈值的结点被当成固定点处理。阈值的选择可根据具体移动距离的大小来决定,如果移动距离较小,阈值可以选择的较小。实践中,通常我们在36间选择。图2所示为与移动点v相关的所有网格点的集合,取其中的距离阈值为35。图2 与移动点相关的点集最后三维网格点(x,y,z)中的x,y坐标来自网格正面投影与正面照片的拟合,z坐标来自网格侧面投影

11、与侧面照片的拟合。经过这一步,得到特定人脸的3D模型。212 三维人脸网格体的磨光及显示完成了变换之后,就得到了一张具有特定人脸特征的中性三维人脸网格体,这必然要涉及一个如何将三维人脸网格体在计算机屏幕上显示为具有真实感的人脸图形的问题。这就需要进行磨光、加光照等一系列可视化处理。对于由空间多边形构成的三维人脸网格体,我们应用曲面磨光技术将其表示为Bzier片的集合6,然后加上眼白、瞳孔、头发等附加信息,最后由正面(图3(a)、侧面(图3(b)照片合成具有一定真实感的特定三维人脸计算机图形(图3(c)。3 旋转角度的估计及识别人脸姿态的变化可以有6个自由度,即沿x,y,z轴的平移和绕x,y,z

12、轴的旋转,如图4(a)所示。对沿x,y的平移,在图像上表现为人脸位置的变化,可以通过适当的检测方法处理,对沿z轴的平移,在图像上表现为比例的变化,这可以通过前述的比例归一化处理。06张小平等:3D模型的多姿态人脸识别文献5讨论的利用眼球旋转解决了处理绕z轴的旋转。因此上述6个自由度的变化只有2个难以直接从图像上确定,即绕x和y轴的旋转。在一般的应用系统中主要用到对于绕y轴旋转的斜视图像,所以这里重点讨论对于绕y轴旋转的角度确定,用下面的算法进行初步估计:图3人脸模拟过程311旋转角度的初步估计算法假设人脸是左右对称的,当人脸图像没有旋转时,其中分线正好位于人脸图像的中间,如图4b所示,线AB是

13、旋转后的中分线,其偏离了人脸图像的中心位置,线CD是图像的中心线位置。人脸器官的中分线的旋转角度也就是图像的旋转角度。图4人脸的各种旋转如图4(c)所示嘴巴处的水平切面,P是中分线在嘴巴处与水平切面的交点。线OP和Z轴的夹角rot_m,就是从嘴部计算出的旋转角度。其计算公式是:rot_m=arcsin(d?r)其中:d是人脸器官中分线和轮廓中分线之间的距离;r是嘴处脸的轮廓的宽度的1?2。同样,如图4(c),当d是鼻子、眼睛处人脸器官中分线和轮廓中线之间的距离,而r分别是鼻子、眼睛处脸的轮廓的宽度的1?2时,可以分别求出鼻子和眼睛处的旋转角度 rot_n,rot_e。为了减少旋转角度带来的误差

14、,文献7取人脸的旋转角度 rot为上述3个角度的均值,即:rot=(rot_m+rot_n+rot_e)?3在这里把他取为粗值(例如30),对其进行进一步的角度推算。312旋转角度的精确计算和人脸识别过程利用D1S1C法8进行角度的优化推算和人脸的识别,如图5所示。为简单起见,识别方法采用相关系数法。在这里,相关系数的计算公式是:f(x)=EITT-EITET(IT)(T)其中:f(x)为待识别照片和人脸模型在角度为x处投影的照片之间的相关系数;IT为待识别照片;T为人脸模型在角度为x处投影的照片;ITT为照片灰度值的点点相乘;E为均值算子;为照片的标准均方差。将待识别照片和数据库中所有的人脸

15、模型在rot(初步估计的旋转角度)处投影的照片进行匹配,并分别计算出他们的相关系数x。选择x的数据库中的人脸模型,的选取是根据经验而得(如取017)。假设满足要求的有N个人脸模型,我们再将待识别照片和这N个人脸模型依次进行更详细、更精确的比较,步骤如下:(1)对每一个满足要求的人脸模型按照D1S1C方法分别将待识别照片和投影照片相匹配,得到与这个人脸模型的投影照片相匹配的最大相关系数:x_maxi=x=f(x3)。D1S1C方法如下:设初值为x0=rot,步长 x=1。令k=0,若f(x0+x)f(x0),则转;否则令 x=-x?2且转;计算xk+1=xk+x,f(xk+1);若f(xk+1)

16、f(xk),则令x=x+x,k=k+1转;否则令x=x?2,xm=xk+1,xm+1=xm-x,xm-1=xk,xm-2=xk-1;在xm-2,xm-1,xm+1,xm中 若f(xm+1)f(xm-1),则丢掉xm,令xb=xm-1;否则丢掉xm-2,令xb=xm+1;令xa=xb-x,xc=xb+x,做二次插值:Y=xb+f(xa)-f(xc)2f(xa)-2f(xb)+f(xc)x 若 f(xa)-f(xc)f(xa),则停,x3=y;否则以y为新的起点,令x0=y,x=x?4转。(2)x_maxx=maxx_ maxi,其中I=1,N,使x_maxx所对应的旋转角度就是要求的角度 rot

17、,如果x_maxx,则认为待识别的人就是 x_maxx所对应的人,的选取是根据经验而得(如取0185)。16现代电子技术2003年第14期总第157期实 战 基 地当然,其中可能出现几个 x均相同,且为最大值,这时可以结合其他角度的照片重新进行查找,或者给出几个参考候选对象。对于绕x轴旋转的角度计算,只要给定初值x0,也可以用上面的算法。图5D1S1C法4 结 语本文提出的解决人脸多姿态变化的方法在实际人脸识别系统中应用效果很好,并且对人脸偏转的方向和偏转角度的大小没有限制,但绕x轴旋转的角度初值不容易确定,影响了识别速度,还有待于进一步研究!参考文献1Beymer D1Poseinvaria

18、nt face recognitionusing real and virtual view sD 1A I L ab,M IT,199612L adesM,Vorbruggenet al1D istortion invariant objectrecognitioninthe dynam ic linkarchitecture J 1IEEE T ransComputer,1993,42(3):30031113Brian Cuenter,Cindy Gri mm,et al1M akingFaces J,Computer Graphics Proceedings,199814Frederic

19、 Pighin,Jam ic Hecker,et al1Synthesizing realistic facial expessions fromphotographs J,Computer GraphicsProceedings,199815晏洁,高文 1 基于一般人脸模型修改的特定人脸合成技术J 1 计算机学报,1999,11(5)16晏洁 1 显示具有真实感的三维合成人脸图形的两种方法J 1 计算机工程,1998,24(1):495217张卫国,王展,兰军,等 1 一种基于几何特征的斜视人脸图像特征恢复方法J 1 计算机应用研究,2000,(4):868718陈开周 1 最优化计算方法M

20、 1 西安:西安电子科技大学出版社,199519张翔宇,林志勇,华蓓,等 1 从正面侧面照片合成三维人脸J 1 计算机应用,2000,(7)1作者简介张小平男,1964年出生,讲师。主要研究方向为多媒体。李夏忠男,1977年出生,硕士研究生。主要研究方向为模式识别、图像处理。刘志镜男,1957年出生,教授。主要研究方向为多媒体网络、图像处理。(上接第58页)3W illiam Stallings1Cryptography and networksecurity:Principles and practice M 12ndedition1PrenticeHall,Inc1,199914N ati

21、onal institute of standards andtechnology1Secure Hash Standard1FederalInformation Processing Standard,F IPS PUB1801,1995,(4)15N ational institute of standards andtechnology1DataEncryptionStandard(DES)1FederalInformationProcessingStandard,F IPS 463,1999,(10)16Cracking DES code all in a days work fors

22、ecurityexperts1http:?cnn1com?TECH?computing?9901?21?descrack1idg?index1htm l1See also RSA CodeBreaking ContestA gain W on by D istributed1N et and ElectronicFrontier Foundation(EFF)DES ChallengeIIIBroken in Record 22 Hours1http:?www1rsasecurity1com?new s?pr?99011911htm l1作者简介杨观懂男,1979年出生,浙江温州人,杭州商学院信息与电子工程学院电子信息专业本科毕业生。陈添丁男,指导老师,浙江大学通信与信息系统博士毕业。主要研究方向为无线多媒体通信、网络可编程路由器和网络通信安全。26张小平等:3D模型的多姿态人脸识别