基于单幅图像的人脸三维重建.wps
《基于单幅图像的人脸三维重建.wps》由会员分享,可在线阅读,更多相关《基于单幅图像的人脸三维重建.wps(20页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、1基于单幅图像的人脸三维重建基于单幅图像的人脸三维重建摘要:摘要:三维建模是计算机视觉和计算机图形学领域中一个基本的问题,人脸借助其特有的普遍性和易用性成为众多先进三维建模算法的实验平台。但是由于人脸的复杂性、易变性,建立逼真的三维人脸模型成为众多研究者挑战的课题。本文将数字图像处理学、模式识别的原理和方法应用到三维人脸模型重建和识别领域,建立了一个基于二维人脸图像的三维人脸重建和识别系统。本文提出了一套适用于正、侧面两幅二维人脸图像的三维人脸重建和识别算法,并建立了系统原型。对于三维人脸重建算法,本文提出了基于灰度、边缘检测和肤色的正面人脸特征提取算法,结合手工提取的侧面人脸特征获取人脸三维
2、信息。其主要思想是:对正人脸图像进行光照补偿、滤波和锐化等预处理,去除噪声的干扰;然后利用灰度积分投影进行人脸各特征区域的粗定位,把人脸分为几个区域;对各个区域分别利用方差积分投影、边缘检测、肤色检测等技术精确定位人脸图像的各特征点;结合从侧面人脸图像中提取的三维深度信息,校正已有的三维人脸统计模型,获得一个特定的人脸三维模型;利用Op 蛐 GL 对重建的三维人脸进行可视化仿真。对于三维人脸识别,本文提出了 基于几何特征的三维人脸识别算法。利用获得的三维人脸信息,构造三维特征矢量,通过三维特征矢量相似度来鉴别最后的结果。实验结果表明,在 CVL 人脸图像库中利用本文所采用的算法,获得了令人满意
3、的效果。关键词:人脸重建,积分投影,三维人脸,纹理映射,三维识别关键词:人脸重建,积分投影,三维人脸,纹理映射,三维识别2 ABSTRACT:3D modeling is currently Olle of the most important issues in computer vision and computer graphicsHuman facesSOnlmon and reachable that many newalgorithms are first tested On it Also due to the complexity and flexibility ofhuman
4、faces,many researchers have taken On the challenge of building realistic 3D facemodelsWe apply the theories and methods of the digital image processing and thepatternrecognition to the 3D face modeling and recognition,and realize the systemof3D face modeling and recognitionbased on 2D face imageIn t
5、he thesis,a IIeW method of 3D face modeling and 3D recognition applied tothe system is proposed,and the prototype system i8 realized As to the 3D faeemodeling,the method combines the features detected from frontal face image basedon gray level,edge detection and skin color,and the features extracted
6、 manuallyfrom lateral face imageFirstly the frontal face image is preproeessed to eliminatethe effect of the noiseAtterwards a face segmentation based on the gray levelprojection i8 proposedIn the process of feature points extraction,varianceprojection,edge detection and skin color detection ausedCo
7、mbined with the information of depth extracted from the lateral image,a specific 3D face model c 舭 be obtained by adjusting 3D statistic face model to these feature points The 3D face model 锄 be visual and simulated 丽 lh OpenGL The 3D face recognition is basedOn 3D geometrical features The 3D featur
8、e vector is computed using the 3DinformationAt last,similarity of two 3D face vectors,which is used to judge whetherthe tow face models belong to the se person,is calculatedThe experiments proved that this method worksvery well in CVL face databaseKeywords:face reeonslruetion,gray level projection,3
9、D face,texture mapping,3D face recognition3目 录目 录摘要摘要.1ABSTRACT.2第一章绪论第一章绪论.311 课题研究的目的和意义11 课题研究的目的和意义.312 国内外研究概况12 国内外研究概况.4第二章三维人脸重建与识别系统基础第二章三维人脸重建与识别系统基础.421 三维人脸重建与识别系统21 三维人脸重建与识别系统.422 vCH 三维图像处理基础22 vCH 三维图像处理基础.523 三维人脸模型介绍23 三维人脸模型介绍.6第三章三维人脸重建第三章三维人脸重建.831 三维人脸重建31 三维人脸重建.83.2 系统工作步骤3.2
10、 系统工作步骤.93.3 三维结构重建3.3 三维结构重建.93.4 设置开发环境3.4 设置开发环境.113.5 具体编程3.5 具体编程.12第四章总结第四章总结.18参考文献参考文献.19致 谢致 谢.204第一章绪论第一章绪论11 课题研究的目的和意义11 课题研究的目的和意义 三维建模是计算机视觉和计算机图形学领域中一个基本的问题,人脸因其特有的普遍性和易用性成为众多先进三维建模算法的实验平台。由于每个人的人脸都是不同的,可以说世界上根本不存在两张完全相同的人脸,即使看起来非常相似的双胞胎,在某些方面也存在着不同之处【l】,所以人脸的个体差异必然存在,这就为我们建立特定人脸的三维模型
11、提供了可能。但是由于人脸的复杂性、易变性,建立逼真的三维人脸模型成为众多研究者挑战的课题。三维建模虽然如此困难,但是许多研究者还是始终在坚持不懈地进行着这方面的探索,原因有二;一是三维人脸模型有着极为广泛的应用。目前,三维人脸模型已经初步应用到视频电话、视频会议、影视制作、电脑游戏、入脸识别等多个领域,而且随着各方面技术的发展,三维人脸模型将会在各方面得到更深更广的应用。二是现有的一些问题用二维方法解决不了或者说不能很好地解决。比如人脸识别方面,表情变化问题始终是一个阻碍提高识别率的关键因素。12 国内外研究概况12 国内外研究概况 三维人脸建模过程通常由人脸三维数据的获取、标准三维人脸建模和
12、特定人脸建模 3 部分组成。三维数据的获取属于计算机视觉领域,近年来随着计算机视觉技术的发展,研究者们发展了一些适用于三维建模的数据获取方法。标准人脸模型的建立是图形学、人体测量学和统计学等相结合的产物,可以描述人类共有的结构特征和行为特征。特定人脸建模可以根据三维数据直接建立可视化模型,也可以通过对标准模型的形变进行建模,后者是研究的主流。从标准模型到个性模型的建模方法按照数据的来源主要分为两类:基于三维散乱点数据的建模方法和基于图像(单幅、多幅、序列)的建模方法。在建模过程中,研究者们尽量使处理过程自动化,但至今完全自动化的建模方法还少有报道。第二章三维人脸重建与识别系统基础第二章三维人脸
13、重建与识别系统基础21 三维人脸重建与识别系统21 三维人脸重建与识别系统5211 系统提出211 系统提出 随着社会经济的发展,对于三维人脸建模的需求在不断地增长,诸如:视频电话、视频会议、影视制作、电脑游戏和人脸识别。尤其是对于人脸识别而言,当现有的一些问题用二维方法解决不了或者说不能很好解决的时候,采用三维方法也许就能迎刃而解。比如二维人脸识别中人脸旋转或者表情变化都会影响最终识别结果的准确性。利用三维人脸模型进行人脸识别,在理论上会提、高识别率和识别的鲁棒性【25261。正是基于这一需求提出了这套系统。212 系统组成212 系统组成 系统软件为 vC+60 编写的 windows 应
14、用程序,主要分为:人脸检测、特征点定位、模型匹配、纹理映射以及人脸识别五个部分。整个系统软件流程如图 21。213 系统工作步骤213 系统工作步骤本系统分为三维人脸重建和识别两个子系统。整个系统的工作过程为:(1)基于肤色检测的人脸区域定位,为了避免光照对人脸区域定位的影响,在检测之前先做了光照归一化。(2)人脸图像灰度化,并进行预处理。在确定人脸区域以后,将其转化为灰度图像,然后进行中值滤波,锐化和灰度归一化等图像预处理。(3)基于先验知识,利用灰度积分投影,粗定位人脸五官特征。然后对各个五官区域运用积分投影、边缘检测等方法进行精确的正面人脸特征点定位。随后手工确定侧面人脸图像几个主要特征
15、点的位置。(4)通过正、侧两副图像上的特征点获取的三维信息,调整三维人脸模型,6构造一个特定人脸的三维模型。(5)为了实现可视化,需要将二维图像上的人脸的肤色信息映射三维空间中,即纹理映射。(6)利用第四步中获得的三维信息,构造特征矢量并进行相似度的判别,输出最终结果。22 vCH 三维图像处理基础22 vCH 三维图像处理基础随着三维图形的应用愈来愈广泛,计算机图形学的发展也越来越迅速。那么如何快速实现三维图形的计算可视化,仿真可视化呢?OpenGL 即可作为主要途径之一。OpenGL 作为一种硬件图形的软件接口,其优点是作为一个独立的工作平台,独立于硬件设备、窗口系统和操作系统,用它编写的
16、软件可以在Unix、Windows98NT 等系统间移植。但是现在很多有关 OpenGL 的书中的程序都是使用标准 C 调用 OpvnGL 函数实现的,这样做使得它缺乏面向对象能力,不符合当前流行的软件设计思想。因此我们需要借助一个“窗口”系统来完成OpenGL 三维图形的制作。众所周知,Visual c+中 MFC 包含了强大的基于Windows 的应用框架,提供了丰富的窗口和事件管理函数,已经成为当前一种比较流行的工作平台。于是我们可以选用 MFC 调用 OpeuGL 函数来进行三维图形的开发。23 三维人脸模型介绍23 三维人脸模型介绍 本文使用 CANDIDE-3 三维人脸模型进行三维
17、人脸重建。CANDIDE-3是一个简单的参数化的人脸标准模型,它同时兼容 MPEG 中的人脸动画参数(FAPsFacialAnimation Paramters)和 人 脸 定 义 参 数(FDPs-Facial DefinitionParameters)因此该模型被广泛应用于人脸识别和动画的科研中。CANDIDE-3 包含 113 个顶点和 184 个面(如图 2-2 所示),可以通过一系列的全局和局部的动作单元(Action Units)来控制。CANDIDE-3 中的人脸运动参数包括两类:外形参数(Shape Units)和动画参数(Animation Units)。外形参数是描述人脸形
18、状的参数,对于一个确定的人外形参数不会有较大变化,它描述人脸的静态特征。外形参数包括:头的高度,眼睛,眉毛在纵向上的位置以及人眼的宽度、高度,鼻子、嘴的位置和高度等等。7动画参数是用来描述人脸的动态外形,当人做各种表情的时候,虽然外形参数变化不大,但描述人脸的细节变化的动画参数,往往变化较大。动画参数包括:眼睛 的 睁 开、闭 合,嘴 唇 的 蠕 动,嘴 的 张 开,嘴 角 的 运 动 等。CANDIDE-3-维人脸模型在计算机中使用点和面来表示。点就是“3 个顶点,每个顶点用(x,y,z)-个坐标表示并为每个顶点标_L0-112 的序号。每一个面由特定的三个顶点构成,表示为 pJ,p2,p3
19、),总共构成了 184 个面。那么一个三维人脸结构就可以用顶点坐标和构成每个面的三个顶点的集合来表示。具体表示如下:顶点定义:typedefstruct Point_typedouble pt3】;,点的三维坐标)POINTTYPE;三角形面的定义:tyleddstructF 獬 IypcintPtl Index;面片中第一个点的点号hat Pt2 Index;面片中第二个点的点号intPt3 Index;面片中第三个点的点号FACETYPE;三维人脸对象定义:8typedefstruct Object_typeintvertcx_num;点的个数POINTTYPE+vertices;点列表i
20、ntface_num;面的个数FACETYPE+face_indicies;面列表 Object_type+next;连续构造多个人脸时指向下个人脸的指针 OBJECITYPE;第三章三维人脸重建第三章三维人脸重建31 三维人脸重建31 三维人脸重建 模型匹配是三维人脸重建的关键,所谓模型匹配即基于三维统计人脸模型,通过映射等方法,利用上一章中确定的人脸特征点去调整三维人脸模型,使其匹配某个特定的人脸。模型的匹配主要分为:全局匹配、局部匹配和深度信息匹配。整个三维人脸重建的流程如下图:93.2 系统工作步骤3.2 系统工作步骤本系统分为三维人脸重建和识别两个子系统。整个系统的工作过程为:(1)
21、基于肤色检测的人脸区域定位,为了避免光照对人脸区域定位的影响,在检测之前先做了光照归一化。(2)人脸图像灰度化,并进行预处理。在确定人脸区域以后,将其转化为灰度图像,然后进行中值滤波,锐化和灰度归一化等图像预处理。(3)基于先验知识,利用灰度积分投影,粗定位人脸五官特征。然后对各个五官区域运用积分投影、边缘检测等方法进行精确的正面人脸特征点定位。随后手工确定侧面人脸图像几个主要特征点的位置。(4)通过正、侧两副图像上的特征点获取的三维信息,调整三维人脸模型,构造一个特定人脸的三维模型。(5)为了实现可视化,需要将二维图像上的人脸的肤色信息映射三维空间中,即纹理映射。(6)利用第四步中获得的三维
22、信息,构造特征矢量并进行相似度的判别,输出最终结果。3.3 三维结构重建3.3 三维结构重建 在绘制人脸模型的时候,首先选择绘制三角形。OpenGL 中对点、线和多边形的定义都是通过对顶点坐标的定义来获得的,而所有的几何物体最终都是10按顶点的定义顺序来进行绘制。所以,这里用数组来定义第 i 个顶点为vertieesi3(i-0,l,2,112),其类型为 float。113 行表示 113 个顶点,3 列表示每个顶点的氏只 z)3 个坐标分量。我们采用的三维人脸模型是由 OpenGL 绘制的三维多边形网格模型,利用三维人脸模型中对各个特征点的定义,确定组成各个特征的点数据及面数据,根据已得的
23、数据,可知道 113 个顶点组成 184 个三角形面,用数组定义这些面 为 face,类型为。行即表示 个三角形面,列表_indieies1849 short 184 184 9 示组成三角形的三个顶点号、法向量坐标和纹理坐标。在最初的建模过程中,只需考虑三角形的三个顶点号。例如:76,112,59,0,1,2,0,0,O)表示组成第一个三角形的三个顶点号为 76、112 和 59,也就是说由第 76 号、第 112 号和第 59 号三个顶点组成第一个三角形。既然知道了顶点坐标和每个三角形面的顶点号,就可以将这些点和面连起来构成人脸网格模型,利用直接构成三角形图原的变量 GL TR IANGL
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 单幅 图像 三维重建
限制150内