基于单幅图像的人脸三维重建23728.pdf
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《基于单幅图像的人脸三维重建23728.pdf》由会员分享,可在线阅读,更多相关《基于单幅图像的人脸三维重建23728.pdf(20页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 1 基于单幅图像的人脸三维重建 摘要:三维建模是计算机视觉和计算机图形学领域中一个基本的问题,人脸借助 其特有的普遍性和易用性成为众多先进三维建模算法的实验平台。但是由于人 脸的复杂性、易变性,建立逼真的三维人脸模型成为众多研究者挑战的课题。本文将数字图像处理学、模式识别的原理和方法应用到三维人脸模型重建和识 别领域,建立了一个基于二维人脸图像的三维人脸重建和识别系统。本文提出了一套适用于正、侧面两幅二维人脸图像的三维人脸重建和识别 算法,并建立了系统原型。对于三维人脸重建算法,本文提出了基于灰度、边 缘检测和肤色的正面人脸特征提取算法,结合手工提取的侧面人脸特征获取人 脸三维信息。其主要思
2、想是:对正人脸图像进行光照补偿、滤波和锐化等预处 理,去除噪声的干扰;然后利用灰度积分投影进行人脸各特征区域的粗定位,把人脸分为几个区域;对各个区域分别利用方差积分投影、边缘检测、肤色检 测等技术精确定位人脸图像的各特征点;结合从侧面人脸图像中提取的三维深 度信息,校正已有的三维人脸统计模型,获得一个特定的人脸三维模型;利用 Op 蛐 GL 对重建的三维人脸进行可视化仿真。对于三维人脸识别,本文提出了 基于几何特征的三维人脸识别算法。利用获得的三维人脸信息,构造三维特征 矢量,通过三维特征矢量相似度来鉴别最后的结果。实验结果表明,在 CVL 人脸图像库中利用本文所采用的算法,获得了令人 满意的
3、效果。关键词:人脸重建,积分投影,三维人脸,纹理映射,三维识别 2 ABSTRACT:3D modeling is currently Olle of the most important issues in computer vision and computer graphicsHuman facesSOnlmon and reachable that many newalgorithms are first tested On it Also due to the complexity and flexibility ofhumanfaces,many researchers have
4、taken On the challenge of building realistic 3D facemodelsWe apply the theories and methods of the digital image processing and thepatternrecognition to the 3D face modeling and recognition,and realize the system of3D face modeling and recognitionbased on 2D face imageIn the thesis,a IIeW method of
5、3D face modeling and 3D recognition applied tothe system is proposed,and the prototype system i8 realized As to the 3D faeemodeling,the method combines the features detected from frontal face image basedon gray level,edge detection and skin color,and the features extracted manuallyfrom lateral face
6、imageFirstly the frontal face image is preproeessed to eliminatethe effect of the noiseAtterwards a face segmentation based on the gray levelprojection i8 proposedIn the process of feature points extraction,varianceprojection,edge detection and skin color detection ausedCombined with the information
7、 of depth extracted from the lateral image,a specific 3D face model c 舭 be obtained by adjusting 3D statistic face model to these feature points The 3D face model 锄 be visual and simulated 丽 lh OpenGL The 3D face recognition is basedOn 3D geometrical featuresThe 3D feature vector is computed using t
8、he 3DinformationAt last,similarity of two 3D face vectors,which is used to judge whetherthe tow face models belong to the se person,is calculated The experiments proved that this method worksvery well in CVL face database Keywords:face reeonslruetion,gray level projection,3D face,texture mapping,3D
9、face recognition 3 目 录 摘要.1 ABSTRACT.2 第一章绪论.4 11 课题研究的目的和意义.4 12 国内外研究概况.4 第二章三维人脸重建与识别系统基础.4 21 三维人脸重建与识别系统.4 22 vCH 三维图像处理基础.6 23 三维人脸模型介绍.6 第三章三维人脸重建.8 31 三维人脸重建.8 3.2 系统工作步骤.9 3.3 三维结构重建.9 3.4 设置开发环境.11 3.5 具体编程.12 第四章总结.18 参考文献.19 致 谢.20 4 第一章绪论 11 课题研究的目的和意义 三维建模是计算机视觉和计算机图形学领域中一个基本的问题,人脸因其 特
10、有的普遍性和易用性成为众多先进三维建模算法的实验平台。由于每个人的 人脸都是不同的,可以说世界上根本不存在两张完全相同的人脸,即使看起来 非常相似的双胞胎,在某些方面也存在着不同之处【l】,所以人脸的个体差异必 然存在,这就为我们建立特定人脸的三维模型提供了可能。但是由于人脸的复 杂性、易变性,建立逼真的三维人脸模型成为众多研究者挑战的课题。三维建模虽然如此困难,但是许多研究者还是始终在坚持不懈地进行着这 方面的探索,原因有二;一是三维人脸模型有着极为广泛的应用。目前,三维 人脸模型已经初步应用到视频电话、视频会议、影视制作、电脑游戏、入脸识 别等多个领域,而且随着各方面技术的发展,三维人脸模
11、型将会在各方面得到 更深更广的应用。二是现有的一些问题用二维方法解决不了或者说不能很好地 解决。比如人脸识别方面,表情变化问题始终是一个阻碍提高识别率的关键因 素。12 国内外研究概况 三维人脸建模过程通常由人脸三维数据的获取、标准三维人脸建模和特定 人脸建模 3 部分组成。三维数据的获取属于计算机视觉领域,近年来随着计算 机视觉技术的发展,研究者们发展了一些适用于三维建模的数据获取方法。标 准人脸模型的建立是图形学、人体测量学和统计学等相结合的产物,可以描述 人类共有的结构特征和行为特征。特定人脸建模可以根据三维数据直接建立可 视化模型,也可以通过对标准模型的形变进行建模,后者是研究的主流。
12、从标 准模型到个性模型的建模方法按照数据的来源主要分为两类:基于三维散乱点数据的建模方法和基于图像(单幅、多幅、序列)的建模方法。在建模过程中,研究者们尽量使处理过程自动化,但至今完全自动化的建模方法还少有报道。第二章三维人脸重建与识别系统基础 21 三维人脸重建与识别系统 211 系统提出 随着社会经济的发展,对于三维人脸建模的需求在不断地增长,诸如:视 5 频电话、视频会议、影视制作、电脑游戏和人脸识别。尤其是对于人脸识别而 言,当现有的一些问题用二维方法解决不了或者说不能很好解决的时候,采用 三维方法也许就能迎刃而解。比如二维人脸识别中人脸旋转或者表情变化都会 影响最终识别结果的准确性。
13、利用三维人脸模型进行人脸识别,在理论上会提、高识别率和识别的鲁棒性【25261。正是基于这一需求提出了这套系统。212 系统组成 系统软件为 vC+60 编写的 windows 应用程序,主要分为:人脸检测、特 征点定位、模型匹配、纹理映射以及人脸识别五个部分。整个系统软件流程如 图 21。213 系统工作步骤 本系统分为三维人脸重建和识别两个子系统。整个系统的工作过程为:(1)基于肤色检测的人脸区域定位,为了避免光照对人脸区域定位的影响,在检测之前先做了光照归一化。(2)人脸图像灰度化,并进行预处理。在确定人脸区域以后,将其转化为 灰度图像,然后进行中值滤波,锐化和灰度归一化等图像预处理。(
14、3)基于先验知识,利用灰度积分投影,粗定位人脸五官特征。然后对各 个五官区域运用积分投影、边缘检测等方法进行精确的正面人脸特征 点定位。随后手工确定侧面人脸图像几个主要特征点的位置。(4)通过正、侧两副图像上的特征点获取的三维信息,调整三维人脸模型,构造一个特定人脸的三维模型。(5)为了实现可视化,需要将二维图像上的人脸的肤色信息映射三维空间 6 中,即纹理映射。(6)利用第四步中获得的三维信息,构造特征矢量并进行相似度的判别,输出最终结果。22 vCH 三维图像处理基础 随着三维图形的应用愈来愈广泛,计算机图形学的发展也越来越迅速。那 么如何快速实现三维图形的计算可视化,仿真可视化呢?Ope
15、nGL 即可作为主 要途径之一。OpenGL 作为一种硬件图形的软件接口,其优点是作为一个独立 的工作平台,独立于硬件设备、窗口系统和操作系统,用它编写的软件可以在 Unix、Windows98NT 等系统间移植。但是现在很多有关OpenGL 的书中的程 序都是使用标准 C 调用 OpvnGL 函数实现的,这样做使得它缺乏面向对象能力,不符合当前流行的软件设计思想。因此我们需要借助一个“窗口”系统来完成 OpenGL 三维图形的制作。众所周知,Visual c+中 MFC 包含了强大的基于 Windows 的应用框架,提供了丰富的窗口和事件管理函数,已经成为当前一种比 较流行的工作平台。于是我
16、们可以选用 MFC 调用 OpeuGL 函数来进行三维图形的开发。23 三维人脸模型介绍 本文使用 CANDIDE-3 三维人脸模型进行三维人脸重建。CANDIDE-3 是一个简单的参数化的人脸标准模型,它同时兼容 MPEG 中的人脸动画参数(FAPs FacialAnimation Paramters)和 人 脸 定 义 参 数(FDPs-Facial DefinitionParameters)因此该模型被广泛应用于人脸识别和动画的科研中。CANDIDE-3 包含 113 个顶点和 184 个面(如图 2-2 所示),可以通过一系列的全局和局部的动作单元(Action Units)来控制。C
17、ANDIDE-3 中的人脸运动参数包括两类:外形参数(Shape Units)和动画参 数(Animation Units)。外形参数是描述人脸形状的参数,对于一个确定的人外形参数不会有较大变化,它描述人脸的静态特征。外形参数包括:头的高度,眼睛,眉毛在纵向上的位置以及人眼的宽度、高度,鼻子、嘴的位置和高度等等。动画参数是用来描述人脸的动态外形,当人做各种表情的时候,虽然外形参数变化不大,但描述人脸的细节变化的动画参数,往往变化较大。动画参数包括:眼 7 睛 的 睁 开、闭 合,嘴 唇 的 蠕 动,嘴 的 张 开,嘴 角 的 运 动 等。CANDIDE-3-维人脸模型在计算机中使用点和面来表示
18、。点就是“3 个顶 点,每个顶点用(x,y,z)-个坐标表示并为每个顶点标_L0-112 的序号。每一个面由特定的三个顶点构成,表示为 pJ,p2,p3),总共构成了 184 个面。那么一个三维人脸结构就可以用顶点坐标和构成每个面的三个顶点的集合来表示。具体表示如下:顶点定义:typedefstruct Point_type double pt3】;,点的三维坐标)POINTTYPE;三角形面的定义:tyleddstructF 獬 Iypc intPtl Index;面片中第一个点的点号 hat Pt2 Index;面片中第二个点的点号 intPt3 Index;面片中第三个点的点号 FACE
19、TYPE;三维人脸对象定义:typedefstruct Object_type 8 intvertcx_num;点的个数 POINTTYPE+vertices;点列表 intface_num;面的个数 FACETYPE+face_indicies;面列表 Object_type+next;连续构造多个人脸时指向下个人脸的指针 OBJECITYPE;第三章三维人脸重建 31 三维人脸重建 模型匹配是三维人脸重建的关键,所谓模型匹配即基于三维统计人脸模型,通过映射等方法,利用上一章中确定的人脸特征点去调整三维人脸模型,使其 匹配某个特定的人脸。模型的匹配主要分为:全局匹配、局部匹配和深度信息 匹配
20、。整个三维人脸重建的流程如下图:9 3.2 系统工作步骤 本系统分为三维人脸重建和识别两个子系统。整个系统的工作过程为:(1)基于肤色检测的人脸区域定位,为了避免光照对人脸区域定位的影响,在检测之前先做了光照归一化。(2)人脸图像灰度化,并进行预处理。在确定人脸区域以后,将其转化为 灰度图像,然后进行中值滤波,锐化和灰度归一化等图像预处理。(3)基于先验知识,利用灰度积分投影,粗定位人脸五官特征。然后对各 个五官区域运用积分投影、边缘检测等方法进行精确的正面人脸特征 点定位。随后手工确定侧面人脸图像几个主要特征点的位置。(4)通过正、侧两副图像上的特征点获取的三维信息,调整三维人脸模型,构造一
21、个特定人脸的三维模型。(5)为了实现可视化,需要将二维图像上的人脸的肤色信息映射三维空间 中,即纹理映射。(6)利用第四步中获得的三维信息,构造特征矢量并进行相似度的判别,输出最终结果。3.3 三维结构重建 在绘制人脸模型的时候,首先选择绘制三角形。OpenGL 中对点、线和多 边形的定义都是通过对顶点坐标的定义来获得的,而所有的几何物体最终都是 1 0 按顶点的定义顺序来进行绘制。所以,这里用数组来定义第 i 个顶点为 vertieesi3(i-0,l,2,112),其类型为 float。113 行表示 113 个顶点,3 列表示每个顶点的氏只 z)3 个坐标分量。我们采用的三维人脸模型是由
22、OpenGL 绘制的三维多边形网格模型,利用 三维人脸模型中对各个特征点的定义,确定组成各个特征的点数据及面数据,根据已得的数据,可知道 113 个顶点组成 184 个三角形面,用数组定义这些面 为face,类型为。行即表示 个三角形面,列表_indieies1849 short 184 184 9 示组成三角形的三个顶点号、法向量坐标和纹理坐标。在最初的建模过程中,只需考虑三角形的三个顶点号。例如:76,112,59,0,1,2,0,0,O)表示组成第一个三角形的三个顶点号为76、112 和 59,也就是说由第 76 号、第112 号和第 59 号三个顶点组成第一个三角形。既然知道了顶点坐标
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 单幅 图像 三维重建 23728
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内