基于像素级人脸标注的人脸编辑方法-李真熙.pdf

《基于像素级人脸标注的人脸编辑方法-李真熙.pdf》由会员分享，可在线阅读，更多相关《基于像素级人脸标注的人脸编辑方法-李真熙.pdf（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1II!IIIIIIIIIIIHIHIIIIIHIIIIIHIIII。Y32261 91中自 错孽玻 求大玺硕士学位论文论文题目作者姓名学科专业导师姓名完成时间基于像素级人脸标注的万方数据中圈料孽艘 求大誊硕士学位论文基于像素级人脸标注的人脸编辑方法作者姓名学科专业导师姓名完成时间李真熙计算数学专业张举勇副教授二。一七年五月万方数据University of Science and Technology of ChinaA d issertation for masterS deg reeFace Editing Method Based OnPixellevel F ace L ab eli

2、n gAuthor：Speciality：Supervisor：Finished Time：Zhenxi LiComputational MathematicsAssociate ProfJuyong ZhangMay,2017万方数据中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作了明确的说明。作者签名：煎壁 签字日期：坦!z芏：丛中国科学技术大学学位论文授权使用声明作为申请学位的条件之一，学位论文著作权拥有

3、者授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中国学位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。囤7公开 口保密 年作者签名：煎坠 新签名：签字日期：塑!篁!堑 签字日期：砂c 7-了乙r签字日期： 沙l Z3A万方数据摘要摘要随着计算机视觉和图形学的快速发展，图像因其表示直观、传递便捷，逐渐成为人们日常信息交流的主要载体。其中，人物图像在很多领域都有着广

4、泛的应用，例如身份验证、人机交互、监控、取证、医疗诊断和治疗等，这促使其成为机器识别和计算机视觉的主要课题之一。而且，由于人脸是人体上蕴含差异化信息最多的部分，因此人们仅通过观察人脸便能获得丰富的信息，如人的性别，种族、年龄、健康、情绪，甚至职业等等。本文的研究重点则在于人脸编辑。在手机等移动设备已经普及的当下，朋友圈和微博等应用促进了社交网络的分享功能。很多人喜欢将自己或者家人的照片分享到社交网络上，以获得更多的关注。然而，对于一般用户而言，其拍摄的照片往往会存在缺乏层次感、曝光不足、色彩饱和度低等问题。若是没有一定的摄像功底，人们很难拍摄出意境和光照俱佳的照片。这时，图像编辑便能帮助人们解

5、决这一问题。即使对于部分面部有“缺陷”的人，例如受伤，雀斑，圆脸等通过化妆都难以遮盖的问题，人们也可以通过人脸编辑的手段来得到较为满意的照片。目前市场上有诸多图像编辑软件，例如Adobe公司的Photoshop、美图公司出品的美图秀秀等等。其中部分软件的确能较好的实现图像编辑功能，但这需要用户具备一定的专业技能，一般用户难以迅速上手。虽然市场上还有部分软件能进行“一键式”操作，对整张图像进行一键调整，但调整后的图像没有保留应有的细节，让人一眼就能看出编辑的痕迹。这些问题的存在使得用户的需求没有得到充分满足，需要对其进行进一步优化。为了解决上述问题，获得更加真实的人脸图像编辑效果，本文基于深度学

6、习获得像素级人脸图像标注的高精度结果，并在其基础上获得了更加真实可信的人脸编辑图像。文章主要分为两个方面：第一，训练全卷积神经网络模型，即输入一张人脸图像，就能得到对应高精度的像素级人脸图像标注结果；第二，对人脸图像自动应用人脸编辑操作，如人脸光滑、人脸克隆、人脸融合和人脸化妆。借助高精度的像素级人脸图像标注结果，可以对人脸图像的每一块语义区域分开处理，从而保留视觉上较为关注的细节。本文的核心在于基于全卷积神经网络，针对人脸这一特殊的结构特征，加入形状先验粗略得出每一类标签的大致位置，从而为全卷积神经网络的学习提供引导。大量的实验结果表明，本文算法不仅能支持任意尺寸人脸图像的输入，以较快的速度

7、获得高精度的像素级人脸图像标注结果，而且在人脸图像编辑上获得了有说服力的视觉效果。关键词： 深度学习像素级人脸图像标注形状先验人脸图像编辑万方数据ABSTRACTABSTRACTWith the rapid development of computer vision and computer graphics，the imagehas become the main carrier of peopleS daily information exchange because of its intuitive and convenient transmissionAmong them，the c

8、haracter image has been widelyused in many fields，such as authentication，humancomputer interaction，monitoring，forensics，medical diagnosis and treatment，prompting it to become one ofthe main topics in machine recognition and computer visionMoreoverthe face is the part of thehuman body contains the la

9、rgest differential information，SO people can get rich infor-mation only by observing the face，such as human gender，race，age，health，mood，andeven occupation and SO onThis paper is focus on face editingWith the popularity of mobile devices such as mobile phones，WeChat and microblogging applications to

10、promote the further development of social networksManypeople like to send photos ofthemselves or their families to social networks to get moreattentionHowever，for the general user,their photographs are often lack of layering，or lack of exposure，or low color saturationIf there is no certain camera sk

11、ills，it isdifficult to shoot out the artistic conception and the beautiful photos，For some peoplewho haveflaws”in the face，such as injuries，freckles，round face and SO onTheyare often difficult to cover these problems through makeup，and can only through theimage editing methods to get a more satisfac

12、tory pictureMany of the existing image editing software，such as AdobeS Photoshop，MeituXiu Xiu and SO onSome of them can really achieve the effect of real ones，but it takesa certain amount of time for professional training，the general user is difficult to quicklyget startedAlthough there are some sof

13、tware on the market can be a oneclick fooloperation，but the adjustment of the image does not retain the details，people can see atrace ofthe dressingThe existence ofthese problems makes the userS needs not fullysatisfied，we need to further optimizeIn order to solve the above problems and obtain the m

14、ore realistic face image editing effect，this paper obtains the high precision result of the face pixel information classification based on the deep learning，and on the basis of the above results，we can get amore authentic and credible face editing imageThis paper is mainly divided into twoaspects：Fi

15、rst，training fully convolution neural networks model，enter a face image，you can get the corresponding high precision facial pixel information classification resuitsSecond，automatic application in face editing operations，such as face smoothing，face cloning and face blendingWith the help of the classi

16、fication results，each piece ofsemantic area of the face can be treated separately，thus preserving the more attentionTTT万方数据to the details of the visualThe core of this paper is basedon the fully convolutionneura J netwo rkFor the special topological structure of theface，the shape priors areadded to

17、obtaln the approximate position ofeach typeoflabelFurthermore，it providesguldance for the learning of neural network A large number ofexperimental results8how that prop08ed algorithm not only supports the faceimage of any size and obtainsnlgh-preclslon pixeMevel face image labeling results at a fast

18、er speed，but also obtainsa convincing visual effect in face image editingK卵。rds：DeeP learning，Pixel-1eVel face labeling，Shape P眦i Face editingIV万方数据目 录目 录摘要 IABSl。上淤C上目 录表格索引插图索引算法索引主要符号对照表第一章绪论11课题的研究背景和意义111研究背景112研究目的和意义1，2本文的研究内容和结构安排121本文研究内容和贡献，122本文的结构安排第二章相关工作21像素级人脸图像标注算法211像素级人脸图像标注算法的简介 5

19、212像素级人脸图像标注算法的相关工作- 522人脸图像编辑的相关工作 8221人脸编辑的简介-8222人脸图像的面部光滑-8223人脸图像的五官或者面部克隆， 9224人脸图像的面部融合和化妆，-12第三章像素级人脸图像标注算法1 531深度神经网络的基本原理15311深度神经网络的简介 15312全卷积网络简介，20Vmv。，。3345万方数据目 录32本文的整体网络结构-一22321数据集组成。，322形状先验-t2223323网络参数的设定和运行时f司-一一-一一一-一一。2533像素级人脸图像标注结果的展示27第四章基于像素级人脸图像标注的人脸编辑方法2941人脸光滑算法及结果展示2

20、942人脸克隆算法及结果展示-3043人脸融合和人脸化妆算法及结果展示，31第五章总结与展望35参考文献37致谢。41在读期间发表的学术论文与取得的研究成果43VI万方数据表格索弓表格索弓31 神经网络传播算法推导中的符号注释1 732在HELEN数据集上像素级人脸图像标注的准确性度量27VII万方数据插图索弓插图索引11 部分面部缺陷示意图。，。，。，。 231 单个神经元组成的神经网络1532三层神经元组成的神经网络1633 传统网络的分类示意图2034 图像进行语义像素级标注的例子2135传统网络的全连接层转换为卷积层2236像素级人脸图像标注示意图2337人脸图像形状先验的构造过程。2

21、438 不同通道数的形状先验的对比结果2639 HELEN数据集上的像素级人脸图像标注的视觉结果2841 基于像素级人脸图像标注的人脸光滑算法3042基于像素级人脸图像标注的人脸克隆算法3143 两张人脸图像的融合结果3244 80个人脸关键点的分布3245 基于像素级人脸图像标注的人脸融合算法对比3346基于像素级人脸图像标注的人脸化妆算法对比33IX万方数据算法索弓算法索引31 批量梯度下降法的一次迭代过程，20XI万方数据HSVLBPCRFRBMFSMCNNGMMASMI也FMPBBPSVMReLUFCNSGDE巾()f()PRWbpIM主要符号对照表色度饱和值置信度传播算法(Loopy

22、 Belief Propagation)条件随机场(Conditional random fields)限制玻尔兹曼机(Restricted Boltzmann machine)面部显著图(Facial saliency map)卷积神经网络(convolutional neural network)高斯混合模型(gaussian mixture model)主动形状模型(Active shape models)径向基函数(Radial basis function)修正泊松融合(Modified poisson blending)反向传播(Back Propagation)支持向量机(Sup

23、port Vector Machine)修正线性单元(Rectified Linear Units)全卷积神经网络(Fully Convolutional Networks)随机梯度下降(Stochastic Gradient Descent)损失函数(Loss function)仿射变换(Affine transformation)激活函数fActivation function)查准率(precision)查准率(recall)神经网络中权值参数神经网络中偏置参数图像中的像素输入图像(原始图像)形状先验万方数据第一章 绪论第一章绪论弟一早珀I：匕11课题的研究背景和意义111研究背景视觉活

24、动在人类的基本活动中占有重要的地位。在日常生活中，相较其他信息载体，图像能够传递更为丰富和直观的信息。由于人类视觉具有完善的感知能力，许多科研工作的中间或者最后结果数据都要以可视的图像形式表示出来，以利于人们对其理解、分析和应用。人物图像在很多领域都有着广泛的应用，例如身份验证、人机交互、监控、取证、医疗诊断和治疗等，促使其成为机器识别和计算机视觉的主要课题之一。而且，人脸作为身体最具有代表性的部分，人们仅凭面部信息就能够获得极为丰富的含义，如人的性别，种族、年龄、健康、情绪，甚至职业等等。而本文所研究的，即为人脸图像，也称为人物肖像图。早期，人们通过胶卷来捕捉记录日常生活的点滴，那时胶片不能

25、随意修改和复制，需要拍摄人员有一定的摄影知识，一次完成拍照，而且最终的照片需要专业的冲洗人员耗费一定时间才能获得。后来，随着内存、硬盘等储存耗材的大批量生产，降低了图像保存的成本，各大手机厂商纷纷将照相功能集成到手机中来促进销售。随着移动电话和便携式设备数量的迅速增长，随时随地的拍摄成为可能。现如今，互联网和通信设施的完善，促进了微博、朋友圈等一系列社交网络的成长，越来越多的人喜欢借助照片分享他们的目常生活。然而，对于一般用户而言，拍摄的照片往往会缺乏层次感，或者曝光不足，或者色彩饱和度低。若是没有一定的摄像功底，很难拍摄出意境和光照俱佳的照片。对于部分面部有“缺陷”的人，例如，受伤，雀斑，圆

26、脸等，通过化妆都难以遮盖这些问题，也可以通过图像编辑的手段来得到较为满意的照片。常言道“爱美之心，人皆有之”，谁不想把自己最好，最完美的一面呈现给大众呢?目前市场上有诸多图像编辑软件，例如Adobe公司的Photoshop、美图公司出品的美图秀秀等等。其中部分软件的确能较好的实现图像编辑功能，但这需要用户具备一定的专业技能，一般用户难以迅速上手。虽然市场上还有部分软件能进行“一键式”操作，对整张图像进行一键调整，但调整后的图像没有保留应有的细节，让人一眼就能看出编辑的痕迹。这些问题的存在使得用户的需求没有得到充分满足，需要对其进行进一步优化。112研究目的和意义在社交网络己经普及的当下，通过微

27、信朋友圈晒图等方式分享自己状态的行为成为了信息传递的主要方式。并且由于攀比、求异等心理，人们越来越关心“图”的美化程度，尤其是女生的自拍图。对于女生而言，爱美之心使得她l万方数据第一章 绪论们对图像特别是自拍要求颇高，但是光线、环境和背景等因素均能对图像的美观度产生影响，并且由于每个人的自身条件不同，部分女生的脸上均存在一些“瑕疵”，图11展示了五官不协调、面部烫伤和痘坑的图像，这些因素均会致使图像不尽如人意。通常而言，这些不如人意的情况特别是人脸上的瑕疵往往难以通过化妆等传统手段进行修饰。因此，如何修饰美化脸上的瑕疵变成为一个值得关注的问题。捌辩【繁熊掌叠(a)五官不协调图ol 部分面部缺陷

28、示意图(c)痘坑为了解决上述问题，部分人借助于高档摄影器材，或是寻求专业摄影师的帮助。但对于普通大众而言，更多的是通过美图秀秀等P图软件来解决这些问题。其解决问题的核心方式就在于人脸编辑。目前已经存在一系列关于人脸编辑的算法，例如人脸变换、人脸美化等等。虽然这些算法能够对人脸图像进行整体操作，但会损失较多背景和头发的细节，使图像显得较为不真实。部分算法利用人脸关键点进行脸部区域的定位，但是对于一些表情夸张或者脸部与背景的边界不明显的图像来说，人脸关键点检测不能得到准确的脸部区域分类，还需要进一步优化。还有部分软件则是通过用户交互的方式解决上述问题。手工操作虽然目的性强，能够直接反映出用户的需求

29、，同时得到较为准确的结果。但是手工操作的弊端在于其会耗费过多的时间和精力，处理一张人脸图像容易，若要处理多张图像，还是批量式操作更为便捷。所以，对于人脸图像，如何精确的定位脸部区域，实现全自动式的分区域的操作和处理，以及如何将人脸分区域的操作应用于人脸编辑相关的算法，就成为了当下本文研究的课题。综上所述，本文旨在研究如何得到高精度的像素级人脸图像标注的结果，即给定一张人脸图像，期望能够将背景、人脸皮肤、眉毛、眼睛、嘴唇等区域区分开来。这样就能将人脸分区域的操作应用于人脸编辑相关的算法，使得后期人脸编辑更加的方便快捷，而且能保留细节，使图像看起来更加真实。按照这种思路，我们首先要解决的就是给定一

30、张图像，如何对图像中的每一个像素分类，完成这个任务后，就能将之前的结果应用于人脸编辑中，就能得到更加精细的结果。2一一一一jN$l，#oMI万方数据第一章 绪论12本文的研究内容和结构安排121本文研究内容和贡献给定一张人脸图像，本文借助深度学习的方法得到其中每一个像素的对应的类别，并在此基础上，提供了一种基于像素级人脸图像标注结果引导的人脸编辑方法。在像素级人脸图像标注结果的基础上获得人脸编辑的效果，能较好的保留眼睛、头发和背景等细节，快速获得最终结果，同时对不同尺寸的人脸图像有较高的鲁棒性。本文不仅分析了现有的像素级人脸图像标注算法的不足之处，还进一步对比了人脸编辑效果的差异。本文完成的主

31、要工作总结起来有如下几点：1介绍了现有像素级人脸图像标注算法的内容，其中包括数据集的获得、形状先验的分析与确定、深度神经网络的训练与验证等。通过深入分析人脸图像的特点，本文发现人脸结构的高度一致性可以帮助进行像素级人脸图像标注的获得。基于新型的全卷积神经网络的框架(FCN8satonce)，本文提出了针对于人脸图像的全卷积神经网络学习模型，并由此在较短的时间里获得了较高的像素级人脸图像标注精度。2介绍了现有人脸编辑相关算法的内容，本文主要包含人脸光滑、人脸克隆、人脸融合和人脸化妆这四大类。并将基于深度神经网络模型获得的像素级人脸图像标注的结果，应用于人脸编辑算法中。从最终结果对比可以看出，对人

32、脸分区域进行操作可以保留视觉上较为关注的细节，使图像更加真实可信。相比传统的算法，本文提出的像素级人脸图像标注算法引导的人脸编辑方法具有以下优点：1由深度全卷积神经网络端到端训练得到像素级人脸图像标注，避免了人脸图像的分块预处理操作，加快获得像素级人脸图像标注的速度。2能支持任意大小彩色图像的输入，而传统方法只能针对固定大小的人脸图像。同时，能以较快的速度获得高质量的像素级人脸图像标注。3基于像素级人脸图像标注完成人脸编辑操作，保留眼睛、头发、背景等人眼较为关注的细节，增强编辑后入脸图像的真实感。4拓宽了人脸编辑的思路，基于像素级人脸图像标注，不仅可以应用于现有的人脸编辑算法，还可以将大量图像

33、编辑的算法应用于人脸图像上。3万方数据第一章 绪论122本文的结构安排本文共有五个章节，各章节的具体内容如下所示：第一章绪论。本章主要介绍了人脸编辑的研究背景，阐述了现有的人脸编辑算法存在的问题与挑战。之后说明本文的研究内容在于对人脸图像得到像素级人脸图像标注，并进一步将其运用于人脸编辑上。本文的贡献在于，提出了一种新的算法得到像素级人脸图像标注的结果，并以较快的速度达到了较高的像素分类精度，同时，借助像素级人脸图像标注，保留了人脸编辑图像的细节，达到接近用户实际照片的效果。第二章相关工作概述。与本文相关的工作主要有两个方面：像素级人脸图像标注和人脸编辑。本文首先简要介绍像素级人脸图像标注的定

34、义，概述前人每种像素级人脸图像标注的算法，并指出他们的优缺点。之后，对人脸编辑相关算法做了归纳总结，主要介绍人脸光滑、人脸克隆、人脸融合和人脸化妆这四类的编辑算法的定义与相关工作。第三章基于深度神经网络的像素级人脸图像标注算法。本章为本文提出的主要创新内容，主要分为三个部分，第一部分，介绍深度神经网络的相关知识，了解深度神经网络的基本学习方式，从而对深度神经网络有一个整体性的认识。第二部分，介绍本文所采用的全卷积网络，同时针对人脸这一特殊的结构，引入形状先验以达到更高的精度。第三部分，从视觉和数据对比前人和本文算法的差异，并给出具体的示意图和数据表格进行对比；同时，为了显示本文算法的鲁棒性，给

35、出了不同类别的图像输入本模型后的结果示意图。第四章将像素级人脸图像标注应用于人脸编辑算法。本章分为两个部分，第一部分，讨论现有算法的不足之处，并引出本文提出的基于像素级人脸图像标注的人脸编辑算法，给出每种算法的实际操作步骤。第二部分，通过实验比较，给出了前人算法和本文算法的视觉对比图，显示了本文算法的视觉效果优势。第五章总结与展望。通过对文章进行简单的总结，讨论了本文算法的主要创新点与不足之处，并对接下来的研究方向进行了展望。论文的最后一部分主要是参考文献与致谢。4万方数据第二章 相关工作第二章相关工作21像素级人脸图像标注算法211像素级人脸图像标注算法的简介图像的像素级标注是图像视觉任务中

36、的核心技术，传统的算法主要根据颜色、纹理和形状等特征，对图像进行划分，使之形成若干互不交迭的语义像素区域。早期的图像的像素级标注技术主要有：分水岭法1、置信度传播算法(Loopy Belief Propagation，LBP)2、图割(GraphCut)3，GrabCut【4和随机游走(Random Walk)5等等。而人脸作为视觉最为关注的区域之一，其上的像素级标注问题同样被学术界所广泛研究。人脸图像的像素级标注算法将包含人脸的图像划分为多个有语义的小区域，并分配给每一个小区域唯一的语义对象，小区域中的每个像素所分配的标签，均对应于该区域所属的语义对象。一般来说，一张人脸图像按照语义的不同理

37、解，可以分为不同的类别。具体来说，可以将人脸图像分为3类f背景、头发、面部)，或是7类(背景、头发、面部皮肤、眉毛、眼睛、嘴唇、口腔)。或是1 1类(背景、头发、面部皮肤、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、口腔、下嘴唇)，本文采用的是11类的分类方法。212像素级人脸图像标注算法的相关工作像素级人脸图像标注算法大致可以分为四类：基于皮肤颜色、基于人脸关键点和样例图像、基于图论、基于机器学习的像素级人脸图像标注技术，并逐渐形成一个相互依存、相互协作的关系。2121基于皮肤颜色得到像素级人脸图像标注研究之初，人们主要依托于颜色和形状信息来区分面部皮肤与复杂的背景颜色。Tominaga等人f

38、6描述了一种通过色调，亮度和饱和度的三种颜色感知属性对彩色图像进行像素级标注的方法，其像素级标注技术主要基于使用三个直方图的递归阂值法。Sobottka等人7_9选择色度饱和值(HSV)空间，通过设定色度和饱和度的阈值就能得到皮肤的像素级标注结果。同时，通过分离亮度空间，可以保证算法对于光照和阴影变化的鲁棒性。Chai等人10】借助人类皮肤颜色的普遍空间分布特征，在检测图像颜色空间的基础上，采用了一套新的正则化过程，用于辨别那些更可能属于皮肤颜色的像素，同时消除不属于皮肤颜色的像素。Segundoden等人【11通过结合边界检测12，区域聚类13】和形状分析等前人算法，设计了一种新型的用于深度

39、图像的像素级人脸图像标注算法。其主要分为两个阶段：1)借助输入图像的深度信息定位同标签的区域；2)气万方数据第二章 相关工作通过人工设定阈值，搜索一个被认为是与人脸边界最为相似的椭圆形状，来确定识别属于面部的区域。2122基于人脸关键点和样例图像得到像素级人脸图像标注为了将输入人脸图像解析为有语义信息的分块区域，可以通过一系列沿着人脸边界和人脸五官定义的关键点14】来得到相关结果。然而，这种基于面部关键点来表示的方法，通常存在如下几个问题：首先，它们对不同的姿势，形态，照明变化和遮挡比较敏感，获得的结果不够精确。第二，关键点检测没有对前额和头发区域有所定义，而这些区域对于诸如面部编辑和头发编辑

40、的应用比较重要。Smith等人15提出了一种基于给定样例图像的像素级标注方法。首先，他们手工标注了人脸数据集HELEN16，其中，每个数据集的元素均包含：一张原始人脸图像、人脸关键点信息、手工标注的像素级人脸图像标注结果图和一组SIFT关键点描述符17】。给定一张测试图像，首先根据对应的关键点信息进行相似变换，从而将样例图像对齐到给定的测试图像上，并得到与测试图像距离最为接近的m张数据集中的人脸图像。然后，将上一步得到的m张人脸图像进行非刚性变换，使m张图像的人脸尽量与测试人脸图像匹配。最后，使用训练的权重来调整和组合来自这TTL张样例图像的像素级标签图，并以像素为单位的方式将标签从样本图像传

41、播到测试图像。2123基于图论方法得到像素级人脸图像标注Lee等人18将人脸图像分为头发、面部和背景三类。首先得到图像的颜色和位置信息分布，获得头发、面部和背景区域的像素级标注初值。然后，借助图像梯度信息生成在图像相邻区域的可能分界。最终，应用图割或置信度传播算法来优化所得到的马尔科夫网络(Markov Network)，从而获得最后的像素级人脸图像标注结果。条件随机场(Conditional Random Fields，CRY)19作为一个强有力的工具，被广泛应用于图像的像素级标注中。他们特别适合于处理同一图像中，相邻区域的交互问题，例如超像素20】。但是，他们也有一定的缺点，例如，不能处理

42、复杂或者距离较远区域的问题。而限制玻尔兹曼机(Restricted BoltzmannMachine，RBM)21可用于整体形状的像素级标注模型制作。Kae等人【22结合这两种网络的优缺点，提出了GLOC(GLObal and LOCal)模型，首先将CRY作为基础进行人脸图像的标注。在此基础上，RBM补充了CRF的局部模型的短板，提供了更加全面的形状偏差结构来修正CRF的缺陷，这种混合模型结合了CRY和RBM的优点，共同实现了局部一致性和适当的全局形状结构，产生的结果在数量和质量上都优于单独的CRF。除了高质量的标注结果，文中还证明在RBM模型的隐藏节点可以解释为没有任何监督的面部属性的学习

43、。Huang6万方数据第二章 相关工作等人23使用基于超像素的条件随机场19】训练来自LFW数据集24的图像，以消除在相同的类之间的歧义。同时，文章证明简单的学习算法可以用于预测高级特征，例如，姿态或是得到从面部图像每个区域的标签等。在他们的文章中，中间水平的特征，如像素级标注，为面部识别提供了重要信息。同时，对于其他特征，如性别，年龄，头发颜色，皮肤颜色等，也是一种非常有用的估计。心理学文献f25证明，从人脸区域(前额，头发)提取的重要的面部特征，被证明是人类视觉系统用以识别人脸身份的重要信息。Scheffier等人26训练头发，皮肤，背景和衣服的颜色模型，并为每个标签引入空间先验。最终，将

44、先验信息与CRF进行组合来增强局部标签的连续性。2124基于机器学习的方法得到像素级人脸图像标注Li等人27基于面部显著图(Facial Saliency Map，FSM)提出应用于人脸视频的像素级标注算法，该方法主要可以分为三个阶段：首先，基于面部聚焦模型(Facial Attention Model)28对输入的图像或者视频构筑显著图。然后，从色度分量构建的几何模型和眼部图，其被用于根据显著图定位面部区域。最后，采用自适应边界矫正来提取最终的面部轮廓。Warrell和Prince29基于场景解析的方法引入了LabelFaces。他们认为场景解析方法对于像素级人脸图像标注问题是有益的，因为它

45、通常足以处理一些形状和外观特征差异很大，并且存在相对稀少的语义标签类(例如，胡子和帽子)的无约束的面部图像。他们的主要贡献之一是首先引入了先验，从而能够松散的模拟面部图像的拓扑结构。这样做的好处在于，可以粗略得出每一类标签的大致位置，而不会出现诸如将眼睛的标签标注于嘴唇区域的问题。然而，由于当时技术条件的限制，他们最终所产生的标签通常是粗糙和不准确的，特别是对于眼睛和眉毛这样小区域的面部五官。Luo等人30】提出了一种分层递进的人脸解析算法，具体做法如下：1)给定一张人脸图像，首先通过人脸区域检测器进行人脸图像解析，一般分为4个人脸区域检测，即上下左右4张半脸。2)进行更小区域的人脸语义部件解析，一般分为六个人脸五官检测，即左右眼睛、左右眉毛、鼻子、嘴，并将每一个人面部件转换为O1标签表示。3)整合所有的面部部件像素级标注图，即可得到最终的像素级标注结果。Liu等人31】设计了一种新的多目标学习方法，这种方法基于深度神经网络，通过解析CRF的基本原理，文