人脸识别全面教案.pptx

《人脸识别全面教案.pptx》由会员分享，可在线阅读，更多相关《人脸识别全面教案.pptx（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1人脸识别全面人脸识别全面目目 录录一、人脸识别技术概述二、研究背景及意义三、人脸识别的过程 1 1、图像与处理工作、图像与处理工作 2 2、人脸识别的两个技术环节、人脸识别的两个技术环节四、人脸识别中的关键问题五、总结第1页/共32页一、人脸识别技术概述一、人脸识别技术概述作为生物特征识别领域中一种基于生理特征的识别技术，人脸识别技术是通作为生物特征识别领域中一种基于生理特征的识别技术，人脸识别技术是通过有摄像头的终端设备拍摄人的行为图像，通过人脸检测算法，从原始的行过有摄像头的终端设备拍摄人的行为图像，通过人脸检测算法，从原始的行为图像中得到人脸区域，用特征提取算法提取人脸的特征，并

2、根据这些特征为图像中得到人脸区域，用特征提取算法提取人脸的特征，并根据这些特征确认身份的一种技术。确认身份的一种技术。第2页/共32页二、研究背景及意义二、研究背景及意义随着社会的发展随着社会的发展,对一些如：机场安检、银行、军事基地等安全性要求较高的对一些如：机场安检、银行、军事基地等安全性要求较高的场所，能够实现快速有效的自动身份验证的要求日益迫切。由于生物特征是场所，能够实现快速有效的自动身份验证的要求日益迫切。由于生物特征是人的内在属性人的内在属性,具有很强的自身稳定性和个体差异性具有很强的自身稳定性和个体差异性,因此是身份验证的最理因此是身份验证的最理想依据。但是人脸识别的优势体现在

3、哪里呢？想依据。但是人脸识别的优势体现在哪里呢？第3页/共32页第4页/共32页从表从表1 1 中，我们可以看出指纹和虹膜生物特征识别技术各个方面都比较好，中，我们可以看出指纹和虹膜生物特征识别技术各个方面都比较好，与指纹、虹膜相比，它们的稳定性包括性能都比较好，但指纹、虹膜识别技与指纹、虹膜相比，它们的稳定性包括性能都比较好，但指纹、虹膜识别技术需要被识别者在设备前停留、触摸，而人脸识别只要人经过摄像头，摄像术需要被识别者在设备前停留、触摸，而人脸识别只要人经过摄像头，摄像头就会将人脸拍摄下来，这种识别方式适合在公共场合、特别是人群聚集处头就会将人脸拍摄下来，这种识别方式适合在公共场合、特别

4、是人群聚集处使用。使用。与传统的身份鉴定手段相比，基于人脸生物特征信息的身份鉴定技术具有以与传统的身份鉴定手段相比，基于人脸生物特征信息的身份鉴定技术具有以下优点：下优点：用户易接受：简单易用，对用户无特殊要求。用户易接受：简单易用，对用户无特殊要求。防伪性能好：不易伪造或被盗。防伪性能好：不易伪造或被盗。“随身携带随身携带”：不用担心遗漏或丢失，随时随地可用。：不用担心遗漏或丢失，随时随地可用。第5页/共32页此外，人脸识别还有精度较高等优点。鉴于人脸识别技术在个人身份鉴定方此外，人脸识别还有精度较高等优点。鉴于人脸识别技术在个人身份鉴定方面的众多优点，这项技术可以在很多领域得到应用：面的众

5、多优点，这项技术可以在很多领域得到应用：视频监视系统：视频监视系统：例如在机场、体育场等公共场所对人群进行监视，以达到身份识别的目的。例如在机场、体育场等公共场所对人群进行监视，以达到身份识别的目的。第6页/共32页公安刑侦破案：公安刑侦破案：通过查询人像数据寻找数据库中是否存在重点人口基本信息。例如在机场通过查询人像数据寻找数据库中是否存在重点人口基本信息。例如在机场或车站安装系统以抓捕在逃案犯。加强交通管制；确认身份证、护照等证件的真伪；验证各或车站安装系统以抓捕在逃案犯。加强交通管制；确认身份证、护照等证件的真伪；验证各类信用卡的持卡人身份。类信用卡的持卡人身份。第7页/共32页门禁系统

6、：门禁系统：受安全保护的地区可以通过人脸识别辨识试图进入者的身份，高档小区的门禁受安全保护的地区可以通过人脸识别辨识试图进入者的身份，高档小区的门禁系统以及家庭安保系统。系统以及家庭安保系统。第8页/共32页网络应用：利用人脸识别系统确认信用卡网络支付，以防止盗用信用卡等。网络应用：利用人脸识别系统确认信用卡网络支付，以防止盗用信用卡等。第9页/共32页三、人脸识别的过程三、人脸识别的过程第10页/共32页光线补偿 光照变化主要表现为强度变化和角度变化。光照强度变化会导致极端光照情光照变化主要表现为强度变化和角度变化。光照强度变化会导致极端光照情况的出现况的出现(如暗光、高光等现象的出现如暗光

7、、高光等现象的出现)；而光照角度变化会产生不同程度的；而光照角度变化会产生不同程度的表面明暗区，光照暗区会遮盖人脸本身的纹理信息。这两种光照变化都会对表面明暗区，光照暗区会遮盖人脸本身的纹理信息。这两种光照变化都会对人脸图像的整体灰度分布、对人脸图像的边缘信息和人脸的彩色图像的色度人脸图像的整体灰度分布、对人脸图像的边缘信息和人脸的彩色图像的色度空间产生很大的影响。空间产生很大的影响。1、图像的预处理工作第11页/共32页灰度变化人脸图像的灰度分布是基于灰度图像进行人脸识别的主要信息依据。不同光人脸图像的灰度分布是基于灰度图像进行人脸识别的主要信息依据。不同光照条件下所获得的同一人脸的两幅图像

8、可以说是完全不同的两幅图像，这两照条件下所获得的同一人脸的两幅图像可以说是完全不同的两幅图像，这两幅图像之间的灰度分布差异有可能大于不同人脸之间的灰度分布的差异，因幅图像之间的灰度分布差异有可能大于不同人脸之间的灰度分布的差异，因而可能会导致识别率的下降而可能会导致识别率的下降 。第12页/共32页平滑处理人脸图像边缘也是人脸识别中的人脸图像边缘也是人脸识别中的重要信息，它是基于局部特征的重要信息，它是基于局部特征的人脸检测与识别方法的重要依据。人脸检测与识别方法的重要依据。基于局部特征的人脸检测和识别基于局部特征的人脸检测和识别方法是依赖于眼睛、嘴等人脸器方法是依赖于眼睛、嘴等人脸器官的几何

9、结构特征的提取，但是官的几何结构特征的提取，但是人脸图像的边缘信息对光照的反人脸图像的边缘信息对光照的反应很敏感。特别是光照角度发生应很敏感。特别是光照角度发生变化时，人脸表面纹理被阴影遮变化时，人脸表面纹理被阴影遮蔽，无法检测到较完整的人脸边蔽，无法检测到较完整的人脸边缘，从而导致识别的错误缘，从而导致识别的错误 。第13页/共32页直方图均衡 直方图均衡化处理的主要思想是把原始图像的灰度直方图从某个比较集中的直方图均衡化处理的主要思想是把原始图像的灰度直方图从某个比较集中的灰度区间映射到全部灰度范围内的均匀分布。简单来说，直方图均衡化就是灰度区间映射到全部灰度范围内的均匀分布。简单来说，直

10、方图均衡化就是将图像非线性拉伸，重新分配图像像素值，使得一定灰度范围内的像素数量将图像非线性拉伸，重新分配图像像素值，使得一定灰度范围内的像素数量基本相同。基本相同。原始图像及原始直方图直方均衡化的图像及直方图第14页/共32页2 2、人脸识别的两个技术环节人脸识别的两个技术环节人脸检测与定位特征提取与人脸识别图1 人脸识别关键技术第15页/共32页人脸检测与定位人脸检测与定位人脸识别的第一步就是要从原始的图像提取我们感兴趣的区域。现在我们获人脸识别的第一步就是要从原始的图像提取我们感兴趣的区域。现在我们获取原始图像的渠道主要有，导入原始的图像或者从视频流中获取。取原始图像的渠道主要有，导入原

11、始的图像或者从视频流中获取。第16页/共32页常用的人脸检测方法常用的人脸检测方法基于统计的人脸检测方法(1)(1)事例学习事例学习：将人脸检测视为区分非人脸样本与人脸样本的两类模式分类问：将人脸检测视为区分非人脸样本与人脸样本的两类模式分类问题题,通过对人脸样本集和非人脸样本集进行学习以产生分类器通过对人脸样本集和非人脸样本集进行学习以产生分类器.目前国际上普目前国际上普遍采用人工神经网络。遍采用人工神经网络。(2)(2)子空间方法子空间方法：在人脸识别中利用的是主元子空间：在人脸识别中利用的是主元子空间(特征脸特征脸),),而人脸检测利而人脸检测利用的是次元子空间用的是次元子空间(特征脸空

12、间的补空间特征脸空间的补空间)。用待检测区域在次元子空间上的。用待检测区域在次元子空间上的投影能量投影能量,也即待检测区域到特征脸子空间的距离做为检测统计量也即待检测区域到特征脸子空间的距离做为检测统计量,距离越小距离越小,表明越像人脸。子空间方法的特点在于简便易行表明越像人脸。子空间方法的特点在于简便易行,但由于没有利用反例样本信但由于没有利用反例样本信息息,对与人脸类似的物体辨别能力不足。对与人脸类似的物体辨别能力不足。(3)(3)空间匹配滤波器方法空间匹配滤波器方法：包括各种模板匹配方法、合成辨别函数方法等。：包括各种模板匹配方法、合成辨别函数方法等。第17页/共32页基于知识建模的人脸

13、检测方法(1)(1)器官分布规则器官分布规则:虽然人脸在外观上变化很大虽然人脸在外观上变化很大,但遵循一些几乎是普遍适用的但遵循一些几乎是普遍适用的规则规则,如五官的空间位置分布大致符合如五官的空间位置分布大致符合“三庭五眼三庭五眼”等。等。(2)(2)轮廓规则轮廓规则:人脸的轮廓可以简单地看成一个近似椭圆人脸的轮廓可以简单地看成一个近似椭圆,而人脸检测可以通过而人脸检测可以通过椭圆检测来完成。椭圆检测来完成。(3)(3)颜色、纹理规则颜色、纹理规则:同民族人的面部肤色在颜色空间中的分布相对比较集中同民族人的面部肤色在颜色空间中的分布相对比较集中,颜色信息在一定程度上可以将人脸同大部分背景区分

14、开来。颜色信息在一定程度上可以将人脸同大部分背景区分开来。(4)(4)运动规则运动规则:通常相对背景人总是在运动的通常相对背景人总是在运动的,利用运动信息可以简单有效的将利用运动信息可以简单有效的将人从任意复杂背景中分割出来。其中包括利用眨眼、说话等方法的活体人脸人从任意复杂背景中分割出来。其中包括利用眨眼、说话等方法的活体人脸检测方法。检测方法。(5)(5)对称性对称性:人脸具有一定的轴对称性人脸具有一定的轴对称性,各器官也具有一定的对称性。各器官也具有一定的对称性。第18页/共32页人脸检测算法人脸检测算法AdaboostAdaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同

15、的分类是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器器(弱分类器弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得

16、到的分类器最后融合起来，作为最后的决策分类器。次训练得到的分类器最后融合起来，作为最后的决策分类器。每个每个HaarHaar特征对应着一个弱分类器，但并不是任何一个特征对应着一个弱分类器，但并不是任何一个HaarHaar特征都能较好的特征都能较好的描述人脸灰度分布的某一特点，如何从大量的描述人脸灰度分布的某一特点，如何从大量的HaarHaar特征中挑选出最优的特征中挑选出最优的HaarHaar特征并制作成分类器用于人脸检测，这是特征并制作成分类器用于人脸检测，这是AdaboostAdaboost算法训练过程所要解决的算法训练过程所要解决的关键问题。关键问题。第19页/共32页人脸特征提取与识别

17、的方法人脸特征提取与识别的方法基于几何特征的方法人脸由眼睛、鼻子、嘴巴、下巴等部件构成人脸由眼睛、鼻子、嘴巴、下巴等部件构成,正因为这些部件的形状、大小和正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别结构上的各种差异才使得世界上每个人脸千差万别,因此对这些部件的形状和因此对这些部件的形状和结构关系的几何描述结构关系的几何描述,可以做为人脸识别的重要特征可以做为人脸识别的重要特征.第20页/共32页 基于特征脸的方法它根据一组人脸训练图像构造主元子空间它根据一组人脸训练图像构造主元子空间,由于主元具有脸的形状由于主元具有脸的形状,也称为特也称为特征脸。识别时将测试图像投

18、影到主元子空间上征脸。识别时将测试图像投影到主元子空间上,得到一组投影系数得到一组投影系数,和各个已和各个已知人的人脸图像比较进行识别。知人的人脸图像比较进行识别。特征脸方法是一种简单、快速、实用的基于变换系数特征的算法特征脸方法是一种简单、快速、实用的基于变换系数特征的算法,但由于它在但由于它在本质上依赖于训练集和测试集图像的灰度相关性本质上依赖于训练集和测试集图像的灰度相关性,而且要求测试图像与训练集而且要求测试图像与训练集比较像比较像,所以它有着很大的局限性。所以它有着很大的局限性。第21页/共32页局部特征方法主元子空间的表示是紧凑的主元子空间的表示是紧凑的,特征维数大大降低特征维数大

19、大降低,但它是非局部化的但它是非局部化的,其核函数其核函数的支集扩展在整个坐标空间中的支集扩展在整个坐标空间中,同时它是非拓扑的同时它是非拓扑的,某个轴投影后临近的点与某个轴投影后临近的点与原图像空间中点的临近性没有任何关系原图像空间中点的临近性没有任何关系,而局部性和拓扑性对模式分析和分割而局部性和拓扑性对模式分析和分割是理想的特性是理想的特性,似乎这更符合神经信息处理的机制似乎这更符合神经信息处理的机制,因此寻找具有这种特性的因此寻找具有这种特性的表达十分重要表达十分重要.这种方法构成这种方法构成FaceItFaceIt人脸识别软件的基础。人脸识别软件的基础。第22页/共32页基于弹性模型

20、的方法弹性匹配方法的思想是将人脸上的一些特征点作为基准点构成弹性图，每个弹性匹配方法的思想是将人脸上的一些特征点作为基准点构成弹性图，每个基准点存储一串具有代表性的特征矢量，采用分级结构的弹性图，去除一些基准点存储一串具有代表性的特征矢量，采用分级结构的弹性图，去除一些冗余节点，形成稀疏的人脸描述结构。通过测试样本和特征样本的弹性匹配冗余节点，形成稀疏的人脸描述结构。通过测试样本和特征样本的弹性匹配来完成识别。但是，基于弹性图匹配的识别系统的主要缺点是对每个存储的来完成识别。但是，基于弹性图匹配的识别系统的主要缺点是对每个存储的人脸需要计算其模型图，因此计算复杂，存储量大。人脸需要计算其模型图

21、，因此计算复杂，存储量大。第23页/共32页神经网络方法人工神经网络人工神经网络(ANN)(ANN)方法是把模式的统计特性隐含在网络结构和参数之中。对方法是把模式的统计特性隐含在网络结构和参数之中。对于人脸这类复杂的、难以显示描述的模式，基于于人脸这类复杂的、难以显示描述的模式，基于ANNANN的方法具有独特的优势。的方法具有独特的优势。人工神经网络是由多个神经元按照一定的排列顺序构成的，是一个非线性动人工神经网络是由多个神经元按照一定的排列顺序构成的，是一个非线性动力学系统，其特色是信息的分布式存储和并行协同处理。力学系统，其特色是信息的分布式存储和并行协同处理。神经网络方法在人脸识别上的应

22、用比起前述几类方法来有一定的优势神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势,因为对因为对人脸识别的许多规律或规则进行显性的描述是相当困难的人脸识别的许多规律或规则进行显性的描述是相当困难的,而神经网络方法则而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达可以通过学习的过程获得对这些规律和规则的隐性表达,它的适应性更强它的适应性更强,一一般也比较容易实现般也比较容易实现.第24页/共32页支持向量机(SVW)的方法近年来，支持向量机是统计模式识别领域的一个新热点，支持向量机主要解近年来，支持向量机是统计模式识别领域的一个新热点，支持向量机主要解决的是一个两分类问

23、题，它的基本思想是试图把一个低维的线性不可分的问决的是一个两分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。实验结果表明支持向量机有较好的识题转化成一个高维的线性可分的问题。实验结果表明支持向量机有较好的识别率。别率。第25页/共32页人脸特征提取算法人脸特征提取算法SIFTSIFT算法是一种图像特征提取与匹配算法。算法是一种图像特征提取与匹配算法。SIFTSIFT算法可以处理两幅图像之间算法可以处理两幅图像之间发生平移、旋转、尺度变化、光照变化情况下的特征匹配问题，并能在一定发生平移、旋转、尺度变化、光照变化情况下的特征匹配问题，并能在一定程度上对视角

24、变化、仿射变化也具备较为稳定的特征匹配能力。程度上对视角变化、仿射变化也具备较为稳定的特征匹配能力。SIFTSIFT算法首算法首先在尺度空间进行特征检测，并确定关键点的位置和关键点所处的尺度，然先在尺度空间进行特征检测，并确定关键点的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。方向的无关性。第26页/共32页SIFTSIFT算法提取的算法提取的SIFTSIFT特征向量具有如下特性：特征向量具有如下特性：a)SIFTa)SIFT特征是图像的局部特征，其对旋转、尺度缩放、

25、亮度变化保持不变性，特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。对视角变化、仿射变换、噪声也保持一定程度的稳定性。b)b)独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。配。c)c)多量性，即使少数的几个物体也可以产生大量多量性，即使少数的几个物体也可以产生大量SIFTSIFT特征向量。特征向量。d)d)高速性，经优化的高速性，经优化的SIFTSIFT匹配算法甚至可以达到实时的要求。匹配算法甚至可以达到实时的要求。e)e)可扩展性，可以很方便的

26、与其他形式的特征向量进行联合可扩展性，可以很方便的与其他形式的特征向量进行联合。第27页/共32页四、人脸识别中的关键问题四、人脸识别中的关键问题光照 需要建立光照模型，需要建立光照模型，检测与定位容易受干扰。检测与定位容易受干扰。姿态估计与匹配 三维重建；三维重建；二维图像的生成。二维图像的生成。事变的特征提取与消除 持久性差；持久性差；特殊的人群，比如双胞胎；特殊的人群，比如双胞胎；建立人脸年龄衰老模型，最大限度消除年龄变化的影响。建立人脸年龄衰老模型，最大限度消除年龄变化的影响。第28页/共32页五、总五、总 结结人脸检测与定位人脸检测与定位人脸检测与定位人脸检测与定位:由于人脸模式的多

27、样性和图像获取过程中的不确定性由于人脸模式的多样性和图像获取过程中的不确定性,人脸人脸在图像空间中的分布非常复杂在图像空间中的分布非常复杂,建立人脸在高维图像空间中的精确分布模型是建立人脸在高维图像空间中的精确分布模型是一件非常困难的事。一件非常困难的事。建立一个统计可靠的估计不仅需要大量的正例样本建立一个统计可靠的估计不仅需要大量的正例样本,而而且需要充分多数量的有效反例样本。目前研究的一个趋势是反例样本的产生且需要充分多数量的有效反例样本。目前研究的一个趋势是反例样本的产生和利用问题和利用问题,这也是最终提高人脸检测正确率的必然道路。根据具体应用的需这也是最终提高人脸检测正确率的必然道路。

28、根据具体应用的需要要,对检测环境进行合理的假定对检测环境进行合理的假定(比如运动、颜色等比如运动、颜色等),),从而简化问题从而简化问题,提高系统提高系统实用性能也是一条切实可行的途径。不难预见实用性能也是一条切实可行的途径。不难预见,知识与统计方法的综合应用知识与统计方法的综合应用,是解决实际问题所必须的。是解决实际问题所必须的。第29页/共32页特征提取与识别特征提取与识别特征提取与识别特征提取与识别:与刚体不同与刚体不同,人脸是塑性变形体人脸是塑性变形体,更适合用弹性模型来描述。更适合用弹性模型来描述。因此因此,任何基于刚体特性的特征抽取方法都很难达到满意的效果。其次任何基于刚体特性的特

29、征抽取方法都很难达到满意的效果。其次,人脸人脸识别被认为是人类视觉中独特的过程识别被认为是人类视觉中独特的过程,因此对生理学和心理学结合是很有帮助因此对生理学和心理学结合是很有帮助的。可以预见的。可以预见,在人类视觉和非刚体两方面的研究成果将有助于找到抽取和描在人类视觉和非刚体两方面的研究成果将有助于找到抽取和描述人脸特征的最终解决方案。述人脸特征的最终解决方案。另外另外,无论对于检测定位还是识别无论对于检测定位还是识别,如何将能够获得的各种信息最大限度、有如何将能够获得的各种信息最大限度、有机地集成起来加以利用机地集成起来加以利用,这是一个具有普遍意义的课题这是一个具有普遍意义的课题,而且也是有效提高人而且也是有效提高人脸识别系统效率的手段。脸识别系统效率的手段。第30页/共32页第31页/共32页