附录B人脸和表情识别.ppt

《附录B人脸和表情识别.ppt》由会员分享，可在线阅读，更多相关《附录B人脸和表情识别.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、章毓晋清华大学电子工程系 100084 北京图象工程（下）第2页第13讲附录附录B B人脸和表情识别人脸和表情识别B.1生物特征识别 B.2人脸检测定位 B.3脸部器官提取和跟踪 B.4表情识别 B.5人脸识别章毓晋(TH-EE-IE)第3页第13讲B.1生物特征识别生物特征识别 1、生物特征生物特征人脸、指纹、掌纹、手形、虹膜、视网膜、步态、足迹、笔迹和签名等（还有一些借助其他技术的，如语音，染色体DNA等）普遍性（人人拥有）、惟一性（人与人不 同）、稳定性（不因时间、年龄、环境的变化而变化）和采集方便性（应采集容易，设备简单，对人影响程度小）章毓晋(TH-EE-IE)第4页第13讲B.1生

2、物特征识别生物特征识别 2、生物特征性能比较生物特征性能比较章毓晋(TH-EE-IE)第5页第13讲B.2人脸检测定位人脸检测定位 人脸检测定位是人脸分析中的第一步要在输入图象中搜索人脸，并确定人脸的位置、尺寸等信息 B.2.1人脸检测定位的基本方法 B.2.2基于Hausdorff距离的人脸检测定位 章毓晋(TH-EE-IE)第6页第13讲人脸检测定位的基本方法 利用静止图象利用静止图象(1)基于特征的方法：在图象中搜索特定的角点，边缘，肤色和纹理区域来定位人脸(2)基于人脸知识的方法：根据对人脸知识的了解，建立人脸特征间联系的规则，再根据这些规则来判断检测和定位的结果(3)基于模板匹配的方

3、法：先对人脸建模，构建相应的模板，通过匹配来检测和定位人脸章毓晋(TH-EE-IE)第7页第13讲人脸检测定位的基本方法 利用静止图象利用静止图象(4)基于外观的方法：基于外观的方法也使用模板匹配的方法来检测和定位人脸，只是这里的模板（或模型）是通过训练学习而得到的利用视频图象利用视频图象(1)基于图象差的方法：与检测运动目标的方法类似(2)基于光流场的方法：也与检测运动目标的方法类似章毓晋(TH-EE-IE)第8页第13讲Hausdorff距离：距离：目标的匹配在一定意义上是点集的匹配 Hausdorff距离的几何意义如果点集A和B之间的Hausdorff距离为d，那么一个点集中的所有点将都

4、落在另外一个点集中以任意一点为中心，以d为半径的圆中 基于Hausdorff距离的人脸检测方法 章毓晋(TH-EE-IE)第9页第13讲基于Hausdorff距离的人脸检测方法 Hausdorff距离：距离：如上定义的Hausdorff距离对噪声点或点集的外野点（outline）很敏感 改进的改进的Hausdorff距离距离用平均值代替最大值 章毓晋(TH-EE-IE)第10页第13讲基于Hausdorff距离的人脸检测方法 1.方差加权的方差加权的Hausdorff距离距离 MHD对点在点集中的分布不敏感图(a)和图(b)的MHD均为d，但图(a)中点的分布应比图(b)中点的分布给出更小的H

5、ausdorff距离才符合一般情况 章毓晋(TH-EE-IE)第11页第13讲基于Hausdorff距离的人脸检测方法 1.标准方差改进的标准方差改进的Hausdorff距离距离 借助点集间距离的标准方差S(A,B)表示点集A中一点到点集B中最远点距离的标准差 章毓晋(TH-EE-IE)第12页第13讲基于Hausdorff距离的人脸检测方法 1.标准方差改进的标准方差改进的Hausdorff距离距离 S(B,A)表示点集B中一点到点集A中最远点距离的标准差对图(a)有S(A,B)=S(B,A)=0，而对图(b)有S(A,B)=S(B,A)=31/2 标准差加权的Hausdorff距离（SDW

6、HD）章毓晋(TH-EE-IE)第13页第13讲基于Hausdorff距离的人脸检测方法 1.标准方差改进的标准方差改进的Hausdorff距离距离 上述改进距离不仅考虑了两个点集间的平均距离，而且通过引入点集间距离的标准差加入了点集间点的分布信息（点分布的一致性），所以对点集的刻画更为细致 参数k：调节分布信息在距离计算中所占的比重 章毓晋(TH-EE-IE)第14页第13讲基于Hausdorff距离的人脸检测方法 2边缘加权的边缘加权的Hausdorff距离距离 人脸区域中不同位置的贡献不同 对Hausdorff距离中的各项分别进行加权权值函数可以根据图象灰度值来确定将灰度值（利用取阈值法

7、）转化为二值时常丢失一些信息，不能完全忠实地反映图象上各点对人脸匹配的重要性权值函数可以根据图象边缘信息来确定 能够更直接有效地反映人脸的结构信息 章毓晋(TH-EE-IE)第15页第13讲基于Hausdorff距离的人脸检测方法 2边缘加权的边缘加权的Hausdorff距离距离 人脸图象，边缘图象，二值图象 权值函数正比于训练集中各图象在对应位置处边缘点出现的频率 章毓晋(TH-EE-IE)第16页第13讲基于Hausdorff距离的人脸检测方法 2边缘加权的边缘加权的Hausdorff距离距离 人脸检测定位方法的比较实验 相对误差指标：d=max(dl,dr)/|Clt Crt|其中Clt

8、和Crt分别为左右两个眼睛中心的真实值，而dl和dr分别为左右两个眼睛中心的真实值与检测值的差 HDMHDEFWHDBioID数据库0.97880.49620.2513CMU数据库0.60370.51570.1153章毓晋(TH-EE-IE)第17页第13讲B.3脸部器官提取和跟踪脸部器官提取和跟踪 脸上器官对人脸识别和表情分类都很重要 眼睛几何模型及确定眨眼过程中的眼睛轮廓跟踪章毓晋(TH-EE-IE)第18页第13讲眼睛几何模型及确定典型的眼睛几何模型典型的眼睛几何模型 可变形模型或模板可变形模型或模板一个圆表示虹膜的轮廓两条抛物线表示上下眼帘的轮廓 利用P1和P2的信息可以帮助调整眼睛的

9、宽度利用P3到P6的信息可以帮助确定眼帘的高度以及帮助精确和鲁棒地计算眼睛参数 章毓晋(TH-EE-IE)第19页第13讲眼睛几何模型及确定借助借助SUSAN算子检测角点算子检测角点 G为一个固定的几何阈值，可取为3Smax/4，Smax是S所能取得的最大值（等于检测模板的象素数减1）章毓晋(TH-EE-IE)第20页第13讲眼睛几何模型及确定采用主动轮廓模型确定眼睛几何模型采用主动轮廓模型确定眼睛几何模型 能量项能量项 N为所检测出的角点个数R(xi,yi)为在第i个角点处的检测响应值 谷点域 峰点域 边缘点域 角点域章毓晋(TH-EE-IE)第21页第13讲眼睛几何模型及确定眼睛（虹膜和眼

10、帘）检测示例眼睛（虹膜和眼帘）检测示例 三步法三步法 原始图象 初始轮廓 第1步后 第2步后 第3步后章毓晋(TH-EE-IE)第22页第13讲眨眼过程中的眼睛轮廓跟踪1.虹膜跟踪虹膜跟踪对虹膜的检测可帮助判定眼睛的闭合状态 对虹膜的具体检测中仅考虑其下半圆 双状态眼睛模型双状态眼睛模型 如果虹膜被检测到，则认为眼睛的状态为睁开，并利用眼帘中点来跟踪眼帘的位置反之，则认为眼睛的状态为闭合，采用一条直线来描述眼睛 章毓晋(TH-EE-IE)第23页第13讲眨眼过程中的眼睛轮廓跟踪1.虹膜跟踪虹膜跟踪(1)计算第一帧图象中虹膜下半圆的平均灰度I0(2)提取其后各帧中眼睛区域的轮廓，并计算虹膜检测区

11、域内的边缘点数目N0(3)在内眼角点和外眼角点之间的眼睛区域内 以虹膜下半圆为模板搜索最大边缘点数目N(x,y)，要求N(x,y)/N0 TN(4)计算(x,y)处虹膜下半圆的平均灰度I(x,y)，如果有|I(x,y)I0|95%）表情识别和步骤章毓晋(TH-EE-IE)第28页第13讲现代研究开始于上个世纪现代研究开始于上个世纪70年代年代 主要集中在心理学和生物学方面的分析不同性别，不同种族的人群中有一致性 面部表情编码系统（面部表情编码系统（FACS）用44个运动单元（AU）的变化来描述人脸表情的变化 六种基本表情六种基本表情/情感类别情感类别 高兴、悲伤、惊奇、愤怒、厌恶、恐惧表情识别

12、和步骤章毓晋(TH-EE-IE)第29页第13讲表情识别步骤表情识别步骤(1)人脸检测与定位(2)表情特征提取(3)人脸表情分类 表情识别和步骤章毓晋(TH-EE-IE)第30页第13讲好的表情特征提取结果：好的表情特征提取结果：（1）完整的表示出人脸表情的本质特征（2）去除了噪声、光照变化及其他与表情无关的干扰信息（3）数据表示形式紧凑，避免过高的维数（4）不同类别表情的特征之间有较好的区分性三个步骤：三个步骤：1）原始特征获取 2）特征降维和提取 3）特征分解 表情特征提取 章毓晋(TH-EE-IE)第31页第13讲表情特征提取的三个步骤及方法表情特征提取的三个步骤及方法 原始特征获取原始

13、特征获取特征降维和提取特征降维和提取特征分解特征分解 几何特征：基准点外貌特征：Gabor，HLAC，LBP 混合特征：AAM 序列特征：光流，运动单元PCA，LDA，ICA，CDA，MPPCA，排序PCA+LDA 双线性分解，高阶奇异值分解表情特征提取 章毓晋(TH-EE-IE)第32页第13讲特征降维和提取的方法特征降维和提取的方法主元分析（主元分析（PCA）法）法提取了最有代表性的特征可以有效地消除冗余，降低维数但没有考虑不同类别数据之间的区分性线性判别分析（线性判别分析（LDA）法）法通过最大化数据的类间离散度和最小化类内离散度来选择合适的投影方向侧重于寻找具有最大分辨力的方向 表情特

14、征提取 章毓晋(TH-EE-IE)第33页第13讲特征分解的方法特征分解的方法 人脸图象包含了丰富的信息不同的识别任务所利用的信息各不相同 人脸检测寻找的是人脸图象共有的一致性人脸识别需要利用表示人脸个体差异的信息表情识别需要表示各种表情之间差异的信息把人脸表情识别中不同的因素，如表情因素和个体因素分离开来 表情特征提取 章毓晋(TH-EE-IE)第34页第13讲1、Gabor变换变换 核函数 取n=0,1,2，q=0,/6,2/6,3/6,4/6,5/6，则可得到由3 6个Gabor变换滤波器组用于提取表情特征 与表情图象进行卷积 基于Gabor变换的表情特征提取章毓晋(TH-EE-IE)第

15、35页第13讲2、Gabor变换系数和分级直方图相结合变换系数和分级直方图相结合 Gabor滤波器在分析局部纹理变化方面的能力非常强 直方图是一种常用的表示图象全局特性的特征 对图象进行逐级分块，并在分块后对每一个块区域内的Gabor系数计算其直方图分布，从而将Gabor系数和直方图统计的方法在每个块区域结合起来 基于Gabor变换的表情特征提取章毓晋(TH-EE-IE)第36页第13讲1、表情分类方法表情分类方法 表情分类指定义一组类别，并设计相应的分类机制对表情进行识别，归入相应类别 是否利用时间信息(1)空间分析方法(2)空时分析方法 表情分类章毓晋(TH-EE-IE)第37页第13讲2

16、、表情分类系统比较表情分类系统比较 对每一种系统列出了其采用的特征提取方法、分类方法和识别目标（AU或基本表情），还列出了所用数据类型（静态、序列或序列中抽取若干帧）、数据量、以及训练/测试比等实验的客观条件。测试结果列出识别率 表情分类（FER）系统在Cohn-Kanade库和JAFFE库上得到的一些结果 表情分类章毓晋(TH-EE-IE)第38页第13讲3、讨论讨论 性能主要受到以下几个方面的限制：(1)特征提取方法仍有不足(2)某些表情相对易于识别(3)大多数都针对特定条件下采集的图像或者图像序列 几个热点：(1)将多种特征结合(2)特征降维、提取和选择(3)将心理学和生物学知识与机器学

17、习的方法相结合(4)对混和表情、表情强度的研究 表情分类章毓晋(TH-EE-IE)第39页第13讲B.5人脸识别人脸识别人脸表情识别和人脸识别有着非常密切的关系 B.5.1边缘本征矢量加权的Hausdorff距离B.5.2非特定表情人脸识别章毓晋(TH-EE-IE)第40页第13讲边缘本征矢量加权的Hausdorff距离人脸的不同区域在人脸识别中具有不同的重要性，因此需要对不同的人脸区域给以加权权值函数可以建立在灰度域的基础上，也可以建立在梯度域的基础上 用边缘本征矢量加权的Hausdorff距离（edge eigen-vector weighted Haussdorf distance）章毓

18、晋(TH-EE-IE)第41页第13讲非特定表情人脸识别利用高阶奇异值分解的框架来减小人脸表情变化对识别的影响 先将对影响人脸外观的多个因素进行分解，然后利用分解所得到的张量脸（tensor face）来对人脸进行识别相似的人具有相似的表情：测试人的表情与训练集中的某个表情越相似，那么可以用与这个表情相关的人脸特征来表示测试人的含有表情因素的人脸特征的概率就越大 章毓晋(TH-EE-IE)第42页第13讲F 通信地址：北京清华大学电子工程系F 邮政编码：100084F 办公地址：清华大学东主楼，9区307室F 办公电话：F 传真号码：F 电子邮件：F 个人主页： 实验室网：联联 系系 信信 息息章毓晋(TH-EE-IE)