面部表情识别优秀课件.ppt

《面部表情识别优秀课件.ppt》由会员分享，可在线阅读，更多相关《面部表情识别优秀课件.ppt（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、面部表情识别第1页，本讲稿共55页研究现状研究现状国际上对人脸面部表情识别的研究现在逐渐成为科研热点。国内外很多机构都在进行这方面的研究,尤其美国、日本。进入90 年代,对人脸表情识别的研究变得非常活跃,吸引了大量的研究人员和基金支持,EI 可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland 大学、Standford 大学、日本城蹊大学、东京大学、ATR 研究所的贡献尤为突出。国内国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有人员

2、从事人脸表情识别的研究 第2页，本讲稿共55页目前面部表情识别的主要方法：基于模板匹配的面部表情识别方法基于神经网络的面部表情识别方法基于规则的人脸面部表情识别方法基于随机序列模型的面部表情识别方法其他方法，比如支持向量机，小波分析等第3页，本讲稿共55页论文主要工作论文主要工作1.介绍了信息融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别第4页，本讲稿共55页面部表情识别：

3、一般可描述为给定一个静止人脸图像或者动态的人脸图像序列，利用已有的人脸表情数据库确定图像中的一个人或者多个人的面部表情，研究内容包括以下三方面：人脸检测人脸检测:即从各种不同的场景中检测出人脸的存在并确定其位置.面面部部表表情情特特征征提提取取:即确定表示检测出的人脸表情和数据库中的已有的人脸面部表情的描述方式。通常的表示方式包括几何特征、代数特征、固定特征模板、云纹图、3D网格等。面面部部表表情情识识别别：就是将待识别的人脸面部表情和数据库中的已知人脸面部表情比较，得出相关信息。这一过程是选择适当的人脸面部表情表示方式与匹配策略 第5页，本讲稿共55页 论文主要工作论文主要工作1.介绍了信息

4、融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别第6页，本讲稿共55页信息融合与面部表情分析信息融合就是把来自多个信息源的目标信息合并归纳信息融合就是把来自多个信息源的目标信息合并归纳为一个具有表示形式输出的推理过程为一个具有表示形式输出的推理过程,其基本的出发其基本的出发点是通过对这些信息源所提供的信息的合理支配和点是通过对这些信息源所提供的信息的合理支配和使用使用,利用多

5、个信源在时间或空间上的冗余性和互补利用多个信源在时间或空间上的冗余性和互补性对这些信息进行综合处理性对这些信息进行综合处理,以获得对被测对象具有以获得对被测对象具有一致性的解释和描述一致性的解释和描述,使得该信息系统获得比它得使得该信息系统获得比它得各个组成部分更优越的性能。各个组成部分更优越的性能。人人脸脸面部表情面部表情识别识别包含大量的包含大量的变变量量,反映待反映待识别识别目目标标各要素的非度量形式允各要素的非度量形式允许许许许多多类类型的表示技型的表示技术术,每一每一种技种技术术又可以采用不同的方法又可以采用不同的方法进进行行计计算。算。第7页，本讲稿共55页基于信息融合面部表情识别

6、的三基于信息融合面部表情识别的三个模型个模型v基于像素层融合的面部表情识别 v基于特征层融合的面部表情识别 v基于决策层融合的面部表情识别 第8页，本讲稿共55页基于像素层融合的面部表情识别基于像素层融合的面部表情识别这种方法对每幅图像预处理之前进行像素层融合后,得到一个融合的人脸图像数据,并在此基础上再进行特征提取和面部表情识别。第9页，本讲稿共55页基于特征层融合的面部表情识别这种方法对每个传感器的观测数据进行特征的抽取以得到一个特征向量,然后把这些特征向量融合起来并根据融合后得到的特征向量进行面部表情识别及判定。第10页，本讲稿共55页基于决策层融合的面部表情识别这种方法对每个传感器都执

7、行面部表情特征提取和面部表情识别，然后对多个识别结果进行信息融合从而得出一个面部表情判决结果,再融合来自每个传感器的面部表情判决。第11页，本讲稿共55页 论文主要工作论文主要工作1.介绍了信息融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别第12页，本讲稿共55页基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表

8、情识别第13页，本讲稿共55页基于神经网络级联的面部表情识别网络级联的面部表情识别结构BP网络的算法流程网络级联的面部表情识别的实验结果第14页，本讲稿共55页网络级联的面部表情识别结构第15页，本讲稿共55页网络级联的面部表情识别流程第16页，本讲稿共55页网络级联的面部表情识别的实验结果 在两个数据库上进行实验，从耶鲁大学的Yale Face 数据库中选取60幅人脸图像，共15个人，4幅/人，其中训练样本56幅，14个人，4幅/人，测试样本为剩下的4幅图像，1个人，4/人，通过随机变换训练样本和测试样本，我们重复15次这样的实验。从日本女性表情数据库中（JAFFE）选取120幅图像，共10

9、个人，12幅/人，其中84幅图像作为训练样本，7个人，12幅/人，测试样本为36幅图像，3个人，12幅/人。通过随机变换训练样本和测试样本，我们重复10次这样的实验。第17页，本讲稿共55页日本女性表情数据库上的实验SOFM权值向量图 BP网络性能图表情类型识别结果Happy76.7%Normal73.3%Sad70%Surprise80%第18页，本讲稿共55页Yale Face 数据库上的实验SOFM权值向量图 BP网络性能图表情类型实验结果Happy66.7%Normal73.3%Sad60%Surprise80%第19页，本讲稿共55页基于单特征单分类器的面部表情识别基于神经网络级联的

10、面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别第20页，本讲稿共55页基于几何特征的面包表情识别面部特征点几何特征向量的形成识别流程实验结果第21页，本讲稿共55页面部特征点第22页，本讲稿共55页几何特征的形成第23页，本讲稿共55页基于几何特征的面部表情识别流程1.在人脸图像上标记24个面部特征点.2.按照上表得到12个测量距离,对测量距离按上面的公式进行归一化处理得到12维局部特征3.读入人脸库。读入每一个人脸图像几何特征数据并转化为一维的向量 ，对于一个表情的人脸图像，选择一定数量的图像构成训练集，其余的构成测试集。4.把所有测试图像和训练图像进行比较，确定待识别

11、的样本 的所属类别。本文采用最近距离分类器进行识别 第24页，本讲稿共55页两个数据库上的实验结果Yale Face 数据库 日本女性表情数据库表情类型实验结果Happy73.3%Normal66.7%Sad60%Surprised73.3%表情类型识别结果Happy76.7%Normal70%Sad73.3%Surprised80%第25页，本讲稿共55页基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别第26页，本讲稿共55页基于均值主元分析的面部表情识别主元分析主元分析的改进：均值主元分析面部表情识别流程实验结果第27页

12、，本讲稿共55页主元分析 考虑 维图像空间的 个人脸图像 ,每个样本属于 类 中的一类,考虑将 维特征空间投影到 维特征空间的线性变换。用表示列向量正交的矩阵。变换后的新的向量,由下式线性变换定义:总离散度矩阵:其中 是所有样本的平均值，经过线性变换得到的新的特征向量 的离散度是 。PCA 选择最优的投影变换 :是按照降序排列的前 个特征值对应的特征向量，这种变换变化就称为主元分析。由所组成的空间就是面部表情特征空间。第28页，本讲稿共55页主元分析的改进：均值主元分析 传统的主元分析的产生矩阵是协方差矩阵,也叫总体离散布矩阵,总体离散布矩阵是有两部分组成:类间离散布矩阵和类内离散布矩阵，而改

13、进算法只考虑类间离散度矩阵。设训练样本集共有N 个训练样本 ,分为c 类 ,为第i样本的数目,其中 是表示第个人脸图像的列向量。每一类的均值为：总均值为：类间离散度矩阵：相对于传统的主元分析,其基本区别是以每一类的平均值代替类内的具体图像,我们称为MPCA。由于每一类平均值是类内图像的一个线性叠加,因此每一类的平均值必然保留了相当的各具体图像的变化特征,换句话说,对各图像的变化特征进行了一定程度的压缩处理，而且保留的特征更有利于表情模式的识别。关于这一点我们将在后面的实验中加以说明，用每一类的平均值代替类内的具体图像的另一个明显的好处就是训练时间明显降低。第29页，本讲稿共55页面部表情识别流

14、程1.人脸图像预处理。主要包括几何归一化和灰度归一化。2.读入人脸库。读入每一个二维的人脸图像数据并转化为一维的向量，对于一个表情的人脸图像，选择一定数量的图像构成训练集，其余的构成测试集，假定图像的大小是w*h（w和h分别维图像的宽度和高度），用于训练的人脸个数是n1，测试的图像个数是n2，令m=w*h，则训练集m*n1是一个的矩阵，测试集是m*n2的矩阵。第幅人脸可以表示为：3.计算每一类的均值 、总均值 和类间离散度矩阵 。4.取类间离散度矩阵 为KL变换生成矩阵 ，进行KL变换。5.计算生成矩阵 的特征值和特征向量，构造特征子空间。首先把特征值从大到小进行排序，同时，其对应的特征向量的

15、顺序也作相应的调整。然后选取其中一 部分构造特征子空间。特征向量具体选取多少，本文采取实验的方法进行确定。6.把训练图像和测试图像投影到上一步骤构造的特征子空间中。每一幅人脸图像投影到特征子空间以后，就对应于子空间中的一个点。同样，子空间中的任一点也对应 于一幅图像。7.把投影到子空间中的所有测试图像和训练图像进行比较，确定待识别的样本 的所属类别。本文采用最近邻距离分类器进行识别。第30页，本讲稿共55页实验结果Yale Face数据库 MPCA和PCA比较 日本女性表情数据库表情类型PCA识别结果MPCA识别结果Happy66.7%73.3%Normal73.3%73.3%Sad60%66

16、.7%Surprised73.3%80%比较项目MPCAPCA主元数目3842训练时间0.090.25表情类型PCA识别结果MPCA识别结果Happy76.7%80%Normal73.3%76.7%Sad70%73.3%Surprised80%83.3%第31页，本讲稿共55页 论文主要工作论文主要工作1.介绍了信息融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别第32页，本

17、讲稿共55页基于基于SVM的多特征多分类器融合的面部表情识别基于SVM信息融合的面部表情识别结构支持向量机和最优超平面SVM融合原理SVM融合函数以及融合模型几种常用的核函数基于SVM信息融合的面部表情识别流程实验结果第33页，本讲稿共55页基于SVM信息融合的面部表情识别结构 本文结合整体特征建模、局部特征建模和多分类器信息融合的优势，提出一种基于支持向量机（SVM）的信息融合方法进行人脸表情识别。为了提高识别系统的识别率和识别系统的鲁棒性，充分的利用人脸的图像的各种信息，我们对预前处理后的人脸图像提取局部表情特征和整体表情特征，然后对不同的类型的特征采用不同的分类器对人脸表情进行初步的分类

18、，最后构造一个3阶多项式的支持向量机来对多个分类器的输出进行信息融合，以便到达人脸表情识别的目的。识别结构如下：第34页，本讲稿共55页第35页，本讲稿共55页基于基于SVM的多特征多分类器融合的面部表情识别基于SVM信息融合的面部表情识别结构支持向量机和最优超平面SVM融合原理SVM融合函数以及融合模型几种常用的核函数基于SVM信息融合的面部表情识别流程实验结果第36页，本讲稿共55页支持向量机和最优超平面 支持向量机(SVM)是一种基于结构风险最小化原则的学习方法,它可以用来解决三大问题:模式识别、函数的回归估计及分布密度函数的估计。本课题应用支持向量机来探索多特征多分类器融合的面情识别问

19、题,即从有限的训练样本中提取融合规则,使得该规则对于独立的测试样本具有较小的误差。假定训练数据 ，可以被一个超平面分开,该平面的方程为:如果训练集没有被错误地划分,而且离超平面最近的向量与超平面之间的距离最大,则称该超平面为最优超平面,如下图 5所示。第37页，本讲稿共55页先对参数和施加约束条件:对于全体训练样本,则下列不等式成立 最优超平面使得下式取得最小的超平面通过对上式的优化问题求解，可得一组解 ,并且该解满足下列各式:只有支持向量的系数才可能为非零值，所以可以表示为：并且，对于任意的支持向量，都有：第38页，本讲稿共55页基于基于SVM的多特征多分类器融合的面部表情识别基于SVM信息

20、融合的面部表情识别结构支持向量机和最优超平面SVM融合原理SVM融合函数以及融合模型几种常用的核函数基于SVM信息融合的面部表情识别流程实验结果第39页，本讲稿共55页SVM融合原理 假设有个分类器，若已经取得个决策样本值以及实际的决策值：其中 表示对于第i个输入样本图像，这n个分类器作出的决策矢量,是对应第输入样本图像的标签.要求能根据这组样本值，找到一个适当的融合函数 ，使得对于确定的损失函数 具有最小的期望风险,从信息变换的角度来看，多分类器起到把输入的人脸图像映射到决策空间的作用。为了很好的识别人脸表情，基于支持向量机的决策融合应作如下处理：首先，将多种分类器的决策通过非线性映射 映射

21、到一个高维空间中去,然后，在高维空间中进行线性回归。综合上述两个过程，得到融合后的决策为：5.12其中，为普通的向量内积运算。第40页，本讲稿共55页SVM融合函数以及融合模型融合函数可表示为 其中 是属性空间向量内积形式：第41页，本讲稿共55页几种常用的核函数 线性函数 P多项式核函数 高斯径向基函数(RBF)核函数 多层感知器(MLP)核函数 第42页，本讲稿共55页基于SVM信息融合的面部表情识别流程1.在人脸图像上标记24个面部特征点.2.按照29页表得到12个测量距离,对测量距离按29页的公式进行归一化处理得到12维局部特征3.对人脸图像进行纯脸切割,缩放,形状归一化和灰度归一化

22、4.基于神经网络级联的面部表情识别结果为分类器1的结果，5.基于几何的特征的面部表情识别结果为分类器2的结果6.基于均值主元分析的面部表情识别结果为分类器四的结果7.构造一个三阶多项式支持向量机,即用式5.20作为核函数,其中取3，利用一对多原则进行表情识别,支持向量机的输入对应分类器1,2,3,4的输出。结果对于四种表情的二进制编码，即00-Happy,01-Normal,10-Sad,11-Surprised。第43页，本讲稿共55页实验结果 在两个数据库上进行实验，从耶鲁大学的Yale Face 数据库中选取60幅人脸图像，共15个人，4幅/人，其中训练样本56幅，14个人，4幅/人，测

23、试样本为剩下的4幅图像，1个人，4/人，通过随机变换训练样本和测试样本，我们重复15次这样的实验。从日本女性表情数据库中（JAFFE）选取120幅图像，共10个人，12幅/人，其中84幅图像作为训练样本，7个人，12幅/人，测试样本为36幅图像，3个人，12幅/人。通过随机变换训练样本和测试样本，我们重复10次这样的实验。第44页，本讲稿共55页Yale Face数据库 上的实验结果表情类型分类器1分类器2分类器3分类器4SVM信息融合Happy66.7%73.3%73.3%80%86.7%Normal73.3%66.7%73.3%80%80%Sad60%60%66.7%66.7%73.3%S

24、urprised80%73.3%80%86.7%93.3%第45页，本讲稿共55页日本女性表情数据库上的实验结果表情类型分类器1分类器2分类器3分类器4SVM信息融合Happy76.7%76.7%80%83.3%86.7%Normal73.3%70%76.7%80%83.3%Sad70%73.3%73.3%76.7%80%Surprised80%80%83.3%86.7%90%第46页，本讲稿共55页 论文主要工作论文主要工作1.介绍了信息融合在面部表情识别应用的三个层次模型2.探索了基于单特征单分类器的面部表情识别3.将支持向量机理论和信息融合理论结合在一起，提出基于基于SVM的多特征多分类

25、器融合的面部表情识别4.将径向基函数神经网络用于面部表情特征的融合上，提出基于RBF网络的多特征融合的面部表情识别第47页，本讲稿共55页基于径向基函数网络多特征融合的面部表情识别基于RBF网络的多特征融合的面部表情识别结构径向基神经网络基于RBF网络融合的面部表情识别流程实验 第48页，本讲稿共55页基于RBF网络的多特征融合的面部表情识别结构第49页，本讲稿共55页径向基函数神经网络（RBF)径向基函数网络是一种两层前向网络,如图所示。其输出是由隐节点基函数的线性组合计算得到。隐节点的基函数只对输入空间中的一个很小区域产生非零响应。隐层神经元将输入空间映射到一个新的空间,输出层在该空间中实

26、现线性组合。第50页，本讲稿共55页 径向基函数常采用高斯函数作为非线性映射函数,不失一般性,对于单个网络输出的RBF网络来说,其第个单元对应的输出为其中:-欧几里德范数 -第个输入向量 -第个隐层节点的中心 -第个隐层节点的宽度整个网络的输出方程为:其中 -输出空间与第个隐层节点的连接权 -隐层节点的总个数 第51页，本讲稿共55页基于RBF网络融合的面部表情识别流程1.在人脸图像上标记24个面部特征点.2.按照29页表得到12个测量距离,对测量距离按29页的公式进行归一化处理得到12维局部特征 3.对人脸图像做预处理,首先对图像做纯脸部分的切割,形成的纯脸图像，然后对纯脸图像进行直方图均衡

27、化,标准化和归一化处理；4.对纯脸图像做均值主元分析,提取均值主元成分,根据实验本文选=38,即形成38维的表情特征5.用Fisher 线性判别来提取面部表情特征，为了解决小样本问题，本文采取 T+PCA+FLD策略。在Yale face数据库上用=52维特征向量构造特征子空间。在JAFFE上用=76维特征向量构造特征子空间，其中c为类别数。用 第52页，本讲稿共55页 T替换函数替换散布矩阵后用FLD变换到c-1=3维特征空间作为表示面部表情特征的一部分特征；6.构造一个的RBF神经网络,53个输入单元对应三种特征提取技术提取的特征。X个隐层神经元由径向基函数网络自适应算法确定,这些隐层神经元负责特征融合决策,2个输出神经元对应四种表情的二进制编码,即 00代表Happy,01 代表Normal,10代表Sad,11代表Surprised。第53页，本讲稿共55页Yale face 数据库上的实验结果表情类型GFPCAFLDRBFSNHappy73.3%66.7%73.3%80%Normal73.3%66.7%73.3%80%Sad66.7%60%66.7%73.3%Surprised80%73.3%80%86.7%第54页，本讲稿共55页谢谢！第55页，本讲稿共55页