AAM特征提取教学教材.ppt

AAM特征提取基于基于AAMAAM的唇部特征提取的唇部特征提取n引言nAMM相关知识介绍nAMM特征提取n针对发音O一9的实验及其结果n展望和部分参考文献AAM相关知识介绍AAM相关知识介绍 形状对齐 在有N张标记好的样本图像的训练集中，假设每幅图像用n个标记点表示形状，其中每个标一记点用二维空间坐标表示，其表示如式(2一l)，在建模之前必须要做相关的预处理操作包括消除位置、尺寸和旋转角度对图像特征的影响，也就是将其形状集对齐到同一个坐标系中，这种预处理操作就叫形状对齐41。其中衡量某个形状与平均形状对齐的标准可以用公式(2一3)进行计算。对齐的最终目标是使所有形状与平均形状的距离和最小。AAM相关知识介绍 任何图像可以在位置、尺寸和旋转角度几个方面发生变化，如图2一2所示，(a)图中点1的坐标与(b)图的点1的坐标在位置、尺寸和旋转角度上发生了变化。(c)图则是把两个形状叠合在一起，可以清楚的看出形状m和形状n的普氏距离值较大。(d)图则是在经过形状对齐后的结果，把形状n经过一定平移，缩放以及旋转一定角度后放置在m上。对齐的算法如下:1.平移每幅图像以是每幅图像的重心在原点上。2选择一个样本作为均值的初始估计，并缩放使其 3一记第一个平均估计值为 作为默认参考坐标系。4.将所有的形状与当前的平均值估计进行对齐操作。5.重新计算平均值估计值 6.通过将新的均值与默认参考坐标系下 对齐，并缩放使其 7.如果收敛，则终止，如果不收敛，则返回步骤4。AAM相关知识介绍AAM相关知识介绍 建模 AAM模型建立包括形状建模、纹理建模和混合建模三个阶段，这里的混合模型就是外貌模型，它是形状与纹理的组合。在建模过程中标记点的标记方法有手动标记、自动标记以及半自动标记，其中手动标记是非常费时的，在实际使用中，通常要用自动标记和半自动标记加以辅助。搜索 AAM搜索(也称拟合或匹配)是找出合适的模型参数，以使模型实例和样本实例尽可能的达到一致，我们可以将其视为一个优化问题:即根据一幅新图像和用模型参数合成所获得外貌模型，可以调整模型参数使实际图像与模型实例的误差最小。搜索 我们可以使用下式表示差向量:其中 表示图像灰度值向量，表示合成模型实例的灰度值向量，要得到和图像匹配的最佳匹配模型，就要改变模型参数来最小化模型实例和样本图像之间的灰度差向量。实际上因为基于外貌模型参数相对较多，导致此问题是一个高维优化问题，我们一般选用迭代方法调整模型参数。搜索计算在AAM进行特征点定位中起着核心作用，这是因为只有通过搜索计算才能改变参数，从而进一步改变形状实例即特征点的定位。故研究快速且准确定位的AAM搜索算法对于AAM的发展和实际应用起着至关重要的作用。AAM相关知识介绍唇特征点的选取 对于嘴唇形状，计算机不能直接对其进行有效理解。为了实现对嘴唇图像进行形状建模，需要对其进行合理的数学表示。本文通过对嘴唇边缘使用一系列的特征点来表述其外形，使其能保留嘴唇在去除平移、缩放和旋转等因素后剩下的几何信息。除此之外，还需要增加一个下巴点，这一点能够使得在AAM搜索过程中很大程度上限制了嘴唇的垂直位置。在标定点的选取中，应遵循以下3个原则:(1)标记点应该准确地定义在嘴唇的边缘处，以充分反映出其几何信息;(2)标记点分布密度应尽可能的均匀;(3)在不同的嘴唇样本中，对应的标记点应该标一记同样的外形特征。AAM特征提取AAM特征提取 下图标出了唇特征点，由唇的轮廓点和下巴点组成。AAM建模 AAM建模是对物体的形状和纹理进行统计学习，建立物体的外貌模型。该算法对目标的提取有很好的作用，同时对实际生活中遇到的遮挡、退化等问题具有较好的鲁棒性。AAM特征提取 通过形状模型即公式(4一l)，形状在平移、缩放、旋转后，经PCA算法可以得到形状参数。其中 是形状，是平均形状，是正交的特征向量矩阵，是形状参数集合。通过纹理模型即公式(4一2)，纹理在变形、标准化后，经PCA算法可以得到纹理参数。其中 是纹理，是平均纹理，是正交的特征向量矩阵，是纹理参数集合。通过外貌模型即公式(4一3)、(4一4)、(4一5)，将上述获得的形状参数和纹理参数相结合并对其进行PCA运算可以得到综合模型参数，即外貌参数。AAM建模AAM特征提取 其中 是一个对角矩阵，用于调节形状模型与纹理模型之间的权重、是特征向量、是综合模型参数，用于控制模型的形状和纹理。AAM建模AAM特征提取 AAM搜索 AAM搜索是一个最优化问题:根据图像和模型参数合成外貌模型，通过调整模型参数使得模型外貌与实际图像的差别最小。差向量可以表示为如下形式:其中 是图像纹理的灰度值向量，是合成模型纹理的灰度值向量。要找到和图像匹配的最优模型，可以通过改变模型参数c来实现最小化模型和图像之间的差向量。因为基于外貌模型参数可能会较多，会导致这个优化问题是一个高维优化问题，故往往选用迭代方法改变模型参数。AAM特征提取 AAM的参数处理 主动外貌模型很好的将形状和纹理特性结合起来共同处理，这在拟合时能更精确地找到嘴唇。本文采取K一Mean聚类算法将单帧嘴唇按唇形张开程度分成11类，实现了将高维特征降至为一维特征。也就是一个发音过程即图像序列先经过AAM模型变成高维矢量序列，在经过K一Mean聚类算法变成一维序列。图4一3列出了几种典型的嘴唇在使用上述唇特征点的AAM拟合效果图。由图可以看出，此唇特征点对几种典型的嘴唇有较好拟合效果，对嘴唇的特征提取以及后续的识别起到举足轻重的作用。AAM特征提取 AAM特征提取K一Mean聚类算法 K-means算法的工作原理：算法首先随机从数据集中选取 K个点作为初始聚类中心，然后计算各个样本到聚类中的距离，把样本归到离它最近的那个聚类中心所在的类。计算新形成的每一个聚类的数据对象的平均值来得到新的聚类中心，如果相邻两次的聚类中心没有任何变化，说明样本调整结束，聚类准则函数已经收敛。本算法的一个特点是在每次迭代中都要考察每个样本的分类是否正确。若不正确，就要调整，在全部样本调整完后，再修改聚类中心，进入下一次迭代。如果在一次迭代算法中，所有的样本被正确分类，则不会有调整，聚类中心也不会有任何变化，这标志着已经收敛，因此算法结束。AAM特征提取 K一Mean聚类算法 K-meansK-means聚类算法的一般步骤：聚类算法的一般步骤：（1 1）从从 n n个数据对象任意选择个数据对象任意选择 k k 个对象作为初始聚类中心；个对象作为初始聚类中心；（2 2）根据每个聚类对象的均值（中心对象），计算每个对象与这根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分；些中心对象的距离；并根据最小距离重新对相应对象进行划分；（3 3）重新计算每个（有变化）聚类的均值（中心对象）重新计算每个（有变化）聚类的均值（中心对象）；（4 4）循环（循环（2 2）到（）到（3 3）直到每个聚类不再发生变化为止）直到每个聚类不再发生变化为止。针对发音O一9的实验及其结果0-9的实验针对发音O一9的实验及其结果 通过上述实验可以发现，发音7的识别率较低，这是因为它与发音1的发音嘴形序列相似导致的误判0-9的实验结果 本文提出的唇读识别方法能够较准确的识别出单个汉语数字(0一9)，基本达到了预期的目标，但方法还需要进一步的完善，可进一步完善的内容如下:(1)就其AAM特征提取阶段而言，AAM的训练准备时间较长，主要是因为其特征 点的标记是手动标记，可以采用自动手动相结合的方法来降低AAM的训练准备时间。(2)AAM匹配算法可以进行改进来提高识别速度。展望和部分参考文献展望展望和部分参考文献 部分参考文献谢谢！