计算机视觉的手势跟踪与识别技术的分析研究 .docx

精品名师归纳总结基于运算机视觉的手势跟踪与识别技术的争论1 绪论 21. 1手势识别争论的意义 21. 2手势识别国内外争论现状21.3基于视觉的手势跟踪与识别流程图32 基于运算机视觉的手势识别基础理论32. 1模式识别概述 32 2基于运算机视觉的手势跟踪理论42 3基于运算机视觉的手势识别理论52 3 1神经网络算法 52 3 2基于模板匹配的算法 62 3 3统计分析算法 72 3 4隐马尔可夫模型 HMM>72. 4基于运算机视觉的手势跟踪与识别系统83 手势图像预处理及特点提取 83. 1手势图像预处理 83 1 1图像平滑 93 1 .2图像颜色空间转换 103. 1 .3图像二值化 113.1 .4图像外形学处理 123. 2手势图像特点提取 134 手势跟踪算法争论 134. 1 Kalman 跟踪算法 134. 2 Camshift 跟踪算法 154. 2 1颜色概率模型 155 基于运算机视觉的手势跟踪与识别算法试验165. 2手势图像预处理及特点提取试验结果175 2 1手势图像猎取及手势样本库的建立175 2 .2手势图像的预处理 195 2手势跟踪试验结果及分析 205 3实时手势识别试验结果及分析 215 3 1手势识别系统流程 215.4 手势跟踪与识别在人机交互中的应用216 总结与展望 237 附录： 247.1 程序重要部分代码 247.2 手势识别的视频 277.3 国内外生产手势识别软件的厂家28可编辑资料 - - - 欢迎下载精品名师归纳总结1 绪论1.1 1 手势识别争论的意义在人机交互的进展过程中先后显现了基于文本方式的键盘、基于图形方式的鼠标等交互接，然而从某种程度上说，这些机械设备在人机交互方面是不便利和不和谐的。它把机器作为人机交互的中心，在人机交互时人需要去适应机器的输入输出设备，对机器没有主动掌握的才能。随着运算机科学的快速进展，争论符合人类沟通习惯的人机交互技术成为国内外关注的热点，这些争论包括人脸识别、面部表情识别、头部运动跟踪、眼睛识别、手势识别以及人体姿态识别等。总体来说，人机交互的争论已经从以运算机为中心转移到以人为中心，大大提高了人机交互的效率。手势作为人类最自然的表达方式之一，在日常生活中得到了广泛的应用。手势生动、形象、直观，而且蕴涵着丰富的信息，是人与人沟通的重要媒介。目前基于手势的交互已经成为人机交互的重要内容。手势识别的应用前景特别宽阔：1> 对于聋哑人而言，特殊是文化程度比较低的聋哑人，使用手语和正常人沟通更加便利和高效。手语是用手势表示意思的语言，对不熟识手语的一般人来说，懂得手语是特别困难的。假如有一套可以翻译手语的系统，就将大大便利聋哑人与正常人之间的沟通。2>利用手势对虚拟现实中的智能设备进行掌握。比如在虚拟场景内利用手势实现虚拟钢琴的演奏，又如用机器人的虚拟手抓取物体等。 3>争论人类对于视觉语言的懂得规律，提高运算机对人类语言的懂得才能。4>手势交互是虚拟现实中多通道接口的重要组成部分之一。1.2 2 手势识别国内外争论现状依据外围设备采集手势图像方式的不同可以把手势识别分为两种：基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的手势识别是通过数据手套和位置跟踪来测量手势运动的轨迹和时序信息，其优点是系统的识别率高，缺点是输入设备昂贵，并且要求打手势的人穿戴复杂的数据手套，给人带来很多不便，因此这种方式不能成为将来进展的趋势。基于视觉的手势识别是运算机通过对摄像头拍照的手势图像进行分析和处理提取出手的位置及外形。这种方法在实现时无需购买昂贵的设备，仅需要廉价的摄像头和低端处理才能的PC机即可。并且在操作时更加自然、便利，符合以人为本和自由性的要求，是手势识别将来进展的趋势。但是这种方法的识别效率比基于数据手套的手势识别低，而且能够识别的手势种类受到很大的限制，是目前亟待解决的问题。国外很早就开头了对手势识别的争论工作。Huang 创建的手语识别系统使用3D神经网络的方法识别了 15个不同的手势。 Stamert51等人使用隐马尔可夫模型HMM> 对输入视频序列中的美国手势中带有词性的40个词汇随机组成的句子进行了识别，其中HMM 参数的估量采纳的是 EM 算法。系统对分别单词的识别和由5个单词组成的句子 句子的结构限定为代词+动词+名词+形容词 +代词 >的识别分别进行了测试，识别正确率达90。 Zhu6 使用主成分分析方法创建统计结构，从而识别活跃对象的外形，即模型化系统和弹性对象的识别。Vogler和MetaxastTl 开发的手语懂得系统通过固定在人身上的物理传感器和一个能够对手臂进行精确定位的摄像机来猎取手臂位置信息。系统采纳独立的语言模型对包括53个单词的可编辑资料 - - - 欢迎下载精品名师归纳总结手语集进行了测试，识别率也达到90。我国对手势识别的争论起步较晚，但近年来也取得了显著的成果。例如文献f81 中使用神经网络方法和 Hough 变换对中国手语中的 20种手势进行识别。在文献 91q丁采纳基于表观的手势模型，提取八个手势特点组成特点向量，采用二次分类 粗分类和细分类 >的方法对 10个常用的静态手势进行识别。张秋余、姚开博等采纳矩形特点描述手势，用改进的AdaBoost 算法训练分类器，在复杂背景下对手势的跟踪与识别取得了不错的成效。中科院的单彩峰提出了结合均值漂移的粒子滤波 The Mean ShiftEmbeddedParticle Filter ，MSEPF> ，通过在时序模板中引入时空轨迹，提出了时序模板轨迹概念，将跟踪得到的手势运动轨迹压缩到单幅图像中，实现了对预先定义的动态手势的识别。山东高校的徐立群等提出了一种基于颜色概率模型并融合运动信息进行手势跟踪的新方法。利用肤色概率查找表将图像序列转换为肤色概率分布图，用运动信息和肤色概率分布对搜寻窗口进行初始化，然后对肤色概率分布图进行迭代运算，得到手势的位置和大小，从而实现了对六种孤立手势的识别。1.3 基于视觉的手势跟踪与识别流程图本课题的主要内容是争论基于运算机视觉的手势跟踪与识别。第一对手势跟踪与识别各个阶段的算法进行了分析，提出基于Hu 矩特点和 “一对多 " 径向基核函数支持向量机相结合的手势识别算法，并在MicrosoftVisualC+6 0开发环境下，借助 OpenCV开源库，实现了对从摄像头输入的10个常用手势的识别，以验证提出算法的可行性，并以此为基础建立了一个简洁的手势交互系统。基于视觉的手势跟踪与识别流程图见图1-1。图1-1 基于视觉的手势跟踪与识别流程图2 基于运算机视觉的手势识别基础理论在人与人的交际过程中，常常会用到手势，手势的语义强大并且直观，可以很好的表达思想，与自然语言形成互补。所以近些年来，手势识别的争论得到了很大的关注和进展。本章主要介绍基于视觉的手势识别的一些基础理论。可编辑资料 - - - 欢迎下载精品名师归纳总结2.1 1 模式识别概述模式识别产生于 20世纪 20岁月，随着 40岁月运算机的显现， 50岁月人工智能的兴起， 模式识别在 60岁月初快速进展成 -f 学科 1131。它所争论的理论和方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能的进展，扩大了运算机应用的可能性。几十年来，模式识别争论取得了大量的成果，在很多方面都得到了广泛的应用。但是，由于模式识别涉及到很多复杂的问题，现有的理论和方法对于解决这些问题仍有很多不足之处。通常，我们把通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息称为模式，把各模式所属的类别称为模式类。模式识别是对表征事物或者现象的各种形式的信息进行分析和处理，来实现对事物或现象进行描述、辨认、分类和说明，是信息科学和人工智能的重要组成部分。人们为了把握客观事物，就将事物依据相像度组成类别。模式识别的作用和目的就在于面对某一具体事物时将其 J下确的归入某一类别。有两种基本的模式识别方法，即统计模式识别方法和结构模式识别方法。与此相应的模式识别系统都由两个过程组成，即设计与实现。设计是指用肯定数量的样本叫做训练集或学习集 >进行分类器的设计。实现是指用所设计的分类器对待识别的样本进行分类决策。基于统计方法的模式识别主要由4个部分组成：数据猎取、预处理、特点提取和选择、分类决策，如图 2-1所示。图2-1 模式识别系统的基本构成1. 数据猎取为了使运算机能够对各种现象进行分类识别，要用运算机可以运算的符号来表示所研究的对象。通常输入对象的信息有一维波形、物理参量和规律值、二维图像3种类型，通过测量、采样和量化，可以用矩阵或向量表示二维图像或一维波形。这就是数据猎取的过程。2. 预处理预处理的目的是去除噪声，加强有用的信息，并对输入测量仪器或其他因素所造成的退化现象进行复原。3. 特点提取由图像或波形所获得的数据量是相当大的。例如，一个文字图像可以有几千个数据， 一个心电图波形也可能有几千个数据。为了有效的实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特点。这就是特点提取和选择的过程。一般我们把原始数据组成的空间叫测量空间，把分类识别赖以进行的空间叫做特点空间，通过变换，可把在维数较高的测量空间中表示的模式变为在维数较低的特点空间中表示的模式。 4分类决策分类决策就是在特点空间中用统计方法把被识别对象归为某一类别。基本做法是在样本训练集基础上确定某个判决规章，使按这种判决规章对被识别对象进行分类所造成的错可编辑资料 - - - 欢迎下载精品名师归纳总结误识别率最小或引起的缺失最小。2.2 基于运算机视觉的手势跟踪理论手势分割与跟踪是手势识别的基础，其好坏将影响识别率的大小。手势分割的方法大体分为三种：基于运动信息的、基于运动模板的和基于颜色信息的。基于运动信息的手势分割是通过对前后两帧图像做差分运算来检测手势的，当手势运动时就图像发生变化。运动估量的依据是图像强度发生变化，用图像序列中相邻图像的差 来表示强度的变化。图像差运算特别简洁，这是由于在图像差运算中仅仅涉及到了像素强 度的相减。在实际的手势识别系统中，摄像机的位置是固定的，对手势序列中相邻两帧图 像做差分运算便能有效的保留运动的部分即手势 >，滤除图像中保持不变的背景区域。基于运动模板的手势分割是用模板匹配方法查找运动的手势，一般把二维可变形模板作为插值节点去近似物体轮廓。模板由平均点集合、点可变性参数和外部变形构成，平均点集合描述的是某一组外形的平均外形，点可变性参数描述的是可变形模板的全局运动。通常用基于可变形模板的人手模型来跟踪人手。二维模板实现简洁，但对手的姿念有肯定限制。三维模板就不受手的姿态的限制，但其参数过多使得实现困难。基于颜色信息的分割在图像分割中占有重要位置。颜色分割与其他两种方法相比，具 有高效性和鲁棒性等特点，得到了广泛的应用。但是在复杂背景的情形下或者光照变化快 时，基于颜色的分割成效不好，为明白决这个问题，目前众多争论者尝试利用融合多种信 息的技术进行手势分割。国内外对手势跟踪的争论很多，例如利用粒子滤波ParticleFilter> 对手势跟踪获得了较好的成效。Camshift 巧JContinuouslyAdaptiveMean Shift> 是一种基于颜色概率模型的跟踪算法，它是MeanShift 算法的改进与扩展，可以处理动态变化的分布。当视频序列一帧一帧变化时，Camshif t能够自动调剂搜寻窗的大小和位置，定位被跟踪目标的中心和大小，并且用当前帧定位的结果来猜测下一帧图像中目标的中心和大小，每帧图像都这样处理，就形成了连续的跟踪。2.3 3 基于运算机视觉的手势识别理论基于视觉的手势识别可以分为基于单目视觉的手势识别和基于多目视觉的手势识别。基于单目视觉的手势识别就是通过单个摄像机来采集手势图像，从而建立平面手势模型。这种方法处理的数据量较小，识别速度快，但是对于用户手势的输入限制较大。基于多目视觉的手势识别是通过两个或两个以上的摄像机来采集图像，建立的是立体模型。这种方法对于用户手势的输入限制较小，可以实现更加自然的人机交互，但由于立体模型的复杂性，需要处理大量的数据，识别时间长，无法实现实时的识别。基于视觉的手势识别算法可分为神经网络算法、模板匹配，统计分析算法、和隐马尔可夫模型 Hidden Markov Model HMM> 等。2.3.1 神经网络算法对人工神经网络的争论早在20世纪 40岁月就已经开头了。有人以包含0-1和1-0变化的随机模型作为模型化神经系统的基础。到了50岁月中期和 60岁月初期，人们已设计出称为感知机 perceptrons> 的学习机器，引起了模式识别理论界人士的重视。80岁月中期可编辑资料 - - - 欢迎下载精品名师归纳总结提出的对多层感知机的新训练算法称为以反扩散学习的广义德尔塔Delta> 规章 >是特别有效的。广义德尔塔规章在很多实际问题中得到了胜利的应用，使得多层感知机类机器成为目自玎使用神经网络的主要模型之一。神经网络是指利用工程技术手段模拟人脑神经网络的结构和功能的一种技术，其目的是使机器具有人脑那样的感知、学习和推理功能。神经网络方法在手势识别领域得到了广泛的使用。它对信息处理具有自组织、自学习等特点，有较强的抗干扰才能。它是由很多具有非线性映射才能的神经元组成的一种大规模并行处理网络，神经元之间通过权相连。文献 16qbM Yeasin采纳了 TDNNTimeDelayNeutral Network 时延神经网络 >的手势识别技术。BP神经网络模型实现了多层网络学习的设想。它是一种单向传播的多层前向神经网络，除输入输出节点外仍有一层或多层隐层节点，同层节点之I 、日 J没有耦合，输入信号从输入层节点依次传过各层节点，最终到达输出层节点。每一层节点的输出只影响下一层节点的输出。 BP神经网络结构分三层：输入层、隐含层和输出层。图2-2是一个三层前馈神经网络模型，输入层、中间隐含层和输出层的神经元个数分别为5、50和9。图2-2 三层前馈神经网络模型BP网络学习是典型的有导师学习。训练集包含M 个样本，对第 P个训练样本 P=1,2 ， ， M>，单元的实际输出为郇，它的第i 个输入 也即第 i个神经元的输入 >为，就：2-1>BP算法中大多项用 S型函数作为输出函数，即：2-2>2.3.2 基于模板匹配的算法模板匹配算法就是将输入的原始数据与预先储备的模板进行匹配，通过测量两个模板之间的相像度进行识别。模板匹配的方法多用于静态手势识别中，如 CuiYuntao通过运算模板的相关系数来进行猜测匹配。文献f181 中张良国、吴江琴、高文等人可编辑资料 - - - 欢迎下载精品名师归纳总结第一改进了 Hausdorff 距离，接下来通过比较预处理后的输入图像的Hausdorff 距离和标准模板库中各种图像的 Hausdorff 距离进行判定。Hausdorff 距离是描述两组点集之间相像程度的一种量度，它是两个点集之间距离的一种定义形式【 191：假设有两组集合A= ， B= ，就这两个点集之上的Hausdorff 距离定义为：2-3>2-4>2-5>是点集 A和点集 B间的距离范式这里，式 2-3> 称为双向 Hausdorff 距离，是 Hausdorff 距离的最基本形式。式2-4>2-5>中的 hA ， B> 和hB ， A> 分别称为从 A 集合到 B集合和从 B集合到 A 集合的单向 Hausdorff 距离。即 hA ， B>实际上第一对点集A 中的每个点到距离此点最近的B 集中点 b，之间的距离进行排序，然后取该距离中的最大值作为hA ，B> 的值， hB ，A> 同理可得。由式 2-3> 知，双向 Hausdorff 距离 HA,B> 是单向距离 hA ， B> 和hB ， A> 两者中的较大者，它度量了两个点集之间的最大不匹配程度。2.3.3 统计分析算法统计分类算法是在模式识别进展的过程中建立的经典方法，它用概率统计模型得到各类别的特点向量分布，以达到分类的目的。统计分类算法是一种监督学习的模式识别方法。如何将分类器设计得更有效，识别率更高，是需要重点解决的问题。当几个类别的样本在特点空间的分布符合肯定的拓扑结构，并且我们知道各个类别的概率分布函数时，我们就可以利用统计分类方法进行模式识别。常用的统计分类方法有很多，例如'by product ”方法、决策树和决策表方法等。模式的统计分类方法，又称为决策理论识别方法，它是将各模式类别看成是用某个随机向量实现的集合。属于同一类别的各个模式之间的差异，有些是由环境噪声和传感器的因素引起的，有些是模式本身所具有的随机性质引起的。在通常情形下，不同类别的两个模式之间的距离要大于同一类别的两个模式之间的距离，这样就可以将特点空间精确的划分为几个区域，其中各个区域同各个类别是一一对应的。如不满意上述条件，就对每个特点向量估量其属于某一类的概率，概率值最大的类就是该点所属的类别。统计分类方法常用的分类器主要有贝叶斯分类器、线性判别函数、树分类器、最小距离分类、近邻法分类、聚类分析等。2.3.4 隐马尔可夫模型 HMM>在给定前一个状态的情形下，随机变量序列的下一个状态的显现是条件独立的。每一可编辑资料 - - - 欢迎下载精品名师归纳总结个时刻的随机变量有一个度量值，这个度量值的分布与该时刻的状态有关。这样的模型称为隐马尔可夫模型 HMM> 。隐马尔可夫模型是在Markov 链的基础之上进展起来的。实际问题比马尔可夫链所描述的更为复杂，观看到的大事并不是与状态一一对应的，而是通过一组概率分布相联系的。它是一个双重随机过程：一是描述状态转移的马尔可夫链是基本随机过程。另一个是描述状态和观看值之间的统计对应关系是随机过程。基于以上缘由观看者只能看到观看值不能直接看到状态，即让观看者通过一个随机过程去感知状态的情形，所以称之为 “隐”Markov 模型。如图 2-3为隐马尔可夫模型组成的示意图。 HMM 作为信号的一种统计模型，已经在语音信号处理领域得到了广泛应用，近年来很多争论者也将 HMM 用于手语识别领域。但是应用于手势识别时有很多约束。第一，动态手势信号不满意马尔可夫性质，也就是说随机向量当前的状态只与前一状态有关。其次，仅用隐马尔可夫模型对手势建模远远不够，会导致隐马尔可夫模型将很多信号作为噪声处理。图2-3：隐马尔可夫模型组成2.4 4 基于运算机视觉的手势跟踪与识别系统运算机视觉争论就是运算机通过对一幅或多幅图像进行分析，从中猎取三维世界的运动信息或者集合特点，例如物体的位置、外形、姿态运动等信息，接下来对这些信息进行分析、处理，以达到熟识三维世界的目的。运算机视觉作为一门新兴的学科，正在受到越来越多的关注。视觉运动分析方法因具有适用范畴广、抗电子干扰才能强、测量精度高和保密性好等优点，在军事、导航、机器人技术、气象分析、医疗诊断、交通管制、安全防范等领域得到了广泛的应用。手势作为人类最自然的表达方式之一，在日常生活中得到了广泛的应用。同时，手势具有适应性强、形象生动及简便易行等特点，比较适合在非特定环境下对机器人的掌握。通常一个完整的手势跟踪与识别系统，分为以下几个部分：1>手势的检测与跟踪：手势的检测与跟踪是手势识别的基础，其好坏将影响识别率的大小。手势分割的方法大体分为三种：基于运动信息的、基于运动模板的和基于颜色信息的。国内外对手势跟踪也做了大量争论，常用的有卡尔曼滤波KalmallFilter> 、粒子滤波 Particle Filter> 等跟踪方法。2>静态手势识别：静态手势识别是指对于静态图片中手的外形和手的姿态进行识别。国内外对静态手势识别做了大量争论。例如文献f81 中提出了一种使用神经网络方法和Hou gh变换对中国手语中的 20种手势进行识别。在文献91中采纳基于表观的手势模型，提取 八个手势特点组成特点向量，采纳二次分类粗分类和细分类>的方法对 10个常用的静态手势进行识别。 3> 动态手势识别：动态手势识别是对连续的手势序列进行实时的跟踪，通过对跟踪到的手势运动的时空轨迹spatial temporaltrajectory> 或手势状态轨迹 state trajectory> 进行处理，以识别摆手等动态手势。可编辑资料 - - - 欢迎下载精品名师归纳总结3 手势图像预处理及特点提取手势图像的预处理和特点提取是下一步要进行的手势跟踪与识别的前提，其质量的好坏既关系到手势的识别率，又关系到所建立的人机交互系统的整体性能。本章针对图像采集时所遇到的光照变化、旋转、平移等不确定因素，对手势图像的预处理和特点提取进行了分析。3.1 1 手势图像预处理在手势图像的预处理阶段，为了得到抱负的分割成效，本文对采集到的手势图像采纳了图像平滑、颜色空间转换、图像二值化以及外形学处理等算法以得到精确的手势二值化图像。3.1.1 图像平滑图像平滑的目的是为了排除噪声。图像噪声的来源有三种：一是在光电、电磁转换过 程中引入的人为噪声。二是大气层电磁>暴、闪电、电压、浪涌等引起的强脉冲性冲激噪声。三是自然起伏性噪声，由物理量的不连续性或粒子性引起，这类噪声又可分为热噪声、散粒噪声等。排除噪声的方法又可以分为空间域方法或频率域方法，亦可以分为全局处理方法或局部处理方法等。1邻域平均法邻域平均法 I刎是简洁的空域处理方法。这种方法的基本思想是用几个像素灰度的平均值来代替每个像素的灰度。假定有一幅NXN 个像素的图像，平滑处理后得到一幅图像。由下式打算：<3-1 ）式中，S是点伍纠所在领域的中点的坐标集合，但不包括点。 M 是集合内坐标点的总数。式3 1>说明，平滑后的图像中每个像素的灰度值，均由似一邻域中包含的像素灰度值的平均值来打算。2. 中值滤波法中值滤波【 211是一种非线性滤波，由于它在实际运算过程中并不需要图像的统计特性，所以比较便利。中值滤波第一是被应用到一维信号处理技术中，后来被二维图像信号处理技术所引用。在肯定的条件下，它可以克服线性滤波器所带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。但是对一些细节，特殊是点、线、尖顶细节多的图像不宜采纳中值滤波的方法。可编辑资料 - - - 欢迎下载精品名师归纳总结3. 频域平滑技术图像的平滑既能够在空域中进行，又能够在频域中进行。频域平滑技术是一维信号低通滤波器在二维图像中的推广。对于一幅图像，它的边缘、跳动部分以及噪声都代表图像的高频重量，而大面积的背景区和变化缓慢的部分就代表图像的低频重量，用频域低通滤波器除去其高频重量就能去掉噪声，从而使图像得到平滑。滤波器的数学表达式为：<3-2 ）其中 Fu， D为原图像的傅立叶变换，为平滑后图像的傅立叶变换，是滤波器的转移函数。常用的低通滤波器有：1> 抱负低通滤波器一个抱负低通滤波器的传递函数为：<3-3 ）其中 D。为截止频率，是点 <u， v）到频率平面原点的距离。抱负低通滤波器在处理过程中会产生比较严峻的模糊和“振铃 ”现象，这是由于 Hu,v>在D。处由 1突变到 0，这种抱负的 Hu,v>， D对应的冲激响应 hu,v>在空域中表现为同心环的形式，并且此同心环数与D。成反比， D 。小，同心环数越多， 模糊程度越厉害。正是由于抱负低通滤波存在“振铃 "现象，其平滑成效才下降。2> 巴特沃斯滤波器一个巴特沃斯滤波器的传递函数为：3-4>其中 D。为截止频率，当Du,v>=D 。时， Hu， v> 降为最大值的 1/2。， n为阶数，取正整数，阶数刀掌握曲线的外形。由于转移特性曲线较为平滑，没有振铃效应，故图像的模糊将削减。3> 指数型滤波器一个指数形滤波器的传递函数为：3-5>其中 Do为截止频率， n为阶数，当 Du,v>=D 。时， Hu ， v> 降为最大值的 l e。用指数形滤波器滤波后的图像比用巴特沃斯滤波器滤波后的图像模糊一些，但没有振铃效应。图3-1a>b>c>d> 分别是原图像、加椒盐噪声的图像、中值滤波成效图以及3×3邻域滤波成效图。可见，用中值滤波的方法进行图像的平滑处理成效比较抱负，因此本文在手势预处理中采纳中值滤波法对图像进行平滑。可编辑资料 - - - 欢迎下载精品名师归纳总结图3-1 图像平滑成效3.1 .2图像颜色空间转换运算机颜色理论认为，一种颜色在运算机中有多种不同的表达方式，从而形成了各种不同的颜色空间。事实上，各种颜色空间只不过是颜色在运算机内不同的表达形式而已， 每一种颜色空自 J都有它各自的应用领域、产生背景等。下面我们分析几种常用的颜色空间：1 HSI 模式HSI模式的定义是以人眼对颜色的观看为依据的，在HSI 模式中，每种颜色都用色度、饱和度、亮度三个特点来表示。色度H与波长有关，例如，不同波长的可见光具有不同的 颜色。波长不同的光以不同比例混合能够形成各种各样的颜色。饱和度S指颜色的强度，表示在色调中灰色成分所占的比例，用0一 100 纯色>表示。亮度 I表示颜色的相对明暗程度，通常用 0 黑>一100 白>来度量。将RGB 转换为 HSI 所用的变换为：3-6>其中：3-7>31 .3图像二值化图像的二值化就是指把多灰度级的图像变成只有两个灰度级的图像。把其中感爱好的目标像素作为前景像素，其余部分作为背景像素。设图像的灰度值范畴在 a,b，二值化的闽值设为 t>，就图像一值化的一般表达式为：3-8>可编辑资料 - - - 欢迎下载精品名师归纳总结得到的就是二值图像，阈值 t不同，得到的二值图像也是不同的。因此要达到抱负的分割成效，选择合适的闽值t是至关重要的。图像二值化方法大致分为三种：整体闽值二值化、局部闽值二值化以及动态闽值二值化。仅由像素点的灰度值确定阈值的方法称为整体阈值选择法。由像素点的灰度值和像素四周点局部灰度特性确定阈值的方法称为局部闽值选择法。当闽值选择不仅取决于该像素阈值以及其四周各像素的灰度值，而且仍与该像素坐标位置有关时，称之为动态闽值选择法。1. 模式法模式法是指当扶度直方图具有双峰性的时候，目标物体和背景的扶度分别在两个山峰的邻近，就将山谷的中心点作为模式法的闽值。但是，实际得到的灰度直方图不平杆，存在由于小的凹凸而产生的局部微小值，这样给自动判定造成诸多不便。针对这种情形，可以先对放度直方图进行平滑处理，再确定闽值。这样做会产生一些噪声，但对判定结果的影响不大。2. 动态阈值法当光照不匀称时，用确定闽值二值化方法分割成效不抱负。在这种情形下，我们可以用动志闽值法解决。把图像分成如干个予区域，对每一个子区域运算其灰度直方图。假如在子区域中同时存在背景和目标物体，那么其获度直方图呈双峰，这时可再用模式法等进行二值化处理。这种情形下，每个子区域一般都不相同，这种二值化方法称为可变阐值法。3. 最大类间方差法最大类间方差法是通过使两组像素的组内方差最小来确定阈值的方法。第肯定义直方图函数为概率函数 P，其中表示灰度值 0， ，I的直方图概率，其中 RxC 是图像的空间区域。假如灰度直方图是双模式的，就通过灰度直方图求闽值就是确定正确阐值t，利用阙值 t把两种模式分开。依据阈值 t，可以确定灰度值小于或者等于t的像素集的方差以及灰度值大于t的像素值的方差。晟大类间方差法的正确阈值是使组内方差的加权和最小的阈值，其中权分别代表各组概率。组内均衡性的测度是方差，就均衡性高的具有较低的方差，均衡性低的具有较高的方差。本文用晟大类间方差法Otsu> 对手势图像做二值化处理。图3-3所示， a>b>c> 分别是 Y 通道图像、 cb通道图像以及。通道图像的二值化成效图。Y 通道二值化图像也就是直接荻度化的成效，与西通道以及cr通道的二值化图像相比，分割成效 不佳，因此，本文采纳虽大类问方差法对手势。通道图像进行二值化处理。图3-3Y 通道、 cb通道和 cr通道二值化图像可编辑资料 - - - 欢迎下载精品名师归纳总结3.1 .4图像外形学处理由于噪声的影响，使手势图像的分割成效不太抱负。我们再采纳外形学处理方法获得比较抱负的手势分割成效。外形学处理的基本运算有膨胀、腐蚀、开运算和闭运算。 1> 膨胀：用结构元 S对二值图像进行膨胀运算表示为BS，定义如下：BS3-9>用结构元 S扫描整幅图像。初始化输出图像的像素值为0，一旦结构元 S的原点遇 N-值图像 B中值为 1的像素时，结构元整体外形就与输出图像进行规律“或”运算。2> 腐蚀：用结构元 S对二值图像曰进行腐蚀运算表示为BS，定义如下：BS=3-10>腐蚀运算也是用结构元扫描整幅图像。针对二值图像上的每一个像素点，假如结构元上每一个值为 1的像素都掩盖着二值图像上一个值为1的像素，就将二值图像 B 上与结构元原点对应的像素与输出图像对应点进行规律“或"运算。3> 闭运算：用结构元S对二值图像曰进行的闭运算表示为B·S，定义：B·s=BS>S 3-11>先膨胀后腐蚀的过程就称为闭运算。闭运算能够填充物体内细小空洞，连接邻近物体以及平滑边界。4>开运算：用结构元S对二值图像 B进行的开运算表示为 B。S，定义：B 。S=BS>S 3-12>先腐蚀后膨胀的过程称为开运算。开运算具有排除细小物体，在纤细处分别物体和平滑较大物体边界的作用。本文利用 Otsu分割方法得到的图像仍存在噪声，如图3-4a>所示，二值化后的手势图手指区域分割并不完全，这会导致后续特点值的运算产生肯定的偏差从而影响最终的手势识别结果，所以我们把分割得到的图像先进行膨胀运算，如图3-4b> 所示，去掉分割不抱负导致的小的“孔洞 ”。再进行腐蚀运算得到图像3-4c> 。图3-4 手势图像外形学处理成效图3.2 2 手势图像特点提取图像识别是依据图像特点进行的，明显这些特点的选择特别重要，它严峻影响到图像识别分类器的设计、特性及识别结果的精确性。假如特点选择错误，就不能精确分类，甚至无法分类。所以特点选择是图像识别的一个关键问题。由于实际问题中很难找到那些最关键的特点，或者某些图像的特点会随着环境的变化而变化，这就使得特点的选择和提取更加复杂化。可编辑资料 - - - 欢迎下载精品名师归纳总结如何从众多特点中找出那些最有效最关键的特点是特点选择和提取的基本任务。当样本数量不是很多时，需要用很多特点进行分类器的设计，而从运算复杂度和分类器的性能来看都是不合适的。依据待识别图像的特点，通过运算产生原始特点，称为特点形成。原始特点的量很大，或者说图像样本是处在一个高维空间中，通过映射降低维数，用低维空间来表示样本，即特点提取。而映射后得到的特点是原始特点的一种组合。特点提取在广义上是指一种变换。从一组特点中选择出一些最有效的特点以达到降低特点空间维数的目的，叫特点的选择。良好的特点应具有牢靠性、可区分性、数量少以及独立性等特点。在描述图像时，可以针对图像的特点实行多种不同的描述方法。每一种描述方法都有其优点、缺点，且不存在通用的方法或者最优方法。4 手势跟踪算法争论视频序列中运动物体的跟踪是运算机视觉中的一个重要争论课题。物体的跟踪可以懂得为确定其在视频序列不同帧中相对位置的动态过程。视频是由一系列时间上连续的图像组成，它们具有规律上的相对次序关系。视频序列供应了比单帧图像更丰富的目标信息， 我们通过对其进行分析能够更好的争论运动物体的跟踪过程。4.1 1 Kalman跟踪算法卡尔曼滤波是在分析已提取信号相关信息的基础上通过特定算法估量出所需信号。其中已提取的信号是由白噪声引起的随机响应，并且系统的状态转换方程和测量方程已知， 其中状态转换方程描述的是鼓励源与响应之间的状态传递结构，而测量方程就表示量测量与被估量量之间的函数关系。在估量过程中，我们利用系统状态方程、量测方程、白噪声鼓励的统计特性、测量误差的统计特性这些已知信息来最终来估量出所需的信号。由于卡尔曼滤波是综合时域内的信息来设计整个滤波系统，且适用于多维的情形，因而卡尔曼滤波的应用范畴主要在机器人掌握、导航、传感器数据融合等方面，近年来更被应用于图像处理特殊在图像分割、图像边缘检测以及视频序列中的人脸识别等方面。下面介绍卡尔曼滤波的基本原理：以下是卡尔曼滤波器核心的 5 个式子。Xk|k-1>=A Xk-1|k-1>+B Uk>4-1> Pk|k-1>=A Pk-1|k-1> A +Q 4-2>Xk|k>= Xk|k-1>+Kgk> Zk>-H Xk|k-1>>4-3>Kgk>= Pk|k-1> H / H Pk|k-1> H + R> 4-4> Pk|k>=<I-Kgk> H ） Pk|k-1> 4-5>下面我们具体介绍卡尔曼滤波的过程。第一，我们要引入一个离散掌握过程的系统。该系统可用一个线性随机微分方程来描可编辑资料 - - - 欢迎下载精品名师归纳总结述：再加上系统的测量值：Xk>=A Xk-1>+B Uk>+Wk>4-6> Zk>=H Xk>+Vk>4-7>可编辑资料 - - - 欢迎