2022年计算机视觉的手势跟踪与识别技术的分析研究.docx

《2022年计算机视觉的手势跟踪与识别技术的分析研究.docx》由会员分享，可在线阅读，更多相关《2022年计算机视觉的手势跟踪与识别技术的分析研究.docx（50页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选学习资料 - - - - - - - - - 基于运算机视觉的手势跟踪与识别技术的争论1 绪论 2 1 1手势识别争论的意义2 3 3 1 2手势识别国内外争论现状2 1.3基于视觉的手势跟踪与识别流程图2 基于运算机视觉的手势识别基础理论2 1模式识别概述 3 22基于运算机视觉的手势跟踪理论 4 2 3基于运算机视觉的手势识别理论 5 231神经网络算法 5 232基于模板匹配的算法 6 233统计分析算法 7 234隐马尔可夫模型 HMM7 2 4基于运算机视觉的手势跟踪与识别系统 8 3 手势图像预处理及特点提取 8 3 1手势图像预处理 8 311图像平滑 9 31 .2图像颜色

2、空间转换 10 31 .3图像二值化 11 3.1 .4图像外形学处理 12 3 2手势图像特点提取 13 4 手势跟踪算法争论 13 4 1 Kalman 跟踪算法 13 4 2 Camshift 跟踪算法 15 421颜色概率模型 15 5 基于运算机视觉的手势跟踪与识别算法试验 16 5 2手势图像预处理及特点提取试验结果 17 521手势图像猎取及手势样本库的建立 17 52 .2手势图像的预处理 19 5 2手势跟踪试验结果及分析 20 5 3实时手势识别试验结果及分析 21 531手势识别系统流程 21 5.4 手势跟踪与识别在人机交互中的应用 21 6 总结与展望 23 7 附录

3、： 24 名师归纳总结 7.1 程序重要部分代码24 28 第 1 页,共 29 页7.2 手势识别的视频27 7.3 国内外生产手势识别软件的厂家- - - - - - -精选学习资料 - - - - - - - - - 1 绪论11 手势识别争论的意义在人机交互的进展过程中先后显现了基于文本方式的键盘、基于图形方式的鼠标等交 互接,然而从某种程度上说,这些机械设备在人机交互方面是不便利和不和谐的；它把机 器作为人机交互的中心,在人机交互时人需要去适应机器的输入输出设备,对机器没有主 动掌握的才能；随着运算机科学的快速进展,争论符合人类沟通习惯的人机交互技术成为 国内外关注的热点,这些争论包

4、括人脸识别、面部表情识别、头部运动跟踪、眼睛识别、手势识别以及人体姿态识别等；总体来说,人机交互的争论已经从以运算机为中心转移到 以人为中心,大大提高了人机交互的效率；手势作为人类最自然的表达方式之一,在日常生活中得到了广泛的应用；手势生动、形象、直观,而且蕴涵着丰富的信息,是人与人沟通的重要媒介；目前基于手势的交互已经成为人机交互的重要内容；手势识别的应用前景特别宽阔：1对于聋哑人而言,特殊是文化程度比较低的聋哑人,使用手语和正常人沟通更加便利和高效；手语是用手势表示意 思的语言,对不熟识手语的一般人来说,懂得手语是特别困难的；假如有一套可以翻译手语的系统,就将大大便利聋哑人与正常人之间的沟

5、通；2利用手势对虚拟现实中的智能设备进行掌握；比如在虚拟场景内利用手势实现虚拟钢琴的演奏,又如用机器人的虚拟手抓取物体等； 3争论人类对于视觉语言的懂得规律,提高运算机对人类语言的懂得才能；4手势交互是虚拟现实中多通道接口的重要组成部分之一；12 手势识别国内外争论现状依据外围设备采集手势图像方式的不同可以把手势识别分为两种：基于数据手套的手势识别和基于视觉的手势识别；基于数据手套的手势识别是通过数据手套和位置跟踪来测量手势运动的轨迹和时序信息,其优点是系统的识别率高,缺点是输入设备昂贵,并且要求打手势的人穿戴复杂的数据手套,给人带来很多不便,因此这种方式不能成为将来进展的趋势；基于视觉的手势

6、识别是运算机通过对摄像头拍照的手势图像进行分析和处理提取出手的位置及外形；这种方法在实现时无需购买昂贵的设备,仅需要廉价的摄像头和低端处理才能的 PC机即可；并且在操作时更加自然、便利,符合以人为本和自由性的要求,是手势识别将来进展的趋势；但是这种方法的识别效率比基于数据手套的手势识别低,而且能够识别的手势种类受到很大的限制,是目前亟待解决的问题；国外很早就开头了对手势识别的争论工作；Huang创建的手语识别系统使用 3D神经网络的方法识别了 15个不同的手势；Stamert51等人使用隐马尔可夫模型 HMM 对输入视频序列中的美国手势中带有词性的 40个词汇随机组成的句子进行了识别,其中 H

7、MM 参数的估量采纳的是 EM 算法；系统对分别单词的识别和由 5个单词组成的句子 句子的结构限定为代词+动词 +名词 +形容词 +代词 的识别分别进行了测试,识别正确率达90； Zhu6 使用主成分分析方法创建统计结构,从而识别活跃对象的外形,即模型化系统和弹性对象的识别；Vogler和MetaxastTl 开发的手语懂得系统通过固定在人身上的物理传感器和一个能够对手臂名师归纳总结 进行精确定位的摄像机来猎取手臂位置信息；系统采纳独立的语言模型对包括53个单词的第 2 页,共 29 页- - - - - - -精选学习资料 - - - - - - - - - 手语集进行了测试,识别率也达到9

8、0；我国对手势识别的争论起步较晚,但近年来也取得了显著的成果；例如文献 f81中使用神经网络方法和 Hough变换对中国手语中的 20种手势进行识别；在文献 91q丁采纳基于表观的手势模型,提取八个手势特点组成特点向量,采用二次分类 粗分类和细分类的方法对 10个常用的静态手势进行识别；张秋余、姚开博等采纳矩形特点描述手势,用改进的 AdaBoost算法训练分类器,在复杂背景下对手势的跟踪与识别取得了不错的成效；中科院的单彩峰提出了结合均值漂移的粒子滤波 The Mean Shift Embedded Particle Filter ,MSEPF ,通过在时序模板中引入时空轨迹,提出了时序模板

9、轨迹概念,将跟踪得到的手势运动轨迹压缩到单幅图像中,实现了对预先定义的动态手势的识别；山东高校的徐立群等提出了一种基于颜色概率模型并融合运动信息进行手势跟踪的新方法；利用肤色概率查找表将图像序列转换为肤色概率分布图,用运动信息和肤色概率分布对搜寻窗口进行初始化,然后对肤色概率分布图进行迭代运算,得到手势的位置和大小,从而实现了对六种孤立手势的识别；1.3 基于视觉的手势跟踪与识别流程图本课题的主要内容是争论基于运算机视觉的手势跟踪与识别；第一对手势跟踪与识别各个阶段的算法进行了分析,提出基于Hu矩特点和 “一对多 径向基核函数支持向量机相结合的手势识别算法,并在Microsoft Visual

10、 C+6 0开发环境下,借助OpenCV开源库,实现了对从摄像头输入的10个常用手势的识别,以验证提出算法的可行性,并以此为基础建立了一个简洁的手势交互系统；基于视觉的 手势跟踪与识别流程图见图 1-1；图1-1 基于视觉的手势跟踪与识别流程图2 基于运算机视觉的手势识别基础理论在人与人的交际过程中,常常会用到手势,手势的语义强大并且直观,可以很好地表 达思想,与自然语言形成互补；所以近些年来,手势识别的争论得到了很大的关注和进展；本章主要介绍基于视觉的手势识别的一些基础理论；名师归纳总结 - - - - - - -第 3 页,共 29 页精选学习资料 - - - - - - - - - 21

11、 模式识别概述模式识别产生于 20世纪 20岁月,随着 40岁月运算机的显现,50岁月人工智能的兴起,模式识别在 60岁月初快速进展成-f 学科 1131；它所争论的理论和方法在很多科学和技术领域中得到了广泛的重视,推动了 人工智能的进展,扩大了运算机应用的可能性；几十年来,模式识别争论取得了大量的成 果,在很多方面都得到了广泛的应用；但是,由于模式识别涉及到很多复杂的问题,现有 的理论和方法对于解决这些问题仍有很多不足之处；通常,我们把通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息称 为模式,把各模式所属的类别称为模式类；模式识别是对表征事物或者现象的各种形式的 信息进行分析和

12、处理,来实现对事物或现象进行描述、辨认、分类和说明,是信息科学和 人工智能的重要组成部分；人们为了把握客观事物,就将事物依据相像度组成类别；模式识别的作用和目的就在于面对某一具体事物时将其J下确的归入某一类别；有两种基本的模式识别方法,即统计模式识别方法和结构模式识别方法；与此相应的 模式识别系统都由两个过程组成,即设计与实现；设计是指用肯定数量的样本 叫做训练集 或学习集 进行分类器的设计；实现是指用所设计的分类器对待识别的样本进行分类决策；基于统计方法的模式识别主要由 类决策,如图 2-1所示；4个部分组成：数据猎取、预处理、特点提取和选择、分图2-1 模式识别系统的基本构成1数据猎取 为

13、了使运算机能够对各种现象进行分类识别,要用运算机可以运算的符号来表示所研 究的对象；通常输入对象的信息有一维波形、物理参量和规律值、二维图像 3种类型,通过测量、采样和量化,可以用矩阵或向量表示二维图像或一维波形；这就是数据猎取的过程；2预处理 预处理的目的是去除噪声,加强有用的信息,并对输入测量仪器或其他因素所造成的 退化现象进行复原；3特点提取 由图像或波形所获得的数据量是相当大的；例如,一个文字图像可以有几千个数据,一个心电图波形也可能有几千个数据；为了有效地实现分类识别,就要对原始数据进行变 换,得到最能反映分类本质的特点；这就是特点提取和选择的过程；一般我们把原始数据 组成的空间叫测

14、量空间,把分类识别赖以进行的空间叫做特点空间,通过变换,可把在维数较高的测量空间中表示的模式变为在维数较低的特点空间中表示的模式；4分类决策 分类决策就是在特点空间中用统计方法把被识别对象归为某一类别；基本做法是在样 本训练集基础上确定某个判决规章,使按这种判决规章对被识别对象进行分类所造成的错名师归纳总结 - - - - - - -第 4 页,共 29 页精选学习资料 - - - - - - - - - 误识别率最小或引起的缺失最小；22基于运算机视觉的手势跟踪理论手势分割与跟踪是手势识别的基础,其好坏将影响识别率的大小；手势分割的方法大 体分为三种：基于运动信息的、基于运动模板的和基于颜色

15、信息的；基于运动信息的手势分割是通过对前后两帧图像做差分运算来检测手势的,当手势运 动时就图像发生变化；运动估量的依据是图像强度发生变化,用图像序列中相邻图像的差 来表示强度的变化；图像差运算特别简洁,这是由于在图像差运算中仅仅涉及到了像素强 度的相减；在实际的手势识别系统中,摄像机的位置是固定的,对手势序列中相邻两帧图像做差分运算便能有效地保留运动的部分即手势 ,滤除图像中保持不变的背景区域；基于运动模板的手势分割是用模板匹配方法查找运动的手势,一般把二维可变形模板 作为插值节点去近似物体轮廓；模板由平均点集合、点可变性参数和外部变形构成,平均 点集合描述的是某一组外形的平均外形,点可变性参

16、数描述的是可变形模板的全局运动；通常用基于可变形模板的人手模型来跟踪人手；二维模板实现简洁,但对手的姿念有肯定 限制；三维模板就不受手的姿态的限制,但其参数过多使得实现困难；基于颜色信息的分割在图像分割中占有重要位置；颜色分割与其他两种方法相比,具 有高效性和鲁棒性等特点,得到了广泛的应用；但是在复杂背景的情形下或者光照变化快 时,基于颜色的分割成效不好,为明白决这个问题,目前众多争论者尝试利用融合多种信 息的技术进行手势分割；国内外对手势跟踪的争论很多,例如利用粒子滤波 Particle Filter 对手势跟踪获得了较好的成效；Camshift 巧JContinuouslyAdaptive

17、 Mean Shift 是一种基于颜色概率模型的跟踪算法,它是 Mean Camshif Shift 算法的改进与扩展,可以处理动态变化的分布；当视频序列一帧一帧变化时,t能够自动调剂搜寻窗的大小和位置,定位被跟踪目标的中心和大小,并且用当前帧定位的 结果来猜测下一帧图像中目标的中心和大小,每帧图像都这样处理,就形成了连续的跟踪；23 基于运算机视觉的手势识别理论基于视觉的手势识别可以分为基于单目视觉的手势识别和基于多目视觉的手势识别；基于单目视觉的手势识别就是通过单个摄像机来采集手势图像,从而建立平面手势模型；这种方法处理的数据量较小,识别速度快,但是对于用户手势的输入限制较大；基于多目 视

18、觉的手势识别是通过两个或两个以上的摄像机来采集图像,建立的是立体模型；这种方 法对于用户手势的输入限制较小,可以实现更加自然的人机交互,但由于立体模型的复杂 性,需要处理大量的数据,识别时间长,无法实现实时的识别；基于视觉的手势识别算法可分为神经网络算法、模板匹配,统计分析算法、和隐马尔 等；可夫模型 Hidden Markov Model HMM231神经网络算法对人工神经网络的争论早在20世纪 40岁月就已经开头了；有人以包含0-1和1-0变化的随机模型作为模型化神经系统的基础；到了50岁月中期和 60岁月初期,人们已设计名师归纳总结 出称为感知机 perceptrons的学习机器,引起了

19、模式识别理论界人士的重视；80岁月中期第 5 页,共 29 页- - - - - - -精选学习资料 - - - - - - - - - 提出的对多层感知机的新训练算法称为以反扩散学习的广义德尔塔Delta规章 是特别有效的；广义德尔塔规章在很多实际问题中得到了胜利的应用,使得多层感知机类机器成为 目自玎使用神经网络的主要模型之一；神经网络是指利用工程技术手段模拟人脑神经网络的结构和功能的一种技术,其目的 是使机器具有人脑那样的感知、学习和推理功能；神经网络方法在手势识别领域得到了广 泛的使用；它对信息处理具有自组织、自学习等特点,有较强的抗干扰才能；它是由很多 具有非线性映射才能的神经元组成

20、的一种大规模并行处理网络,神经元之间通过权相连；文献 16qb M Yeasin采纳了 TDNNTimeDelay Neutral Network 时延神经网络 的手势识别技术；BP神经网络模型实现了多层网络学习的设想；它是一种单向传播的多层前向神经网络,除输入输出节点外仍有一层或多层隐层节点,同层节点之I 、日 J没有耦合,输入信号从输入层节点依次传过各层节点,最终到达输出层节点；每一层节点的输出只影响下一层节点的输出； BP神经网络结构分三层：输入层、隐含层和输出层；图 2-2是一个三层前馈神经网络模型,输入层、中间隐含层和输出层的神经元个数分别为 5、50和9；图2-2 三层前馈神经网络

21、模型BP网络学习是典型的有导师学习；训练集包含M 个样本,对第 P个训练样本 P=1,2, ,M,单元的实际输出为郇,它的第i 个输入 也即第 i个神经元的输入为,就： 2-1 BP算法中大多项用 S型函数作为输出函数,即： 2-2 232基于模板匹配的算法模板匹配算法就是将输入的原始数据与预先储备的模板进行匹配,通过测量两个模板之间的相像度进行识别；模板匹配的方法多用于静态手势识别中,如 Cui Yuntao通过运算模板的相关系数来进行猜测匹配；文献f181中张良国、吴江琴、高文等人名师归纳总结 - - - - - - -第 6 页,共 29 页精选学习资料 - - - - - - - -

22、- 第一改进了 Hausdorff 距离,接下来通过比较预处理后的输入图像的 板库中各种图像的 Hausdorff距离进行判定；Hausdorff 距离和标准模Hausdorff 距离是描述两组点集之间相像程度的一种量度,它是两个点集之间距离的一种定义形式【 191：假设有两组集合A=,B= ,就这两个点集之上的Hausdorff 距离定义为： 2-3 2-4 2-5 是点集 A和点集 B间的距离范式这里,式 2-3 称为双向 Hausdorff 距离,是 Hausdorff距离的最基本形式；式 2-42-5中的 hA ,B和hB ,A 分别称为从 A集合到 B集合和从 B集合到 A集合的单向

23、 Hausdorff距离；即 hA, B实际上第一对点集 A 中的每个点 到距离此点最近的 B集中点 b,之间的距离 进行排序,然后取该距离中的最大值作为 hA ,B 的值, hB ,A 同理可得；由式 2-3知,双向 Hausdorff 距离 HA, B是单向距离 hA ,B和hB ,A两者中的较大者,它度量了两个点集之间的最大不匹配 程度；233统计分析算法统计分类算法是在模式识别进展的过程中建立的经典方法,它用概率统计模型得到各 类别的特点向量分布,以达到分类的目的；统计分类算法是一种监督学习的模式识别方法；如何将分类器设计得更有效,识别率更高,是需要重点解决的问题；当几个类别的样本 在

24、特点空间的分布符合肯定的拓扑结构,并且我们知道各个类别的概率分布函数时,我们 就可以利用统计分类方法进行模式识别；常用的统计分类方法有很多,例如 byproduct”方法、决策树和决策表方法等；模式的统计分类方法,又称为决策理论识别方法,它是将各模式类别看成是用某个随 机向量实现的集合；属于同一类别的各个模式之间的差异,有些是由环境噪声和传感器的 因素引起的,有些是模式本身所具有的随机性质引起的；在通常情形下,不同类别的两个 模式之间的距离要大于同一类别的两个模式之间的距离,这样就可以将特点空间精确的划 分为几个区域,其中各个区域同各个类别是一一对应的；如不满意上述条件,就对每个特 征向量估量

25、其属于某一类的概率,概率值最大的类就是该点所属的类别；统计分类方法常 用的分类器主要有贝叶斯分类器、线性判别函数、树分类器、最小距离分类、近邻法分类、聚类分析等；234隐马尔可夫模型 HMM在给定前一个状态的情形下,随机变量序列的下一个状态的显现是条件独立的；每一名师归纳总结 - - - - - - -第 7 页,共 29 页精选学习资料 - - - - - - - - - 个时刻的随机变量有一个度量值,这个度量值的分布与该时刻的状态有关；这样的模型称为隐马尔可夫模型HMM ；隐马尔可夫模型是在Markov 链的基础之上进展起来的；实际问题比马尔可夫链所描述的更为复杂,观看到的大事并不是与状态

26、一一对应的,而是通过 一组概率分布相联系的；它是一个双重随机过程：一是描述状态转移的马尔可夫链是基本 随机过程；另一个是描述状态和观看值之间的统计对应关系是随机过程；基于以上缘由观 察者只能看到观看值不能直接看到状态,即让观看者通过一个随机过程去感知状态的情形,所以称之为 “ 隐”Markov 模型；如图 2-3为隐马尔可夫模型组成的示意图；HMM 作为信号的一种统计模型,已经在语音信号处理领域得到了广泛应用,近年来很多争论者也将 HMM 用于手语识别领域；但是应用于手势识 别时有很多约束；第一,动态手势信号不满意马尔可夫性质,也就是说随机向量当前的状 态只与前一状态有关；其次,仅用隐马尔可夫

27、模型对手势建模远远不够,会导致隐马尔可 夫模型将很多信号作为噪声处理；图2-3：隐马尔可夫模型组成24 基于运算机视觉的手势跟踪与识别系统运算机视觉争论就是运算机通过对一幅或多幅图像进行分析,从中猎取三维世界的运 动信息或者集合特点,例如物体的位置、外形、姿态运动等信息,接下来对这些信息进行 分析、处理,以达到熟识三维世界的目的；运算机视觉作为一门新兴的学科,正在受到越 来越多的关注；视觉运动分析方法因具有适用范畴广、抗电子干扰才能强、测量精度高和 保密性好等优点,在军事、导航、机器人技术、气象分析、医疗诊断、交通管制、安全防 范等领域得到了广泛的应用；手势作为人类最自然的表达方式之一,在日常

28、生活中得到了广泛的应用；同时,手势 具有适应性强、形象生动及简便易行等特点,比较适合在非特定环境下对机器人的掌握；通常一个完整的手势跟踪与识别系统,分为以下几个部分：1手势的检测与跟踪：手势的检测与跟踪是手势识别的基础,其好坏将影响识别率的 大小；手势分割的方法大体分为三种：基于运动信息的、基于运动模板的和基于颜色信息 的；国内外对手势跟踪也做了大量争论,常用的有卡尔曼滤波 Kalmall Filter 、粒子滤波 Particle Filter 等跟踪方法；2静态手势识别：静态手势识别是指对于静态图片中手的外形和手的姿态进行识别；Hou 国内外对静态手势识别做了大量争论；例如文献 f81中提

29、出了一种使用神经网络方法和 gh变换对中国手语中的 20种手势进行识别；在文献91中采纳基于表观的手势模型,提取 八个手势特点组成特点向量,采纳二次分类 粗分类和细分类 的方法对 10个常用的静态手 势进行识别； 3动态手势识别：动态手势识别是对连续的手势序列进行实时的跟踪,通过对跟踪到的手势运动的时空轨迹spatial temporal trajectory 或手势状态轨迹state trajectory 进行处理,以识别摆手等动态手势；名师归纳总结 - - - - - - -第 8 页,共 29 页精选学习资料 - - - - - - - - - 3 手势图像预处理及特点提取手势图像的预处

30、理和特点提取是下一步要进行的手势跟踪与识别的前提,其质量的好 坏既关系到手势的识别率,又关系到所建立的人机交互系统的整体性能；本章针对图像采 集时所遇到的光照变化、旋转、平移等不确定因素,对手势图像的预处理和特点提取进行 了分析；31 手势图像预处理在手势图像的预处理阶段,为了得到抱负的分割成效,本文对采集到的手势图像采纳 了图像平滑、颜色空间转换、图像二值化以及外形学处理等算法以得到精确的手势二值化 图像；311图像平滑图像平滑的目的是为了排除噪声；图像噪声的来源有三种：一是在光电、电磁转换过程中引入的人为噪声；二是大气层电磁暴、闪电、电压、浪涌等引起的强脉冲性冲激噪声；三是自然起伏性噪声,

31、由物理量的不连续性或粒子性引起,这类噪声又可分为热噪声、散粒噪声等；排除噪声的方法又可以分为空间域方法或频率域方法,亦可以分为全局处 理方法或局部处理方法等；1邻域平均法 邻域平均法 I刎是简洁的空域处理方法；这种方法的基本思想是用几个像素灰度的平均值来代替每个像素的灰度；假定有一幅NXN 个像素的图像,平滑处理后得到一幅图像；由下式打算： 说明,平滑后的图像中 值的平均值来打算；2中值滤波法每个像素的灰度值,均由似一邻域中包含的像素灰度中值滤波【 211是一种非线性滤波,由于它在实际运算过程中并不需要图像的统计特性,所以比较便利；中值滤波第一是被应用到一维信号处理技术中,后来被二维图像信号处

32、 理技术所引用；在肯定的条件下,它可以克服线性滤波器所带来的图像细节模糊,而且对 滤除脉冲干扰及图像扫描噪声最为有效；但是对一些细节,特殊是点、线、尖顶细节多的 图像不宜采纳中值滤波的方法；名师归纳总结 - - - - - - -第 9 页,共 29 页精选学习资料 - - - - - - - - - 3频域平滑技术 图像的平滑既能够在空域中进行,又能够在频域中进行；频域平滑技术是一维信号低 通滤波器在二维图像中的推广；对于一幅图像,它的边缘、跳动部分以及噪声都代表图像 的高频重量,而大面积的背景区和变化缓慢的部分就代表图像的低频重量,用频域低通滤 波器除去其高频重量就能去掉噪声,从而使图像得

33、到平滑；滤波器的数学表达式为： 抱负低通滤波器 一个抱负低通滤波器的传递函数为： 3-3）其中 D；为截止频率,是点 在 D；处由 1突变到 0,这种抱负的 Hu, v ,D对应的冲激响应v在空域中表现为同心环的形式,并且此同心环数与D；成反比, D；小,同心环数越多,模糊程度越厉害；正是由于抱负低通滤波存在“ 振铃 现象,其平滑成效才下降；2巴特沃斯滤波器一个巴特沃斯滤波器的传递函数为：3-4 其中 D；为截止频率,当Du,v=D ；时, Hu,v 降为最大值的 1/2；, n为阶数,取正整数,阶数刀掌握曲线的外形；由于转移特性曲线较为平滑,没有振铃效应,故图像的模糊将削减；3指数型滤波器

34、一个指数形滤波器的传递函数为： 3-5 其中 Do为截止频率, n为阶数,当 Du, v=D ；时, Hu,v 降为最大值的 le；用指数形滤波器滤波后的图像比用巴特沃斯滤波 器滤波后的图像模糊一些,但没有振铃效应；图3-1abcd 分别是原图像、加椒盐噪声的图像、中值滤波成效图以及 33邻域滤波成效图；可见,用中值滤波的方法进行图像的平滑处理成效比较抱负,因此本文在手势预处理中采纳中值滤波法对图像进行平滑；名师归纳总结 - - - - - - -第 10 页,共 29 页精选学习资料 - - - - - - - - - 图3-1 图像平滑成效31 .2图像颜色空间转换运算机颜色理论认为,一种

35、颜色在运算机中有多种不同的表达方式,从而形成了各种 不同的颜色空间；事实上,各种颜色空间只不过是颜色在运算机内不同的表达形式而已,每一种颜色空自 J都有它各自的应用领域、产生背景等；下面我们分析几种常用的颜色空 间：1HSI模式HSI模式的定义是以人眼对颜色的观看为依据的,在HSI模式中,每种颜色都用色度、饱和度、亮度三个特点来表示；色度 H与波长有关,例如,不同波长的可见光具有不同的颜色；波长不同的光以不同比例混合能够形成各种各样的颜色；饱和度 S指颜色的强度,表示在色调中灰色成分所占的比例,用0一 100纯色 表示；亮度 I表示颜色的相对明暗程度,通常用 0黑一100白 来度量；将RGB转

36、换为 HSI所用的变换为： 3-6 其中： 3-7 31 .3图像二值化图像的二值化就是指把多灰度级的图像变成只有两个灰度级的图像；把其中感爱好的目标像素作为前景像素,其余部分作为背景像素；设图像的灰度值范畴在a,b,二值化的闽值设为t,就图像一值化的一般表达式为： 3-8 名师归纳总结 - - - - - - -第 11 页,共 29 页精选学习资料 - - - - - - - - - 得到的就是二值图像,阈值t不同,得到的二值图像也是不同的；因此要达到抱负的分割成效,选择合适的闽值t是至关重要的；图像二值化方法大致分为三种：整体闽值二值化、局部闽值二值化以及动态闽值二值化；仅由像素点 的灰

37、度值确定阈值的方法称为整体阈值选择法；由像素点 的灰度值 和像素四周点局部灰度特性确定阈值的方法称为局部闽值选择法；当闽值选择不仅取决于该像素阈值 以及其四周各像素的灰度值,而且仍与该像素坐标位置有关时,称之为动态闽值选择法；1模式法 模式法是指当扶度直方图具有双峰性的时候,目标物体和背景的扶度分别在两个山峰 的邻近,就将山谷的中心点作为模式法的闽值；但是,实际得到的灰度直方图不平杆,存 在由于小的凹凸而产生的局部微小值,这样给自动判定造成诸多不便；针对这种情形,可 以先对放度直方图进行平滑处理,再确定闽值；这样做会产生一些噪声,但对判定结果的 影响不大；2动态阈值法 当光照不匀称时,用确定闽

38、值二值化方法分割成效不抱负；在这种情形下,我们可以 用动志闽值法解决；把图像分成如干个予区域,对每一个子区域运算其灰度直方图；假如 在子区域中同时存在背景和目标物体,那么其获度直方图呈双峰,这时可再用模式法等进 行二值化处理；这种情形下,每个子区域一般都不相同,这种二值化方法称为可变阐值法；3最大类间方差法 最大类间方差法是通过使两组像素的组内方差最小来确定阈值的方法；第肯定义直方图函数为概率函数P,其中表示灰度值 0, ,I的直方图概率,其中 RxC是图像的空间区域；假如灰度直方图是双模式的,就通过灰度直方图求闽值就是确定正确阐值t,利用阙值 t把两种模式分开；依据阈值 t,可以确定灰度值小

39、于或者等于t的像素集的方差以及灰度值大于t的像素值的方差；晟大类间方差法的正确阈值是使组内方差的加权和最小的阈值,其中权分别代表各组概率；组内均衡性的测度是方差,就均衡性高的具有较低的方差,均衡性低的具有较高的方差；本文用晟大类间方差法 Otsu对手势图像做二值化处理；图 3-3所示, abc 分别是 Y 通道图像、 cb通道图像以及；通道图像的二值化成效图；Y通道二值化图像也就是直接荻度化的成效,与西通道以及cr通道的二值化图像相比,分割成效不佳,因此,本文采纳虽大类问方差法对手势；通道图像进行二值化处理；图3-3Y 通道、 cb通道和 cr通道二值化图像名师归纳总结 - - - - - -

40、 -第 12 页,共 29 页精选学习资料 - - - - - - - - - 3.1 .4图像外形学处理由于噪声的影响,使手势图像的分割成效不太抱负；我们再采纳外形学处理方法获得比较抱负的手势分割成效；外形学处理的基本运算有膨胀、腐蚀、开运算和闭运算；1膨胀：用结构元S对二值图像进行膨胀运算表示为BS,定义如下： BS 3-9 用结构元 S扫描整幅图像；初始化输出图像的像素值为0,一旦结构元 S的原点遇 N-值图像 B中值为 1的像素时,结构元整体外形就与输出图像进行规律“或” 运算；2腐蚀：用结构元 S对二值图像曰进行腐蚀运算表示为 B S,定义如下：B S= 3-10 腐蚀运算也是用结构

41、元扫描整幅图像；针对二值图像上的每一个像素点,假如结构元上每一个值为 1的像素都掩盖着二值图像上一个值为 1的像素,就将二值图像 B上与结构元原点对应的像素与输出图像对应点进行规律“ 或运算；3闭运算：用结构元 S对二值图像曰进行的闭运算表示为 B S,定义：B s=B S S 3-11 先膨胀后腐蚀的过程就称为闭运算；闭运算能够填充物体内细小空洞,连接邻近物体以及平滑边界；4开运算：用结构元 S对二值图像 B进行的开运算表示为 B；S,定义： B ；S=B S S 3-12 先腐蚀后膨胀的过程称为开运算；开运算具有排除细小物体,在纤细处分别物体和平滑较大物体边界的作用；本文利用 Otsu分割

42、方法得到的图像仍存在噪声,如图 3-4a所示,二值化后的手势图手指区域分割并不完全,这会导致后续特点值的运算产生一定的偏差从而影响最终的手势识别结果,所以我们把分割得到的图像先进行膨胀运算,如图3-4b 所示,去掉分割不抱负导致的小的“孔洞 ”；再进行腐蚀运算得到图像3-4c ；图3-4 手势图像外形学处理成效图32 手势图像特点提取图像识别是依据图像特点进行的,明显这些特点的选择特别重要,它严峻影响到图像识别分类器的设计、特性及识别结果的精确性；假如特点选择错误,就不能精确分类,甚至无法分类；所以特点选择是图像识别的一个关键问题；由于实际问题中很难找到那些最关键的特点,或者某些图像的特点会随

43、着环境的变化而变化,这就使得特点的选择和提取更加复杂化；名师归纳总结 - - - - - - -第 13 页,共 29 页精选学习资料 - - - - - - - - - 如何从众多特点中找出那些最有效最关键的特点是特点选择和提取的基本任务；当样 本数量不是很多时,需要用很多特点进行分类器的设计,而从运算复杂度和分类器的性能 来看都是不合适的；依据待识别图像的特点,通过运算产生原始特点,称为特点形成；原 始特点的量很大,或者说图像样本是处在一个高维空间中,通过映射降低维数,用低维空 间来表示样本,即特点提取；而映射后得到的特点是原始特点的一种组合；特点提取在广 义上是指一种变换；从一组特点中选择出一些最有效的特点以达到降低特点空间维数的目 的,叫特点的选择；良好的特点应具有牢靠性、可区分性、数量少以及独立性等特点；在 描述图像时,可以针对图像的特点实行多种不同的描述方法；每一种描述方法都有其优点、缺