第一讲 模式识别绪论.pdf

《第一讲 模式识别绪论.pdf》由会员分享，可在线阅读，更多相关《第一讲 模式识别绪论.pdf（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、模式识别讲义 2011 版：第一讲 绪论 第 1 页 自动化学院 模式识别与智能系统研究所 高琪 第第一一讲讲 绪论绪论 一、一、什么是模式识别什么是模式识别 1、生物的识别能力生物的识别能力 人和其它生物都具有识别事物的能力。对于自己熟知的人物，一般人都可以通过面部特征、发型装束等识别出是谁，无论所识别的是普通照片、艺术图片还是卡通图画。这种识别能力的科学基础是什么呢？我们为什么可以识别出照片或者卡通画片上的人是谁呢？也许有人认为其原理是逻辑推理，就像下面这个例子：The male professor said to the girls who were talking aloud in t

2、he classroom:“The noise made by two women is equal to the sound that 1000 ducks quack.After a while somebody knocked at the door.One girl student reported:“Professor,500 ducks are looking for you outside!”Question:Who was outside?Answer:A women.我们并没有看到，也没有直接获取到门外来客的相关信息，我们只是通过上下文和逻辑推理，判断来客不会是 500 只鸭

3、子，也不会是一位男性，而是一位女性。但是这种逻辑推理过程在我们识别照片上的人是谁时并没有明显地产生作用，我们一般是根据照片上人像的“总体”特征来识别，甚至可以用“感觉”来形容，识别的结果也难以用精确的逻辑条件和推理规则来论证。那么我们是依据待识别事物上的特定标志来识别他们的吗？例如在计算机系统中，我们需要输入用户名和密码来获得操作许可，在门禁系统中，我们可以用钥匙或者射频 ID 卡来验证自己的进出权限。但是这种过程也不是识别的过程，因为它保证的仅仅是权限标志信息或标志物的验证，并不能确保拥有该权限标志物的就是被许可者本人。也就是说，通过这种方式可以控制操作或访问权限，但不能识别出操作或访问者的

4、真实身份。小故事：柯南道尔是英国著名的侦探小说作家，他创造了知名的福尔摩斯形象。有一次，他到巴黎旅行，刚出火车站，就遇到一个出租车司机。司机帮他把行李放到后备箱，然后上车对他说：柯南道尔先生，您要去哪儿？柯南道尔很惊讶，他问司机：您认识我吗？司机回答说：不，我从没见过您。柯南道尔说：那您怎么知道我的名字呢？司机说：首先，我从报上看到消息说，柯南道尔正在马赛度假；然后，我发现您正是从马赛开来的列车上下来的；接着，我发现您的皮肤被晒黑了，这正是在海边度假归来的人的典型特征；您穿衣的风格非常正式，很有绅士气派，法国人去南部度假的时候是不会这么穿着的，只有英国人才这样；最后我发现您的手指被墨水染黑了，

5、这证明您是位作家；所以，我判断您是来自英国的模式识别讲义 2011 版：第一讲 绪论 第 2 页 自动化学院 模式识别与智能系统研究所 高琪 柯南道尔先生。柯南道尔不禁赞叹道：您真是观察得太细了，您的推理能力不逊于任何真正的侦探！还有一个小小的细节，司机微笑着说，您的手提箱上刻着您的名字。所以，人或者生物识别事物依靠的是一种特殊的能力，它能判断一个待识别的事物是什么或者不是什么，这种能力我们称为“模式识别”。因此，模式识别也可以定义为：识别一个模式。其英文为 Pattern Recogniton。生物的模式识别能力是非常普遍和强大的，不仅人这样的智能生物具有模式识别的能力，无数的动物、植物都具

6、有模式识别的能力：小猫会通过视觉、嗅觉和味觉判断一个物体是否是食物，树木会根据气温的高低和持续情况判断春天是否到来，微生物会根据化学物质的浓度来判断应当繁殖还是逃离。没有模式识别的能力，生物体就不能对外界环境采取适当的反应，也就没有办法在客观世界中生存。2、模式识别的概念模式识别的概念 Pattern 的本意是图案、式样，它代表的不是一个具体的事物，而是事物所包含的信息特点。虽然世界上没有完全相同的两片树叶，我们仍然可以识别出任意两片树叶是否来自同一种树木。即使两幅花纹的图片不完全一样，我们仍然能辨别两幅图片是否是同一种花纹。所以，模式（Pattern）在识别过程中所指的是从客观事物中抽象出来

7、，用于识别的特征信息。图 1 显然 a)和 e)是同一种花纹 识别是 Recognition，其中“cognition”的意思是“认知”，就是去获取事物的有关知识；“Recognition”是“再认知”，就是对已经具有知识的事物去判断它是什么。由于模式是抽象的事物特征，因此，它需要在“认知”的过程中，从大量属于同一种类的事物中归纳总结出来。例如我们看了许多长颈鹿的照片，我们可以从身体形态、个头大小、皮肤花纹等方面抽象归纳出长颈鹿的共同特征。当有一张新的动物图片供我们识别时，我们就可以依据这些特征来判断该动物是否是长颈鹿，换句话说，能否划归到“长颈鹿”这一动物种类中去。模式识别讲义 2011 版

8、：第一讲 绪论 第 3 页 自动化学院 模式识别与智能系统研究所 高琪 所以，模式识别的本质是对事物的分类模式识别的本质是对事物的分类。认知过程是建立类别标签和类别模式特征之间关联的过程，而识别，就是将新的事物根据特征划归到已知的类别中去。3、模式识别的特点模式识别的特点 根据模式识别的概念，它具有以下的一些特点：模式识别只能识别已知类别的事物模式识别只能识别已知类别的事物 模式识别是将待识别的事物划归到已有的类别中去，对于完全未知的事物，没有办法给它贴上任何标签，是无法进行识别的。模式识别是生物的本能，但“模式识别学科”研究的是机器识别模式识别是生物的本能，但“模式识别学科”研究的是机器识别

9、 研究生物的模式识别原理是生物学、神经生理学和脑科学的任务，作为信息学科中的模式识别学科，研究的是如何让机器（在现阶段就是计算机）具有模式识别的能力。虽然高性能的模式识别方法需要在生物模式识别原理的基础上实现，但机器识别的效率和准确性目前还远远没有达到生物体的水平。模式识别研究的两大问题是学习和分类模式识别研究的两大问题是学习和分类 学习就是从大量的样本中发现属于同一类别的事物的共同特征，建立类别判定的特征标准；分类就是对待识别的事物依据特征进行归类，以此确定该事物“是什么”。模式识别依据的是事物间的相似性模式识别依据的是事物间的相似性 模式识别利用同一类别的事物的共同特征来完成分类，除了这些

10、可以用于分类的特征外，模式识别过程忽略具体事物的其他特性和细节。因此，被识别为同一类的事物只是“相似”，而不是“相同”的，相似性是模式识别理论的基础。正因为如此，生物体和机器才能识别出以前从未见过的具体的某个事物，也才能对存在形变和其他失真情况的事物实现识别。模式识别的结果可能出现错误模式识别的结果可能出现错误 模式识别仅仅是在认知基础上的“识别”，而不是“确认”，它的原理可以用“根据经验判断”来理解。而经验数据总是有限的，无法包括所有可能的分类情况。因此，识别的结果总是可能出现错误，这和依据独有标志来判断事物的属性是不同的。或者说，模式识别本质上是一个存在不确定性的过程，识别结果只能在一定的

11、概率和置信度上表达事物所属的真实类别。二、二、模式识别模式识别方法和应用方法和应用 1、模模式识别系统的结构式识别系统的结构 一个模式识别系统由以下部分组成：模式识别讲义 2011 版：第一讲 绪论 第 4 页 自动化学院 模式识别与智能系统研究所 高琪 图 2 模式识别系统的结构 待识别的样本经过模式采集，取得相应的信息数据，这些数据经过预处理环节，生成可以表征模式的特征，特征选取环节从这些特征中选取对分类最有效的特征，在分类器设计环节完成学习，建立相应的分类决策规则，也可以说是设计出一个有效的分类器，最后在分类器已设计好的情况下对待识别的单个样本进行分类决策，输出分类结果。需要注意的是：整

12、个模式识别系统的各个环节都应当是由计算机自己完成，而无需人工干预。分类决策规则是从样本中自动计算获取的，而不是由人工设定的，这才能构成一个实用的模式识别系统。我们设计一个模式识别系统，只设计系统学习分类规则的算法。2、模式识别的流程模式识别的流程 一个模式识别系统的工作流程包含以下任务：（1）模式采集模式采集 模式识别研究的是计算机识别，因此事物所包含的各种信息必须通过采集转换成计算机能接受和处理的数据。对于各种物理量，可以通过传感器将其转变成电信号，再由信号变换部件对信号的形式、量程等进行变换，最后经 A/D 采样转换成对应的数据值。（2）预处理预处理 经过模式采集获得的数据量，是待识别样本

13、的原始信息，其中可能包含大量的干扰和无用数据。预处理环节通过各种滤波降噪措施，降低干扰的影响，增强有用的信息，在此基础上，生成在分类上具有意义的各种特征。特征生成的方法和思路与待解决的模式识别问题和所采用的模式识别方法密切相关，例如对图像数据，如果要识别的是场景的类型，颜色和纹理特征就很有用；如果要识别出包含的人脸是谁，那么人脸轮廓和关键点特征就很重要。预处理生成的特征可以仍然用数值来表示，也可以用拓扑关系、逻辑结构等其他形式来表示，分别用于不同的模式识别方法。（3）特征选取：特征选取：通常情况下，经过模式采集和预处理获得的模式特征数量是很大的，这给分类器的设计和分类决策都带来了效率和准确率两

14、方面的负面影响。因此，从大量的特征中选取出对分类最有效的有限的特征，降低模式识别模式识别讲义 2011 版：第一讲 绪论 第 5 页 自动化学院 模式识别与智能系统研究所 高琪 过程的计算复杂度，提高分类准确性，是特征选取环节的主要任务。特征选取的方法主要包括特征选择和特征提取。特征选择是从已有的特征中，选择一些特征，抛弃掉其他特征；特征提取是对原始的高维特征进行映射变换，生成一组维数更少的特征。两种方法虽然不同，但目的都是为了降低特征的维度，提高所选取的特征对分类的有效性。（4）分类器设计分类器设计 分类器设计过程就是分类器学习的过程。分类器设计是由计算机根据样本的情况自动进行的，可分为有监

15、督学习和无监督学习。有监督学习是指用于分类器学习的样本已经分好了类，具有类别标签，分类器知道那些样本是属于哪些类的，由此它可以学习到属于某类的样本都具有哪些共同的特征，从而建立起分类决策规则。无监督学习是指用于分类器学习的样本集没有分好类，分类器自主地根据样本与样本之间的相似程度来将样本集划分成不同的类别，在此基础上建立分类决策规则。（5）分类决策分类决策 分类决策是对待分类的样本按照已建立起来的分类决策规则进行分类，分类的结果要进行评估。3、模式识别的方法模式识别的方法（1）模板匹配模板匹配 模板匹配是最早出现的模式识别方法，甚至在计算机出现之前就已经开始使用了。它对每个类别建立一个或多个标

16、准模板，分类决策时将待识别的样本与每个类别的模板进行比对，根据与模板的匹配程度将样本划分到最相似的类别中。严格来说，模板匹配不能算是模式识别的范畴，在建立模板的时候需要人工的干预，但由于它直接、简单，在类别特征稳定、明显，类间差距大的时候仍然可以使用，只是它的适应能力比较差。（2）统计模式识别统计模式识别 统计模式识别是主流的模式识别方法，它是将样本转换成多维特征空间中的点，根据不同类别的样本在特征空间中的分布情况，确定类别边界和分类决策规则，再进行分类决策。统计模式识别基于概率统计理论和多维空间理论，它有坚实的数学基础，分类器学习算法也比较成熟，适用面很广。其缺点是算法较复杂，对于各类别差异

17、为结构特征时不能很好地求解。（3）结构模式识别结构模式识别 结构模式识别是按照每个样本的结构特征进行分类，目前主要采用的是基于形式语言理论的句法方法。结构模式识别对于字符识别、语言识别这样的结构化很强的模式识别问题是有效的，但它的学习方法比较困难，理论上还有很大的研究空间。（4）聚类分析聚类分析 当模式识别中分类器学习采用无监督学习时，分类器主动对样本集进行类别划分的过程称为聚类分析。聚类分析有单独的算法，可以看作模式识别的一类特殊方法。模式识别讲义 2011 版：第一讲 绪论 第 6 页 自动化学院 模式识别与智能系统研究所 高琪 （5）模糊模式识别模糊模式识别 模糊模式识别是在模糊数学的基

18、础上，利用模糊集的概念对原有的模式识别方法进行改进，其分类结果也是模糊化的，可以解决许多不具有精确特征值的分类问题，但是其模糊集合和模糊规则的建立具有较大的主观性。（6）神经网络模式识别神经网络模式识别 将人工神经元网络用于解决模式识别问题是当前的研究热点。人工神经元网络模拟生物神经元网络的工作过程，本质上是大规模并行非线性计算机，其输入输出关系理论上可以逼近任意非线性函数。因此，神经网络模式识别在解决复杂的非线性分类问题上具有优势，其缺点是学习速度较慢，并且所获得的分类决策规则是不透明和非解析的。（7）支持向量机支持向量机 支持向量机方法是目前用于模式分类的较新的方法，它在样本集较小的情况下

19、，利用空间映射和最优化理论来确定最优或者次优的分类决策面。4、模式识别的典型应用模式识别的典型应用 随着计算机技术的快速发展和对于智能系统的强劲需求，模式识别技术在二战以后得到了越来越广泛的应用。目前，只要需要机器具有感知能力和一定的智能响应能力的地方，就有模式识别。以下在一些领域比较典型的模式识别应用：信息过滤信息过滤 在网络搜索和访问的过程中，需要根据信息的内容来确定是否过滤，这已经不是简单的关键字检索能够实现的，必须根据信息的总体内容、出处和上下文关系来确定是否过滤，模式识别技术可以发挥巨大的作用。生物特征识别生物特征识别 利用生物特征来识别人的身份，现在已经从科幻影片中的场景变成了现实

20、。目前生物特征识别技术已从比较成熟的指纹识别、说话人识别、虹膜识别发展到了更加复杂的人脸识别、手印识别、步态识别等方法。目标跟踪目标跟踪 目标检测与跟踪也是模式识别的典型应用，大的方面可以应用到导弹制导、自动驾驶等军事领域，小的方面可以应用到智能监控、照相机笑脸识别等领域。音乐旋律识别音乐旋律识别 根据旋律，而不是根据关键字来搜索音乐，是目前音乐检索的最新发展。百度曾经在 2010 年 9 月短暂推出过音乐的哼唱检索，在许多卡拉 OK 点歌系统和手机应用中，也采用了基于哼唱的音乐检索技术，也有一些网站提供类似的服务：http:/。字符识别字符识别 光学字符识别（OCR）是最早发展的模式识别应用

21、之一，它可分为联机识别和脱机识别，又可以分为手写识别和印刷体识别。目前联机手写识别（掌上设备的手写输入）、脱机印刷体识别（扫描文件的模式识别讲义 2011 版：第一讲 绪论 第 7 页 自动化学院 模式识别与智能系统研究所 高琪 OCR、PDF 文件的拷贝）都发展到了一定的实用水平，比较困难的是脱机手写识别。图像图像识别搜索识别搜索 通过图像的内容来进行检索，而不是根据关键字检索，也是模式识别在图像处理方面的典型应用。由于图像本身的质量差异较大，变化的情况也比较多，目前该领域还处于研究阶段。百度推出了实验性的图像检索：http:/。自然语言理解自然语言理解 自然语言的理解一直是人工智能领域的研

22、究重点，其研究内容既包括文字的理解，也包括口头对话的理解。目前文字方面进展较大，许多机器翻译系统已经可以投入实用，例如 Google 的在线翻译服务：http:/。脑电识别脑电识别 对于脑电信号的识别，是一项非常前沿的研究工作。它不仅可以用于“读脑”，获知人的思维活动，而且可以用于“脑电控制”，帮助残疾人或者特殊人员（例如战斗机的驾驶员）控制各种设备完成预定任务。情感识别情感识别 情感识别也是智能机器人所必须具备的功能，目前已有一定的研究，但还没有得到很好的结果。三、三、模式识别的基础概念模式识别的基础概念 1、样本、模式和模式类样本、模式和模式类 样本样本 待识别的客观事物。例如：具体的人、

23、一个水果、一种心电图都是样本。模式模式 从客观事物抽象出的规范化的信息，在有限维条件下可以描述和表达样本，是模式识别的对象，一般用事物的各种属性来表示。例如：一个人的姓名、性别、年龄、身高、体重等构成一个模式。模式类模式类 具有某种相似性的模式的集合，模式识别就是将样本对应的模式归入到模式类中的过程。例如：男性、女性就是两个模式类；偏瘦、标准、偏胖、很胖也是不同的模式类。对同样的一组模式，可以按照不同的标准划分模式类。2、特征特征、特征空间特征空间和和特征向量特征向量 特征特征 是从所有模式信息中选取出来的，可以用于模式识别的部分属性。特征既可以是数值型的，也可以是非数值型的。例如：年龄、体重

24、就是数值型特征，美、丑或者拓扑结构就是非数值型特征。非数值型特征在模式识别系统中，也需要用数据编码来表示，只是数模式识别讲义 2011 版：第一讲 绪论 第 8 页 自动化学院 模式识别与智能系统研究所 高琪 据之间没有数值关系。特征既可以直接采用事物的属性，也可以由事物属性经计算处理得到。例如根据世界卫生组织（WHO）公布的 BMI 标准，判别胖瘦的计算公式为：BMl体重(kg)身高2(m)。特征特征空间空间 把每个特征作为一个维度，就可以构成一个多维的空间，每个模式都是空间中的一个点。如果特征都是数值型特征，则特征空间是一个几何空间；如果特征是非数值型特征，特征空间是一个集合空间。特征空间

25、中的一个子空间或者一个区域，就代表了具有相似性的一个模式类。例如在中国的参考标准中：BMI 值18.5 为偏瘦，在 18.523.9 之间为正常，在 2426.9 之间为偏胖，27 为肥胖。特征特征向量向量 几何特征空间中的一个点代表一个模式，其各个特征值构成了一个特征向量。3、相似度相似度的度量的度量 模式识别的依据是模式之间的相似性，我们总是把相似程度高的模式划归为同一类，这就牵涉到如何定量地定义“相似度”的问题。两个模式ix和jx之间的相似度度量标准应当满足以下几个要求：相似度应当为非负值 一个模式与自身的相似度应当是最大的 相似度对两个模式是对称的 如果模式的特征是数值型特征，所有模式

26、都是多维几何空间中的点，此时最明显的相似度度量标准就是点与点之间的距离。当然，距离的定义是多种多样的，常用的距离度量（特征维数为 n）包括：欧几里德距离欧几里德距离 21()nijikjkkdxx 明考夫斯基距离明考夫斯基距离 11()nqqijikjkkdqxx 曼哈顿曼哈顿距离距离 1nijikjkkdxx 切比雪夫距离切比雪夫距离 1()maxijikjkk ndxx 对于具有非数值型特征的模式，也可以定义其它的相似度度量标准。模式识别讲义 2011 版：第一讲 绪论 第 9 页 自动化学院 模式识别与智能系统研究所 高琪 例如对两个不同的字符串表示的模式，可以用编辑距离（是指从一个字符

27、串转换成另一个字符串所需的最少的单字符编辑操作次数，允许的单字符编辑操作包括替换、插入和删除）来度量两个模式之间的相似度。4、紧致性紧致性 当特征空间中属于同一个类的模式相似度远高于与其它类中的模式的相似度时，称模式类具有紧致性。紧致性要求是模式识别的基本要求，只有当两个类之间相似度远低于同一个类内部的相似度时，分类的错误率才会较低。但是在一个模式识别任务中，有时很难满足紧致性的要求。此时可通过增加特征空间的维数，或进行空间映射变换来增强该问题模式类的紧致性。例如在使用 BMI 标准对人的胖瘦进行分类时，类别之间紧密相连，紧致性很差。四、四、课程简介课程简介 1、课程基本信息课程基本信息 课程

28、名称：模式识别（导论）课时：32（30）学时 授课教师：高琪（自动化学院模式识别与智能系统研究所）2、课程内容课程内容框架框架 本课程从模式识别的基本概念入手，在特征选取的基础上，主要介绍统计模式识别、结构模式识别和聚类分析，同时对模糊模式识别的基本算法也有所涉及，神经网络模式识别和支持向量机方法也会做简单介绍。统计模式识别主要介绍以线性分类器为核心的确定性统计分类，和以贝叶斯分类器为核心的随机性统计分类。结构模式识别则是在形式语言理论的基础上，重点介绍句法模式识别的理论和算法。图 3 模式识别课程内容框架 模式识别讲义 2011 版：第一讲 绪论 第 10 页 自动化学院 模式识别与智能系统

29、研究所 高琪 3、与其它学科关系与其它学科关系 图 4 模式识别与其他学科的关系 模式识别课程的基础包括概率论与数理统计和线性代数（主要是矩阵运算），这两门课程应当是先修的。对于句法模式识别，本课程中会对其基础形式语言理论进行简单的介绍。模式识别是人工智能学科的组成部分，代表了人工智能中的认知能力，与学习能力、推理能力一起构成人工智能的完整范畴。机器学习是模式识别的扩展，它不仅包括了机器的模式识别能力，还包括了机器发现知识，理解知识，自我进化的能力。图像处理与机器视觉是目前计算机科学家和自动控制界都在研究的重点领域，在“传感器与检测技术”和“模式识别”技术的共同支持下，信息最丰富、获取最方便的

30、图像数据，可以成为计算机和其他智能设备的主要信息来源。4、参考书参考书 以下是本课程推荐的主要参考书：模式识别模式识别.钟珞，潘昊等钟珞，潘昊等.武汉大学出版社，武汉大学出版社，2006 年年（作为教材）（作为教材）.模式分类（第二版）美 R.O.Duda,P.E.Hart,and D.G.Stork.机械工业出版社，2003 年.模式识别.希腊 Sergios Theodoridisd.电子工业出版社，2004 年.模式识别原理、方法及应用.美 J.P.Marques.清华大学出版社，2002 年.模式识别.边肇祺等.清华大学出版社，2000 年 5、常见问题常见问题 如何评定成绩？如何评定

31、成绩？模式识别讲义 2011 版：第一讲 绪论 第 11 页 自动化学院 模式识别与智能系统研究所 高琪 期末考试（开卷）占总评成绩的 70%，平时成绩占总评成绩的 30%。平时成绩包括 3 次课堂作业（每次 5 分）和 2 次课后作业（5 分+10 分）。上课记考勤吗？上课记考勤吗？不点名，但课堂作业的内容和时间是随机的，且不能补交。如有特殊情况需要请假，请提前交书面请假单，可以不影响课堂作业成绩。学习内容以教材为准吗学习内容以教材为准吗？不，学习和考试都以讲义为准，指定的教材可以认为是“主要参考书”。讲义下载请访问位于北京理工大学课程中心的课程网站，网址：http:/，搜索“模式识别”即可

32、。是否可以拷贝课件（是否可以拷贝课件（PPT）？不可以，也没有必要。PPT 只是教师授课工具，课程详细内容请到网站上下载讲义。上课需要做笔记吗上课需要做笔记吗？虽然课程内容在讲义中都有详细的说明，仍然建议记笔记。因为本课程有大量数学内容，记笔记的过程也是跟随教师教学思路思考理解的过程。所以，笔记虽不重要，“记”笔记很重要。需要掌握什么内容需要掌握什么内容？需要掌握模式识别的基本概念、基本理论和常用算法。重点要求掌握：统计模式识别中的线性判别函数，线性分类器设计的梯度法和感知器法，最小错误率和最小风险贝叶斯分类器的分类决策算法，正态分布情况下的贝叶斯分类器的分析；聚类分析的基本概念，试探法、k 均值聚类和层次聚类；特征提取和特征选择的概念与基本思路，J2 准则的特征提取，特征选择的分支定界法；结构模式识别的基本概念，形式语言的基本概念和 4 类文法定义，句法模式识别基本分类算法；模糊模式识别的基本概念和算法。作业要求是什么？作业要求是什么？作业要求按时提交，不得抄袭！