引言模式识别课件程.ppt

《引言模式识别课件程.ppt》由会员分享，可在线阅读，更多相关《引言模式识别课件程.ppt（66页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、模式识别模式识别孙和利武汉大学遥感信息工程学院1模式识别引 言2模式识别课程对象模式识别学科硕士研究生的专业基础课3第一章 模式识别概论 与模式识别相关的学科统计学概率论线性代数（矩阵计算）形式语言机器学习人工智能图像处理计算机视觉4模式识别教学方法着重讲述模式识别的基本概念，基本方法和算法原理。注重理论与实践紧密结合实例教学：通过大量实例讲述如何将所学知识运用到实际应用之中避免引用过多的、繁琐的数学推导。5第一章 模式识别概论 教学目标掌握模式识别的基本概念和方法有效地运用所学知识和方法解决实际问题为研究新的模式识别的理论和方法打下基础 6第一章 模式识别概论 教学效果基本：完成课程学习，通

2、过考试，获得学分。提高：能够将所学知识和内容用于课题研究，解决实际问题。飞跃：通过模式识别的学习，改进思维方式，为将来的工作打好基础，终身受益。7模式识别教材/参考文献舒宁等，模式识别的理论与方法，武汉大学出版社，2004。.边肇祺等，模式识别（第二版），清华大学出版社，2000。蔡元龙，模式识别，西北电讯工程学院出版社，1986。8模式识别本门课程的主要内容第一章 概论第二章 贝叶斯决策理论第三章 判别函数与确定性分类器 第四章 聚类分析第五章 模式特征分析与选取 第六章 模糊集合理论在模式识别中的应用 第七章 句法模式识别第八章 神经网络在模式识别中的应用9第一章 模式识别概论 第一章 模

3、式识别概论 1-1 1-1 模式识别的基本概念模式识别的基本概念1-2 1-2 模式识别系统模式识别系统1-3 1-3 模式识别的应用模式识别的应用1-4 1-4 模式识别的基本问题模式识别的基本问题10第一章 模式识别概论 1-1 模式识别的基本概念模式识别的基本概念一.模式识别的基本定义 模式(pattern)-存在于时间，空间中可观察 的事物，具有时间或空间分布的信息。-识别的对象，是对客体定量的或 结构的描述。n广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。n模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间

4、和空间分布的信息。11第一章 模式识别概论 n模式的直观特性:n可观察性n可区分性n相似性 12第一章 模式识别概论 模式识别(Pattern Recognition)-用计算机实现 人对各种事物或现象的分析,描述,判断,识别。n周围物体的认知：桌子、椅子n人的识别：张三、李四n声音的辨别：汽车、火车，狗叫、人语n气味的分辩：炸带鱼、红烧肉n人和动物的模式识别能力是极其平常的，但对计算机来说却是非常困难的。模式类-具有共同特征的模式的集合。识别-对模式类的分辨，判断，分类。目的-提高计算机的感知能力，开拓计算机的应用。13第一章 模式识别概论 模式识别的研究目的：利用计算机对物理对象进行分类，

5、在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。Y=F(X)X的定义域取自特征集Y的值域为类别的标号集F是模式识别的判别方法14第一章 模式识别概论 模式识别与图象识别，图象处理的关系 模式识别是模拟人的某些功能 模拟人的视觉:计算机+光学系统 模拟人的听觉:计算机+声音传感器 模拟人的嗅觉和触觉:计算机+传感器15第一章 模式识别概论 二二.模式识别的发展史模式识别的发展史1929年 G.Tauschek发明阅读机，能够阅读0-9的数字。30年代 Fisher提出统计分类理论,奠定了统计模式识别的基础。因此，在6070年代，统计模式识别发展很快，但由于被识别的模式愈来愈复杂，特征也

6、愈多，就出现“维数灾难”。但由于计算机运算速度的迅猛发展，这个问题得到一定克服。统计模式识别仍是模式识别的主要理论。16第一章 模式识别概论 50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。60年代 L.A.Zadeh提出了模糊集理论，模糊模式识别理论得到了较广泛的应用。80年代 Hopfield提出神经元网络模型理论。近些年人工神经元网络在模式识别和人工智能上得到较广泛的应用。90年代 小样本学习理论，支持向量机也受到了很大的重视。17第一章 模式识别概论 三三.关于模式识别的国内、国际学术组织关于模式识别的国内、国际学术组织1973年 IEEE发

7、起了第一次关于模式识别的国际会议“ICPR”，成立了国际模式识别协会-“IAPR”，每2年召开一次国际学术会议。1977年 IEEE的计算机学会成立了模式分析与机器智能（PAMI）委员会，每2年召开一次模式识别与图象处理学术会议。国内的组织有电子学会，通信学会，自动化协会，中文信息学会.。18第一章 模式识别概论 1-2模式识别方法及模式识别系统模式识别方法及模式识别系统模式识别方法模式识别系统的目标：在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。特征空间：从模式得到的对分类有用的度量、属性或基元构成的空间。解释空间：将c个类别表示为i ,i=1,2,c其中 为所属类别的集合

8、，称为解释空间。19第一章 模式识别概论 假说的两种获得方法监督学习、概念驱动或归纳假说：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果。依靠已知所属类别的的训练样本集，按它们特征向量的分布来确定假说（通常为一个判别函数），只有在判别函数确定之后才能用它对未知的模式进行分类；对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。20第一章 模式识别概论 假说的两种获得方法（续）非监督学习、数据驱动或演绎假说：在解释空间中找到一个与特征空间的结构相对应的假说。这种方法试

9、图找到一种只以特征空间中的相似关系为基础的有效假说。在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况；如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类；这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果。21第一章 模式识别概论 模式分类的主要方法统计模式识别 概率分类法 聚类分析 模糊模式识别句法（结构）模式识别人工神经网络方法22第一章 模式识别概论 统计模式识别基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分

10、类的方法，分类器是概念驱动的。概率分类法23第一章 模式识别概论 聚类分析目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。是一种非监督学习的方法，解决方案是数据驱动的。24第一章 模式识别概论 模糊模式识别基于模糊数学理论，利用隶属函数描述事物的 不确定性。识别根据研究对象对于某模糊子集的隶属程度采用最大隶属原则识别法、择近原则识别法，模糊聚类分析法对模式进行识别。25第一章 模式识别概论 结构模式识别该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。识别采用结构匹配的形式，通过计算一个匹配程度值（matching score）来评估一个未知的对象或未知对象

11、某些部分与某种典型模式的关系如何。当成功地制定出了一组可以描述对象部分之间关系的规则后，可以应用一种特殊的结构模式识别方法 句法模式识别，来检查一个模式基元的序列是否遵守某种规则，即句法规则或语法。26第一章 模式识别概论 人工神经网络方法神经网络是受人脑组织的生理学启发而创立的。由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联系的权重系数来实现。神经网络可以实现监督和非监督学习条件下的分类。27第一章 模式识别概论 模式识别系统的基本构成数据获取特征提取和选择预处理分类决策分类器设计28第一章 模式识别概论

12、 数据获取：用计算机可以运算的符号来表示所研究的对象二维图像：文字、指纹、地图、照片等一维波形：脑电图、心电图、季节震动波形等物理参量和逻辑值：体温、化验数据、参量正常与否的描述预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原（图像处理）29第一章 模式识别概论 特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征测量空间：原始数据组成的空间特征空间：分类识别赖以进行的空间模式表示：维数较高的测量空间-维数较低的特征空间分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。把这些判决规则建成标准库。分类决策：在

13、特征空间中对被识别对象进行分类。30第一章 模式识别概论 模式识别过程实例在传送带上用光学传感器件对鱼按品种分类鲈鱼(Seabass)品种鲑鱼(Salmon)31第一章 模式识别概论 识别过程数据获取：架设一个摄像机，采集一些样本图像，获取样本数据预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开32第一章 模式识别概论 识别过程特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等 分类决策：把特征送入决策分类器33第一章 模式识别概论 34第一章 模式识别概论 35第一章 模式识别概论 36第一章 模式识别概论 3

14、7第一章 模式识别概论 38第一章 模式识别概论 39第一章 模式识别概论 模式分类器的评测过程数据采集特征选取模型选择训练和测试计算结果和复杂度分析，反馈40第一章 模式识别概论 分类器评测开始开始数据采集数据采集结束结束训练和测试训练和测试计算结果和复杂度分析，反馈计算结果和复杂度分析，反馈特征选取特征选取模型选择模型选择41第一章 模式识别概论 训练和测试训练集：是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。测试集：在设计识别和分类系统时没有用过的独立样本集。系统评价原则：为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。42第一章 模式

15、识别概论 实例：统计模式识别19名男女同学进行体检，测量了身高和体重，但事后发现其中有4人忘记填写性别，试问（在最小错误的条件下）这4人是男是女？体检数值如下：43第一章 模式识别概论 实例：统计模式识别（续）待识别的模式：性别（男或女）测量的特征：身高和体重训练样本：15名已知性别的样本特征目标：希望借助于训练样本的特征建立判别函数（即数学模型）44第一章 模式识别概论 实例：统计模式识别（续）由训练样本得到的特征空间分布图45第一章 模式识别概论 实例：统计模式识别（续）从图中训练样本的分布情况，找出男、女两类特征各自的聚类特点，从而求取一个判别函数（直线或曲线）。只要给出待分类的模式特征

16、的数值，看它在特征平面上落在判别函数的哪一侧，就可以判别是男还是女了。结论：结论：1.错误最小。错误最小。2.存在错分。存在错分。46第一章 模式识别概论 实例：句法模式识别问题：如何利用对图像的结构信息描述，识别如下所示图片：地板地板M M墙壁墙壁N NL LT TB BD DE EX XZ ZY Y47第一章 模式识别概论 实例：句法模式识别（续）将整个场景图像结构分解成一些比较简单的子图像的组合；子图像又用一些更为简单的基本图像单元来表示，直至子图像达到了我们认为的最简单的图像单元（基元）；所有这些基元按一定的结构关系来表示，利用多级树结构对其进行描述（这种描述可以采用形式语言理论）。4

17、8第一章 模式识别概论 实例：句法模式识别（续）多级树描述结构地板地板M M墙壁墙壁N NL LT TB BD DE EX XZ ZY Y景物景物:A 景物景物A A物体物体B B背景背景C C三角体三角体D D长方体长方体E E三角形三角形T T面面L L面面Y Y地板地板M M墙壁墙壁N N面面Z Z面面X X49第一章 模式识别概论 实例：句法模式识别（续）训练过程：用已知结构信息的图像作为训练样本，先识别出基元（比如场景图中的X、Y、Z等简单平面）和它们之间的连接关系（例如长方体E是由X、Y和Z三个面拼接而成），并用字母符号代表之；然后用构造句子的文法来描述生成这幅场景的过程，由此推断

18、出生成该场景的一种文法。50第一章 模式识别概论 实例：句法模式识别（续）识别过程：先对未知结构信息的图像进行基元提取及其相互结构关系的识别；然后用训练过程获得的文法做句法分析；如果能被已知结构信息的文法分析出来，则该幅未知图像与训练样本具有相同的结构（识别成功），否则就不是这种结构（识别失败）。51第一章 模式识别概论 1-3 模式识别的应用模式识别的应用1.字符识别：包括印刷体字符的识别、手写体字符的识别（脱机）、各种OCR设备例如信函分拣、文件处理、卡片输入、支票查对、自动排板、期刊阅读、稿件输入、在线手写字符的识别（联机），各种书写输入板。2.医疗诊断：心电图分析，脑电图分析，医学图像

19、分析，染色体，癌细胞识别，疾病诊断。3.遥感：数字摄影测量，资源卫星照片，气象卫星照片处理。52第一章 模式识别概论 4.安全：指纹识别、人脸识别、监视和报警系统5.工程：产品缺陷检测、特征识别、语音识别、机器翻译、电话号码自动查询、自动导航系统、污染分析、大气、水源、环境监测。6.经济学：股票交易预测、企业行为分析。7.天文学：天文望远镜图像分析、自动光谱学。8.生物学：自动细胞学、染色体特性研究、遗传研究。9.军事应用：航空摄像分析、雷达和声纳信号检测和分类、自动目标识别。53第一章 模式识别概论 1-4 模式识别的基本问题模式识别的基本问题一一.模式模式(样本样本)表示方法表示方法1.向

20、量表示向量表示:假设一个样本有n个变量(特征)2.=(x1,x2,xn)T2.矩阵表示矩阵表示:N个样本，n个变量(特征)54第一章 模式识别概论 3.几何表示几何表示 一维表示 X1=1.5 X2=3 二维表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三维表示 X1=(x1,x2,x3)T=(1,1,0)T X2=(x1,x2,x3)T=(1,0,1)T55第一章 模式识别概论 4.基元（链码）表示基元（链码）表示：在右侧的图中八个基元分别表示0，1，2，3，4，5，6，7，八个方向和基元线段长度。则右侧样本可以表示为 X1=006666 这种方法将在句法

21、模式识别中用到。56第一章 模式识别概论 二二.模式类的紧致性模式类的紧致性1.紧致集紧致集：同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称紧致集。57第一章 模式识别概论 2.临界点临界点(样本样本)：在多类样本中，某些样本的值有微小变化时就变成另一类样本称为临界样本（点）。3.紧致集的性质紧致集的性质 要求临界点很少 集合内的任意两点的连线,在线上的点属于同 一集合 集合内的每一个点都有足够大的邻域,在邻域内只包含同一集合的点4.模式识别的要求：模式识别的要求：满足紧致集，才能很好的分类；如果不满足紧致集，就要采取变换的方法,满足紧致集.58第一章 模式识别概论 三三.

22、相似与分类相似与分类 1.两个样本xi，xj之间的相似度量满足以下要求：应为非负值 样本本身相似性度量应最大 度量应满足对称性 在满足紧致性的条件下，相似性应该 是点间距离的单调函数 59第一章 模式识别概论 2.用各种距离表示相似性：用各种距离表示相似性：绝对值距离绝对值距离(“city block”distance)已知两个样本 xi=(xi1,xi2,xi3,xin)T xj=(xj1,xj2,xj3,xjn)T又称城市距离，街坊距离。又称城市距离，街坊距离。60第一章 模式识别概论 欧几里德距离（欧氏距离）欧几里德距离（欧氏距离）明考夫斯基距离（明氏距离）明考夫斯基距离（明氏距离）其中

23、当其中当m=1m=1时为绝对值距离，当时为绝对值距离，当m=2m=2时为欧氏距离时为欧氏距离61第一章 模式识别概论 切比雪夫距离切比雪夫距离m趋向无穷大时明氏距离的极限情况 马哈拉诺比斯距离马哈拉诺比斯距离其中m为特征向量，C 为协方差矩阵，使用的条件是样本符合正态分布。62第一章 模式识别概论 因为x1,x2 的夹角小，所以x1,x2 最相似。向量夹角余弦向量夹角余弦它反映了几何相似性，在模式向量具有扇形分布时常采用这种测度。63第一章 模式识别概论 3.分类的主观性和客观性分类的主观性和客观性 分类带有主观性：目的不同，分类不同。例如：鲸鱼，牛，马从生物学的角度来讲都属于哺乳类，但是从产

24、业角度来讲鲸鱼属于水产业，牛和马属于畜牧业。分类的客观性：科学性判断分类必须有客观标准，因此分类是追求客观性的，但主观性也很难避免，这就是分类的复杂性。当模式特征向量各分量取0、1二值时，常采用此式。Tanimoto测度测度64第一章 模式识别概论 四四.特征的生成特征的生成 1.低层特征：无序尺度：有明确的数量和数值。有序尺度：有先后、好坏的次序关系，如酒 分为上，中，下三个等级。名义尺度：无数量、无次序关系，如有红，黄两种颜色 2.中层特征：经过计算，变换得到的特征 3.高层特征：在中层特征的基础上有目的的经过运 算形成例如：椅子的重量=体积*比重 体积与长，宽，高有关；比重与材料，纹理，颜色有关。这里低、中、高三层特征都有了。65第一章 模式识别概论 五五.数据的标准化数据的标准化 1.极差标准化，一批样本中，每个特征的最大值与最小值之差。极差 极差标准化 2.方差标准化 Si 为方差标准化的方法很多，原始数据是否应该标准化，应采用什么方法标准化，都要根据具体情况来定。66