数字图像处理第十章 模式识别精品文稿.ppt

《数字图像处理第十章 模式识别精品文稿.ppt》由会员分享，可在线阅读，更多相关《数字图像处理第十章 模式识别精品文稿.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数字图像处理第十章数字图像处理第十章 模式识别模式识别第1页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.1 10.1 模板匹配模板匹配 模板匹配是一种最原始、最基本的模式识别方法。研究某模板匹配是一种最原始、最基本的模式识别方法。研究某特定特定对象物的图案位于图像的什么地方，进而识别对象物，就是一个对象物的图案位于图像的什么地方，进而识别对象物，就是一个匹配的问题。匹配的问题。通常应用在以下方面：1.1.模板匹配概述模板匹配概述 l 在几何变换中，检测图像和地图之间的对应点 l 不同的光谱或不同的摄影时间所得的图像之间位置的配准图像配准)l 在立体影象分析中提取左右

2、影象间的对应关系 l 运动物体的跟踪 l 图像中对象物位置的检测等 第2页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.1 10.1 模板匹配模板匹配 如右图如右图,设检测对象的模板为设检测对象的模板为t(xt(x，y)y)，令其，令其中心与图像中心与图像f(xf(x，y)y)中的一点中的一点(i(i，j)j)重合，重合，检测检测t(xt(x，y)y)和图像重合部分之间的相似度，和图像重合部分之间的相似度，对图像中所有的点都进行这样的操作，根据对图像中所有的点都进行这样的操作，根据相似度为最大或者超过某相似度为最大或者超过某阈值来确定对阈值来确定对象物是否存在，并求得

3、对象物所在的位象物是否存在，并求得对象物所在的位置，即是模板匹配匹配的基本原理。置，即是模板匹配匹配的基本原理。2.2.模板匹配方法（原理）模板匹配方法（原理）第3页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.1 10.1 模板匹配模板匹配 2.2.模板匹配方法（原理）模板匹配方法（原理）1 1）模板匹配模板匹配非相似度度量方法非相似度度量方法式中计算的是模板和图像重合部分的非相似度，该值越小，表示匹配程度越好。第4页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.1 10.1 模板匹配模板匹配 2.2.模板匹配方法（原理）模板匹配方法（原理

4、）2 2）模板匹配模板匹配相似度度量方法相似度度量方法式中，分别表示f(x+u,y+v)，t(x,y)在S内的均值，得到的是模板和图像重合部分相似度，该值越大，表示匹配程度越好。（10.1-4）第5页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.1 10.1 模板匹配模板匹配 3.3.高速模板匹配高速模板匹配 序贯相似性检测法序贯相似性检测法SSDASSDA 模板匹配中使用的模板相当大模板匹配中使用的模板相当大(8(88 832323232左右左右)，为提高匹配速度，为提高匹配速度，BarneaBarnea等等人提出了序贯相似性检测法人提出了序贯相似性检测法SSDAS

5、SDA法法(Sequential Similiarity(Sequential Similiarity DetectionDetection Algorithm)Algorithm)。SSDA用下式计算图像f(x，y)在点(u，v)的非相似度m(u,v)作为匹配尺度。式中(u，v)表示的不是模板中心坐标，而是它左上角坐标。模板的大小为mn。若在(u，v)处图像中有和模板一致的图案时，则m(u,v)值很小，相反则大。如果在模板内的各像素与图像重合部分对应象素的灰度差的绝对值依次增加下去，其和就会急剧地增大。因此，在做加法的过程中，如果灰度差的绝对值部分和超过了某一阈值时，就认为这位置上不存在和模

6、板致的图案，从而转移到下一个位置上计算m(u，v)第6页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.1 10.1 模板匹配模板匹配 3.3.高速模板匹配高速模板匹配 粗检索细检索两阶段匹配法粗检索细检索两阶段匹配法 l 粗检索每隔若干个像素把模板和图像重叠，并计算匹配的尺度，从而求出对象每隔若干个像素把模板和图像重叠，并计算匹配的尺度，从而求出对象物大致存在的范围物大致存在的范围 l 细检索这粗检索检出范围内，让模板每隔这粗检索检出范围内，让模板每隔个像素移动一次，根据求出的匹配个像素移动一次，根据求出的匹配尺度确定对象物所在的位置尺度确定对象物所在的位置 计算时间

7、缩短，匹配速度就提高了。但是用这种方法具有计算时间缩短，匹配速度就提高了。但是用这种方法具有漏掉图像中漏掉图像中最适当位置的危险性最适当位置的危险性 第7页，本讲稿共63页10.2 图像（模式）识别概念图像（模式）识别概念l模式识别：对表征事物或现象的各种形式的（数值的，文字的和逻辑关系的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。l什么是模式（Pattern）？“模式”是一个客观事物的描述，是指建立一个可用于仿效的完善的标本。l 图像识别与模式识别第十章第十章 模板匹配与模式识别模板匹配与模式识别第9页，本讲稿共63页l模式识别的

8、研究内容模式识别的研究内容 1）研究生物体（包括人）是如何感知对象的，属于认知科学研究生物体（包括人）是如何感知对象的，属于认知科学的范畴的范畴 2）在给定的任务下，如何用计算机实现模式识别的理论和方法在给定的任务下，如何用计算机实现模式识别的理论和方法 10.2 图像（模式）识别概念图像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第10页，本讲稿共63页l典型模式识别系统典型模式识别系统 l图像识别系统图像识别系统 10.2 图像（模式）识别概念图像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第11页，本讲稿共63页l人脸识别系统10.2 图像（模

9、式）识别概念图像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第12页，本讲稿共63页l模式模式可以定义为可以定义为物体的描述物体的描述。由于描述这个词。由于描述这个词的意义比较广泛，有人把它推广到图像数据本的意义比较广泛，有人把它推广到图像数据本身，因为图像数据也是相应事物的一种描述，身，因为图像数据也是相应事物的一种描述，只不过这样的描述不够抽象和简要而已。图像只不过这样的描述不够抽象和简要而已。图像的各种特征和描述的提取方法。我们将的各种特征和描述的提取方法。我们将模式解模式解释为物体的较抽象的特征和描述。释为物体的较抽象的特征和描述。10.2 图像（模式）识别概念图

10、像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第13页，本讲稿共63页l模式可以是以模式可以是以矢量矢量 栅格形式栅格形式表示的表示的数字特征数字特征；也可以是以也可以是以句法结构句法结构表示的表示的字符串或图字符串或图；还可以是以还可以是以关系结构关系结构表示的表示的语义网络或框架语义网络或框架结构结构等。等。l对于上述三种类型的模式，必须分别使用不同的对于上述三种类型的模式，必须分别使用不同的识别和推理方法：识别和推理方法：统计模式识别，句法模式识别统计模式识别，句法模式识别和和人工智能方法人工智能方法。10.2 图像（模式）识别概念图像（模式）识别概念第十章第十章

11、模板匹配与模式识别模板匹配与模式识别第14页，本讲稿共63页l统计模式识别统计模式识别l基本原理是：有相似性的样本在模式空间中互相接近，并形基本原理是：有相似性的样本在模式空间中互相接近，并形成成“集团集团”，即，即“物以类聚物以类聚”。l主要方法有：决策函数法，主要方法有：决策函数法，k近邻分类法，支持向量机，近邻分类法，支持向量机，特征分析法，主因子分析法等特征分析法，主因子分析法等10.2 图像（模式）识别概念图像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第15页，本讲稿共63页l句法（或结构）模式识别 基于形式语言理论的概念为基础。模式按其结构分解为子模式或模式

12、基元，模式基元的连接关系以文法形式进行描述。一个场景的示意图 场景结构的分析 10.2 图像（模式）识别概念图像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第16页，本讲稿共63页l模糊模式识别模糊模式识别l模糊集理论，模糊集理论，Zadeh，1965l模糊集理论在模式识别中的应用模糊集理论在模式识别中的应用l神经网络模式识别神经网络模式识别l特点：具有信息分布式存储、大规模自适应并行处理、高度的容特点：具有信息分布式存储、大规模自适应并行处理、高度的容错性以及学习能力错性以及学习能力l缺点：缺点：实际应用中仍有许多因素需要凭经验确定，比如如何选择网实际应用中仍有许多因素

13、需要凭经验确定，比如如何选择网络节点数、初始权值和学习步长等；局部极小点问题、过学习与络节点数、初始权值和学习步长等；局部极小点问题、过学习与欠学习问题等欠学习问题等 10.2 图像（模式）识别概念图像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第17页，本讲稿共63页l特征选择特征选择 所要提取的应当是具有可所要提取的应当是具有可区别性、可靠性、区别性、可靠性、独立性好独立性好的的少量少量特征特征。因此特征选择可以看作是一个因此特征选择可以看作是一个(从最差的从最差的开始开始)不断删除无用的特征和组合有关联的特不断删除无用的特征和组合有关联的特征的过程，直到特征的数目减

14、少到易于驾驭的征的过程，直到特征的数目减少到易于驾驭的程度，同时分类器的性能仍能满足要求为止。程度，同时分类器的性能仍能满足要求为止。第18页，本讲稿共63页l每类的每一个特征均值：每类的每一个特征均值：假假设设训训练练样样本本中中有有个个不不同同类类别别的的样样本本。令令表表示示第第类类的的样样本本数数，第第类类中中第第个个样样本本的的两两个个特特征征分分别别记记为为和。和。每类的每一个特征均值：每类的每一个特征均值：和和注意：仅是两个值基于训练样本的估计值，而不是真实的注意：仅是两个值基于训练样本的估计值，而不是真实的类均值。类均值。10.2 图像（模式）识别概念图像（模式）识别概念第十章

15、第十章 模板匹配与模式识别模板匹配与模式识别第19页，本讲稿共63页l特征方差特征方差第第类类的的特特征征和和特特征征的的方方差差估估值值分分别别为：为：和和 在理想情况下同一类别中所有对象的特征在理想情况下同一类别中所有对象的特征值应该很相近。值应该很相近。10.2 图像（模式）识别概念图像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第20页，本讲稿共63页l特征相关系数特征相关系数第类特征和特征的相关系数估计为第类特征和特征的相关系数估计为 它的取值范围为。它的取值范围为。如如果果=0=0，说说明明这这两两特特征征之之间间没没有有相相关关性性；接接近近+1+1表表示示

16、这这两两个个特特征征相相关性强；为关性强；为-1-1表示任一特征都与另一特征的负值成正比。表示任一特征都与另一特征的负值成正比。因此，因此，如果相关系数的绝对值接近如果相关系数的绝对值接近1 1，则说明这两个特征，则说明这两个特征可以组合在一个特征或干脆舍弃其中一个。可以组合在一个特征或干脆舍弃其中一个。10.2 图像（模式）识别概念图像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第21页，本讲稿共63页l类间距离类间距离一一个个特特征征区区分分两两类类能能力力的的一一个个指指标标是是类类间间距距离离，即即类类均均值值间的方差归一化间距。显然，间的方差归一化间距。显然，类

17、间距离大的特征是好特征类间距离大的特征是好特征。对特征来说，第类与第类之间的类间距为：对特征来说，第类与第类之间的类间距为：10.2 图像（模式）识别概念图像（模式）识别概念第十章第十章 模板匹配与模式识别模板匹配与模式识别第22页，本讲稿共63页基本概念基本概念这这里里我我们们讨讨论论数数字字特特征征的的识识别别。其其前前提提是是，假假定定我我们们所所处理的模式每一个样本都表示为处理的模式每一个样本都表示为N N维特征矢量，写为：维特征矢量，写为：显显然然，特特征征矢矢量量 可可以以表表示示为为N N维维特特征征矢矢量量空空间间 中中的的一一个个点点，这这样样统统计计模模式式识识别别的的概概

18、念念及及方方法法就就可可以以在在特特征征空空间中予以研究。间中予以研究。第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 第23页，本讲稿共63页基本概念基本概念l模式分类：根据识别对象的观测值确定其类别l样本与样本空间表示：l类别与类别空间：c个类别（类别数已知）第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 第24页，本讲稿共63页决决 策策l把样本x x分到哪一类分到哪一类最合理最合理？解决该问题？解决该问题的的理论基础之一是统计决策理论l决策：是从样本空间S，到决策空间的一个映射，表示为 D

19、D:S -:S -第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 第25页，本讲稿共63页假设我们要把一个样本集合假设我们要把一个样本集合 分成分成M M类类 ；如上所述，该样本集合可以表示为如上所述，该样本集合可以表示为N N维特征空间维特征空间 中的一个点集，它的分类问题表述为将该特征中的一个点集，它的分类问题表述为将该特征空间划分为空间划分为M M个子空间，每一子空间为一类，子个子空间，每一子空间为一类，子空间中的样本点属于相应类别。空间中的样本点属于相应类别。这样，这样，分类问题的关键就在于如何找到一个正分类问题的关键就在于如何找到一个正

20、确子空间划分，确子空间划分，即划分子空间的界面。即划分子空间的界面。第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 第26页，本讲稿共63页下图为二维特征空间，三类问题。下图为二维特征空间，三类问题。第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 第27页，本讲稿共63页l决策区域与决策面(decisionregion/surface)：第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 第28页，本讲稿共63页数数学学上上，统统计计模模式式识识别别问问题

21、题可可以以归归结结为为：对对一一组组给给定定的的样样本本集集合合，找找出出其其最最佳佳的的分分类类判判决决函函数数 ，并作判决：并作判决：若对所有的若对所有的 均有：均有：则作判决：则作判决：第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 第30页，本讲稿共63页因因为为处处理理的的是是分分类类问问题题，因因此此最最佳佳的的意意义义是分类误差最小。是分类误差最小。由由于于求求解解最最佳佳判判决决函函数数的的出出发发点点和和途途径径不不同同，因此产生了各种不同的分类方法：因此产生了各种不同的分类方法：判别函数方法判别函数方法贝贝叶叶斯斯分分类类器器

22、：判判别别函函数数表表示示为为似似然然比比，也也称称为为最大似然率分类器或最小损失分类器最大似然率分类器或最小损失分类器集集群群分分类类方方法法：它它几几乎乎不不需需要要有有关关待待分分样样本本的的先验知识。先验知识。第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 第31页，本讲稿共63页l分类器是某种由硬件或软件组成的“机器”：计算c个判别函数gi(x)最大值选择ARGMAXg1.g2gc.x1x2xna(x)第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 第32页，本讲稿共63页第十章第十章 模

23、板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 基本过程基本过程统计模式识别统计模式识别是研究每是研究每个模式的各种测量数据的统计特性，按照统计决策理论来进个模式的各种测量数据的统计特性，按照统计决策理论来进行分类行分类 统计模式识别过程统计模式识别过程分为识别和分类两部分，核心内容为分为识别和分类两部分，核心内容为特征处理特征处理与与分类分类 第33页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 特征处理特征处理 包括特征选择和特征变换：包括特征选择和特征变换：l 特征选择方法特征选择特征选择指

24、的是从原有的指的是从原有的m m个测量值集合中，按某一准则选择出一个个测量值集合中，按某一准则选择出一个n n维维(n(nm)m)的子集作为分类特征的子集作为分类特征 l 穷举法穷举法从从m m个原始的测量值中选出个原始的测量值中选出n n个特征，个特征，共有共有C Cm mn n种可能的选择。对每一种种可能的选择。对每一种选法用己知类别属性的样本进行试分类，测出其正确分类率，分类误差选法用己知类别属性的样本进行试分类，测出其正确分类率，分类误差最小的一组特征便是最好的选择最小的一组特征便是最好的选择 优点是不仅能提供最优的特征子集，而且可以全面了解所有特征对各类别之间的可分性信息。但是，计算

25、量太大，特别在特征维数高时，计算更繁 第34页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 l 最大最小类对距离法最大最小类对距离法 首先在首先在K K个类别中选出最难分离的一对类别，个类别中选出最难分离的一对类别，然后选择不同的特征子集，计算这一对类别的可分性，具有最大然后选择不同的特征子集，计算这一对类别的可分性，具有最大可分性的特征子集就是该方法所选择的最佳特征子集可分性的特征子集就是该方法所选择的最佳特征子集 特征选择方法不改变原始测量值的物理意义，因此它不会影响分类器设计者对所用待征的认识，有利于分类器的设计，便于分类

26、结果的进一步分析 第35页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 l 特征变换特征变换特征变换是将原有的是将原有的m m个测量值集合通过某种变换，然后产生个测量值集合通过某种变换，然后产生n n个个(n(nm)m)特征用于特征用于分类。特征变换又分为两种情况：分类。特征变换又分为两种情况：一种，从减少特征之间相关性和浓缩信息量的角度出发，根据原始数据一种，从减少特征之间相关性和浓缩信息量的角度出发，根据原始数据的统计特性，用数学的处理方法使得用尽量少的特征来最大限度地包含的统计特性，用数学的处理方法使得用尽量少的特征来最大

27、限度地包含所有原始数据的信息。这种方法不涉及具体模式类别的分布情况，因此，所有原始数据的信息。这种方法不涉及具体模式类别的分布情况，因此，对于没有类别先验知识的情况，这是对于没有类别先验知识的情况，这是种有效的特征变换方式。主分量变种有效的特征变换方式。主分量变换就属于这一类型换就属于这一类型 另一类，根据对测量值所反映的物理现象与待分类别之间关系的认识，通过另一类，根据对测量值所反映的物理现象与待分类别之间关系的认识，通过数学运算来产生数学运算来产生组新的特征，使得待分类别之间的差异在这组特征中更明组新的特征，使得待分类别之间的差异在这组特征中更明显，从而有利于改善分类效果显，从而有利于改善

28、分类效果 第36页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 .统计分类方法统计分类方法 l 监督分类监督分类方法监督分类方法就是根据预先已知类别名的训练样本，求出各类在特征空就是根据预先已知类别名的训练样本，求出各类在特征空间的分布，然后利用它对未知数据进行分类的方法间的分布，然后利用它对未知数据进行分类的方法 换句话说，监督分类法就是根据训练样本把特征空间分割成对应于各类换句话说，监督分类法就是根据训练样本把特征空间分割成对应于各类的区域的区域 第37页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10

29、.3 10.3 统计模式识别统计模式识别 l 监督分类过程1)1)根据类别名预先给定的训练样本，根据各类特征矢量分布确定判别函数根据类别名预先给定的训练样本，根据各类特征矢量分布确定判别函数g g1 1ggc c(c(c为为类别数类别数)。这一过程称为学习。这一过程称为学习 2)2)对对于待分于待分类类的特征矢量（或称模式）的特征矢量（或称模式）X=(xX=(x1,1,x x2,2,x,xn n)，计计算各判算各判别别函数的函数的值值g g1 1（X X）ggc c(X)(X)3)3)在在g g1 1(X)g(X)gc c(X)(X)中中选择选择最大者，把模式最大者，把模式X X分分类类到到这

30、这一一类类中中 第38页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 l 常用判别函数1)1)距离判别函数距离判别函数 欧几里德距离L距离相似度第39页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 l 常用判别函数1)1)距离判别函数距离判别函数 利用距离判别函数的最近邻域分类 分别使用与类别的平均值和与逐个训练样本的距离分类的结果，前者边界为直线后者为曲线第40页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统

31、计模式识别 l 常用判别函数2)2)线性函数线性函数 g(X)=aX+b将将m m类问题分解成（类问题分解成（m-1)m-1)个个2 2类识别问题。方法是先把特征空间分为类识别问题。方法是先把特征空间分为1 1类和其他类，类和其他类，如此进行下去即可如此进行下去即可 其中线性判别函数的系数可通过样本试验来确定其中线性判别函数的系数可通过样本试验来确定 第41页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 l 常用判别函数3)3)基于统计决策理论的最大似然分类法基于统计决策理论的最大似然分类法 式中式中P(P(i i)表示类别表示

32、类别 i i的模式以多大的概率被观测到的情况，称为先验概的模式以多大的概率被观测到的情况，称为先验概率。率。p(X|p(X|i i)表示条件概率密度函数，表示条件概率密度函数，p(p(i i|X)|X)表示在观测模式表示在观测模式X X的时候，这个的时候，这个模式属于类别模式属于类别i i的确定度（似然度）。这一方法叫作的确定度（似然度）。这一方法叫作最大似然法最大似然法。第42页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 3)3)基于统计决策理论的最大似然分类法基于统计决策理论的最大似然分类法 理论上为误差最小的分类法。例如

33、，在一维特征空间的场合，如下图a所示，用某一值T把特征空间分割成两个区域（类别）的时候，产生的误分类概率可由图b中划有斜线的部分的面积来表示。即 图a图b第43页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 3)3)基于统计决策理论的最大似然分类法基于统计决策理论的最大似然分类法 为了使用最大似然法，必须预先求出(i)和p(|i)。(i)是类别 i被观测的概率，所以是可以预测的。另一方面，p(|i)是表示在类别 i的特征矢量分布的函数，是不易求得的。因此，通常假定它为正态分布，即：第44页，本讲稿共63页第十章第十章 模板匹配与

34、模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 3)3)基于统计决策理论的最大似然分类法基于统计决策理论的最大似然分类法 分布函数的平均值i和协方差矩阵i则可从训练样本计算。从n个训练样本X1,X2,Xn计算平均值U和协方差矩阵的表达式为：U1,2,nT在假设特征矢量为正态分布的前提下，为了使最大似然法计算简化，常把似然度函数P(i)p(X|i)用其对数logP(i)+logp(X|i)来代替。因为对数函数是单调函数，所以即使采用对数似然度函数，分类结果也完全不变如果不对各种类别的特征矢量是否真正的形成正态分布进行检查，最大似然分类法多半会产生误分类，甚至出现不能使用的

35、情况 第45页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.3 10.3 统计模式识别统计模式识别 l 非监督分类非监督分类非监督分类方法是在无法获得类别先验知识的情况下，根据模式之间的相似度进行方法是在无法获得类别先验知识的情况下，根据模式之间的相似度进行类别划分，将相似性强的模式归为同一类别。非监督分类方法又称为类别划分，将相似性强的模式归为同一类别。非监督分类方法又称为聚类分析聚类分析 对于模式不服从多维正态分布或者概率密度函数具有多重模态对于模式不服从多维正态分布或者概率密度函数具有多重模态(即不即不止一个最大值的情况）时，通常就可使用非监督分类。止一个最大值

36、的情况）时，通常就可使用非监督分类。第七章中介绍的第七章中介绍的K K均值聚均值聚类类分析法就是一种非监督分类法分析法就是一种非监督分类法 第46页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.4 10.4 结构模式识别结构模式识别 1.1.基本原理基本原理 结构模式识别结构模式识别是将一个复杂的模式分解成一系列更简单的模式（子模式），是将一个复杂的模式分解成一系列更简单的模式（子模式），对子模式继续分解，最后分解成最简单的子模式（或称基元），借助于一种形对子模式继续分解，最后分解成最简单的子模式（或称基元），借助于一种形式语言对模式的结构进行描述，从而识别图像。模式

37、、子模式、基元类似于英式语言对模式的结构进行描述，从而识别图像。模式、子模式、基元类似于英文句子的短语、单词、字母，这种识别方法类似语言的句法结构分析，因此又文句子的短语、单词、字母，这种识别方法类似语言的句法结构分析，因此又称为句法模式识别。称为句法模式识别。第47页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.4 10.4 结构模式识别结构模式识别 1.1.基本原理基本原理 句法模式识别系统原理框图如下图所示。它由识别和分析两部分组成句法模式识别系统原理框图如下图所示。它由识别和分析两部分组成 识别部分包括预处理、分割描述、基元提取和结构分析。预处理主要包括编码、

38、增强等系列操作。结构分析是用学习所得的句法规则对未知结构信息的图像所表示的句子进行句法分析。第48页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.4 10.4 结构模式识别结构模式识别 2.2.树分类法树分类法 树分类法树分类法就是根据树型分层理论，将未知数据归属于某一类的分类方法，下图就是根据树型分层理论，将未知数据归属于某一类的分类方法，下图所示是一个所示是一个n n类问题的树分类器。类问题的树分类器。第49页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.4 10.4 结构模式识别结构模式识别 2.2.树分类法树分类法 l 分类过程首先，

39、把集合首先，把集合 C C1 1,C,C2 2,，C Cn n 用特征用特征f f1 1将其分成两组将其分成两组CC1 1,C,C2 2,，C Cn1n1 和和CCn1+1n1+1,C,Cn1+2n1+2,，C Cn n 然后，用特征然后，用特征f f2 2进一步将进一步将CC1 1,C,C2 2,C Cn1n1 分成两组，用特征分成两组，用特征f f3 3将将CCn1+1n1+1,C,Cn1+2n1+2,C Cn n 分成两组分成两组 不断地进行二分法处理，最终分别达到唯一的种类为止不断地进行二分法处理，最终分别达到唯一的种类为止 第50页，本讲稿共63页第十章第十章 模板匹配与模式识别模板

40、匹配与模式识别10.4 10.4 结构模式识别结构模式识别 2.2.树分类法树分类法 l 树分类法优点在识别多类、多特征图像时，用树分类器，每次判定只选用少量的特征，而不同的特征在识别多类、多特征图像时，用树分类器，每次判定只选用少量的特征，而不同的特征又可在不同的判定中发挥作用，维数的问题就显得不突出了又可在不同的判定中发挥作用，维数的问题就显得不突出了 树分类器每次判定比较简单。尽管判定次数增多，但判定一个样本所属类树分类器每次判定比较简单。尽管判定次数增多，但判定一个样本所属类别的总计算量并不一定增加别的总计算量并不一定增加 第51页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹

41、配与模式识别10.4 10.4 结构模式识别结构模式识别 2.2.树分类法树分类法 l 问题注意设计分类器时，必须考虑树的结构，使之用最少的特征，尽可能少的段设计分类器时，必须考虑树的结构，使之用最少的特征，尽可能少的段数达到最终的判决。对非常容易出现的类别，尽可能缩短判决的段数，数达到最终的判决。对非常容易出现的类别，尽可能缩短判决的段数，而很少出现的类别，判决段数长些。而很少出现的类别，判决段数长些。树分类器虽然判决简单，容易用机器实现，但是，如果从树分类器虽然判决简单，容易用机器实现，但是，如果从“树根树根”就产生判决错就产生判决错误，以后将无法纠正这个错误判决。所以，在靠近树根处必须选

42、择抗误，以后将无法纠正这个错误判决。所以，在靠近树根处必须选择抗噪声的稳定可靠的特征。噪声的稳定可靠的特征。第52页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别法 1.1.人工神经网络结构人工神经网络结构 常一个网络分为输入层、隐含层和输出层。第一层称为输入层。网络中当前层的每个神常一个网络分为输入层、隐含层和输出层。第一层称为输入层。网络中当前层的每个神经元获得输入信号，而它的输出则传向下一层的所有神经元。有些网络则允许同层间的经元获得输入信号，而它的输出则传向下一层的所有神经元。有些网络则允许同层间的神经元之间通信

43、，而反馈结构还允许前一层的神经元接受后一层的神经元的输出。最后神经元之间通信，而反馈结构还允许前一层的神经元接受后一层的神经元的输出。最后一层被称为输出层，而其它所有的称为隐含层。一层被称为输出层，而其它所有的称为隐含层。输入1输入2输入n输出输入层隐含层输出层第53页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别法 2.2.神经元神经元 一个处理单元即一个人工神经元，将接受的信息一个处理单元即一个人工神经元，将接受的信息x x0 0,x,x1 1,x,xn-1n-1，通过用，通过用W W0 0,W,W1 1,W,Wn-

44、1n-1表示的权，以点积的形式作为自己的输入，如下图，并将输入与以表示的权，以点积的形式作为自己的输入，如下图，并将输入与以某种方式设定的域值某种方式设定的域值作比较，再经某种函数作比较，再经某种函数f f的变换，便得到该神经元的输出的变换，便得到该神经元的输出y y 第54页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别法 2.2.神经元神经元 l 常用非线性变换函数f二值型阈值逻辑型S型第55页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别法

45、2.2.神经元神经元 l 神经元输入输出间关系神经元的输入与输出间的关系由下式给出：神经元的输入与输出间的关系由下式给出：xi为第i个输入元素（通常为n维输入矢量X的第i个分量）；Wi为从第i个输入与神经元间的互联权重；为神经元的内部阈值；y为神经元的输出。第57页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别法 3.3.神经网络用于模式识别的基本原理神经网络用于模式识别的基本原理在模式识别应用中，神经网络的输入是未知对象的特征向量；在模式识别应用中，神经网络的输入是未知对象的特征向量；输入的信息经不同层传播，使输出层上

46、产生相应输出向量，根据输出输入的信息经不同层传播，使输出层上产生相应输出向量，根据输出的结果将该对象划分到某一类中的结果将该对象划分到某一类中 当神经元的定义和网络连接结构确定后，神经元之间互连的权重系数决定当神经元的定义和网络连接结构确定后，神经元之间互连的权重系数决定了网络的行为。在训练过程中权重系数不断得到调整，当训练结束进入实了网络的行为。在训练过程中权重系数不断得到调整，当训练结束进入实际应用时，权重系数保持不变。际应用时，权重系数保持不变。第58页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别法 3.3.神经

47、网络用于模式识别的优缺点分析神经网络用于模式识别的优缺点分析l 优点l 它要求对问题的了解较少它要求对问题的了解较少 l 可以实现特征空间较复杂的划分可以实现特征空间较复杂的划分 l 适于用高速并行处理系统实现适于用高速并行处理系统实现 l 缺点l 需要更多的训练数据需要更多的训练数据 l 对计算机上性能要求较高，普通机器模拟速度慢对计算机上性能要求较高，普通机器模拟速度慢 l 黑箱处理，无法得到所使用的决策过程的透彻理解黑箱处理，无法得到所使用的决策过程的透彻理解 第59页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别

48、法 4.4.基于基于BPBP神经网络的分类方法神经网络的分类方法l BP P神经网络分类的基本原理神经网络分类的基本原理 BPBP算法算法就是反向传播算法的简称。就是反向传播算法的简称。BPBP神经网络通常有一个或多个隐含层，含神经网络通常有一个或多个隐含层，含有一个隐含层的有一个隐含层的BPBP神经网络结构如下图示：神经网络结构如下图示：第60页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别法 4.4.基于基于BPBP神经网络的分类方法神经网络的分类方法l BP P神经网络分类存在缺陷神经网络分类存在缺陷BPBP算法具

49、有收敛速度慢、局部极值、难确定隐含层数和隐节点数等主要问题，算法具有收敛速度慢、局部极值、难确定隐含层数和隐节点数等主要问题，在实际应用中很难胜任。在实际应用中很难胜任。第61页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别法 4.4.基于基于BPBP神经网络的分类方法神经网络的分类方法l BP P神经网络分类改进算法神经网络分类改进算法 动动量法和学量法和学习习率自适率自适应调应调整的策略，以提高学整的策略，以提高学习习率并增率并增强强算法的可靠算法的可靠性性，其基本步骤为：，其基本步骤为：1 1）初始化权值）初始化权

50、值w w和阈值和阈值b b。即把所有权值和阈值都设置成较小的随机数。即把所有权值和阈值都设置成较小的随机数 2 2）提供训练样本对。包括输入向量和目标向量提供训练样本对。包括输入向量和目标向量 3 3）计计算算隐隐含含层层和和输输出出层层的的输输出出 4 4）调调整整权值权值，标准，标准ANNANN可采用：可采用：w(k+1)=w(k)+D(k)w(k+1)=w(k)+D(k)调整调整5 5）采用训练好的网络对图像进行分类采用训练好的网络对图像进行分类 第62页，本讲稿共63页第十章第十章 模板匹配与模式识别模板匹配与模式识别10.5 10.5 人工神经网络识别法人工神经网络识别法 l BP