1模式识别第一讲-绪论.pdf

《1模式识别第一讲-绪论.pdf》由会员分享，可在线阅读，更多相关《1模式识别第一讲-绪论.pdf（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1模式识别Pattern Recognition计算机学院 教材：模式识别，边肇祺，张学工等著，清华大学出版社。参考书：R.O.Duda,P.E.Hart,and D.G.Stork,Pattern ClifitiSd d 模式分类 机械工Classification.Second ed.模式分类,机械工业出版社。S.Theodoridis,and K.koutroumbas,Pattern Recognition,Third ed.,2006.第一章 绪论1 1 模式识别的概念和应用1.1 模式识别的概念和应用 人的识别能力是司空见惯的。如何使机器具有人和动物的识别能力？使机器具有智能是人类

2、的愿望。（机器是人手的延长，智能机是人脑的延长。）是人手的延长，智能机是人脑的延长。）但使机器具有智能这个工作很不容易，仍然有许多谜，人脑的识别机制不明。尽管已有近五十年的历史，但仍有许多问题有待解决，也可以说刚起步。一.什么是模式识别 识别的本质是分类。使机器具有能够自动地对物体描述、分类、分组的能力是科技、工程中的重要问题问题。模式（样本）所见的具体事物 模式类（模式）代表这些事物的“概念”模式识别 研究模式的分类、聚类、和估计问题。模式识别中的两大类问题1、分类。（有监督的分类/识别,Supervised Classification）：把模式分到预先定义好的类里去。2、聚 类。（无 监

3、 督 的 分 类/识 别，Unsupervised Classification,clustering）：基于相似性，把模式聚合成一定的类。2二.模式识别的应用 在社会科学、生物学、心理学、医学、市场分析预测、自动化、计算机视觉、人工智能、遥感、军事、生物特征识别等问题中有重要应用。随着计算机性能的提高、Internet的迅速发展，模式识别的应用不仅在它的传统领域，如文字识别、语音识别、指纹识别、遥感图像、医学等领域越做越好，而且涌现了很多新的应用。例如数据挖掘（data mining）、文档的分类（document classification）、财政金融、股票的预测、预报，多媒体数据库的检

4、索基于（生物统计学）的人索，基于biometrics（生物统计学）的人的身份鉴别，甚至有的人研究识别人的情感。模式识别应用的一些例子问题的领域应用输入模式模式类生物信息科学序列分析DNA/蛋白质(Protein)序列DNA/蛋白质(Protein)序列数据挖掘搜索有用的模式多维空间的点紧凑（Compact）且分得开的聚类文档分类（document）Internet搜索 文本文件语义（semantic）类，如商业、体育、文娱等模式识别应用的一些例子（续）文本图像分类盲人阅读机，OCR，支票阅读，邮件分拣文本图像字符邮件分拣工业自动化（计算机视觉）印刷电路板的质量检查，装配线灰度或距离（深度）图像

5、缺陷有/无，抓、装配零件模式识别应用的一些例子（续）多媒体数据库检索Internet搜索Video clip Video生物特征识别身份鉴别 指纹、面 人的认证，（biometric）部、虹膜（iris）访问控制遥感农作物等的预测、预报多频谱图像地形地貌的分类，生长情况模式识别应用的一些例子（续）语音识别电话的自动应答，翻译机，人机通信语音波形语音的单字（词）计算机辅X光片维两正常/异常计算机辅助诊断X光片、CT、fMRI、ECG、EEG、机器故障一维、两维信号正常/异常31.2 模式的描述方法 模式的描述方法：模式的描述方法：模式就是用它们所具有的特征描述的。对一种模式与它们的样本来说，将描

6、述它们的所种模式样本来说将所有特征用一特征集表示:一种是对事物的属性进行度量，属于定量的表示方法。一般用向量表示，该向量称为特征向量特征向量 另一种则是对事物所包含的成分进行分析，称为定性的描述或结构性描述。1.3 模式识别系统车牌识别的例子模式识别系统信息获取预处理特征提取与选择分类器设计、训练分类决策 在解决不同的具体问题时，要根据该问题的性质，确定传感器、预处理、特征提取和分类的算法。特征提取与选择：应区分能力强、特征数较少。运用先验知识。由测量仪器或传感器获得的数据组成的空间由测量仪器或传感器获得的数据组成的空间叫测量空间 待识别的样本及模式都是用特征进行描述的，识别与训练都是在特征空

7、间中进行的 特征的选择与提取模块的功能是：对所获取的信息实现从测量空间到特征空间的转换4分类器设计：采用何种分类方法？分类决策过程是指分类器在分界形式及其具体参数都确定后，对待分类样本进行分类决策的过程。行分类决策的程1.4 有关模式识别的若干问题有关模式识别的若干问题 学习：确定分类决策的具体数学公式是通过分类器设计这个过程确定的。在模式识别学科中一般把这个过程称为训练式识别学科中般把这个过程称为训练与学习的过程。模式的紧致性 两类在空间分布的三种状况通常称处于两类的边界上的点为临界点，它们略一改变就会改变它们的类别，跨过边界去。那些非临界点则称为集合的内点，它们略有变化不会有类别变更的情况

8、发生 紧致集：临界点的数量与总的点数相比很少。集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点5 紧致集：临界点的数量与总的点数相比很少。集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点 紧致集：临界点的数量与总的点数相比很少。集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点 相似性度量：距离 相似性度量应是非负值 样本本身之间的相似性度量应为最大样本本身之间的相

9、似性度量应为最大 相似性度量应满足对称性1.5 常用的模式识别方法 模板匹配（template matching）统计的方法（statistical P.R.）人工神经网络的方法（artificial neural network,人神的方法,ANN）句法或结构的方法（syntactic or structural P.R.）这些方法不是绝对独立的，同一种方法有不同的解释，有时要混合使用。1.模板匹配 模式识别中使用最早、最简单、直观的方法 所谓匹配是一类运算，用来确定两个对象间的相似性。在模板匹配中，要有一个模板（一般是一个二维形状）或一个模式原型（prototype），待匹配的模式和这个预

10、先存储好的模板相匹配 模板匹配一般要花费较大的计算量，随着计算机速度的加快，这种方法变得更可行了2.统计模式识别 在统计模式识别中，每一模式是用一个d维的特征向量来表示的，它是d维特征空间的一个点。目标是选择这样的一些特征，使同一类的模式在空间中尽量紧凑，而不同类的模式间尽量分开、不相交。给定一组样本，模式识别的任务是要确定决策（分界）面、边界，以把不同的类分开。6 在统计决策理论的方法下，决策边界是根据模式的概率分布确定的。这些概率分布是事先知道，或通过学习估计得到。另外一种统计模式识别的工具是判别分析（discriminant analysis）析y这种方法是先假定决策边界的数学形式（一次

11、、二次），然后利用训练样本确定最好的边界（方程中的一些参数）。再一种方法是从样本中直接构造决策边界。如Vapnik的支撑向量机（support vector hiSVM）machine,SVM）推广（泛化，generalization）能力：如何使设计的分类器具有较好的推广能力？3.人工神经网络的方法 模拟人脑的计算。人工神经网络由大量简单的计算单元相 人工神经网络由大量简单的计算单元相互连接组成。人工神经网络的突出优点是它可以学习复杂的非线性输入输出关系（从样本序列中）尽管统计的方法和人工神经网络在基本原理上有很多不同，但它们在方法上是等价或相似的。4.句法或结构的方法 句法模式识别的方法来

12、源于这样的思想：复杂的模式是由简单的子模式组成的，而子模式又可能由更简单的子模式组成。而子模式又可能由更简单的子模式成 最简单的子模式称为基元（primitives），复杂模式就是由这些基元以及它们间的相互关系确定。7例：医疗诊断问题-心电图正常/异常 句法模式识别的方法来源于形式语言和自动机：模式句子，基元字母表，模式结构语法规则，模式分类语法分析。结构模式识别的优点是它的层次结构，用少量的基元和规则来描述物体。这种方法常用在有一定结构的模式上，例如心电图（ECG）、物体轮廓的分析上1.6.几个例子（字符识别）印刷体、手写体 通过OCR（Optical Character Recogniti

13、on）等设备获取字符的图像G1.字符识别特征：每一个区域中，属于字符部分的面积占该区域面积的比例。2524210.07.01.00MM=特征空间特征向量8统计性、紧致性与可分性 模式不是确定性的，具有一定的统计分布。假设同一类别的样本在特征空间中较为假设同类别的样本在特征空间中较为相近，而与其他类别的样本分得较开。此即紧致性假设。分类区域、形式R1R2R3R3RR1RR1R3线性（或分段线性）二次的R2R2一般的R4小结：模式可以用多维向量空间中的一个矢量（一个点）来表示。要用到线性代数等工具。具 模式不是确定性的，而是具有统计分布。要用到概率论与数理统计等工具。分类就是要把特征空间划分为一些

14、区域，不相交，类间不重迭。2.两类字符识别10000.3.字符所覆盖面积特征向量 3.8 1=y0原始特征向量:000.6.字符所覆盖面积特征向量 1.9 1=y作直方图，可以得到“0”和“1”的分布分界面的确定:使错误率最小小结：分析要用概率和统计的方法带有概率的性质不能准确地描述模式不是确定性的 设计分类器时不是要求没有错分类的，而是在一定意义下使错误率最小 下面我们再看一个稍微复杂的问题分析要用概率和统计的方法93.三类字符识别-除了“0”、“1”之外，还要识别“x”10X一个特征（占的总面积）就不够了。“0”、“x”的覆盖面积近似相等。加上另一特征（对角线上1、7、13、19、25面积

15、之和）10X分类规则：if()1 93yy121+else()33yy221x+()03特征提取 两类字符识别：从25维原始特征1维的特征矢量三类字符识别从25维原始特征2维的 三类字符识别：从25维原始特征2维的特征矢量 特征提取：对原始特征进行变换，得到对给定分类问题更有效的新特征，并实现降维。例子小结：通过上面几个例子，我们接触到了如下几个重要概念：特征向量，特征空间，特征提取 分类决特征向量，特征空间，特征提取,分类决策 也看到了一个模式识别系统的基本工作过程。本章小结 介绍了模式模式识别的一些基本概念。10学习）教师聚类（无监督学习）教师分类（有监督)()(考试集（测试集）训练集测量向量测量空间特征向量，特征空间测量向量，测量空间决策边界决策区域分类器 模式识别的一些常用方法：统计模式识别模板匹配人工神经网络句法或结构模式识别统计模式识别