模式识别原理精选PPT.ppt
模式识别原理第1页，此课件共47页哦第三章 判别函数3.1 线性判别函数3.2 广义线性判别函数3.3 分段线性判别函数3.4 模式空间和权空间3.5 感知器算法3.6 采用感知器算法的多类模式的分类3.7 势函数法 一种确定性的非线性分类算法第2页，此课件共47页哦3.1 线性判别函数3.1.1 用判别函数分类的概念模式识别系统的主要作用判别各个模式所属的类别对一个两类问题的判别，就是将模式x划分成1和2两类。第3页，此课件共47页哦3.1 线性判别函数3.1.1 用判别函数分类的概念描述：两类问题的判别函数第4页，此课件共47页哦3.1 线性判别函数3.1.1 用判别函数分类的概念用判别函数进行模式分类依赖的两个因素（1）判别函数的几何性质：线性的和非线性的函数。线性的是一条直线；非线性的可以是曲线、折线等；线性判别函数建立起来比较简单（实际应用较多）；非线性判别函数建立起来比较复杂。（2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数。第5页，此课件共47页哦3.1 线性判别函数3.1.2 线性判别函数n维线性判别函数的一般形式权向量增广模式向量增广权向量分类问题两类情况：判别函数d(x)多类情况：设模式可分成1,2,M共M类，则有三种划分方法多类情况1多类情况2多类情况3第6页，此课件共47页哦3.1 线性判别函数3.1.2 线性判别函数分类问题多类情况1判别函数图例例子第7页，此课件共47页哦3.1 线性判别函数3.1.2 线性判别函数分类问题多类情况2判别函数图例例子第8页，此课件共47页哦3.1 线性判别函数3.1.2 线性判别函数分类问题多类情况3判别函数图例例子第9页，此课件共47页哦3.1 线性判别函数3.1.2 线性判别函数线性可分模式分类如可用任一个线性函数来划分，则这些模式就称为线性可分的，否则就是非线性可分的。一旦线性函数的系数wk被确定，这些函数就可用作模式分类的基础。第10页，此课件共47页哦3.1 线性判别函数3.1.2 线性判别函数多类情况1和多类情况2的比较对于M类模式的分类，多类情况1需要M个判别函数，而多类情况2需要M*(M-1)/2个判别函数，当M较大时，后者需要更多的判别式（这是多类情况2的一个缺点）。采用多类情况1时，每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开，而不是将一种类别的模式仅于另一种类别的模式分开。由于一种模式的分布要比M-1种模式的分布更为聚集，因此多类情况2对模式是线性可分的可能性比多类情况1更大一些（这是多类情况2的一个优点）。第11页，此课件共47页哦作业（1）在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？第12页，此课件共47页哦作业（2）一个三类问题，其判别函数如下：d1(x)=-x1,d2(x)=x1+x2-1,d3(x)=x1-x2-11.设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。2.设为多类情况2，并使：d12(x)=d1(x),d13(x)=d2(x),d23(x)=d3(x)。绘出其判别界面和多类情况2的区域。3.设d1(x),d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。第13页，此课件共47页哦3.2 广义线性判别函数出发点线性判别函数简单，容易实现；非线性判别函数复杂，不容易实现；若能将非线性判别函数转换为线性判别函数，则有利于模式分类的实现。第14页，此课件共47页哦3.2 广义线性判别函数基本思想设有一个训练用的模式集x，在模式空间x中线性不可分，但在模式空间x*中线性可分，其中x*的各个分量是x的单值实函数，x*的维数k高于x的维数n，即若取x*=(f1(x),f2(x),.,fk(x),kn则分类界面在x*中是线性的，在x中是非线性的，此时只要将模式x进行非线性变换，使之变换后得到维数更高的模式x*，就可以用线性判别函数来进行分类。描述第15页，此课件共47页哦3.2 广义线性判别函数广义线性判别函数的意义线性的判别函数fi(x)选用二次多项式函数x是二维的情况x是n维的情况fi(x)选用r次多项式函数，x是n维的情况例子d(x)的总项数说明d(x)的项数随r和n的增加会迅速增大，即使原来模式x的维数不高，若采用次数r较高的多项式来变换，也会使变换后的模式x*的维数很高，给分类带来很大困难。实际情况可只取r=2，或只选多项式的一部分，例如r=2时只取二次项，略去一次项，以减少x*的维数。第16页，此课件共47页哦3.2 广义线性判别函数例子：一维样本空间-二维样本空间第17页，此课件共47页哦3.3 分段线性判别函数出发点线性判别函数在进行分类决策时是最简单有效的，但在实际应用中，常常会出现不能用线性判别函数直接进行分类的情况。采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。引入分段线性判别函数的判别过程，它比一般的线性判别函数的错误率小，但又比非线性判别函数简单。第18页，此课件共47页哦3.3 分段线性判别函数图例：用判别函数分类可用一个二次判别函数来分类也可用一个分段线性判别函数来逼近这个二次曲线第19页，此课件共47页哦3.3 分段线性判别函数分段线性判别函数的设计采用最小距离分类的方法最小距离分类第20页，此课件共47页哦3.3 分段线性判别函数图例：分段线性分类设计第21页，此课件共47页哦3.4 模式空间和权空间分类描述模式空间对一个线性方程w1x1+w2x2+w3x3=0，它在三维空间(x1 x2 x3)中是一个平面方程式，w=(w1 w2 w3)T是方程的系数。把w向量作为该平面的法线向量，则该线性方程决定的平面通过原点且与w垂直。第22页，此课件共47页哦3.4 模式空间和权空间模式空间若x是二维的增广向量，此时x3=1，则在非增广的模式空间中即为x1,x2 二维坐标，判别函数是下列联立方程的解 w1x1+w2x2+w3=0 x3=1即为这两个平面相交的直线AB此时，w=(w1 w2)T为非增广的权向量，它与直线AB垂直；AB将平面分为正、负两侧，w离开直线的一侧为正，w射向直线的一侧为负。第23页，此课件共47页哦3.4 模式空间和权空间模式空间(a)增广向量决定的平面(b)非增广向量决定的直线第24页，此课件共47页哦3.4 模式空间和权空间权空间若将方程x1w1+x2w2+w3=0绘在权向量w=(w1 w2 w3)T的三维空间中，则x=(x1 x2 1)T为方程的系数。若以x向量作为法线向量，则该线性方程所决定的平面为通过原点且与法线向量垂直的平面，它同样将权空间划分为正、负两边。在系数x不变的条件下，若w值落在法线向量离开平面的一边，则wTx0，若w值落在法线向量射向平面的一边，则wTx 0，或当xk+1属于2时，Kk(xk+1)0，则积累位势不做任何修改就可用作判别函数。由于一个模式样本的错误分类可造成积累位势在训练时的变化，因此势函数算法提供了确定1和2两类判别函数的迭代过程。判别函数表达式第40页，此课件共47页哦3.7 势函数法 一种确定性的非线性分类方法3.7.2 势函数的选择选择势函数的条件：一般来说，若两个n维向量x和xk的函数K(x,xk)同时满足下列三个条件，则可作为势函数。K(x,xk)=K(xk,x)，并且当且仅当x=xk时达到最大值；当向量x与xk的距离趋于无穷时，K(x,xk)趋于零；K(x,xk)是光滑函数，且是x与xk之间距离的单调下降函数。第41页，此课件共47页哦3.7 势函数法 一种确定性的非线性分类方法3.7.2 势函数的选择构成势函数的两种方式第一类势函数第二类势函数第42页，此课件共47页哦3.7 势函数法 一种确定性的非线性分类方法3.7.2 势函数的选择例1第43页，此课件共47页哦3.7 势函数法 一种确定性的非线性分类方法3.7.2 势函数的选择例2第44页，此课件共47页哦3.7 势函数法 一种确定性的非线性分类方法3.7.2 势函数的选择讨论用第二类势函数，当训练样本维数和数目都较高时，需要计算和存储的指数项较多。正因为势函数由许多新项组成，因此有很强的分类能力。第45页，此课件共47页哦作业（1）用二次埃尔米特多项式的势函数算法求解以下模式的分类问题1:(0 1)T,(0-1)T2:(1 0)T,(-1 0)T第46页，此课件共47页哦作业（2）用下列势函数 求解以下模式的分类问题1:(0 1)T,(0-1)T2:(1 0)T,(-1 0)T第47页，此课件共47页哦
