模式识别导论二.pptx

《模式识别导论二.pptx》由会员分享，可在线阅读，更多相关《模式识别导论二.pptx（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1模式识别导论二模式识别导论二2023/5/2v假设对一模式X已抽取n个特征，表示为：v模式识别问题就是根据模式X的n个特征来判别模式属于1,2,m 类中的那一类。2-1 判别函数 第1页/共56页2023/5/2v例如下图：三类的分类问题，它们的边界线就是一个判别函数2.1 判别函数（续)第2页/共56页2023/5/2v判别函数包含两类：v一类 是线性判别函数：线性判别函数广义线性判别函数所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数分段线性判别函数v另一类是非线性判别函数2.1 判别函数（续）第3页/共56页2023/5/2 2-2 2-2 线性判别函数

2、线性判别函数线性判别函数线性判别函数vv我们现在对两类问题和多类问题分别进行讨论。我们现在对两类问题和多类问题分别进行讨论。vv(一一)两类问题两类问题 即即:vv vv1.1.二维情况二维情况 ：取两个特征向量：取两个特征向量vv 这种情况下这种情况下 判别函数判别函数:第4页/共56页2023/5/2v在两类别情况，判别函数 g(x)具有以下性质：v这是二维情况下判别由判别边界分类.v情况如图：1.二维情况第5页/共56页2023/5/22.n2.n维情况维情况维情况维情况vv现抽取现抽取n n个特征为：个特征为：vv判别函数：判别函数：vv另外一种表示方法：另外一种表示方法：第6页/共5

3、6页2023/5/2v模式分类：v当 g1(x)=WTX=0 为判别边界。当n=2时，二维情况的判别边界为一直线。当n=3时，判别边界为一平面，n3时，则判别边界为一超平面。2.n维情况第7页/共56页2023/5/2(二二二二)多类问题多类问题多类问题多类问题v对于多类问题，模式有 1,2,m 个类别。可分三种情况：1.第一种情况：每一模式类与其它模式类间可用单个判别平面把一个类分开。这种情况，M类可有M个判别函数，且具有以下性质：第8页/共56页2023/5/2v右图所示，每一类别可用单个判别边界与其它类别相分开。v如果一模式X属于1，则由图可清楚看出:这时g1(x)0而g2(x)0，g3

4、(x)0，g2(x)0，g3(x)0。则此模式X就无法作出确切的判决。如图中 IR1,IR3，IR4区域。v另一种情况是IR2区域，判别函数都为负值。IR1，IR2，IR3，IR4。都为不确 定区域。1.第一种情况（续）第13页/共56页2023/5/2vv问当问当x x=(=(x x1 1,x,x2 2)T T=(6,5)=(6,5)T T时属于那一类时属于那一类vv结论：结论：g g1 1(x x)0 0 0，g g3 3(x x)0 g2(x)和 g1(x)g3(x)。v假设判别函数为：v则判别边界为：3.第三种情况（续）第19页/共56页2023/5/2vv结论：不确定区间没有了，所以

5、这种是最好情况。结论：不确定区间没有了，所以这种是最好情况。v用上列方程组作图如下：3 3.第三种情况（续）第三种情况（续）第三种情况（续）第三种情况（续）第20页/共56页2023/5/2v问假设未知模式x=(x1,x2)T=(1,1)T，则x属于那一类。v把它代入判别函数：v得判别函数为：v因为v所以模式x=(1,1)T属于 类。3.第三种情况（续）第21页/共56页2023/5/22-3 2-3 线性判别函数的性质线性判别函数的性质线性判别函数的性质线性判别函数的性质vv1 1.模式空间与加权空间模式空间与加权空间vv模式空间：由模式空间：由 构成的构成的n n维欧氏空间。维欧氏空间。v

6、vWW是此空间的加权向量，它决定模式的分界面是此空间的加权向量，它决定模式的分界面H H，WW与与H H正交。正交。vv加权空间：以加权空间：以 为变量构成的欧氏空为变量构成的欧氏空间间vv模式空间与加权空间的几何表示如下图：模式空间与加权空间的几何表示如下图：第22页/共56页2023/5/2模式空间第23页/共56页2023/5/2第24页/共56页2023/5/21.模式空间与加权空间（续）第25页/共56页2023/5/2v该式表示一个通过加权空间原点的平面，此平面就是加权空间图中的平面,同样令g(x2)=g(x3)=g(x4)=0，分别作出通过加权空间原点的平面图中用阴影表示的部分是

7、各平面的正侧。v加权空间的构造：v设 是加权空间分界面上的一点，代入上式得：1.模式空间与加权空间第26页/共56页2023/5/2v这是一个不等式方程组，它的解 处于由1类所有模式决定的平面的正边和由2类所有模式决定的平面的负边，它的解区即为凸多面锥。v如图所示：(b)为加权空间，（c）为正规化后的加权空间。v由上可以得到结论：加权空间的所有分界面都通过坐标原点。这是加权空间的性质。v为了更清楚，下面用二维权空间来表示解向量和解区。1.模式空间与加权空间（续）第27页/共56页2023/5/2vv在三维空间里，令在三维空间里，令w w3 3 =0=0 则为二维权空间。如图：则为二维权空间。如

8、图：vv给定一个模式给定一个模式X X，就决定一条直线：就决定一条直线：vv即分界面即分界面H H，WW与与H H正交，正交，WW称为解向量。称为解向量。vv解向量的变动范围称为解区。解向量的变动范围称为解区。vv因因x x1 1,x x2 2 1 1，x x3 3,x x4 4 2 2由图可见由图可见x x1 1,x x3 3离的最近，所以离的最近，所以分界面分界面H H可以是可以是x x1 1,x x3 3之间的任一直线，由垂直于这些之间的任一直线，由垂直于这些直线的直线的WW就构成解区，解区为一扇形平面，即阴影就构成解区，解区为一扇形平面，即阴影区域。区域。vv如右图如右图:2.解向量和

9、解区第28页/共56页2023/5/2v把不等式方程正规化：v正规化：2.解向量的解区（续）第29页/共56页2023/5/2vvg g(x x)=W=WT TX=0X=0决定一个决策界面决定一个决策界面，当当g g(x x)为线性时，为线性时，这个决策界面便是一个超平面这个决策界面便是一个超平面HH，并有以下性质：并有以下性质：vv性质性质：WW与与HH正交（如图所示）正交（如图所示）vv假设假设x x1,1,x x2 2是是HH上的两个向量上的两个向量vv所以所以 vvWW 与与(x x1 1-x-x2 2)垂直，即垂直，即WW与与HH正交。正交。vv一般说，超平面一般说，超平面HH把特征

10、空间分成两个半空间。把特征空间分成两个半空间。即即 1,1,2 2空间，当空间，当x x在在 1 1空间时空间时g g(x x)0)0,WW指向指向 1 1，为为HH的正侧，反之为的正侧，反之为HH的负侧的负侧.3.超平面的几何性质第30页/共56页2023/5/212g(x)0g(x)03.超平面的几何性质第31页/共56页2023/5/2v 矢量到H的正交投影 与 值成正比v其中：x p：x在H 的投影向量，vr是x 到H 的垂直距离。v 是W方向的单位向量。3.超平面的几何性质（续）v性质：第32页/共56页2023/5/2v另一方面:3.超平面的几何性质（续）v这是超平面的第二个性质，

11、矢量x到超平面的正交投影 正比与g(x)的函数值。第33页/共56页2023/5/2v性质：3.超平面的几何性质（续）第34页/共56页2023/5/2v性质：3.超平面的几何性质（续）第35页/共56页2023/5/2v一组模式样本不一定是线性可分的，所以需要研究线性分类能力的方法，对任何容量为N的样本集，线性可分的概率多大呢？v（如下图（a），线性不可分）v例：4个样本有几种分法。v图（b）直线把x1分开，每条直线可把4个样本分成1 2 类，4个样本分成二类的总的可能的分法为24=16类，其中有二种是不能用线性分类实现的线性可分的是14。即概率为14/16。4.二分法能力（a）x1x2x3

12、x4 （b）第36页/共56页2023/5/2v结论：N个样品线性可分数目(条件：样本分布良好）：4.二分法能力（续）v对N和n各种组合的D(N,n)值，表示在下表中，从表中可看出，当N，n缓慢增加时D(N,n)却增加很快。第37页/共56页2023/5/212345612222222444444368888848141616161651022303232324.二分法能力（续）v线性可分概率：第38页/共56页2023/5/2v把上式用曲线表示成下图：图中横坐标用=N/n+1表示。v由图讨论：4.二分法能力（续）第39页/共56页2023/5/2v结论：在实际工作中，分类的训练非常重要，由已

13、知样本来训练。因为已知样本有限，而未知样本无限。选择已知类别的训练样本数方法如下：4.二分法能力（续）第40页/共56页2023/5/2v：如果训练样本N N0，设计分类器的分类能力太差，因为训练样本太少。v：如果训练样本N太多时，则样本太多，运算量、存储量太大。v：因此实际工作中应该取：n4.二分法能力（续）第41页/共56页2023/5/22-4 2-4 广义线性判别函数广义线性判别函数广义线性判别函数广义线性判别函数v这样一个非线性判别函数通过映射，变换成线性判别函数。v判别函数的一般形式：第42页/共56页2023/5/22-4 广义线性判别函数（续）v例：如右图。第43页/共56页2

14、023/5/22-4 广义线性判别函数（续）v要用二次判别函数才可把二类分开：212第44页/共56页2023/5/22-4 广义线性判别函数（续）v从图可以看出：在阴影上面是1类，在阴影下面是2类，v结论：在X空间的非线性判别函数通过变换到Y空间成为线性的，但X变为高维空间212第45页/共56页2023/5/2vv1.1.分段线性判别函数分段线性判别函数分段线性判别函数分段线性判别函数（用线性无法分开（用线性无法分开,可用分段线性可用分段线性判别函数判别函数）、基于距离的分段线性判别函数基于距离的分段线性判别函数基于距离的分段线性判别函数基于距离的分段线性判别函数。（用均值代表一（用均值代

15、表一类，通过均值连线中点的垂直线分开）类，通过均值连线中点的垂直线分开）把把i i类可以分成类可以分成l li i个子类个子类:分成分成l l个子类。个子类。现在定义子类判别函数：现在定义子类判别函数：在同类的子类中找最近的均值。在同类的子类中找最近的均值。判别规则：判别规则：这是在这是在MM类中找最近均值。则把类中找最近均值。则把x x归于归于 j j类完成分类完成分类。类。2-5 非线性判别函数第46页/共56页2023/5/22-5 非线性判别函数（续）v例：未知x,如图：v先与1类各子类的均值比较，即 ，找一个最近的 与2各子类均值比较取最近的 因g2(x)g1(x)，所以x2类。第4

16、7页/共56页2023/5/2v设 1,2,mv而每一类又可以分为 子类。v对每个子类定义一个线性判别函数为：v则定义i类的线性判别函数为：、基于函数的分段线性判别函数基于函数的分段线性判别函数 利用均值代表一类有时有局限性，如图所示。若用利用均值代表一类有时有局限性，如图所示。若用 线性判别函数代表一类，就会克服上述情况。线性判别函数代表一类，就会克服上述情况。1.分段线性判别函数第48页/共56页2023/5/2v在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi(x),i=1,2,.M,因此，决策规则：v对未知模式x，把x先代入每类的各子类的判别函数中，找出一个

17、最大的子类判别函数，M类有M个最大子类判别函数，在M个子类最大判别函数中，再找一个最大的，则x就属于最大的子类判别函数所属的那一类。1.分段线性判别函数（续）第49页/共56页2023/5/2、基于凹函数的并分段线性判别函数（针对多峰情况）基于凹函数的并分段线性判别函数（针对多峰情况）设设l li i子类判别函数，子类判别函数，i i=1,2,.r=1,2,.r则分段线性判别函数有如则分段线性判别函数有如下特性：下特性：1.分段线性判别函数（续）v(a)：l1,l2,lr都是分段线性判别函数v(b)：若A,B都是分段线性判别函数，则：AB，AB也是分段线性判别函数。AB取最小，AB取最大。v(

18、c)：对任何分段线性函数都可以表示成如下二种形式：v1)、析取范式(这是经常采用的形式)P=(L11L12L1m)(Lq1Lq2Lqm)v2)、合取范式Q=(L11 L12 L1m)(Lq1 Lq2 Lqm)v每个(L11 L12 L1m)都称为凹函数。第50页/共56页2023/5/21.分段线性判别函数（续）v对于多峰二类问题：设第一类有q个峰，则有q个凹函数。v即P=P1P2Pqv每个凹函数Pi由m 个线性判别函数来构成。vPi=Li1Li2Limv假设对于每个子类线性判别函数Lij都设计成：第51页/共56页2023/5/2vv例、设如图1.分段线性判别函数（续）P=(L11L12 L13 L14 L15)(L21L22 L23 L24)(L31L32 L33 L34)第52页/共56页2023/5/22.二次判别函数v二次判别函数一般可表示成：第53页/共56页2023/5/22.二次判别函数(续)第54页/共56页2023/5/22.二次判别函数(续)v关于二次判别函数，我们将在贝叶斯分类器中详细论述。第55页/共56页