第2章 随机模式的分类方法1优秀PPT.ppt

《第2章 随机模式的分类方法1优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第2章 随机模式的分类方法1优秀PPT.ppt（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第2章章 随机模式的分随机模式的分类方法方法1现在学习的是第1页，共38页Made in CV&PRLab of Shandong University 目目 录录2.1 引言引言12.2 最小错误率判决规则（最简单的最小错误率判决规则（最简单的Bayes分类方法）分类方法）22.3 最小风险判决规则最小风险判决规则32.4 最大似然比判决规则最大似然比判决规则42.5 Neyman-Pearsen判决规则判决规则-有时不知道先验概率，仅知道类概率密度有时不知道先验概率，仅知道类概率密度52.6 最小最大判决规则最小最大判决规则-先验概率是变化的先验概率是变化的62.7 分类器设计分类器设计

2、6现在学习的是第2页，共38页Made in CV&PRLab of Shandong University2.1 引言引言随机模式随机模式 在可以觉察到的客观世界中，存在着大量的物体和事件，他们在基本条件不变时，具有在可以觉察到的客观世界中，存在着大量的物体和事件，他们在基本条件不变时，具有某种不确定性，每一次观测的结果没有重复性，这种模式就是随机模式。某种不确定性，每一次观测的结果没有重复性，这种模式就是随机模式。虽然随机模式样本测量值具有不确定性，但同类抽样实验的大量样本的观测值具有某种统计特性，这虽然随机模式样本测量值具有不确定性，但同类抽样实验的大量样本的观测值具有某种统计特性，这个

3、统计特性是建立各种分类方法的基本依据。个统计特性是建立各种分类方法的基本依据。先看一下确定性模式判决函数的问题。先看一下确定性模式判决函数的问题。现在学习的是第3页，共38页Made in CV&PRLab of Shandong University2.1 引言引言 通过判决函数，特征空间通过判决函数，特征空间被区分界面划分成两种类型的区域被区分界面划分成两种类型的区域A和和B。由于模式样。由于模式样本的观测值是确定性的，经常被正确分配到类型本的观测值是确定性的，经常被正确分配到类型区域区域A、B之中。之中。假如我们用概率的形式来表达，就是：在类型假如我们用概率的形式来表达，就是：在类型A的

4、条的条件下观测模式样本件下观测模式样本x，则，则x位于区域位于区域A的概率为的概率为1，而位于区域而位于区域B的概率为的概率为0。同样，在类型同样，在类型B的条件下观测模式样本的条件下观测模式样本x，情况，情况正好相反，正好相反，x位于区域位于区域A的概率为的概率为0，而位于区域，而位于区域B的的概率为概率为1。这实际上是将概率的方法引入到确定模式，对。这实际上是将概率的方法引入到确定模式，对于大多数实际情况，这是非常理想的概率分布于大多数实际情况，这是非常理想的概率分布。现在学习的是第4页，共38页Made in CV&PRLab of Shandong University 许多实际情况，

5、即使在类型许多实际情况，即使在类型A的条件下，模式样本的条件下，模式样本x位于区域位于区域A的概率也往往小于的概率也往往小于1，而位于区，而位于区域域B的概率也不为的概率也不为0。对于类型。对于类型B的条件也一样。这种交错分布的样本使分类发生错误，是的条件也一样。这种交错分布的样本使分类发生错误，是模式随机性的一种表现。此时，分类方法就从确定性模式转到随机模式。模式随机性的一种表现。此时，分类方法就从确定性模式转到随机模式。“如何使分类错误率尽可能小，是研究各种分类方法的中心议题。”2.1 引言引言现在学习的是第5页，共38页Made in CV&PRLab of Shandong Unive

6、rsityBayes决策理论是随机模式分类方法最重要的基础。决策理论是随机模式分类方法最重要的基础。其中几个重要的概念：先验概率先验概率 先验概率是预先已知的或者可以估计的模式识别系统位于某种类型的概率。先验概率是预先已知的或者可以估计的模式识别系统位于某种类型的概率。类（条件）概率密度类（条件）概率密度 它是系统位于某种类型条件下，模式样本它是系统位于某种类型条件下，模式样本x出现的概率密度分布函数出现的概率密度分布函数 后验概率后验概率 后验概率可以根据贝叶斯公式计算出来，可直接用作分类判决的依据。后验概率可以根据贝叶斯公式计算出来，可直接用作分类判决的依据。2.1 引言引言现在学习的是第

7、6页，共38页Made in CV&PRLab of Shandong University1.先验概率先验概率 先验概率是预先已知的或者可以估计的模式识别系统位于某种类型的概率。先验概率是预先已知的或者可以估计的模式识别系统位于某种类型的概率。若仍然用两个类型若仍然用两个类型A和和B为例，可用为例，可用 和和 表示各自的先验概率，此时满足表示各自的先验概率，此时满足 。推广到一般的推广到一般的c类问题中，用类问题中，用 表示类型，则各自的先验概率用表示类型，则各自的先验概率用 表示，且满足：表示，且满足：其实，在处理实际问题时，有时不得不以先验概率的大小作为判决的依据。如：有一批木其实，在处

8、理实际问题时，有时不得不以先验概率的大小作为判决的依据。如：有一批木材，其中桦木占材，其中桦木占70，松木占，松木占30，A桦木，桦木，B松木，则，如果从中任取一块木材，松木，则，如果从中任取一块木材，而又要用先验概率作出判决，那就判为桦木。而又要用先验概率作出判决，那就判为桦木。先验概率不能作为判决的唯一依据，先验概率不能作为判决的唯一依据，但当先验概率相当大时，它也能成为主要因素。但当先验概率相当大时，它也能成为主要因素。2.1 引言引言现在学习的是第7页，共38页Made in CV&PRLab of Shandong University2.1 引言引言2类（条件）概率密度类（条件）概

9、率密度 它是系统位于某种类型条件下，模式样本x出现的概率密度分布函数，常用 ，以及 来表示。先验概率密度在分类方法中起至关重要的作用，它的函数形式及主要参数或者是已知的，或者是可通过大量抽样实验估计出来。3.后验概率后验概率 它是系统在某个具体的模式样本x条件下，位于某种类型的概率，常以 ，以及 表示。后验概率可以根据贝叶斯公式计算出来，可直接用作分类判决的依据。例如：一个2类问题，w1表示诊断为无癌症，w2诊断为有癌症。P(w1)表示诊断正常的概率，P(w2)表示某地区的人被诊断出患上癌症的概率，该值可以通过大量的统计得到，x表示“试验反应呈阳性”。那么，P(x|w1)表示诊断为无癌症且试验

10、反应为阳性，P(w1|x)表示试验为阳性，而且没有癌症。同样，可以有w2的类概率密度和后验概率。现在学习的是第8页，共38页Made in CV&PRLab of Shandong University2.2 最小错误率判决规则最小错误率判决规则（最简单的（最简单的Bayes分类方法）分类方法）分析一个分析一个“两类问题两类问题”。以上一个例子为例，用以上一个例子为例，用w1和和w2表示两种不同的类型，如表示两种不同的类型，如w1表示诊断正常，表示诊断正常，w2表示表示诊断出患有癌症。诊断出患有癌症。用用 和和 分别表示先验概率。如：分别表示先验概率。如：诊断正常的概率，诊断正常的概率，表示某

11、地表示某地人患癌症的概率，可通过大量的统计得到。人患癌症的概率，可通过大量的统计得到。用用 和和 表示两个类概率密度。表示两个类概率密度。样本x表示“试验反应阳性”，则 诊断为无癌症且试验反应为阳性，试验为阳性且没有癌症。根据全概率公式，模式样本x出现的全概率密度为：（2.21）根据Bayes公式，在模式样本x出现的条件下，两个类型的后验概率为：（2.22）现在学习的是第9页，共38页Made in CV&PRLab of Shandong University此时，样本归属于“后验概率较高”的那种类型。也就是：，则偶然决定，或（2.23），则，则根据（2.22）式，上述判决规则等价于：，则，

12、则（2.24），则偶然决定，或 上面只是给出了最小错误率贝叶斯决策规则，但没有证明按这种规则进行分类确实使错误率最小。2.2 最小错误率判决规则最小错误率判决规则现在学习的是第10页，共38页Made in CV&PRLab of Shandong University下面用一维情况来证明最小错误率贝叶斯决策规则，其结果不难推广到多维。如下图所示，在一维特征空间里，判决门限t把空间划分为两个类型区域R1，R2 在R1中，则在R2中，则；阴影区域是两类样本的交错分配区域，阴影面积就是这种分类方法的错误概率。2.2 最小错误率判决规则最小错误率判决规则现在学习的是第11页，共38页Made in

13、CV&PRLab of Shandong University总错误率有两种情况：，而判为，斜线区域。，而判为所以，总错误率：，纹线区域。其中，表示在整个d维特征空间上的积分。对上述两类问题：当时，则显然作出决策w2时，x的条件错误概率为，反之为。也就是：=2.2 最小错误率判决规则最小错误率判决规则现在学习的是第12页，共38页Made in CV&PRLab of Shandong University若令t为两类分界面，特征向量x为一维时，t为x轴上的一个点，如上图所示：也可写为：2.2 最小错误率判决规则最小错误率判决规则现在学习的是第13页，共38页Made in CV&PRLab

14、of Shandong University 所以要使 最小，判决门限应如上图所示，否则就会有多余的阴影面。而（2.2-3）、（2.2-4）表达的判决规则，判决门限正好如上图所示，所以称之为“最小错误概率判决规则”。2.2 最小错误率判决规则最小错误率判决规则现在学习的是第14页，共38页Made in CV&PRLab of Shandong University可以把上述两类问题导出的最小错误率判决规则一般化，推广到c类问题中，表达为：若：，则等价于：，则2.2 最小错误率判决规则最小错误率判决规则例1：为了对癌症进行诊断，对一批人进行一次普查，各每个人打试验针，观察反应，然后进行统计，规

15、律如下：这一批人中，每1000个人中有5个癌症病人；这一批人中，每100个正常人中有一个试验呈阳性反应；这一批人中，每100个癌症病人中有95人试验呈阳性反应。问：若某人（甲）呈阳性反应，甲是否正常？现在学习的是第15页，共38页Made in CV&PRLab of Shandong University2.2 最小错误率判决规则最小错误率判决规则解：假定x表示实验反应为阳性，(1)人分为两类：w1正常人，w2癌症患者，(2)由已知条件计算概率值：先验概率：类条件概率密度：(3)决策过程 由最小错误判决规则，可知：由于 比 大很多，所以先验概率起了较大作用。现在学习的是第16页，共38页Ma

16、de in CV&PRLab of Shandong University2.3 最小风险判决规则最小风险判决规则 最小风险判决规则也是一种Bayes分类方法。最小错误率判决规则没有考虑错误判决带来的“风险”，或者说没有考虑某种判决带来的损失。同一问题中，某种判决总会有一定的损失，特别是错误判决有风险。不同的错误判决有不同的风险，如上一节的例子中，判断细胞是否为癌细胞，可能有两种错误判决：正常细胞错判为癌细胞；癌细胞错判为正常细胞。两种错误带来的风险不同。在中，会给健康人带来不必要的精神负担，在中，会使患者失去进一步检查、治疗的机会，造成严重后果。显然，第种错误判决的风险大于第种。判决风险也可

17、以理解为判决损失，即使在正确判决的情况下，一般也会付出某种代价，也会有损失。正是由于有判决风险的存在，最小错误率判决就不够了，正是由于有判决风险的存在，最小错误率判决就不够了，必须引入最小风险判决规则必须引入最小风险判决规则。现在学习的是第17页，共38页Made in CV&PRLab of Shandong University假定有c类问题，用表示类型，用表示可能作出的判决。实际应用中，判决数a和类型数c可能相等，也可能不等，即允许除c类的c个决策之外，可以采用其它决策，如“拒绝”决策，此时。；对于给定的模式样本x，令表示而判决为的风险。若判决一定，对c个不同类型的，有c个不同的。2.3

18、 最小风险判决规则最小风险判决规则现在学习的是第18页，共38页Made in CV&PRLab of Shandong University维风险矩阵。的c个离散值随类型的性质变化，具有很大的随机性，可看成是随机变量。另外，由于判决数目有a个，这样对于不同的判决和不同类型就有一个一般风险矩阵2.3 最小风险判决规则最小风险判决规则现在学习的是第19页，共38页Made in CV&PRLab of Shandong University假定某样本x的后验概率已经确定，则有：，且，对于每一种判决，可求出随机变量 的条件平均风险，也叫“条件平均损失”：（2.3-1）最小风险判决规则就是把样本x归

19、属于“条件平均风险最小”的那一种判决。也就是：若，则(2.3-2)2.3 最小风险判决规则最小风险判决规则现在学习的是第20页，共38页Made in CV&PRLab of Shandong University实施最小风险判决规则的步骤如下：(1)在给定样本x条件下，计算各类后验概率，。(2)按照(2.3-1)式求各种判决的条件平均风险，为此，需要知道风险矩阵。(3)按照(2.3-2）式，比较各种判决的条件平均风险，把样本x归属于条件平均风险最小的那一种判决。2.3 最小风险判决规则最小风险判决规则现在学习的是第21页，共38页Made in CV&PRLab of Shandong Un

20、iversity2.3 最小风险判决规则最小风险判决规则和。解：从风险矩阵中得到：将例1中计算出的后验概率：代入2.3-1式：根据最小风险判决规则，即试验人属于癌症病人，与例1 的结论相反。例2：在例1的癌症诊断问题中，所有的化验结果可分为两类。w1正常，w2癌症。得到的判决也有两种现在学习的是第22页，共38页Made in CV&PRLab of Shandong University2.3 最小风险判决规则最小风险判决规则注意：实际工作中，列出合适的风险矩阵很不容易，要根据研究的具问题，分析错误决策造成损失的严重程度，与有关专家共同商讨决定。上面分析了两种决策规则，下面讨论它们之间的关系

21、：判决风险又叫判决损失，又叫损失函数。现假设正确判决损失为0，错误判决损失为1，且判决数目与类型数目相等。即有01损失函数：=0 1 (2.3-3)现在学习的是第23页，共38页Made in CV&PRLab of Shandong University2.3 最小风险判决规则最小风险判决规则代入式(2.3-1)，有：结果代入式(2.3-2)中，得到：若，则这就是最小错误率判决规则。结论：在01损失函数情况下，最小风险判决规则退化为最小错误率判决规则。也就是说，最小错误率判决规则是最小风险判决规则的一个特例。现在学习的是第24页，共38页Made in CV&PRLab of Shandon

22、g University2.4 最大似然比判决规则最大似然比判决规则0 类概率密度又称为“似然函数”，两个类概率密度之比称为“似然比函数”。最大似然比判决规则也是一种Bayes分类方法。描述：类型分别与其它类型的似然比均大于相应的门限值，分别与的似然比均小于相应的门限值，则样本。而其它类型（1）由最小错误率判决规则引出最大似然比判决规则（2）由最小风险判决规则引出最大似然比判决规则现在学习的是第25页，共38页Made in CV&PRLab of Shandong University2.4 最大似然比判决规则最大似然比判决规则0 （1）由最小错误率判决规则引出最大似然比判决规则若，最小错误

23、率判决规则：两边同时除以有：定义类型与的似然比为：(2.4-1)则判决门限为：(2.4-2)一般先验概率已知，也就已知了。现在学习的是第26页，共38页Made in CV&PRLab of Shandong University2.4 最大似然比判决规则最大似然比判决规则0 ，则，则(2.4-3)，则偶然决定或（2）由最小风险判决规则引出最大似然比判决规则若，有代入，有：即：所以“最小错误率判决规则”就变为：若：现在学习的是第27页，共38页Made in CV&PRLab of Shandong University2.4 最大似然比判决规则最大似然比判决规则0 又由Bayes公式：代入上

24、式：即：式中：(2.4-4)为判决门限。总结：最小风险判决引出的最大似然比判决与最小错误率判决引出的最大似然比判决的公式相同，只是判决门限 的计算公式不同。现在学习的是第28页，共38页Made in CV&PRLab of Shandong University2.4 最大似然比判决规则最大似然比判决规则0 同样：在(2.4-4)中取01损失函数，即：则(2.4-4)退化为(2.4-2)。在01损失函数情况下，最小风险判决退化为最小错误率判决。将上述讨论进一步推广，假定有c个类型，分别用表示，定义：，且(2.4-5)由最小错误率判决规则导出：0 若，则其中，(2.4-7)（2.4-6）现在学

25、习的是第29页，共38页Made in CV&PRLab of Shandong University2.4 最大似然比判决规则最大似然比判决规则由最小风险判决规则导出，对于2.4-6式，定义为：同样在01损失函数的情况下，(2.4-8)退化为(2.4-7)。(2.4-8)似然函数的性质：，因此，在c类问题中，若有一个则不可能再有另外的类型例3：对于前面的例1、2可以用上述办法求出。满足式(2.4-6)式。满足(2.4-6)式，现在学习的是第30页，共38页Made in CV&PRLab of Shandong University2.5 Neyman-Pearsen判决规则判决规则0 在两

26、类别决策问题中，有犯两种错误分类的可能性，一种是在采取决策时 ，其实际自然状态为 ；另一种是在采取决策时 ，其实际自然状态为 。，在实际应用中，有时不知道先验概率，仅知道类概率密度，应如何确定判决门限呢?假定在处理过程中，先验概率保证不变，这时可以使用聂曼皮尔逊(NeymanPearson)判决规则。两种错误的概率分别为：和 ，最小错误率Bayes决策是使这两种错误之和 最小。现在学习的是第31页，共38页Made in CV&PRLab of Shandong University2.5 Neyman-Pearsen判决规则判决规则0 在两类问题中，两类的类概率密度曲线如下图所示，假定判决门

27、限选为t，可能发生的两类分类错误与阴影区面积 和 成正比。聂曼皮尔逊判决规则的基本思想是：在一种错误率不变的条件下，使另一种错误率最小。现在学习的是第32页，共38页Made in CV&PRLab of Shandong University2.5 Neyman-Pearsen判决规则判决规则0 这是具有实际意义的，例如，在细胞的化验中，由于把异常细胞错判为正常细胞的风险较大，可以要求这种错判的错误率不大于某个指定的常数作为前提条件，使正常细胞错判为异常细胞的错误率尽可能小，以此为原则来选择判决门限t，这就是聂曼皮尔逊判决规则的基本思想。从上图可以看出：（2.5-1）（2.5-2）假定 不变

28、，为某个给定的正数，令：（2.5-3）现在学习的是第33页，共38页Made in CV&PRLab of Shandong University2.5 Neyman-Pearsen判决规则判决规则0 为了使 最小化，就要通过适当地选择某个正数 使 最小。把（2.5-4）式和（2.5-2）式代入（2.5-3）式，得到：（2.5-4）（2.5-5）（2.5-6）把（2.5-5）式和（2.5-1）式代入（2.5-3）式，得到：（2.5-7）0 若，则（2.5-8），则若 为了使 最小化，上两式中的被积函数最好为负数，从而得到聂曼皮尔逊判决规则为：现在学习的是第34页，共38页Made in CV&

29、PRLab of Shandong University2.5 Neyman-Pearsen判决规则判决规则显然正数是x的函数，根据上式，要求为：（2.5-9）为了最后确定各特征坐标上的门限值，还需要利用给定的正数由(2.5-2)式，并参考上图，得到：式中，表示函数的逆函数。，（2.5-10）例：两类的概率密度函数是正态的，两类的均值向量分别为和，协方差矩阵相等且为单位矩阵。给定，试确定N-P判决门限t。现在学习的是第35页，共38页Made in CV&PRLab of Shandong University2.5 Neyman-Pearsen判决规则判决规则0 解：根据给定的条件，很容易写

30、出两类的类概率密度函数，即：和。而，得到：故：，只是x1的函数，与x2无关。有现在学习的是第36页，共38页Made in CV&PRLab of Shandong University2.5 Neyman-Pearsen判决规则判决规则又的边缘密度为：对于给定的正数，可由下式计算：现在学习的是第37页，共38页Made in CV&PRLab of Shandong University2.5 Neyman-Pearsen判决规则判决规则0 显然，y是服从标准正态分布的随机变量，令则：与y1具有一一对应的关系，有表可查。当时，因此判决门限如上图所示。分区界线是的一条直线，对于样本的分类判决，只需考察特征。，则否则，x属于w2。，判决规则为，若：现在学习的是第38页，共38页