贝叶斯决策分类.pptx

《贝叶斯决策分类.pptx》由会员分享，可在线阅读，更多相关《贝叶斯决策分类.pptx（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1 （5）特征向量 的后验概率为 ，表示在特征向量 出现的条件下，样本 来自 类的概率，即 类出现的概率。模式识别就是根据特征向量 的取值，依据某个判决准则把样本 划分到 中的一个。2.2 基于最小错误率的贝叶斯决策 在模式分类问题中，人们往往希望尽量减少分类的错误，从这样的要求出发，利用概率论中的贝叶斯公式，就能得出使错误率最小的分类规则，称之为基于最小错误率的贝叶斯决策。讨论一般问题之前，先举个例子说明解决问题的过程癌细胞的识别：假设每个要识别的细胞已做过预处理，抽取出d个表示细胞基本特性的特征，成立一个d维空间的向量 ，识别的目的是要将 分类为正常细胞或者异常细胞。用决策论的术语来讲是将

2、 归类于两种可能的自然状态之一，如果用 来表示状态，则 表示正常；表示异常第1页/共22页2 类别的状态是一个随机变量，某种状态出现的概率是否可以估计？（如根据医院细胞病理检查的大量统计资料可对某个地区正常细胞和异常细胞出现的比例做出估计）对于两类问题 如不作细胞特征的仔细观测，只依靠先验概率 去做决策，如何做？（若 ，被识别细胞应属于哪一类？）只依靠先验概率分类，不能把正常细胞和异常细胞区别开来。因为先验概率提供的信息太少。为此，我们需对细胞做病理分析，抽取出d维观测向量。假定只用一个特征（如细胞核光密度）进行分类，即d1。根据前面的假设，类别条件概率分布应为已知，假设如图所示：先验概率第2

3、页/共22页3利用贝叶斯公式，有得到的条件概率 称为状态的后验概率。贝叶斯公式实质上是通过观察 （即被识别细胞特征的测量）把状态的先验概率 转化成状态的后验概率 ，这样基于最小错误率的贝叶斯决策规则为：如果 ，则把 归类于正常状态 ，反之若 ，则把 归类于异常状态 。后验概率第3页/共22页4 上面的规则可简写为：利用贝叶斯公式还可得到几种最小错误率决策的等价形式：似然比似然比阈值第4页/共22页5还可利用其它几个等价形式做出决策，同学们自己试试。第5页/共22页6 我们在前面只是给出了最小错误率贝叶斯决策规则，但尚未证明按这种规则进行分类确实能使错误率最小。现在仅以一维情况来完成这一证明，其

4、结果不难推广到多维。第6页/共22页7 最小错误率贝叶斯决策规则实际上是对每个 都使 取小者，这就使上式的积分值也必然达到最小，即使平均错误率 达到最小。得证。第7页/共22页82.2 基于最小风险的贝叶斯决策 在模式分类的决策中，使错误率 达到最小是重要的。但实际上有时需要考虑一个比错误率更为广泛的概念风险。以癌细胞识别为例，对细胞分类不仅要考虑到尽可能作出正确判断，还要考虑作出错误判断时会带来什么后果。把正常细胞判为异常 后果：会给病人带来精神负担 把异常细胞判为正常 后果：会让患者错过进一步检查的机会哪种后果严重？最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的。设样本 来自 ，可

5、能被判为 中的一种。为表述方便，引入以下符号：（1）决策 ：将样本 的类别判为第j类；（2）损失函数 ：对真实类别为第i类的样本采取决策 所带来的损失。第8页/共22页9 在实际应用时，可以将 简写为 ，写成损失矩阵形式，对于给定类 的样本，正确判断时的代价函数应该是最小的，即当样本 的真实类别未知时，决策 的条件风险是对 为所有可能的真实类别条件下将样本判为第j类的代价求平均，即与最小错误率贝叶斯决策规则类似，若对每一个 都选择最小的条件风险，就能保证总体风险最小，因此得到最小风险贝叶斯决策规则如下：第9页/共22页10最小风险贝叶斯决策规则 如果 ，则判决 。对于两类问题，条件风险为按最小

6、风险贝叶斯决策规则有根据贝叶斯公式，上式有几种等价形式第10页/共22页11损失函数根据实际问题和经验确定。在最小风险贝叶斯决策中，若将损失函数取为则这种损失函数称为01损失函数。此时，决策 的条件风险为：由上式可以看出，取 最小实际就是取 最大，因此当取01损失函数时，最小风险贝叶斯决策规则等价于最小错误率贝叶斯决策规则。这说明：最小错误率贝叶斯决策规则是最小风险贝叶斯决策规则的特例。第11页/共22页12例：假设在某个局部地区的细胞识别中，第一类表示正常，第二类表示异常，两类的先验概率分别为：正常 ，异常 。现有一待识别样本细胞，其观察值为 ，从类条件概率密度函数曲线 上查得：，并已知损失

7、矩阵为 。试判断该细胞是否正常。同学们先自己做一下。第12页/共22页13解：根据最小风险贝叶斯决策规则进行判断，可以求出所以，应将细胞样本判为第二类，即为异常。第13页/共22页142.3 聂曼皮尔逊（NeymanPearson）决策法 在两类别决策问题中，有犯两种错误的可能性：一种是在采取决策 时其实际自然状态为 ；一种是在采取决策 时其实际自然状态为 。如前面所讲，这两种错误的概率分别为 和 ，最小错误率贝叶斯决策就是使这两种错误率之和 为最小。边界面第14页/共22页15由于先验概率 ，对具体问题来说往往是确定的，所以一般称 ，为两类错误率。实际中，有时要求限制其中某一类错误率不得大于

8、某个常数，而使另一类错误率尽可能地小。例如，在癌细胞识别中，我们已经认识到把异常判断为正常地损失更为严重，所以希望这种误判的错误率 很小，即使 ，是一个很小的常数。在这种条件小再要求 尽可能地小。这样的决策可看成是在 的条件下，求 的条件极值问题。可用Lagrange乘子法来解决，建立数学模型为其中 是Lagrange乘子，目的是求 的极小值。第15页/共22页16将 和 代入上式可得将上式分别对 和 求导，令 及 ，有第16页/共22页17满足上面两式的最佳 值和边界面就能使 极小，此时的决策规则可以写为：或写为这种限定一类错误率为常数而使另一类错误率最小的决策规则就称为聂曼皮尔逊决策规则。

9、回顾以前学过的最小错误率贝叶斯决策规则以及最小风险贝叶斯决策规则可以看出它们都是以似然比为基础的，所不同的是所使用的阈值不同。第17页/共22页18 聂曼皮尔逊决策所使用的阈值是Lagrange乘子，它是下面两个方程的解由于 的作用主要是影响积分域，因此，根据上式求 的解析式很难，下面介绍一种实用的计算求解方法。根据上式，越大，越小，从而 也越小，即 是 的单调递减函数。给定一个 值，可求出一个 值，在计算的值足够多的情况下，可构成一个二维备查表。给定一个 后，可查表求得相应的 值，这种方法得到是计算解，其精度取决于二维表的制作精度。下面举例说明。第18页/共22页19例：两类二维正态分布模式的均值向量为 ，其协方差矩阵均为单位阵 ，即 。现确定 ，求聂曼皮尔逊判别阈值。解：因为所以 ，聂曼皮尔逊判决式可写为第19页/共22页20亦即对于给定的 ，可由下式计算第20页/共22页21对于不同的 值，可以算出 值，可多次计算得下表由设定的 ，查上表可得 （近似）。此时，聂曼皮尔逊判别式为40.04620.08910.1590.50.2580.250.378第21页/共22页山东大学 控制科学与工程学院 22感谢您的观看。第22页/共22页