模式识别-贝叶斯决策理论和应用.pptx

《模式识别-贝叶斯决策理论和应用.pptx》由会员分享，可在线阅读，更多相关《模式识别-贝叶斯决策理论和应用.pptx（46页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、武汉大学电子信息学院第二章 贝叶斯决策理论模式识别理论及应用Pattern Recognition-Methods and Application内容目录第二章 贝叶斯决策理论 2.1 引言2134 2.2 基于判别函数的分类器设计2.3 基于最小错误率的Bayes决策2.4 基于最小风险的Bayes决策2.5 正态分布的最小错误率Bayes决策2.6 讨论56模式识别与神经网络2.1 引言数据获取数据获取预处理预处理特征提取特征提取与选择与选择分类决策分类决策分类器分类器设计设计信号空间特征空间3第二章 Bayes决策理论基本概念uu模式分类：根据识别对象的观测值确定其类别uu样本与样本空间

2、：uu类别与类别空间：c个类别（类别数已知）4第二章 Bayes决策理论决策uu把x分到哪一类最合理？分到哪一类最合理？理论基础之一是统计决策理论uu决策：是从样本空间S，到决策空间的一个映射，表示为 D:S-引言引言5第二章 Bayes决策理论决策准则引言引言uu评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。uuBayes决策常用的准则：最小错误率准则最小风险准则在限定一类错误率条件下使另一类错误率为最小的准则最小最大决策准则6第二章 Bayes决策理论2.2 基于判别函数的分类器设计uu判别函数(discriminant function)：相应于每一类

3、定义一个函数，得到一组判别函数gi(x),i=1,2,cuu决策区域与决策面(decision region/surface)：7第二章 Bayes决策理论8第二章 Bayes决策理论决策规则(decision rule)规则表达规则表达1 1规则表达规则表达2 29第二章 Bayes决策理论分类器设计uu分类器是某种由硬件或软件组成的“机器”：计算计算c c个判别函数个判别函数g gi i(x x)最大值选择最大值选择MAXMAXg g1 1.g g2 2g gc c.x1x2xna(x)判别判别函数函数uu多类识别问题的多类识别问题的BayesBayes最小错误率决策：最小错误率决策：g

4、gi i(x x)=)=P P(i i|x x)10第二章 Bayes决策理论2.3 Bayes最小错误率决策uu以两类分类问题为例：已知先验分布P(i i)和观测值的类条件分布p(x|i i)，i=1,2问题问题：对某个样本x，x 1 1?x 2 2？uu即选择P(1 1|x)，P(2 2|x)中最大值对应的类作为决策结果uu该决策使得在观测值x下的条件错误率P(e|x)最小。Bayes决策理论是最优的uu以后验概率为判决函数：uu决策规则：11第二章 Bayes决策理论后验概率P(i|x)的计算uuBayes公式：假设已知先验概率P(i i)和观测值的类条件分布p(x|i i)，i=1,2

5、最小错误率最小错误率决策决策12第二章 Bayes决策理论公式简化uu比较大小不需要计算p(x)：最小错误率最小错误率决策决策13第二章 Bayes决策理论公式简化uu对数域中计算，变乘为加：最小错误率最小错误率决策决策判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略14第二章 Bayes决策理论Bayes最小错误率决策例解uu两类细胞识别问题：正常(1 1)和异常(2 2)uu根据已有知识和经验，两类的先验概率为：正常正常(1 1)：P P(1 1)=0.9)=0.9异常异常(2 2)：P P(2 2)=0.1)=0.1对某一样本观察值对某一样本观察值x x，通过计算或查表得到：

6、，通过计算或查表得到：p p(x x|1 1)=0.2)=0.2，p p(x x|2 2)=0.4)=0.4uu如何对细胞x进行分类？最小错误率最小错误率决策决策15第二章 Bayes决策理论Bayes最小错误率决策例解（2）uu利用贝叶斯公式计算两类的后验概率：最小错误率最小错误率决策决策决策结果决策结果16第二章 Bayes决策理论图解最小错误率最小错误率决策决策p(x|1)p(x|2)p(1|x)p(2|x)类条件概率密度函数后验概率17第二章 Bayes决策理论决策的错误率uu条件错误率：最小错误率最小错误率决策决策（平均）错误率是条件错误率的数学期望uu（平均）错误率：18第二章 B

7、ayes决策理论决策的错误率（2）最小错误率最小错误率决策决策uu条件错误率P(e|x)的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定 x1 1，或者x2 2。uu条件错误率为：19第二章 Bayes决策理论决策的错误率（3）uuBayesBayes最小错误率决策最小错误率决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率最小。uuBayes决策是一致最优决策。最小错误率最小错误率决策决策20第二章 Bayes决策理论决策的错误率（4）uu设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点。两个决策区域:R1(-，t)和R2(t，+)最小错误率最小错误率决策

8、决策21第二章 Bayes决策理论22第二章 Bayes决策理论2.4 基于最小风险的Bayes决策uu决策的风险：做决策要考虑决策可能引起的损失。以医生根据白细胞浓度判断一个人是否患血液病为例：uu没病(1 1)被判为有病(2 2)，还可以做进一步检查，损失不大；uu有病(2 2)被判为无病(1 1)，损失严重。23第二章 Bayes决策理论损失矩阵u损失的定义：(N类问题)做出决策D(x)=i，但实际上 x j，受到的损失定义为：损失矩阵或决策表：最小风险最小风险决策决策24第二章 Bayes决策理论期望条件风险与期望风险uu期望条件风险：获得观测值x后，决策D(x)造成的损失对x实际所属

9、类别的各种可能的平均，称为条件风险R(D(x)|x)最小风险最小风险决策决策uu期望风险：条件风险对观测值x的数学期望25第二章 Bayes决策理论基于最小风险的Bayes决策uu基于最小风险的Bayes决策：决策带来的损失的（平均）风险最小uuBayes最小风险决策通过保证每个观测值下的条件风险最小，使得它的期望风险最小，是一致最优决策。最小风险最小风险决策决策决策规则：26第二章 Bayes决策理论最小风险决策的计算uu给定损失矩阵，算出每个决策的条件风险，取最小的。uu某些特殊问题，存在简单的解析表达式。最小风险最小风险决策决策27第二章 Bayes决策理论两类问题最小风险Bayes决策

10、最小风险最小风险决策决策uu用Bayes公式展开，最小风险Bayes决策得到：28第二章 Bayes决策理论Bayes最小风险决策例解uu两类细胞识别问题：正常(1 1)和异常(2 2)uu根据已有知识和经验，两类的先验概率为：正常正常(1 1)：P P(1 1)=0.9)=0.9异常异常(2 2)：P P(2 2)=0.1)=0.1对某一样本观察值对某一样本观察值x x，通过计算或查表得到：，通过计算或查表得到：p p(x x|1 1)=0.2)=0.2，p p(x x|2 2)=0.4)=0.41111=0=0，1212=6=6，2 21 1=1=1，2222=0=0，uu按最小风险决策如

11、何对细胞x进行分类？最小风险最小风险决策决策29第二章 Bayes决策理论Bayes最小风险决策例解（2）uu后验概率：P(1 1|x)=0.818，P(2 2|x)=0.182决策结果决策结果最小风险最小风险决策决策30第二章 Bayes决策理论最小风险决策的一般性uu基于最小错误率的Bayes决策可作为最小风险Bayes决策的一种特殊情形。uu只需要定义损失为：最小风险最小风险决策决策决策正确时，损失为0决策错误时，损失为131第二章 Bayes决策理论2.5 正态分布的最小错误率Bayes决策uuBayes决策中，类条件概率密度的选择要求：模型合理性模型合理性计算可行性计算可行性uu常用

12、概率密度模型：正态分布观测值通常是很多种因素共同作用的结果，根观测值通常是很多种因素共同作用的结果，根据中心极限定理，服从正态分布。据中心极限定理，服从正态分布。计算、分析最为简单的模型。计算、分析最为简单的模型。32第二章 Bayes决策理论一元正态分布正态分布正态分布BayesBayes决策决策uu一元正态分布及其两个重要参数：均值（中心）均值（中心）方差（分散度）方差（分散度）33第二章 Bayes决策理论多元正态分布uu观测向量：实际应用中，可以同时观测多个值，用向量表示。多元正态分布：正态分布正态分布BayesBayes决策决策34第二章 Bayes决策理论多元正态分布的性质uu参数

13、和完全决定分布uu不相关性等价于独立性uu边缘分布和条件分布的正态性uu线性变换的正态性uu线性组合的正态性正态分布正态分布BayesBayes决策决策35第二章 Bayes决策理论正态分布的最小错误率Bayes决策uu观测向量的类条件分观测向量的类条件分布服从正态分布：布服从正态分布：uu判别函数的计算：判别函数的计算：正态分布正态分布BayesBayes决策决策判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略36第二章 Bayes决策理论最小距离分类器与线性分类器uu第一种特例：uu判别函数的简化计算：判别函数的简化计算：正态分布正态分布BayesBayes决策决策最小距离分类

14、器最小距离分类器线性分类器线性分类器37第二章 Bayes决策理论最小距离分类器与线性分类器uu第二种特例：uu判别函数的简化计算：判别函数的简化计算：正态分布正态分布BayesBayes决策决策MahalanobisMahalanobis距离距离线性分类器线性分类器38第二章 Bayes决策理论正态模型的Bayes决策面uu两类问题正态模型的决策面：决策面方程：决策面方程：g g1 1(x x)=)=g g2 2(x x)两类的协方差矩阵相等，决策面是超平面。两类的协方差矩阵相等，决策面是超平面。两类的协方差矩阵不等，决策面是超二次曲面。两类的协方差矩阵不等，决策面是超二次曲面。正态分布正态

15、分布BayesBayes决策决策39第二章 Bayes决策理论正态模型的Bayes决策面正态分布正态分布BayesBayes决策决策40第二章 Bayes决策理论正态分布下的几种决策面的形式正态分布正态分布BayesBayes决策决策41第二章 Bayes决策理论正态分布的Bayes决策例解uu两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。uu根据医学知识和以往的经验，医生知道：患病的人，白细胞的浓度服从均值患病的人，白细胞的浓度服从均值20002000，方差，方差10001000的正态分布；未患病的人，白细胞的浓度的正态分布；未患病的人，白细胞的浓度服从均值服从均值

16、70007000，方差，方差30003000的正态分布；的正态分布；一般人群中，患病的人数比例为一般人群中，患病的人数比例为0.5%0.5%。一个人的白细胞浓度是一个人的白细胞浓度是31003100，医生应该做出怎，医生应该做出怎样的判断？样的判断？正态分布正态分布BayesBayes决策决策42第二章 Bayes决策理论uu数学表示：用表示“类别”这一随机变量，1 1表示患病，2 2表示不患病；x表示“白细胞浓度”这个随机变量。uu例子中，医生掌握的知识非常充分，他知道：1)1)类别的先验分布：类别的先验分布：P(P(1 1)=0.5%)=0.5%P(P(2 2)=99.5%)=99.5%先

17、验分布：没有获得观测数据（病人白细胞浓先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布度）之前类别的分布正态分布正态分布BayesBayes决策决策正态分布的Bayes决策例解43第二章 Bayes决策理论2)2)观测数据白细胞浓度分别在两种情况下的类条观测数据白细胞浓度分别在两种情况下的类条件分布：件分布：P(P(x x|1 1)N N(2000,1000)(2000,1000)P(P(x x|2 2)N N(7000,3000)(7000,3000)P(3100|P(3100|1 1)=2.1785e-004)=2.1785e-004P(3100|P(3100|2 2)=5.71

18、23e-005)=5.7123e-005P(P(1 1|3100)=1.9%|3100)=1.9%P(P(2 2|3100)=98.1%|3100)=98.1%uu医生的判断：正常正态分布正态分布BayesBayes决策决策正态分布的Bayes决策例解44第二章 Bayes决策理论2.6 讨论uu基于Bayes决策的最优分类器uuBayes决策的三个前提：类别数确定类别数确定各类的先验概率各类的先验概率P P(i i)已知已知各类的条件概率密度函数各类的条件概率密度函数p p(x x|i i)已知已知uu问题的转换：基于样本估计概率密度基于样本估计概率密度基于样本直接确定判别函数基于样本直接确定判别函数45第二章 Bayes决策理论习题1.1.试简述先验概率，类条件概率密度函数和后验概率等概念间的关系：2.2.试写出利用先验概率和分布密度函数计算后验概率的公式3.3.EX2.54.4.EX2.155.5.EX2.176.6.EX2.2346第二章 Bayes决策理论