模式识别贝叶斯决策理论.ppt

《模式识别贝叶斯决策理论.ppt》由会员分享，可在线阅读，更多相关《模式识别贝叶斯决策理论.ppt（57页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、模式识别贝叶斯决策理论现在学习的是第1页，共57页对x再观察：有细胞光密度特征,有类条件概率密度:P(x/)=1,2,。如图所示利用贝叶斯公式利用贝叶斯公式：通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。第四章第四章 贝叶斯决策理论贝叶斯决策理论4-1 Bayes分类器分类器最优分类器、最佳分类器一、两类问题例如：细胞识别问题 1正常细胞，2异常细胞某地区，经大量统计获先验概率P(1),P(2)。若取该地区某人细胞x属何种细胞，只能由 先验概率决定。现在学习的是第2页，共57页设N个样本分为两类1，2。每个样本抽出n个特征，x=（x1，x2，x3，

2、xn）T通过 对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别 。1、判别函数：若已知先验概率P(1),P(2)，类条件概率密度P(x/1)，P(x/2)。则可得贝叶斯判别函数四种形式：现在学习的是第3页，共57页2、决策规则：现在学习的是第4页，共57页 3、决策面方程：x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。例例：某地区细胞识别；P(1)=0.9，P(2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到：解解：该细胞属于正常细胞还是异常细胞，先计算后验概率：P(x/1)=0.2，P(x/

3、2)=0.4现在学习的是第5页，共57页g(x)阈值单元 4、分类器设计：现在学习的是第6页，共57页二、多类情况：=(1,2,m)，x=(x1,x2,xn)1.判别函数：M类有M个判别函数g1(x),g2(x),gm(x).每个判别函数有上面的四种形式。2.决策规则：另一种形式：3、决策面方程：4、分类器设计：g1(x)Maxg(x)g2(x)gn(x)现在学习的是第7页，共57页v4-2 正态分布决策理论正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布：a、正态分布在物理上是合理的、广泛的。b、正态分布数学上简单，N(,)只有均值和方差两个参数。2、单变量正态分布：现在学习的

4、是第8页，共57页3、（多变量）多维正态分布 （1）函数形式：现在学习的是第9页，共57页(2)、性质：、与对分布起决定作用P()=N(,),由n个分量组成，由n(n+1)/2元素组成。多维正态分布由n+n(n+1)/2个参数组成。、等密度点的轨迹是一个超椭球面。区域中心由决定，区域形状由决定。、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。、线性组合的正态性。现在学习的是第10页，共57页判别函数：类条件概率密度用正态来表示：二、最小错误率(Bayes)分类器：从最小错误率这个角度来分析Bay

5、es 分类器 1.第一种情况：第一种情况：各个特征统计独立，且同方差情况。(最简单情况)决策面方程：现在学习的是第11页，共57页 判别函数：最小距离分类器：未知x与i相减，找最近的i把x归类v如果M类先验概率相等：现在学习的是第12页，共57页现在学习的是第13页，共57页讨论：现在学习的是第14页，共57页未知x，把x与各类均值相减，把x归于最近一类。最小距离分类器。2、第二种情况：、第二种情况：i 相等，即各类协方差相等。现在学习的是第15页，共57页现在学习的是第16页，共57页讨论：针对1，2二类情况，如图：现在学习的是第17页，共57页3、第三种情况、第三种情况(一般情况)：为任意

6、，各类协方差矩阵不等，二次项xT x与i有关。所以判别函数为二次型函数。现在学习的是第18页，共57页现在学习的是第19页，共57页v4-3 关于分类器的错误率分析关于分类器的错误率分析 1、一般错误率分析、一般错误率分析：现在学习的是第20页，共57页2、正态分布最小错误率、正态分布最小错误率(在正态分布情况下求最小错误率)现在学习的是第21页，共57页现在学习的是第22页，共57页v4-4 最小风险最小风险Bayes分类器分类器假定要判断某人是正常(1)还是肺病患者(2),于是在判断中可能出现以下情况：第一类，判对(正常正常)11；第二类，判错(正常肺病)21；第三类，判对(肺病肺病)22

7、；第四类，判错(肺病正常)12。在判断时，除了能做出“是”i类或“不是”i类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念：现在学习的是第23页，共57页在整个特征空间中定义期望风险,期望风险：行动i：表示把模式x判决为i类的一次动作。损耗函数ii=(i/i)表示模式X本来属于i类而错判为i所受损失。因为这是正确判决，故损失最小。损耗函数ij=(i/j)表示模式X本来属于j类错判为i所受损失。因为这是错误判决，故损失最大。风险R（期望损失）：对未知x采取一个判决行动(x)所付出的代价（损耗）条件风险（也叫条件期望损失）：现在学习的是第24页，共57页条件

8、风险只反映对某x取值的决策行动i所带来的风险。期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。最小风险Bayes决策规则：现在学习的是第25页，共57页二类问题：把x归于1时风险：把x归于2时风险：现在学习的是第26页，共57页现在学习的是第27页，共57页v4-5 Bayes分类的算法分类的算法（假定各类样本服从正态分布）v1.输入类数M；特征数n，待分样本数m.v2.输入训练样本数N和训练集资料矩阵X(Nn)。并计算有关参数。v3.计算矩阵y中各类的后验概率。v4.若按最小错误率原则分类，则可根据 3 的结果判定y中各类样本的类别。v5.若按最小风险原则分类，则输入各值

9、，并计算y中各样本属于各类时的风险并判定各样本类别。现在学习的是第28页，共57页例例1、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2、M=2，试问，X=(0,0)T应属于哪一类？解解1、假定二类协方差 矩阵不等（12）则均值:训练样本号k1 2 3 4 5 1 2 3 4 特征 x1特征 x21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2类别1 2现在学习的是第29页，共57页现在学习的是第30页，共57页现在学习的是第31页，共57页v解解2、假定两类协方差矩阵相等=1+2现在学习的是第32页，共57页训练样本号k1 2 31

10、2 31 2 3特征 x10 1 2-2 -1 -2 0 1 -1特征 x21 0 -1 1 0 -1-1 -2 -2类别123解解1、假定三类协方差不等；v例例2：有训练集资料矩阵如下表所示，现已知，N=9、N1=N2=3、n=2、M=3，试问，未知样本 X=(0,0)T应属于哪一类？现在学习的是第33页，共57页现在学习的是第34页，共57页可得三类分界线如图所示：可得三类分界线如图所示：现在学习的是第35页，共57页解解2、设三类协方差矩阵相等现在学习的是第36页，共57页可得三类分界线如图所示：可得三类分界线如图所示：现在学习的是第37页，共57页v作业：作业：在下列条件下，求待定样本

11、x=(2,0)T的类别，画出分界线，编程上机。v1、二类协方差相等，2、二类协方差不等。训练样本号k1 2 31 2 3特征x11 1 2-1 -1 -2特征x21 0 -11 0 -1类别 1 2现在学习的是第38页，共57页v作业：作业：有训练集资料矩阵如下表所示，现已知，N=9、N1=N2=N3=3、n=2、M=3，试问，X=(-2,2)T应属于哪一类？要求：要求：用两种解法a、三类协方差不等；b、三类协方差相等。编程上机，画出三类的分界线。训练样本号k 1 2 31 2 3 1 2 3特征x10 2 1-1 -2 -2 0 0 1特征x20 1 0 1 0 -1-2 -1 -2类别12

12、3现在学习的是第39页，共57页v4-6 在一类错误率固定使另一类错误率最小的判别在一类错误率固定使另一类错误率最小的判别准则准则（聂曼-皮尔逊判决neyman-pearson）现在学习的是第40页，共57页现在学习的是第41页，共57页v例例：两类的模式分布为二维正态 协方差矩阵为单位矩阵1=2=I，设20.09求聂曼皮尔逊准则 T.v解：解：现在学习的是第42页，共57页现在学习的是第43页，共57页v所以此时聂曼皮尔逊分类器的分界线为：v由图可知为保证2足够小，边界应向1一侧靠，则1T与2的关系表如右：T 4 2 1 20.04 0.09 0.16 0.25 0.38现在学习的是第44页

13、，共57页v4-7最大最小判别准则最大最小判别准则：前边的讨论都是假定先验概率不变，现在讨论在P(i)变化时如何使最大可能风险最小，先验概率P(1)与风险R间的变化关系如下：现在学习的是第45页，共57页现在学习的是第46页，共57页这样，就得出最小风险与先验概率的关系曲线，如图所示：讨论：现在学习的是第47页，共57页上式证明，所选的判别边界，使两类的概率相等：这时可使最大可能的风险为最小，这时先验概率变化，其风险不变现在学习的是第48页，共57页v4-8 决策树决策树多峰情况多峰情况vBayes分类器只能适用于样本分布呈单峰情况，对多峰情况则不行。v若用决策树，可进行如下步骤分类整个分类过

14、程可用右图的树表示:1、基本概念（1）决策树：二叉树。每个节点都是两类分类器。例如；节点a上的决策规则为：（2）代价（损失）矩阵定义节点L的代价为：现在学习的是第49页，共57页v2、决策树的构造在构造决策树时，需要考虑以下问题：1）、如何判断一节点是否为叶子。如右图表示，假定A、B、C、D、E、F各包含50个样本，并有以下的代价矩阵v对于节点a，可以作出以下两个决策之一：v决策1，a不再分割v决策2，a分为两类v决策1的代价为 A1（a）=Ca 节点a的代价v决策2的代价为 A2（a）=（Cb+Cc）节点b,c的代价和v其中，为一经验因子，用以防止无限分割下去现在学习的是第50页，共57页v

15、只要经验因子2.25，便有A2(a)A1(a)，因此取决策2的代价较小，故应把分为两类。v一般地决策代价为：2）、选择节点的分割方式：a、根据经验确定。例如，全部样本分为三类，其代价矩阵为现在学习的是第51页，共57页vb、根据对样本分布的了解试探确定。如右图所示，将a划分为b，c的方式有两种vc、根据聚类结果来划分。3)、如何确定各节点分类器。v原则：v、分类器应尽量简单，因此，多采用线性分类器，v、尽量减小分类时所使用的特征，选用最有效的特征进行分类现在学习的是第52页，共57页v4-9 序贯分类序贯分类v迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际

16、问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。v假设对样品进行第 i 次观察获取一序列特征为：X=(x1,x2,xi)T 则对于1，2两类问题,v若X 1，则判决完毕v若X 2，则判决完毕v若X不属1也不属2，则不能判决，进行第i+1次观察，得X=(x1,x2,xi,x i+1)T，再重复上面的判决，直到所有的样品分类完毕为止。v这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。现在学习的是第53页，共57页v由最小错误概率的Bayes 判决，对于两类问题，似然比为现在学习的是第54页，共57页v现在来确定A、B的值。v因为现在学习的是第55页，共57页现在学习的是第56页，共57页v序贯分类决策规则：上下门限A、B是由设计给定的错误概率P1(e),P2(e)来确定的，Wald 已证明，观察次数不会很大，它收敛的很快。现在学习的是第57页，共57页