贝叶斯决策理论与统计判别方法.pptx

学习指南理解本章的关键要正确理解先验概率，类概率密度函数，后验概率这三种概率对这三种概率的定义，相互关系要搞得清清楚楚Bayes公式正是体现这三者关系的式子，要透彻掌握。第2页/共81页2.1引言统计决策理论是模式分类问题的基本理论之一贝叶斯决策理论是统计决策理论中的一个基本方法第3页/共81页物理对象的描述在特征空间中讨论分类问题假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征，记为x=x1,x2,xdT这组成一个d维的特征向量，而这d维待征所有可能的取值范围则组成了一个d维的特征空间。第4页/共81页贝叶斯决策理论方法讨论的问题讨论的问题总共有c类物体已知各类在这d维特征空间的统计分布，各类别i=1,2,c的先验概率P(i)类条件概率密度函数p(x|i)问题:如何对某一样本按其特征向量分类已知d维特征空间的统计分布，如何对某一样本分类最合理第5页/共81页基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策在限定一类错误率条件下使另一类错误率为最小的两类别决策最小最大决策序贯分类方法2.2 几种常用的决策规则第6页/共81页基于最小错误率的贝叶斯决策分类识别中为什么会有错分类？当某一特征向量值X只为某一类物体所特有，即 对其作出决策是容易的，也不会出什么差错 问题在于出现模棱两可的情况 任何决策都存在判错的可能性。第7页/共81页基于最小错误率的贝叶斯决策 基本思想使错误率为最小的分类规则称之为基于最小错误率的贝叶斯决策 第8页/共81页例两类细胞识别特征-后验概率-分类两类鱼识别特征-后验概率-分类天气预报中的后验概率特征后验概率分类第9页/共81页例细胞识别，加入更多类别?鱼识别，加入更多种类?存在问题后验概率直接用来分类后验概率不易直接得到后验概率不易联合考虑第10页/共81页例另一种概率:类条件概率正常细胞特征的概率分布异常细胞特征的概率分布 salmon的概率分布 sea bass的概率分布分类中如何使用类条件概率？什么是先验概率？第11页/共81页条件概率 P(*|#)是条件概率的通用符号即在某条件#下出现某个事件*的概率P(K|X):X出现条件下,样本为K类的概率P(*|#)与P(*)不同第12页/共81页几个重要概念先验概率P(1)及P(2)概率密度函数P(x|i)后验概率P(i|X)第13页/共81页贝叶斯决策理论先验概率，后验概率，概率密度函数假设总共有c类物体，用i(i=1,2,c)标记每个类别，x=x1,x2,xdT，是d维特征空间上的某一点，则P(i)是先验概率p(x|i)是i类发生时的条件概率密度函数P(i|x)表示后验概率第14页/共81页基于最小错误率的贝叶斯决策 例：癌细胞的识别假设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用一个d维的特征向量X表示，识别的目的是要依据该X向量将细胞划分为正常细胞或者异常细胞。这里我们用表示是正常细胞，而则属于异常细胞。第15页/共81页基于最小错误率的贝叶斯决策先验概率 P(1)和P(2)含义:每种细胞占全部细胞的比例 P(1)+P(2)=1一般情况下正常细胞占比例大，即P(1)P(2)第16页/共81页基于最小错误率的贝叶斯决策salmon”or“sea bass”判别中的先验概率P(salmon)P(sea bass)第17页/共81页基于最小错误率的贝叶斯决策先验概率根据先验概率决定这种分类决策没有意义表明由先验概率所提供的信息太少 第18页/共81页基于最小错误率的贝叶斯决策概率密度函数利用对细胞作病理分析所观测到的信息，也就是所抽取到的d维观测向量。为简单起见，我们假定只用其一个特征进行分类，即d=1得到两类的类条件概率密度函数分布P(x|1)是正常细胞的属性分布P(x|2)是异常细胞的属性分布第19页/共81页基于最小错误率的贝叶斯决策 类条件概率密度函数概率密度函数性质第20页/共81页基于最小错误率的贝叶斯决策salmon”or“sea bass”判别中的类条件概率密度函数第21页/共81页基于最小错误率的贝叶斯决策类条件概率密度函数直接用来分类是否合理？具有一定的合理性不满足最小错误率要求没有考虑先验概率第22页/共81页基于最小错误率的贝叶斯决策后验概率含义 P(1|X)当观测向量为X值时,该细胞属于正常细胞的概率。P(2|X)当观测向量为X值时,该细胞属于异常细胞的概率。第23页/共81页基于最小错误率的贝叶斯决策 后验概率第24页/共81页基于最小错误率的贝叶斯决策“salmon”or“sea bass”判别中的后验概率第25页/共81页基于最小错误率的贝叶斯决策类条件概率和后验概率区别后验概率:P(1|x)和P(|x)同一条件x下，比较1与2出现的概率两类1和2，则有P(1|x)+P(2|x)=1如P(1|x)P(2|x)则可以下结论，在x条件下，事件1出现的可能性大类条件概率:P(x|1)和P(x|2)是在不同条件下讨论的问题即使只有两类1与2，P(x|1)+P(x|1)1P(x|1)与P(x|2)两者没有联系第26页/共81页基于最小错误率的贝叶斯决策贝叶斯公式先验概率，后验概率，概率密度函数之间关系根据先验概率和概率密度函数可以计算出后验概率第27页/共81页基于最小错误率的贝叶斯决策问题为什么先验概率和类条件概率密度函数可以作为已知？而后验概率需要通过计算获得？第28页/共81页基于最小错误率的贝叶斯决策为什么后验概率要利用Bayes公式从先验概率和类条件概率密度函数计算获得？计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可搜集到大量样本 对某一特定事件(如x)要搜集大量样本是不太容易 只能借助Bayes公式来计算得到 第29页/共81页基于最小错误率的贝叶斯决策问题根据最小错误率，如何利用先验概率、类条件概率密度函数和后验概率进行分类？第30页/共81页基于最小错误率的贝叶斯决策贝叶斯决策理论前提各类别总体的概率分布是已知的;要决策分类的概率分布是已知的。贝叶斯决策理论方法所讨论的问题是：已知:总共有c类物体，以及先验概率P(i)及类条件概率密度函数p(x|i)问题:如何对某一样本按其特征向量分类的问题。第31页/共81页基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策规则:如果P(1|X)P(2|X)，则X归为1类别如果P(1|X)P(2|X)，则X归为2类别第32页/共81页基于最小错误率的贝叶斯决策几种等价形式：后验概率形式:如果 则 x归为i先验概率及类条件概率密度函数表示：如果 则 x归为i第33页/共81页基于最小错误率的贝叶斯决策几种等价形式：比值的方式表示，如果 则x归为1，否则x归为2 第34页/共81页基于最小错误率的贝叶斯决策几种等价形式：对数形式若 则x归为1，否则x归为2第35页/共81页基于最小错误率的贝叶斯决策例2.1 假设在某地区切片细胞中正常(1)和异常()两类的先验概率分别为P(1)=0.9，P(2)=0.1。现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|1)=0.2，p(x|)=0.4，试对细胞x进行分类。第36页/共81页基于最小错误率的贝叶斯决策例2.1解：利用贝叶斯公式，分别计算出状态为x时1与的后验概率 第37页/共81页基于最小错误率的贝叶斯决策例2.1根据贝叶斯决策有P(1|x)0.818P(|x)0.182分析:错误概率是多少？判断为正常细胞，错误率为0.182判断为异常细胞，错误率为0.818因此判定该细胞为正常细胞比较合理。第38页/共81页最小错误率的证明最小错误率贝叶斯准则使得错误率最小证明:从平均的意义上的错误率在连续条件下，平均错误率，以P(e)表示，应有:第39页/共81页最小错误率的证明最小错误率贝叶斯准则使得错误率最小证明:分析两类别问题按贝叶斯决策规则，当P(w2|x)p(w1|x)时决策为w2。显然这个决策意味着，对观测值x有P(w1|x)概率的错误率。上例中所作的w1决策，实际上包含有P(w2|x)=0.182的错误概率 第40页/共81页最小错误率的证明最小错误率贝叶斯准则使得错误率最小证明:在两类别的情况下，可以将p(e|x)表示成当第41页/共81页基于最小错误率的贝叶斯决策最小错误率贝叶斯准则使得错误率最小证明:如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)。第42页/共81页基于最小错误率的贝叶斯决策最小错误率贝叶斯准则使得错误率最小证明:因此平均错误率P(e)可表示成 第43页/共81页基于最小错误率的贝叶斯决策最小错误率贝叶斯准则使得错误率最小证明:由于在R1区内任一个x值都有P(w2|x)P(w1|x)，同样在R2区内任一个x值都有P(w1|x)P(w2|x)错误率在每个x值处都取小者，因而平均错误率P(e)也必然达到最小这就证明了平均错误率为最小 第44页/共81页基于最小错误率的贝叶斯决策第45页/共81页C类别情况下最小错误率贝叶斯决策在C类别情况下最小错误率贝叶斯决策规则的后验概率形式：先验概率与类条件概率密度相联系的形式 第46页/共81页C类别情况下最小错误率贝叶斯决策多类别决策过程中的错误率 把特征空间分割成R1，R2，Rc个区域 统计将所有其它类错误划为该区域对应的i类的概率 计算是很繁琐 计算平均正确分类概率P(c)即 第47页/共81页基于最小风险的贝叶斯决策基本思想使错误率最小并不一定是一个普遍适用的最佳选择。癌细胞分类两种错误:癌细胞正常细胞正常细胞癌细胞两种错误的代价(损失)不同第48页/共81页基于最小风险的贝叶斯决策基本思想宁可扩大一些总的错误率，但也要使总的损失减少。引进一个与损失有关联的，更为广泛的概念风险。在作出决策时，要考虑所承担的风险。基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。第49页/共81页基于最小风险的贝叶斯决策最小错误率贝叶斯决策规则：最小错误率目标函数:P(j|X)为了考虑不同决策的不同损失，构造如下目标函数(i)j:表示样本X实际属于j类，被判为状态i所造成的损失Rj(X):表示把样本X判为状态i所造成的整体损失第50页/共81页基于最小风险的贝叶斯决策两类情况:有没有癌细胞 1表示正常，2表示异常 P(1|X)与P(2|X)分别表示了两种可能性的大小 X是癌细胞(2)，但被判作正常(1)，则会有损失，这种损失表示为:2(1)X确实是正常(1)，却被判定为异常(2)，则损失表示成:1(2)第51页/共81页基于最小风险的贝叶斯决策两类情况:有没有癌细胞 另外为了使式子写的更方便，我们也可以定义1(1)和2(2)是指正确判断也可有损失 第52页/共81页基于最小风险的贝叶斯决策两类情况:有没有癌细胞 X判作1引进的损失应该为将X判为2的风险就成为 作出哪一种决策就要看是R1(X)小还是R2(X)小 这就是基于最小风险的贝叶斯决策的基本出发点 第53页/共81页基于最小风险的贝叶斯决策(1)自然状态与状态空间自然状态:识别对象的类别状态空间:所有自然状态所组成的空间=1，2，c(2)决策与决策空间决策:对分类问题所作的判决决策空间:由所有决策组成的空间称为决策空间内决策总数a可以不等于类别数cA=1,2,，n 第54页/共81页基于最小风险的贝叶斯决策(3)损失函数(i|j)(或(i,j)这就是前面我们引用过的j(i)表示对自然状态j，作出决策j时所造成的损失(4)观测值X条件下的期望损失R(i|X)这就是前面引用的符号Ri，也称为条件风险。第55页/共81页基于最小风险的贝叶斯决策最小风险贝叶斯决策规则可写成：引入一个期望风险R 第56页/共81页基于最小风险的贝叶斯决策最小风险贝叶斯决策步骤：(1)计算出后验概率已知P(i)和P(X|i)，i=1,，c，获得观测到的特征向量X根据贝叶斯公式计算 j=1,，x 第57页/共81页基于最小风险的贝叶斯决策最小风险贝叶斯决策步骤：(2)计算条件风险已知:后验概率和决策表计算出每个决策的条件风险(3)找出使条件风险最小的决策k则k就是最小风险贝叶斯决策。第58页/共81页基于最小风险的贝叶斯决策例2.2 在例2.1条件的基础上已知11=0,(11表示(1|1)的简写)，12=6,21=1，22=0按最小风险贝叶斯决策进行分类第59页/共81页基于最小风险的贝叶斯决策例2.2解：已知条件为P(1)0.9,P(12)0.1p(X|1)0.2,p(X|12)0.r110,126,211,220根据2.1的计算结果可知后验概率为P(1|X)0.818 P(2|X)0.182第60页/共81页基于最小风险的贝叶斯决策例2.2再计算出条件风险 第61页/共81页基于最小风险的贝叶斯决策例2.2作出决策由于R(1|X)R(2|X)即决策为2的条件风险小于决策为1的条件风险，因此应采取决策行动2即判待识别的细胞X为2类异常细胞。第62页/共81页两种决策方法之间的关系两种决策方法之间的关系设损失函数为 条件风险为 错误概率 第63页/共81页第64页/共81页在限定一类错误率条件下使另一类错误率为最小的两类别决策 聂曼-皮尔逊判决neyman-pearson基本思想两种错误一种的错误概率固定，另一种尽量小第65页/共81页第66页/共81页最小最大决策问题先验概率未知基本思想使得最大可能的风险做小化第67页/共81页最小最大决策第68页/共81页序贯分类迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。第69页/共81页判别函数、决策面与分类器设计 决策面与判别函数 分类决策实质上是在描述待识别对象的d维特征所组成的特征空间内，将其划分为c个决策域，待识别的特征向量落在哪个决策域，该样本就被判为哪一类。因此决策域的边界面就是决策面，在数学上用解析形式表示成决策面方程。第70页/共81页判别函数、决策面与分类器设计 决策面与判别函数 用于表达决策规则的某些函数则称为判别函数。显然判别函数与决策面方程是密切相关的，并且都是由相应决策规则所确定的。第71页/共81页判别函数、决策面与分类器设计多类别情况下的判别函数最小错误率作决策时 决策规则要定义一组判别函数 gi(X)，i=1,2,，c而决策规则可表示成如果 ，则将X归于i类；第72页/共81页判别函数、决策面与分类器设计多类别情况下的决策面方程gi(X)=gj(X)第73页/共81页判别函数、决策面与分类器设计多类别情况下的分类器第74页/共81页判别函数、决策面与分类器设计两类别问题中，最小错误率作决策时 决策规则的一种形式是 ，否则 则相应的判别函数就是gi(X)P(i|X),i=1,2 而决策面方程则可写成g1(X)g2(X)第75页/共81页判别函数、决策面与分类器设计两类别问题中，最小错误率作决策时此时决策规则也可以写成用判别函数表示的形式如果gi(X)gj(X)i,j=1,2 且 ij则Xi，否则 第76页/共81页判别函数、决策面与分类器设计两类别问题中决策面方程g(X)=0第77页/共81页判别函数、决策面与分类器设计两类别问题中的分类器第78页/共81页Bayes决策理论小结Bayes决策理论:对特征空间任一点x只要能确定落在该点的样本x属于哪一种类的可能性大，就将这点划分到这类的决策域。问题:后验概率P(i|X)要通过先验概率和类概率密度函数计算。Bayes决策是一种通用方法只在原理上讲特征空间中符合什么条件才能作为哪一类决策域，而我们希望能把决策域用简便的方式，最好是函数形式划分出来，直接计算判别函数就方便了。第79页/共81页Bayes决策理论小结显然具体的决策域划分与样本的概率分布有关。下面结合正态分布概率密度函数进行讨论，在讨论结束时我们会发现从中可以得到不少启示。第80页/共81页感谢您的观看。第81页/共81页