Bayes分类器.doc
模式识别实验 题目： Bayes分类器的设计 学 院 计算机科学与技术 专 业 计算机科学与技术 学 号 2012436034 姓 名 顾文远 指导教师 李凯 1 = 误错类0 确的类 - 误的分0 确正分 = )( )* ) )(* ) 0:= = < )( +( ) ) )(0: 0 = ;=0 0)0 ( )0, 分斯险最 = 误的类0/ 确的类 误错类00 确的分 (< ) , ), ( () ( *() )( ) ( () ( =( 0 分行 = >( ) ) ( *), ( * ), * ) * *( , *( 0 = 分类0 )0 )0 )0 )0 ( 数个布正二;0 ) 数00分生产) 分叶贝错 = = ; 附策斯率小最小 失同为失态策决不致不决的人是策叶的最最的带结的规斯叶小，误现出关规叶率错吗致果分中测则策的险最决贝的小 ,定是这，的概度率条得考0 0 了增错据类时当减率类类第，中类第以大因数了变的面二据一第增同果分换 的将仅，之结，函0 0 00 0 率误一到二是 误的到错将类 最 决策率错确策分准这根类否正分类择即 的算据于，类类类选器据根 算如一于，小策 件出计决概后面根，分 险00 0 0 00 000 ）率的第错二 率错二错第是 中为误和试测一为概选概算度件类率根据类器类 的错下下度态产一，机个 差，值据机0 为准为均定，模分二产步步果的为设种性所有具能最选就果类策决)分方的险者或最后选率后类况决种求息验必特象到，基公 原验率错响响类对的价，行试并， 风和 率误计集试集分机本生并模正生定确问根法或用同也类，则的所不函。判分成础基空干分空将度条概先根言的是计从结准某，率条验类是本的分内内教现的策斯贝现实策叶风和则叶率错则则叶险、策叶率错、率率概风率：提识现的出规贝够策叶险风和斯贝错小握，原类模的理 要学教设类 年报实报年 设学 模握错斯策贝的提率、率、叶叶和实斯策内的验率结计根先度干成。所，也或确生生分试误 ，价对错原基象验求类率或的)类就具所设果二模为 机差机一态的器据率概选试误中二 二率 0 0 险面概出策一算据类于算择正根分策策 错的 到率 0 函之仅 果同第的数大类第减时错 0条的是定 贝险则中吗率出误斯结带叶人的致失同小斯策 = 贝分 产分 0正数 )0 ) ) 0= ( ) , *)( 0(=()( ) ) ( (, ,) ( 的确0类 的 /的 最 , 0 = ) ) ()< =0 * *( 正 的 类 错= 师 0 号 与科 业 与学算院 设 题实别 模式识别实验报告2015年 10 月14日实验一 Bayes分类器设计一、教学要求理解基于Bayes决策理论的随机模式分类的原理和方法，掌握基于最小错误率的贝叶斯决策和基于最小风险的贝叶斯决策，并能够对贝叶斯规则给出具体的实现。二、知识点提示知识点：错误率、风险、先验概率、概率密度函数、最小错误率贝叶斯决策规则、最小风险贝叶斯决策规则。重点：最小错误率贝叶斯决策规则和最小风险贝叶斯决策规则的实现。难点：最小风险贝叶斯决策规则的实现。三、教学内容Bayes分类器的基本思想是依据类别先验概率和条件概率密度，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类别先验概率和条件概率密度将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同；使用哪种准则或方法应根据具体问题来确定。1产生二维正态分布模式，并将产生的样本集随机地分为训练集和测试集；2分别设计最小错误率的Bayes分类器和最小风险Bayes分类器，并对测试集进行分类，观察代价函数的设置对分类结果的影响；3统计错分概率。四、实验原理以Bayes公式为基础，利用测量到的对象特征配合必要的先验信息，求出各种可能决策情况（分类情况）的后验概率，选取后验概率最大的,或者决策风险最小的决策方式(分类方式)作为决策（分类）的结果。也就是说选取最有可能使得对象具有现在所测得特性的那种假设，作为判别的结果。五、实验步骤1、首先产生二维正态分布模式的数据，设定产生均值为2，标准差为0.5的100个随机数据和均值为-2，标准差为2的100个随机数据，其中一个产生的正态密度曲线图如下：2、设计最小错误率的Bayes分类器，将两类数据分别根据先验概率和类条件概率密度计算后验概率，选择后验概率大的为一类，得出测试集正确率和错误率为（其中worng1是将第一类错分到第二类的错误率，worng2是将第二类错分到第一类的错误率）：rightRate1 = 0.9800worng1 = 0.0200rightRate2 = 0.9200worng2 = 0.08003、设计最小风险Bayes分类器，根据前面计算的后验概率，利用决策表计算出条件风险R，决策选择风险小的，即对于第一类数据如果算出的R1风险小根据分类器设定选择第一类分类，则分类正确，对于第二类数据如果算出的R2风险小即选择第二类分类，分类正确，否则分类错误，根据这一标准计算分类决策的正确率和错误率。决策表决策12104220这里worng3是最小风险Bayes分类器将第一类错分到第二类的错误率，worng4是将第二类错分到第一类的错误率：rightRate3 = 0.9500worng3 = 0.0500rightRate4 = 0.9400worng4 =0.0600 当改变代价函数，分类结果也随之改变，这里仅仅将12的值和21的值互换，分类结果就不同了。21增大，即将第一类数据错分到第二类里面的风险就变大了，一些数据因为风险大了所以会分到第一个类别中去，相应的第一类的数据分类错误率减小，当然同时第二类的数据分类错误率增加了。rightRate3 = 1worng3 = 0rightRate4 = 0.8700worng4 = 0.1300六、思考题1.如何获得类条件概率密度？类条件概率是已知的，也就是这里是自己设定的,pw1=pw2=0.5.2.按照最小错误率的贝叶斯决策规则和最小风险的贝叶斯决策规则对测试集中的样本分类，结果一致吗？不一致，最小错误率的贝叶斯决策规则关心的是让出现的错误最小，而最小风险的贝叶斯决策规则关心的是决策结果带来的损失最小。最小风险的贝叶斯决策的决策表是人为给定的，决策表不同导致的结果不同。当决策与状态相同时损失为0，不同时损失为1时最小风险等于最小错误率贝叶斯决策。七、附录cleare1=2;a1=0.5;e2=-2;a2=2;pw1=0.5;pw2=0.5;%最小错误率贝叶斯分类s1=normrnd(e1,a1,1,100);%产生二维正态分布100个数据histfit(s1);s2=normrnd(e2,a2,1,100);%产生二维正态分布100个数据p1=zeros(1,100);p2=zeros(1,100);p3=zeros(1,100);p4=zeros(1,100);right1=0;right2=0;%对第一类进行分类for i=1:100 p1(i)=(pw1*normpdf(s1(i),e1,a1)/(pw1*normpdf(s1(i),e1,a1)+pw2*normpdf(s1(i),e2,a2); p2(i)=(pw2*normpdf(s1(i),e2,a2)/(pw1*normpdf(s1(i),e1,a1)+pw2*normpdf(s1(i),e2,a2); if p1(i)>p2(i) right1=right1+1; endend%对第二类进行分类for i=1:100 p3(i)=(pw1*normpdf(s2(i),e1,a1)/(pw1*normpdf(s2(i),e1,a1)+pw2*normpdf(s2(i),e2,a2); p4(i)=(pw2*normpdf(s2(i),e2,a2)/(pw1*normpdf(s2(i),e1,a1)+pw2*normpdf(s2(i),e2,a2); if p3(i)<p4(i) right2=right2+1; endend%对第一类分类的正确率rightRate1=right1/100%对第一类分类的错误率worng1=1-rightRate1%对第二类分类的正确率rightRate2=right2/100%对第二类分类的错误率worng2=1-rightRate2%最小风险贝叶斯分类R1=zeros(1,100);R2=zeros(1,100);right3=0;right4=0;r11=0;r12=4;r21=2;r22=0;for i=1:100 R1(i)=r11*p1(i)+r12*p2(i); R2(i)=r21*p1(i)+r22*p2(i); if R1(i)<R2(i) right3=right3+1; endendfor i=1:100 R1(i)=r11*p3(i)+r12*p4(i); R2(i)=r21*p3(i)+r22*p4(i); if R1(i)>R2(i) right4=right4+1; endend%对第一类分类的正确率rightRate3=right3/100%对第一类分类的错误率worng3=1-rightRate3%对第二类分类的正确率rightRate4=right4/100%对第二类分类的错误率worng4=1-rightRate45
