第四章-统计判别ppt课件.ppt

《第四章-统计判别ppt课件.ppt》由会员分享，可在线阅读，更多相关《第四章-统计判别ppt课件.ppt（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第四章第四章 统计判别统计判别我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物随机模式分类识别，通常称为随机模式分类识别，通常称为Bayes(Bayes(贝叶斯贝叶斯) )判决判决。（基础复习）（基础复习）第四章第四章 统计判决统计判决主要依据类的概率、概密，按照主要依据类的概率、概密，按照某种准则某种准则使分使分类结果从统计上讲是最佳的。准则函数不同，所导类结果从统计上讲

2、是最佳的。准则函数不同，所导出的出的判决规则判决规则就不同，分类结果也不同。就不同，分类结果也不同。本章主要论述分类识别的一般原理、几种重要本章主要论述分类识别的一般原理、几种重要的的准则准则和相应的和相应的判决规则判决规则，正态分布模式类的判决，正态分布模式类的判决函数以及它们的性能。函数以及它们的性能。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物BayesBayes

3、公式：公式：设实验设实验E E的样本空间为的样本空间为S S，A A为为E E的事件，的事件，B B1 1,B,B2 2,B,Bn n为为S S的一个划分，且的一个划分，且P P(A)0(A)0，P P(B(Bi i)0)0，(i=1,2,n)(i=1,2,n)，则，则: :)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率论概率论”有关概念复习有关概念复习)()()()(iiiBAPBPABPAP我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物条件概

4、率条件概率“概率论概率论”有关概念复习有关概念复习)()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先验概率：先验概率：P( i)表示类表示类 i出现的先验概率，简称类出现的先验概率，简称类 i的概率。的概率。后验概率：后验概率：P P( ( i i|x)|x)表示表示x x出现条件下类出现条件下类 i i出现的概率出现的概率, ,称其称其为类别的为类别的后验概率后验概率，对于模式识别来讲可理解为，对于模式识别来讲可理解为x x来自类来自类 i i的概率。的概率。类概密：类概密： p(x|(x| i i) )表示在类表示在类 i i条件下的概率密度，即类条件下的概率

5、密度，即类 i i模模式式x x 的概率分布密度，简称为的概率分布密度，简称为类概密类概密。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物对于两类对于两类 1 1， 2 2问题，直观地，可以根据后验概率做判决：问题，直观地，可以根据后验概率做判决：121122 (| )(| ) (| )(| ) p xp xxp xp xx若则若则21(|)()(|)()(|)()(|)()iiiiiiiip xPp xPpxp xp xP式中，式中，p p(x|(x| i i) )又称又称似然函数似然函数(likeli

6、hood function of (likelihood function of class class i i) )，可由已知样本求得。，可由已知样本求得。 Bayes法则最大后验概率准则法则最大后验概率准则根据根据Bayes公式，后验概率公式，后验概率 可由类可由类 i的先验概率的先验概率P( i)和条件概率密度和条件概率密度 来表示，即来表示，即(/ )ipx( /)ip x我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物将将P( i|x)代入判别式，判别规则可表示为代入判别式，判别规则可表示为112

7、2111222 ( |)()( |)() ( |)()( |)() p x Pp x Pxp x Pp x Px若则若则或改写为或改写为212122112112122112 )()()|()|( )()()|()|(xPPxpxplxPPxpxpl则则l12称为称为似然比似然比（likelihood ratio），）， 12称为似然比的判决阀值。称为似然比的判决阀值。原则：要确定原则：要确定x x是属于是属于11类还是类还是22类，要看类，要看x x是来自于是来自于11类的概率大还是来自类的概率大还是来自22类的概率大。类的概率大。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个

8、美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物已知：已知：（统计结果）（统计结果）先验概率：先验概率：P( ( 1 1)=1/3)=1/3（鲈鱼出现的概率）（鲈鱼出现的概率） P( ( 2 2)=1-)=1-P( ( 1 1)=2/3 )=2/3 （鲑鱼出现的概率鲑鱼出现的概率）条件概率条件概率：p(x| 1 1) 见图示见图示（鲈鱼的长度特征分布概率）（鲈鱼的长度特征分布概率）p(x| 2 2)见图示见图示（鲑鱼的长度特征分布概率）（鲑鱼的长度特征分布概率）求：后验概率求：后验概率：P( |x=10)=?（如果一条鱼如果一条鱼x x1010，是什么类别？），是什么

9、类别？）我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物解法解法1 1：111111122(10 |)()(|10)()(|)() (|)()(|)()0.05 1/3 0.0480.05 1/30.502 /3p xPPxp xp xPp xPp xP10101010利用利用Bayes公式公式我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物写成似然比形式写成似然比形式1122212112122(|)0.05100.1(

10、|)0.50()2/32()1/3 , , p xlxp xPPlxx10（）10判决阀值（10）即是鲑鱼。解法解法2：我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物例题例题1 1图示图示)(1xP)(2xPx条件概率密度分布)(ixP鲈鱼鲈鱼鲑鱼鲑鱼100.050.55.58.5我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物例题例题1 1图示图示)(1xP)(2xPx2 . 04 . 06 . 08 . 00 .

11、1后验概率分布)(xPi10我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物l 最小误判概率准则判决最小误判概率准则判决l 最小损失准则判决最小损失准则判决l 最小最大损失准则最小最大损失准则l N-N-P(NeymanP(NeymanPearson)Pearson)判决判决第四章第四章 统计判决统计判决我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物41 41 最小误判概率准则判决最小误判概率准则判决第四章第四章 统计

12、判决统计判决我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物图例：最小误判概率准则图例：最小误判概率准则)()(11Pxp)()(22Pxp212)(P121)(P我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢

13、？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物最小误判概率准则下的判决规则：最小误判概率准则下的判决规则： 如果，如果， 则判则判)()(11xpP)()(22xpP21x12x)()()(2112xpxpxl)()(12PP或等价地，或等价地， 如果，如果， 则判则判我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物)(1xP)(2xP21x另一个等价形式是：另一个等价形式是： 如果如果 则判则判)()()()(iiixpPxPxp由贝叶斯定理由贝叶斯定理我吓了一跳，蝎子是多么丑恶和恐怖的东西

14、，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物4.2 4.2 最小损失准则判决最小损失准则判决第四章第四章 统计判决统计判决我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物最小错误率最小损失率合格药品与不合格药品分类我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物4.2.1 损失概念、损失函数与平均损失,21c设模式空间中存在设模式空间中存在c c个类别个类别: :,2

15、1a决策空间由决策空间由a a个决策个决策: :决策决策 j j常指将模式常指将模式x x指判为某一类指判为某一类w wj j或者是拒判。或者是拒判。ijij)(对一个实属对一个实属 i i 类的模式采用了决策类的模式采用了决策 j j 所造成的损失所造成的损失记为：记为： ac,2121于是就有于是就有 空间中的二元函数，称其为空间中的二元函数，称其为损失函数损失函数。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物决策-损失表 12c1(1/1)(1/2)(1/c)2(2/1)(2/2)(2/c)c(c

16、/1)(c/2)(c/c)c+1(c+1/1) (c+1/2)(c+1/c)n决策决策 j j指将模式指将模式x x指判为指判为w wj j或者是拒判。或者是拒判。ijjijiij100-10-1损失函数损失函数我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 令决策的数目令决策的数目a a等于类数等于类数c c，如果决策，如果决策 j j 定义为判定义为判 属于属于 j j 类，类，那么对于给定的模式那么对于给定的模式 在采取决策在采取决策 j j 的条件下损失的期望为的条件下损失的期望为条件平均风险xE

17、xPxRxRijiciiijjj1)()()(), 2 , 1(cjxx 条件期望损失条件期望损失 刻划了在模式为刻划了在模式为 、决策为、决策为 j j条条件下的平均损失，故也称件下的平均损失，故也称 为为条件平均损失或条条件平均损失或条件平均风险（件平均风险（RiskRisk）。由贝叶斯公式，上式可以写为。由贝叶斯公式，上式可以写为x)(xRj)(xRj)()()()(1xpPxpxRiiciijj)()()()(11iciiiiciijPxpPxp我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物求上式

18、求上式Rj(x)关于关于x的数学期望的数学期望: cjciiiijjxdPxp11)()(cicjiiijjxdPxpx11)()()| )(ciiiixdxpxP1)()| )()(ciiiixEP1)| )()()(xExdxpxRRj)()(cjjjxdxpxR1)()(平平均均损损失失我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物l可以将最小条件平均损失判决规则表示为可以将最小条件平均损失判决规则表示为如果如果 则判则判 4.2.2 最小损失准则判决)(min)(xRxRiijjx定理：定理：使条

19、件平均损失最小的判决也必然使总的平均使条件平均损失最小的判决也必然使总的平均损失最小。损失最小。 所以最小条件平均损失准则也称为最小平均损失所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为准则或最小平均风险准则，简称为最小损失准则最小损失准则。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物)()()()()()(222111111xpPxpPxpxR)()()()()()(222211122xpPxpPxpxR 对于两类问题，对于两类问题，如果如果)(1xR)(2xR21x则：则：

20、这时最小损失判决规则这时最小损失判决规则可以表为：可以表为： )()()()(22211111PxpPxp)()()()(22221112PxpPxp我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物)()()()(22211111PxpPxp)()()()(22221112PxpPxp经整理可得：经整理可得：)()()()()()(111112222221PxpPxp 两类问题的最小损失准则的似然比形式的判决规两类问题的最小损失准则的似然比形式的判决规则为：则为：)()()()(111212221221PP

21、xpxp如果如果 21x则判则判 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物若记似然比阈值若记似然比阈值)()()()(111222211212PP注意，若注意，若1212)(xl我们规定任判或拒判。我们规定任判或拒判。)(12xl1221x则两类问题的判决规则为：则两类问题的判决规则为：如果如果则判：则判： 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物)(12xl1221x如果如果则判：则判： 损失函数如何确

22、定依赖于实际问题和经验，有时损失函数如何确定依赖于实际问题和经验，有时为了方便，对于一般的为了方便，对于一般的c类问题，令类问题，令jijiij,1,0 （0-10-1损失函数）损失函数）)()()()(111222211212PP)()(1212PP此时：此时：此即为最小误判概此即为最小误判概率准则的判决规则率准则的判决规则 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物取取0-10-1损失函数时，最小损失准则等价于最小损失函数时，最小损失准则等价于最小误判概率准则，此时的平均损失就是误判概率，误判概率

23、准则，此时的平均损失就是误判概率，使平均损失最小即使误判概率最小。这也表明，使平均损失最小即使误判概率最小。这也表明，最小误判概率准则是最小损失准则的特例。最小误判概率准则是最小损失准则的特例。 我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的

24、生物4.2.3 含拒绝判决的最小损失判决拒绝判决可以作为最小损失判决中的一个可能判决，拒绝判决可以作为最小损失判决中的一个可能判决，1c“拒绝判决拒绝判决”。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物)()(1xRxRjc如果如果j j=1,2,=1,2,c c则作出拒绝判决。则作出拒绝判决。设设 ( ( c+1c+1( (x)|)| i i)=)= r r，(i(i=1,2,=1,2,c),c)，（即各类的拒判损失相同）（即各类的拒判损失相同） rciirciircxPxPxR111)|()|()|

25、(则则 又设又设 ( ( j j( (x)|)| i i)=)= e e，(j(j i i，i i，j j =1,2, =1,2,c),c)，（即各误判损失相同）（即各误判损失相同）x（即各正确判决损失相同）（即各正确判决损失相同） ( ( i i( ( )|)| i i)=)= c c，(i(i=1,2,=1,2,c),c)， 且通常有且通常有 c c r r e e我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物)|()|()|(1xpxRiciijj)|()()|(1xPxpjceicie)|()(x

26、Pjcee)()|(jixpjc当包含我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物)|()|(1xRxRjcx如果如果，(j=1,2,c)，则对则对做拒绝判决。做拒绝判决。 )|()(xPjceercecrcerejxP1)|( = 1-t 这里这里 cecrt 称之为称之为拒判门限。拒判门限。 因为因为 c r 1-1/c时时,1-t1/c,上式恒成立上式恒成立,不存在拒判问题不存在拒判问题,即存在拒判决策的条件应该是即存在拒判决策的条件应该是:t1-1/c我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什

27、么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物判决规则判决规则如下：如下：cecrttPtPxpxp)()1)()()(1221如果如果 1x则判则判)1)()()()(1221tPtPxpxp如果如果2x则判则判我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物)()()(2112xpxpxl)()(12PP12x最小误判概率准则最小误判概率准则)()()()(111212221221PPxpxp21x最小损失准则最小损失准则tPtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒判拒拒绝绝判判决决的的最最小小损损失失