模式识别课程教案1.pdf

第二章第二章 统计决策方法统计决策方法 主讲人：梅少辉 博士主讲人：梅少辉 博士 邮箱: 电 话: 15129207668 电子信息学院电子工程系电子信息学院电子工程系 硬币分类问题：硬币分类问题： 两类：1元（）和1角（） 首先考虑没有任何观测的情况 分类：依据概率先验概率（prior probabilities） 如果，则 如果，则 错误率（error rate）：分类错误的概率 1 2 12 PP 1 x 12 PP 2 x 决策错误 的概率最小 引 例引 例 112 221 1 1 e e xPPP xPPP 错 误 率 ： 错 误 率 ： 硬币分类问题略微复杂的情形：硬币分类问题略微复杂的情形： 两类：1元（）和1角（） 增加一种观测特征 x（比如重量） 分类：依据概率后验概率（posterior probabilities） 如果，则 如果，则 1 2 12 |PxPx 1 x 12 |PxPx 2 x 引 例引 例 112 221 error1| error1| xPPxPx xPPxPx 错 误 率 ： 错 误 率 ： |? 1, 2. i Pxi测 量 ,| | iii i PxPxP Px PxPx 引 例引 例 贝叶斯公式贝叶斯公式： 类条件概率密度：类条件概率密度： 国标 统计分析（一定数量的样本） 先验概率密度：先验概率密度： 央行查询 市场统计分析 猜测（如0.5） 总体概率密度：总体概率密度： 所有硬币的x的分布密度函数 对于不同类别，此部分相同相同，不影响比较大小，因此不必计算不必计算 ,| | iii i PxPxP Px PxPx 引 例引 例 如果，则 如果，则 1122 |PxPPxP 1 x 2 x 1122 |PxPPxP 后验概率后验概率转化成先 验概率与类条件密 度的乘积 先 验概率与类条件密 度的乘积，再用总 体密度归一化 贝叶斯决策：贝叶斯决策：在类条件概率密度和先验密度已知（或可估计） 的情况下，通过贝叶斯公式贝叶斯公式比较样本属于两类的后验概率， 将类别决策为后验概率大的一类，从而使得总体误差率最小。总体误差率最小。 引 言引 言 统计模式识别统计模式识别 用概率统计的观点和方法来解决模式识别问题 贝叶斯决策 统计决策理论贝叶斯决策 统计决策理论 是统计模式识别的基本方法和基础 条件：条件： 类别数一定（决策论中把类别称为状态） 已知先验概率和类条件概率密度 ,1, 2, i ic ,| ii PPx 引 言引 言 基本概念：基本概念： 样本 状态（类别） 先验概率 样本分布函数（总体概率密度） 类条件概率密度 后验概率 12 , T d d Rxxxxx即 12 第 一 类 ：， 第 二 类 ： 12 pp， px 12 |,|ppxx 12 |,|ppxx 引 言引 言 错误概率： 平均错误率 正确率 21 12 | | | P Pe P xx x xx |PePePd xxx 1PcPe 最小错误率贝叶斯决策最小错误率贝叶斯决策 决策目标：决策目标：最小错误率，即分类错误最小 最小错误率贝叶斯决策最小错误率贝叶斯决策 m in|PePePd xxx 21 12 1 12 2 | | | | Pif Pe Pif PP xx x xx xxx |0,0m in| for all PePPexxxx 最小 错误率 贝叶斯决策 最小错误率贝叶斯决策最小错误率贝叶斯决策 后验概率计算（后验概率计算（贝叶斯公式） 2 1 | | | iiii i ii j PPPP P P PP xx x x x ,|,1, 2 ii PPix已 知 ： 等价形式一：等价形式一： 1,2 |m ax| iii j if PP xxx 最小错误率贝叶斯决策最小错误率贝叶斯决策 等价形式二：等价形式二： 1,2 |m ax| iijji j if PPPP xxx 等价形式三：等价形式三： 112 221 | | PP l PP x xx x i P已 知 ， 且 与 样 本 无 关 似然比似然比阈值 最小错误率贝叶斯决策最小错误率贝叶斯决策 等价形式四：等价形式四： 12 lnln|ln|hlPP xxxx 定义对数似然比： 11 22 ln P if h P xx 最小错误率贝叶斯决策最小错误率贝叶斯决策 类条件概率 12 pp， 先验概率 1 2 , , xt xt t 决 策 边 界 决 策 线 （ 两 类 ） 决 策 面 （ 多 类 ） 最小错误率贝叶斯决策最小错误率贝叶斯决策 21 2211 | | | t t t t PePePd PxPxdxPxPxdx PxPdxPxPdx xxx 错误率：错误率： 1 2 , , t t 第 一 类 决 策 区 域 ： 第 二 类 决 策 区 域 ： 最小错误率贝叶斯决策最小错误率贝叶斯决策 12 1221 122211 2211 2211 , | | PePxPx PxPPxP PPxdxPPxdx PPePPe 错误率：错误率： 把第一类样本决策为第二类的错误 把第二类样本决策为第一类的错误 2 1 11 22 | | PePxdx PePxdx 最小错误率贝叶斯决策最小错误率贝叶斯决策 例：例：假设某个局部地区细胞识别中正常（ 1）和异常（ 2）两类的先验 概率分别为 1 2 0.9 0.1 p p 12 |0.2,|0.4pxpx 正常状态： 异常状态： 现有一待识别细胞，其观测值为x，从其条件概率密度曲线上分别 查得 试对该细胞进行分类。 最小错误率贝叶斯决策最小错误率贝叶斯决策 解：解：利用贝叶斯公式，分别计算出w1及 w2的后验概率分别为： 11 |0.818|0.182pxpx 根据贝叶斯决策规则可知，由于 因此，该细胞为正常细胞。 11 1 2 1 22 |0.20.9 |0.818 0.20.90.40.1 | |1|0.182 ii j PxP Px PxP PxPx 多类识别最小错误率贝叶斯决策 定义判别函数： 多类识别最小错误率贝叶斯决策 定义判别函数： 最小错误率贝叶斯决策最小错误率贝叶斯决策 1,2, |m ax| iii jc if PP xxx 1,2, |m ax| iijji jc if PPPP xxx | | ii ii gP PP xx x或 者 最小错误率贝叶斯决策最小错误率贝叶斯决策 多类决策中，特征空间分为多个区域：多类决策中，特征空间分为多个区域： 12 , c 平均错误率（平均错误率（c（c-1）项）：）： 213111 123222 121 -1 11, , , , , c c ccccc c cc jii ijji PePxPxPxP PxPxPxP c PxPxPxP PxP 每 行项 行 计算量大 最小错误率贝叶斯决策最小错误率贝叶斯决策 正确率：正确率： 1 1 , | i c iii i c ii i PcPxP PxPdx 1 1 1| i c ii i PePc PPxdx 错误率：错误率： 最小风险贝叶斯决策最小风险贝叶斯决策 最小错误率贝叶斯决策 错误率 错误率带来的损失（代价）损失（代价） 损失比较 硬币分类硬币分类： 1元误认为1角 1角误认为1元 癌细胞识别：癌细胞识别： 正常细胞误判为癌细胞 癌细胞误判为正常细胞 损失是不一样的 最小风险贝叶斯 决策： 最小风险贝叶斯 决策：考虑各种 错误造成的损失 不同时的一种最 优决策 最小风险贝叶斯决策最小风险贝叶斯决策 使用决策论的概念表述问题：使用决策论的概念表述问题： 样本x看做d维随机向量： 状态空间由c个可能的状态（c类）组成： 对于随机向量x，可能采取的决策组成了决策空间，由k个决 策组成： 注意：，判别结果判别结果：判别为一类，拒绝策略（判别不属 于某一类），判别属于某一大类（几类的合并），等等。 12 , T d xxxx 12 , c 12 , k kc 最小风险贝叶斯决策最小风险贝叶斯决策 对于实际状态为的向量x，采取决策所带来的损失为： 称作损失函数损失函数 决策表 j i ,1, 2,1, 2, ij ikjc 11 , 最小风险贝叶斯决策最小风险贝叶斯决策 对于样本x，它属于各个状态的后验概率 对他采取策略，其期望损失为： 对于某一决策，它对特征空间中所有可能样本x采取 决策所造成的期望损失 平均风险或期望风险 |,1, 2, j Pjcx ,1, 2, i ik 1 ,| 1, 2, ,| iij c ijj j RE ik P xx x x |RRpd xxxx R 最小风险贝叶斯决策最小风险贝叶斯决策 最小风险贝叶斯决策最小风险贝叶斯决策： 最小化平均风险 m in R |RRpd xxxx 非负非负非负，且已知，与决策无关非负，且已知，与决策无关 m in R 对所有的x都使最小 |Rxx 1,2, |m in| iii jk ifRR xx 因此，最小风险贝叶斯决策最小风险贝叶斯决策为： 最小风险贝叶斯决策最小风险贝叶斯决策 最小风险贝叶斯决策计算步骤最小风险贝叶斯决策计算步骤： （1）、利用贝叶斯后验公式计算后验概率（先验概率和类条 件密度已知）： （2）、利用决策表，计算条件风险： 1 | |,1, 2, | jj jc ii i PP Pjc PP x x x 1 ,|,1, 2, c iijj j RPik xx 最小风险贝叶斯决策最小风险贝叶斯决策 最小风险贝叶斯决策计算步骤最小风险贝叶斯决策计算步骤： （3）、决策决策：在各种决策中选择风险最小的决策，即 两类且决策也是两类的情况下两类且决策也是两类的情况下，决策表： 1,2, argm in| i jk R x 11121112 21222122 , , 正确决策，通常为0，不失一般性 11212212 , 最小风险贝叶斯决策最小风险贝叶斯决策 最小风险贝叶斯决策（最小风险贝叶斯决策（两类两决策）为： 111122 1 211222 2 | | IfPP PP xx xxx 等价形式： 1 1121122122 2 |IfPP xxx 1111 22121222 222211212111 | | PPP If PPP xx x xx 112 1222 2212111 | | PP If l PP x xx x 最小风险贝叶斯决策最小风险贝叶斯决策 最小风险贝叶斯决策 = 最小错误率贝叶斯决策最小风险贝叶斯决策 = 最小错误率贝叶斯决策 11221221 0,1 最小错误率贝叶斯决策是最小风险贝叶斯决策的特例。 多类问题中，如果采用0-1决策表（正确时损失为0，错误 时损失为1），那么，最小错误率贝叶斯决策也等价于最小 风险贝叶斯决策。 决策表需要人为确定，通常由领域内专家共同设定。 决策表不同，决策结果也不同。 例：例：假设某个局部地区细胞识别中正常（w1）和异常（w2）两类的先验概 率分别为 1 2 0.9 0.1 p p 12 |0.2,|0.4pxpx 正常状态： 异常状态： 现有一待识别细胞，其观测值为x，从其条件概率密度曲线上分别 查得 决策表为 试按照最小风险贝叶斯决策对该细胞进行分类。 决 策 状 态 决 策 状 态 06 10 1 2 1 2 最小风险贝叶斯决策最小风险贝叶斯决策 解：解：已知条件为： 后验概率： 12 12 11122122 0.90.1 |0.2,|0.4 0610 pp pxpx ， ， 最小风险贝叶斯决策最小风险贝叶斯决策 11 1 2 1 22 |0.20.9 |0.818 0.20.90.40.1 | |1|0.182 ii j PxP Px PxP PxPx 条件风险为： 由于 因此：选取第二种决策，即判断该细胞为异常细胞。 最小风险贝叶斯决策最小风险贝叶斯决策 1 ,|,1, 2, c iijj j RPik xx 2 11122 1 2 22211 1 ,|1.092 ,|0.818 jj j jj j RPP RPP xxx xxx 12 ,RRxx 解解（最小错误率贝叶斯决策最小错误率贝叶斯决策）： 利用贝叶斯公式，分别计算出w1及 w2的后验概率分别为： 11 |0.818|0.182pxpx 根据最小错误率贝叶斯决策最小错误率贝叶斯决策规则可知，由于 因此，该细胞为正常细胞。 11 1 2 1 22 |0.20.9 |0.818 0.20.90.40.1 | |1|0.182 ii j PxP Px PxP PxPx 最小风险贝叶斯决策最小风险贝叶斯决策 例：例：在军事目标识别中，假定有灌木丛和坦克两种类型，它 们的先验概率分别是0.7和0.3，损失函数如下表所示，其中， 类型 1和 2分别表示灌木和坦克，判决 1= 1， 1= 2 。现在 做了四次试验，获得四个样本的类概率密度如下： P(x| 1): 0.1, 0.15, 0.3, 0.6, P(x| 2): 0.8, 0.7, 0.55, 0.3 1 2 1 2.52.0 2 4.01.0 （1）用最小误差率贝叶斯决策，判 断四个样本各属哪一个类型。 （2）试用最小损失准则判断四个样 本各属于哪一个类型。 类 型 判决 损 失 判决 损 失 最小风险贝叶斯决策最小风险贝叶斯决策 答:答:求出四个样本两类的似然比。 )2 ,545. 0 ,214. 0 ,125. 0() 3 . 0 6 . 0 , 55. 0 3 . 0 , 7 . 0 15. 0 , 8 . 0 1 . 0 ( )|( )|( 2 1 12 xP xP l 最小误差率贝叶斯决策的阈值： 2 1 ()0.3 0.429 ()0.7 P P 因此：按最小误差率贝叶斯决策时，第一、第二样本属于 第二类即坦克，第三、第四属于第一类即灌木丛。 最小风险贝叶斯决策最小风险贝叶斯决策 （2） 按最小风险贝叶斯决策按最小风险贝叶斯决策 因此按最小损失准则判决时，第一、第二样本属于第二类即 坦克，第三、第四属于第一类即灌木丛。 最小风险贝叶斯决策时的阈值： 286.0 )5.24(7.0 )12(3.0 )( )( 11211 22122 12 P P )2 ,545. 0 ,214. 0 ,125. 0() 3 . 0 6 . 0 , 55. 0 3 . 0 , 7 . 0 15. 0 , 8 . 0 1 . 0 ( )|( )|( 2 1 12 xP xP l 最小风险贝叶斯决策最小风险贝叶斯决策 （2） 按最小风险贝叶斯决策按最小风险贝叶斯决策 因此按最小损失准则判决时，第一、第二样本属于第二类即 坦克，第三、第四属于第一类即灌木丛。 最小风险贝叶斯决策时的阈值： 286.0 )5.24(7.0 )12(3.0 )( )( 11211 22122 12 P P )2 ,545. 0 ,214. 0 ,125. 0() 3 . 0 6 . 0 , 55. 0 3 . 0 , 7 . 0 15. 0 , 8 . 0 1 . 0 ( )|( )|( 2 1 12 xP xP l 最小风险贝叶斯决策最小风险贝叶斯决策 编程实现最小错误率Bayes决策和最小风险bayes决策编程实现最小错误率Bayes决策和最小风险bayes决策 输入 先验概率 类概率密度函数 决策风险表 输出：决策（ 1和 2 ） 作 业作 业