贝叶斯决策理论课件lbm.pptx

《贝叶斯决策理论课件lbm.pptx》由会员分享，可在线阅读，更多相关《贝叶斯决策理论课件lbm.pptx（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、贝叶斯决策理论贝叶斯决策理论内容内容v引言引言v几种常用的决策准则几种常用的决策准则v分类器设计分类器设计基本概念基本概念v模式分类：根据识别对象的观测值确定其类模式分类：根据识别对象的观测值确定其类别别v样本与样本空间：样本与样本空间：v类别与类别空间：类别与类别空间：c个类别（类别数已知）个类别（类别数已知）决策决策v把把x分到哪一类最合理？理论基础之一是分到哪一类最合理？理论基础之一是统计统计决策理论决策理论v决策：决策：是从样本空间是从样本空间S，到决策空间，到决策空间的一个的一个映射，表示为：映射，表示为：D:S-。v评价决策有多种标准，对于同一个问题，采评价决策有多种标准，对于同一

2、个问题，采用不同的标准会得到不同意义下用不同的标准会得到不同意义下“最优最优”的的决策。决策。Bayes决策常用的准则决策常用的准则v主要有：主要有：基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的在限定一类错误率条件下使另一类错误率为最小的 两类别决策两类别决策(NeymanPearson决策决策)基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策v引例：引例：癌细胞的识别。（每个细胞抽象为癌细胞的识别。（每个细胞抽象为d维维向量向量 x=（x1,x2,x3,xd），识别的目的是），识别的目

3、的是要将要将x分类为正常细胞或异常细胞。分类为正常细胞或异常细胞。先验概率先验概率类条件概率密度：类条件概率密度：p(x|w1)p(x|w2)x类条件概率密度贝叶斯公式：贝叶斯公式：后验概率后验概率P(P(1 1|x)|x)P(P(2 2|x)|x)后验概率x1.00.00.5对于2分类问题：P(P(1 1|x)+P(|x)+P(2 2|x)=1|x)=1决策规则：决策规则：如果如果P(P(1 1|x)P(|x)P(2 2|x)|x)类别状态类别状态=1 1如果如果P(P(1 1|x)P(|x)P(|x)P(2 2|x)|x)类别状态类别状态=1 1如果如果P(P(1 1|x)P(|x)P(2

4、 2|x)|x)类别状态类别状态 =2 2P(e|x)=P(P(e|x)=P(1 1|x)|x)判定为判定为 2 2(错误选择错误选择 1 1););错误率分析错误率分析因此，无论何时观测到某一个特定值因此，无论何时观测到某一个特定值x x，概率，概率误差为：误差为：因此，因此，因此，因此，条件错误概率条件错误概率条件错误概率条件错误概率：P(e|x)=min P(P(e|x)=min P(1 1|x),P(|x),P(2 2|x)|x)模式特征模式特征模式特征模式特征x x 是一个随机变量，在应用是一个随机变量，在应用是一个随机变量，在应用是一个随机变量，在应用BayesBayes法则时，法

5、则时，法则时，法则时，每当观察到一个模式时，得到特征每当观察到一个模式时，得到特征每当观察到一个模式时，得到特征每当观察到一个模式时，得到特征x x，就可利用后验，就可利用后验，就可利用后验，就可利用后验概率作出分类的决策，同时也会带来一定的错误概概率作出分类的决策，同时也会带来一定的错误概概率作出分类的决策，同时也会带来一定的错误概概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的率。若观察到大量的模式，对它们作出决策的率。若观察到大量的模式，对它们作出决策的率。若观察到大量的模式，对它们作出决策的平均平均平均平均错误概率错误概率错误概率错误概率P P(e

6、e)应是应是应是应是P P(e e|x x)的数学期望。的数学期望。的数学期望。的数学期望。平均错误率平均错误率在整个在整个d维特征空间上的积分维特征空间上的积分 从上式可知，如果对每次观察到的特征值从上式可知，如果对每次观察到的特征值从上式可知，如果对每次观察到的特征值从上式可知，如果对每次观察到的特征值x x，P P P P(e e e e|)是尽可能小的话，则上式的积分必定是尽是尽可能小的话，则上式的积分必定是尽是尽可能小的话，则上式的积分必定是尽是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的可能小的这就证实了最小错误率的可能小的这就证实了最小错误率的可能小的这就证实

7、了最小错误率的BayesBayesBayesBayes决策法则。决策法则。决策法则。决策法则。下面以两类模式为例，从理论上给予证明：下面以两类模式为例，从理论上给予证明：下面以两类模式为例，从理论上给予证明：下面以两类模式为例，从理论上给予证明：也可以写为：也可以写为：对应图中黄色和对应图中黄色和橘红色区域面积橘红色区域面积对多类决策（假设有对多类决策（假设有c类），很容易写出相应的最小类），很容易写出相应的最小错误率贝叶斯决策规则：错误率贝叶斯决策规则：形式一：形式一：形式二：形式二：多类别决策过程中，要把特征空间分割成多类别决策过程中，要把特征空间分割成c个个区域，可能错分的情况很多，平均

8、错误概率区域，可能错分的情况很多，平均错误概率P(e)将由将由c(c-1)项组成。项组成。直接求直接求P(e)的计算量较大，将代之计算的计算量较大，将代之计算平均正平均正确分类概率确分类概率P(c),则：则：因此，P(e)=1-P(c)基于最小风险的贝叶斯决策基于最小风险的贝叶斯决策上述分类基于错误率最小化的所得到规则，但有上述分类基于错误率最小化的所得到规则，但有上述分类基于错误率最小化的所得到规则，但有上述分类基于错误率最小化的所得到规则，但有时要考虑比错误率更广泛的概念时要考虑比错误率更广泛的概念时要考虑比错误率更广泛的概念时要考虑比错误率更广泛的概念-风险风险风险风险。风险风险风险风险

9、与与与与损失损失损失损失密切相连。密切相连。密切相连。密切相连。比如对细胞分类固然尽可能正确判断，但判错了比如对细胞分类固然尽可能正确判断，但判错了比如对细胞分类固然尽可能正确判断，但判错了比如对细胞分类固然尽可能正确判断，但判错了的后果将怎样？的后果将怎样？的后果将怎样？的后果将怎样？正常正常正常正常异常：精神负担；异常：精神负担；异常：精神负担；异常：精神负担；异异异异常常常常正正正正常：失去进一步治疗的机会。常：失去进一步治疗的机会。常：失去进一步治疗的机会。常：失去进一步治疗的机会。显显显显然然然然这这这这两两两两种种种种不不不不同同同同的的的的错错错错误误误误判判判判断断断断所所所所

10、造造造造成成成成损损损损失失失失的的的的严严严严重重重重程程程程度是有显著差别的，后者的损失比前者更严重。度是有显著差别的，后者的损失比前者更严重。度是有显著差别的，后者的损失比前者更严重。度是有显著差别的，后者的损失比前者更严重。最最最最小小小小风风风风险险险险贝贝贝贝叶叶叶叶斯斯斯斯决决决决策策策策正正正正是是是是考考考考虑虑虑虑各各各各种种种种错错错错误误误误造造造造成成成成损损损损失失失失不同而提出的一种决策规则。不同而提出的一种决策规则。不同而提出的一种决策规则。不同而提出的一种决策规则。状态空间状态空间：设：设 1,2,c是是c个类别的集合。个类别的集合。决策空间决策空间：设：设

11、1,2,a是是a种决策行为。种决策行为。损失函数损失函数：记：记 (i|j)是是类别状态类别状态为为 j时采用时采用决决策行为策行为为为 i i时所带来的损失时所带来的损失(风险风险)。几个基本概念：几个基本概念：引引入入损损失失概概念念，考考虑虑错错判判所所造造成成损损失失，不不能能只只由由后后验验概概率率的的大大小小来来决决策策，而而应应考考虑虑所所采取决策是否使损失最小。采取决策是否使损失最小。对于对于对于对于i i=1,=1,a a，条件风险条件风险条件风险条件风险R R(i|x)|x)定义为：定义为：定义为：定义为：它是在它是在c c个类别状态中任取某个状态个类别状态中任取某个状态

12、j j时，采时，采用决策用决策 i i的风险的风险(i i|j j)相对于后验概率相对于后验概率P(P(j j/x)/x)的条件期望。的条件期望。观观察察值值x x是是随随机机向向量量，不不同同的的观观察察值值x x，采采取取决决策策 i i时时，其其条条件件风风险险的的大大小小是是不不同同的的。所所以以，究竟采取哪一种决策将随究竟采取哪一种决策将随x x的取值而定。的取值而定。决决策策 看看成成随随机机向向量量x x的的函函数数，记记为为(x)(x),它它也也是是一一个个随随机机变变量量。我我们们可可以以定定义义期期望望风风险险R R：期期望望风风险险R R反反映映对对整整个个特特征征空空间

13、间上上所所有有x x的的取取值采取相应的决策值采取相应的决策(x)(x)所带来的平均风险。所带来的平均风险。条条件件风风险险R R(i i|x)|x)只只是是反反映映对对某某一一观观察察值值x x，采采取取决决策策 i i时时，所所有有类类别别状状态态下下带带来来风风险险的平均值。的平均值。显显然然，我我们们要要求求采采取取的的一一系系列列决决策策行行动动(x)(x)使期望风险使期望风险R R最小。最小。如果在采取每一个决策或行动时，都使其条件如果在采取每一个决策或行动时，都使其条件风险最小，则对给定的风险最小，则对给定的观察值观察值x x作出决策时，其作出决策时，其期望风险也必然最小。这样的

14、决策就是期望风险也必然最小。这样的决策就是最小风最小风险贝叶斯决策险贝叶斯决策。其规则为：。其规则为：1.已已知知先先验验概概率率P(j)、类类条条件件概概率率密密度度p(x/j),并并给给出出待待识识别别的的x，根根据据贝贝叶叶斯斯公公式，计算出后验概率式，计算出后验概率P(j/x)。最小风险贝叶斯决策步骤最小风险贝叶斯决策步骤2.利利用用后后验验概概率率P(j/x)与与损损失失函函数数，计计算算出出每每个个条条件件期期望望风风险险R(i/x)(一一共共有有a个个决决策策)。3.在在a个个R(i/x)相相互互比比较较，找找出出最最小小的的决决策策 k，完成最小风险贝叶斯决策。，完成最小风险贝

15、叶斯决策。vv注注意意：最最小小风风险险贝贝叶叶斯斯决决策策除除了了先先验验概概率率P P(j j)和和类类条条件件概概率率密密度度p p(x/(x/j j)外外，还需要有合适的还需要有合适的损失函数损失函数(j j,j j)。vv在在实实际际中中，要要列列出出合合适适的的决决策策表表很很不不容容易易，要要根根据据所所研研究究的的具具体体问问题题，分分析析错错误误决决策策造造成成损损失失的的严严重重程程度度，与与有有关关的的专家共同商讨来确定。专家共同商讨来确定。v例：某地区细胞识别；例：某地区细胞识别；P(1)=0.9，P(2)=0.1 未知未知细胞细胞x，先从类条件概率密度分布曲线上查到：

16、，先从类条件概率密度分布曲线上查到：P(x/1)=0.2，P(x/2)=0.4问该细胞属于正常细胞还是异常细胞？问该细胞属于正常细胞还是异常细胞？最小错误率决策与最小风险决策之间的关系最小错误率决策与最小风险决策之间的关系“0-1”“0-1”“0-1”“0-1”损失函数损失函数损失函数损失函数定义：在定义：在定义：在定义：在c c c c个类别只有个类别只有个类别只有个类别只有c c c c个决策时，个决策时，个决策时，个决策时，如果正确决策，则损失函数的值为如果正确决策，则损失函数的值为如果正确决策，则损失函数的值为如果正确决策，则损失函数的值为0 0 0 0；如果错误决策，；如果错误决策，

17、；如果错误决策，；如果错误决策，则损失函数的值为则损失函数的值为则损失函数的值为则损失函数的值为1 1 1 1。公式表示为：。公式表示为：。公式表示为：。公式表示为：此时的条件风险为：此时的条件风险为：表示对表示对x采取决策采取决策 i i的条件错误概率的条件错误概率所以在所以在0-1损失函数时，使损失函数时，使的最小风险贝叶斯决策就等价于的最小风险贝叶斯决策就等价于的最小错误率贝叶斯决策。的最小错误率贝叶斯决策。因此，在因此，在0-1损失函数条件下最小错误率贝叶斯决损失函数条件下最小错误率贝叶斯决策就是的最小风险贝叶斯决策。策就是的最小风险贝叶斯决策。NeymanPearson决策决策vvN

18、eymanPearsonNeymanPearson决策即限定一类错误率条件下使决策即限定一类错误率条件下使决策即限定一类错误率条件下使决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。另一类错误率为最小的两类别决策。另一类错误率为最小的两类别决策。另一类错误率为最小的两类别决策。vv在两类别决策问题中，有犯两种错误分类的可能性，在两类别决策问题中，有犯两种错误分类的可能性，在两类别决策问题中，有犯两种错误分类的可能性，在两类别决策问题中，有犯两种错误分类的可能性，这两种错误的概率分别是这两种错误的概率分别是这两种错误的概率分别是这两种错误的概率分别是P(P(2 2)P)P2 2(e)

19、(e)和和和和 P(P(1 1)P)P1 1(e)(e)，由于先验概率对具体问题来说是确定的，所以一般称由于先验概率对具体问题来说是确定的，所以一般称由于先验概率对具体问题来说是确定的，所以一般称由于先验概率对具体问题来说是确定的，所以一般称P P1 1(e)(e)，P P2 2(e)(e)为为为为两类错误率两类错误率两类错误率两类错误率。vv实际中，有时要求限制其中某一类错误率不得大于某实际中，有时要求限制其中某一类错误率不得大于某实际中，有时要求限制其中某一类错误率不得大于某实际中，有时要求限制其中某一类错误率不得大于某个常数而使另一类错误率尽可能小。个常数而使另一类错误率尽可能小。个常数

20、而使另一类错误率尽可能小。个常数而使另一类错误率尽可能小。假设假设P2（e）很小，使）很小，使P2（e）=0，0是一个很小的是一个很小的常数，在这种条件下再要求尽可能小。常数，在这种条件下再要求尽可能小。如图所示：如图所示：这样的决策可看成是在这样的决策可看成是在P2（e）=0条件下，求极小值条件下，求极小值的条件极值问题，用的条件极值问题，用Lagrange乘子法建立数学模型：乘子法建立数学模型：取得极小值的边界条件（对取得极小值的边界条件（对取得极小值的边界条件（对取得极小值的边界条件（对t t t t和和和和求导）求导）求导）求导）整理得：整理得：满足上述两式的满足上述两式的和边界面就能

21、使和边界面就能使极小。极小。此时的决策规则为：此时的决策规则为：此时的决策规则为：此时的决策规则为：分类器设计分类器设计v之前介绍了几种统计决策规则，应用这些规之前介绍了几种统计决策规则，应用这些规则对观察向量则对观察向量x进行分类是分类器设计的主要进行分类是分类器设计的主要问题。问题。v决策面决策面：对于：对于c类问题，按照决策规则可以把类问题，按照决策规则可以把d维特征空间分成维特征空间分成c个决策域，划分决策域的个决策域，划分决策域的边界面即为决策面。边界面即为决策面。v判别函数判别函数：用于表达决策规则的一些函数。：用于表达决策规则的一些函数。多类情况多类情况1.判别函数判别函数2.决策面方程决策面方程各决策域被决策面所各决策域被决策面所分割，这些决策面是分割，这些决策面是特征空间中的超平面，特征空间中的超平面，相邻决策域在决策面相邻决策域在决策面上的判别函数值相等。上的判别函数值相等。3.分类器设计分类器设计MAXMAXg g1 1.g g2 2g gc c.x1x2xna(x)最大值选择器决策多类分类器的构成两类情况两类情况判别计算判别计算阈值单元阈值单元决策决策两类分类器的构成两类分类器的构成3.分类器设计举例：举例：对例对例2.1和例和例2.2分别写出其判别函数和决策面方程分别写出其判别函数和决策面方程演讲完毕，谢谢观看！