统计决策理论定理幻灯片.ppt

《统计决策理论定理幻灯片.ppt》由会员分享，可在线阅读，更多相关《统计决策理论定理幻灯片.ppt（28页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、统计决策理论定理第1页，共28页，编辑于2022年，星期二1关于统计学的一个笑话：关于统计学的一个笑话：有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写的是：“擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次,累计15次；每个气球的平均寿命10秒钟；警告孩子不要横穿马路26次；孩子坚持要穿马路26次；我还要再过这样的星期六0次”。统计学真的这样呆板吗？仅仅收集数据，整理分析，累加平均 第2页，共28页，编辑于2022年，星期二2统计学以数据为研究内容，但仅仅收集数据，决不构成统计学研究的全部。下面介绍几种最常用、也是最基本的统计决策

2、方法。这些方法是以后各种模式识别方法的基础。第3页，共28页，编辑于2022年，星期二3贝叶斯决策理论方法是统计模式识别中的一个基本方贝叶斯决策理论方法是统计模式识别中的一个基本方法，用这种方法进行分类时要求满足以下两个条件：法，用这种方法进行分类时要求满足以下两个条件：（1 1）各类别总体的概率分布是已知的；）各类别总体的概率分布是已知的；（2 2）要决策的类别数是一定的。）要决策的类别数是一定的。在在连续连续的条件下，假的条件下，假设设要要识别识别的的对对象有象有d种特征测量种特征测量值值 ，每一种特征都是一个随机变量，因此，每一种特征都是一个随机变量，因此组成组成d维随机向量维随机向量

3、,d种特征的所有的种特征的所有的取值范围构成了取值范围构成了d维特征空间。维特征空间。2.1 Bayes定理定理第4页，共28页，编辑于2022年，星期二4u贝叶斯决策理论方法所讨论的问题是：已知总共有c个类别及各类别i=1,2,c的先验概率P(i)及类条件概率密度函数p(x|i)已知的条件下，如何对某一样本按其特征向量分类的问题。u由于属于不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一X值，这种可能性可用P(i|X)表示。如何作出合理的判决就是贝叶斯决策理论所要讨论的问题。第5页，共28页，编辑于2022年，星期二5 先验

4、概率预先已知的或者可以估计的模式识别系统位于某种类型的概率，即根据大量统计确定某类事物出现的比例。如我国理工科大学男女生比例大约为8:2，则在这类学校一个学生是男生的先验概率为0.8，而为女生的概率是0.2，两个概率之和为1。第6页，共28页，编辑于2022年，星期二6类条件概率密度函数类条件概率密度函数u系统位于某种类型条件下模式样本出现的概率密度分布函数。u男女生比例是男生与女生这两类事物之间的关系，而男生高度男女生比例是男生与女生这两类事物之间的关系，而男生高度的分布则与女生的分布无关。为了强调是同一类事物内部，因此的分布则与女生的分布无关。为了强调是同一类事物内部，因此这种分布密度函数

5、往往表示成条件概率的形式。这种分布密度函数往往表示成条件概率的形式。u例如例如X表示某一个学生的特征向量，则男生的类条件概率密度表表示某一个学生的特征向量，则男生的类条件概率密度表示成示成P(X|男生男生)，女生的表示成，女生的表示成P(X|女生女生)，这两者之间没有任何，这两者之间没有任何关系，可为从关系，可为从01之间的任意值。之间的任意值。第7页，共28页，编辑于2022年，星期二7 后验概率后验概率u一个具体样本属于某种类别的概率。一个具体样本属于某种类别的概率。u例如一个学生用特征向量例如一个学生用特征向量X表示，它是男性或女性的概表示，它是男性或女性的概率表示成率表示成P(男生男生

6、|X)和和P(女生女生|X)，这就是后验概率。，这就是后验概率。u由于一个学生只可能为两个性别之一，因此有由于一个学生只可能为两个性别之一，因此有P(男生男生|X)+P(女生女生|X)=1，这一点是与类分布密度函数不同的。，这一点是与类分布密度函数不同的。u后验概率与先验概率也不同，后验概率涉及一个具体事后验概率与先验概率也不同，后验概率涉及一个具体事物，而先验概率是泛指一类事物，物，而先验概率是泛指一类事物，因此因此 P(男生男生|X)和和P(男男生生)是两个不同的概念。是两个不同的概念。第8页，共28页，编辑于2022年，星期二8贝叶斯公式u两个事物两个事物X与与w联合出现的概率称为联合出

7、现的概率称为联合概率联合概率，可写成，可写成P(X，w)，它们又可与条件概率联系起来，即，它们又可与条件概率联系起来，即P(X，w)=P(X|w)P(w)=P(w|X)P(X)，这就是，这就是贝叶斯公式贝叶斯公式。u如果将上式中各个项与先验概率，类条件概率密度函数如果将上式中各个项与先验概率，类条件概率密度函数以及后验概率联合起来，可以找到利用先验概率，类条件以及后验概率联合起来，可以找到利用先验概率，类条件概率分布密度函数计算后验概率的方法。概率分布密度函数计算后验概率的方法。第9页，共28页，编辑于2022年，星期二92.1 Bayes定理定理假设每个要识别的细胞已作过预处理，并抽取出了假

8、设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用一个个特征描述量，用一个d维的特征向量维的特征向量X表示，表示，识别的识别的目的是要依据该目的是要依据该X向量将细胞划分为正常细胞或者向量将细胞划分为正常细胞或者异常细胞异常细胞。这里我们用。这里我们用表示是正常细胞，而表示是正常细胞，而则则属于异常细胞。属于异常细胞。下面我们从一个两类情况的例子下面我们从一个两类情况的例子癌细胞识别出发来讨论，癌细胞识别出发来讨论，然后推广到一般情况。然后推广到一般情况。第10页，共28页，编辑于2022年，星期二102.1 Bayes定理定理根据医院细胞病理检查的大量统计资料可以对某一地区正常细胞

9、根据医院细胞病理检查的大量统计资料可以对某一地区正常细胞和异常细胞出现的比例作出估计，即已知先验概率和异常细胞出现的比例作出估计，即已知先验概率P(1)和和P(2)，P(1)P(2)1。显然一般情况下显然一般情况下P(1)P(2)，因此如果不仔细观察具体的，因此如果不仔细观察具体的细胞化验值，该细胞是正常细胞的判决，在统计的意义上来说，细胞化验值，该细胞是正常细胞的判决，在统计的意义上来说，错判可能性比判为异常细胞时小。错判可能性比判为异常细胞时小。但仅按先验概率来决策，就会把所有细胞都划归为正常细胞，但仅按先验概率来决策，就会把所有细胞都划归为正常细胞，并没有达到将正常细胞与异常细胞区分开的

10、目的。并没有达到将正常细胞与异常细胞区分开的目的。这表明由先验这表明由先验概率所提供的信息太少。概率所提供的信息太少。第11页，共28页，编辑于2022年，星期二11 为此必须利用抽取到的为此必须利用抽取到的d维观测向量。为简单起见，假定维观测向量。为简单起见，假定d=1，并已知两类的类条件概率密度函数分布，如图所示，其中，并已知两类的类条件概率密度函数分布，如图所示，其中P(x|1)是正常细胞的属性分布，是正常细胞的属性分布，P(x|2)是异常细胞的属性分布。是异常细胞的属性分布。类条件概率密度图第12页，共28页，编辑于2022年，星期二12由由Bayes公式得到：公式得到：式中式中 于是

11、由先验概率于是由先验概率 转化为后验概率转化为后验概率 P(j|x)。如果对待分类模式的特征我们得到一个观察值如果对待分类模式的特征我们得到一个观察值x，经上式计算出，经上式计算出结果结果 ，则判决，则判决X属于属于 ，反之，属于，反之，属于 。第13页，共28页，编辑于2022年，星期二132.2 Bayes决策决策第14页，共28页，编辑于2022年，星期二14 例1：在细胞的化验中，要区分正常和异常的两种类型，分别用w1和w2表示，已知p(w1)=0.85,p(w2)=0.15,现有一待测细胞，其观测值为X，从类条件概率密度分析曲线上查得p(x/w1)=0.15,p(x/w2)=0.45

12、,试对该细胞进行分类。2.2 Bayes决策决策第15页，共28页，编辑于2022年，星期二15所以这次化验的细胞被判断为正常类型细胞。第16页，共28页，编辑于2022年，星期二162.2 Bayes决策决策2.2.2 最小风险Bayes决策最小风险Bayes决策是考虑各种错误造成损失不同而提出的一种决策规则。例如，通过化验判断细胞是不是癌细胞，可能做出两种错误判决：一是把癌细胞错判为正常细胞；一种是把正常细胞错判为癌细胞。这两种错误判决带来的风险显然是不同的。第17页，共28页，编辑于2022年，星期二17第18页，共28页，编辑于2022年，星期二18一般决策表第19页，共28页，编辑于

13、2022年，星期二19第20页，共28页，编辑于2022年，星期二20第21页，共28页，编辑于2022年，星期二21例2：在细胞化验中要区分正常的和异常的两种类型，分别是分别用w1和w2表示，要得到的判决也是两种，分别为a1和a2，需要汇集专家们的知识和经验，针对具体问题进行深入的分析，了解各种判决可能造成的风险或损失。细胞识别中的风险矩阵第22页，共28页，编辑于2022年，星期二22解：根据风险矩阵表所以这次化验的细胞被判断为异常类型细胞。第23页，共28页，编辑于2022年，星期二232.3 分类器的设计分类器的设计第24页，共28页，编辑于2022年，星期二242.3 分类器的设计分

14、类器的设计按最小错误率作决策时，决策规则的形式为 则相应的则相应的判别函数判别函数为：为：gi(X)P(i|X),i=1,2而而决策面方程决策面方程则可写成则可写成 g1(X)g2(X)决策规则也可以写成用判别函数表示的形式决策规则也可以写成用判别函数表示的形式 如果如果gi(X)gj(X)i,j=1,2 且且 ij 则则Xi，否则否则Xj 第25页，共28页，编辑于2022年，星期二25至于多类别情况，则对应于一种决策规则要定义一至于多类别情况，则对应于一种决策规则要定义一组判别函数：组判别函数：gi(X)，i=1,2,，c 而决策规则可表示成如果而决策规则可表示成如果 则将则将X归于归于i类类第26页，共28页，编辑于2022年，星期二262.3 分类器的设计分类器的设计两类别问题分类器的结构框图 2、分类器的设计第27页，共28页，编辑于2022年，星期二27多类别分类器的结构框图第28页，共28页，编辑于2022年，星期二28