基于统计决策的概率分类法.ppt
《基于统计决策的概率分类法.ppt》由会员分享,可在线阅读,更多相关《基于统计决策的概率分类法.ppt(114页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、2.1 研究对象及相关概率研究对象及相关概率2.2 贝叶斯决策贝叶斯决策2.3 贝叶斯分类器的错误率贝叶斯分类器的错误率2.4 聂曼聂曼-皮尔逊决策皮尔逊决策2.5 概率密度函数的参数估计概率密度函数的参数估计2.6 概率密度函数的非参数估计概率密度函数的非参数估计2.7 后验概率密度分类的势函数方法后验概率密度分类的势函数方法第第2章章 基于统计决策的概率分类法基于统计决策的概率分类法 获取模式的观察值时,有二种情况:*确定性事件:事物间有确定的因果关系。第三章内容。*随机事件:事物间没有确定的因果关系,观察到的特征具有 统计特性,是一个随机向量。只能利用模式集的统计特性进 行分类,使分类器
2、发生分类错误的概率最小。1.两类研究对象两类研究对象2.相关概率相关概率1)概率的定义 设是随机试验的基本空间(所有可能的实验结果或基本事件的全体构成的集合,也称样本空间),A为随机事件,P(A)为定义在所有随机事件组成的集合上的实函数,若P(A)满足:2.1 研究对象及相关概率研究对象及相关概率(3)对于两两互斥的事件A1,A2,有(1)对任一事件A有:0P(A)1。(2)P()=1,事件的全体则称函数P(A)为事件A的概率。设A、B是两个随机事件,且P(B)0,则称为事件B发生的条件下事件A发生的条件概率。3)条件概率定义(1)不可能事件V的概率为零,即P(V)=0。2)概率的性质联合概率
3、P(AB):A,B同时发生的概率(2-1)(1)概率乘法公式:如果P(B)0,则联合概率 P(AB)=P(B)P(A|B)=P(A)P(B|A)=P(BA)(3)贝叶斯公式:在全概率公式的条件下,若P(B)0,则将 (2-2),(2-3)式代入(2-1)式中,有:(2-4)4)条件概率的三个重要公式:则对任一事件B有:(2)全概率公式:设事件A1,A2,An,两两互斥,且(2-2)(2-3)今后的分类中常用到类概率密度p(X|i):i类的条件概率密度函数,通常也称为i的似然函数。设随机样本向量X,相关的三个概率:(2)后验概率P(i|X):相对于先验概率而言。指收到数据X(一批样本)后,根据这
4、批样本提供的信息统计出的i类出现的概率。表示X 属于i类的概率。5)模式识别中的三个概率(1)先验概率P(i):根据以前的知识和经验得出的i类样本 出现的概率,与现在无关。(3)条件概率P(X|i):已知属于i类的样本X,发生某种事件的概率。例对一批得病患者进行一项化验,结果为阳性的概率为95%,1代表得病人群,则X化验为阳性的事件可表示为P(2|X)表示试验呈阳性的人中,实际没有病的 人的概率。若用某种方法检测是否患有某病,假设 X 表示“试验反应呈阳性”。则:例如:一个2类问题,1诊断为患有某病,2诊断为无病,P(2)表示该地区人无此病的概率。则:P(1)表示某地区的人患有此病的概率,P(
5、X|2)表示无病的人群做该试验时反应呈阳性 (显示有病)的概率。值低/高值低/高P(X|1)表示患病人群做该试验时反应呈阳性的 概率。P(1|X)表示试验呈阳性的人中,实际确实有病的 人的概率。?通过统计资料得到(4)三者关系:根据(4-4)贝叶斯公式有 (2-5)M:类别数2.决策规则决策规则2.2.1 最小错误率贝叶斯决策最小错误率贝叶斯决策 讨论模式集的分类,目的是确定X属于那一类,所以要看X来自哪类的概率大。在下列三种概率中:先验概率P(i)类(条件)概率密度p(X|i)后验概率P(i|X)采用哪种概率进行分类最合理?1.问题分析问题分析后验概率P(i|X)2.2 贝叶斯决策贝叶斯决策
6、设有M类模式,(2-6)最小错误率贝叶斯决策规则 虽然后验概率P(i|X)可以提供有效的分类信息,但先验概率P(i)和类概率密度函数p(X|i)从统计资料中容易获得,故用Bayes公式,将后验概率转化为类概率密度函数和先验概率的表示。由:可知,分母与i无关,即与分类无关,故分类规则又可表示为:(2-7)几种等价形式:对两类问题,(2-7)式相当于若,则若,则可改写为:统计学中称l12(X)为似然比,为似然比阈值。对(2-9)式取自然对数,有:(2-7),(2-8),(2-9)都是最小错误率贝叶斯决策规则的等价形式。若,则 (2-8)若,则(2-9)例例2.1 假定在细胞识别中,病变细胞的先验概
7、率和正常细胞的先验概率分别为 。现有一待识别细胞,其观察值为X,从类条件概率密度发布曲线上查得:试对细胞X进行分类。解:方法1 通过后验概率计算。方法2:利用先验概率和类概率密度计算。,是正常细胞。证明证明:贝叶斯分类器在最小化分类错误率上是最优的。最小风险贝叶斯决策基本思想:以各种错误分类所造成的平均风险最小为规则,进行分类决策。2.2.2 最小风险贝叶斯决策最小风险贝叶斯决策1.风险的概念风险的概念 *自动灭火系统:*疾病诊断:不同的错判造成的损失不同,因此风险不同,两者紧密相连。考虑到对某一类的错判要比对另一类的错判更为关键,把最小错误率的贝叶斯判决做一些修改,提出了“条件平均风险”的概
8、念。对M类问题,如果观察样本X被判定属于i类,则条件平均风险ri(X)指将X判为属于i类时造成的平均损失。2.决策规则决策规则式中,i 分类判决后指定的判决号;j 样本实际属于的类别号;将自然属性是j类的样本决策为i类时的是非代价,即损失函数。自然属性为j类的样本,被划分到i类中,在i类中产生一错误分类,风险增加。Lij对P作加权平均 每个X 都按条件平均风险最小决策,则总的条件平均风险也最小。总的条件平均风险称为平均风险。条件平均风险与平均风险的区别平均风险:对模式总体而言。条件平均风险:对某个样本而言。1)多类情况设有M 类,对于任一X 对应 M个条件平均风险:对每个X有M种可能的类别划分
9、,X被判决为每一类的条件平均风险分别为r1(X),r2(X),rM(X)。决策规则:,i=1,2,M l由已知,先验概率和类条件概率l根据损失函数 ,计算条件风险个条件风险中,最小的条件风险为,则说明说明:用先验概率和条件概率的形式:p(X)对所有类别一样,不提供分类信息。,i=1,2,M 决策规则为:,则若2)两类情况)两类情况:对样本 X当X 被判为1类时:当X 被判为2类时:(2-15)(2-16)由(2-15)式:决策规则:令:,称似然比;,为阈值。计算 。计算 。定义损失函数Lij。判别步骤:类概率密度函数p(X|i)也称i的似然函数解:计算 和 得:例4.2 在细胞识别中,病变细胞
10、和正常细胞的先验概率 分别为现有一待识别细胞,观察值为X,从类概率密度分布曲线上查得损失函数分别为L11=0,L21=10,L22=0,L12=1。按最小风险贝叶斯决策分类。为病变细胞。损失函数为特殊情况:3.(0-1)损失最小风险贝叶斯决策损失最小风险贝叶斯决策1)多类情况(0-1)情况下,可改写成:,i=1,2,M,则若一般形式:最小错误率贝叶斯决策2)两类情况决策规则为(2-20)判别函数等价形式:决策规则的等价形式为:或从式(2-20)导出似然比形式:式中:决策规则:类似地,Lij(X)的确定:根据错误造成损失的严重程度,及专家经验确定。2.2.3 正态分布模式的贝叶斯决策正态分布模式
11、的贝叶斯决策 许多实际的数据集:均值附近分布较多的样本;距均值点越远,样本分布越少。此时正态分布(高斯分布)是一种合理的近似。正态分布概率模型的优点:*物理上的合理性。*数学上的简单性。图中为某大学男大学生的身高数据,红线是拟合的密度曲线。可见,其身高应服从正态分布。1.相关知识概述相关知识概述1)二次型)二次型设一向量,矩阵则称为二次型。二次型中的矩阵A是一个对称矩阵,即 。含义:是一个二次齐次多项式,2)正定二次型)正定二次型 对于 (即X分量不全为零),总有 ,则称此二次型是正定的,而其对应的矩阵称为正定矩阵。3)单变量(一维)的正态分布)单变量(一维)的正态分布密度函数定义为:曲线如图
12、示:=-1,=0.5;=0,=1;=1,=2.一维正态曲线的性质:(2)曲线关于直线 x=对称。(3)当 x=时,曲线位于最高点。(4)当x时,曲线上升;当x时,曲线下降.并且当曲线向左、右两边无限延伸时,以x轴为渐近线,向它无限靠近。(1)曲线在 x 轴的上方,与x轴不相交。(5)一定时,曲线的形状由确定。越大,曲线越“矮胖”,表示总体的分布越分散;越小。曲线越“瘦高”。表示总体的分布越集中。4)3规则规则即:绝大部分样本都落在了均值附近3的范围内,因此正态密度曲线完全可由均值和方差来确定,常简记为:p(x)5)多变量()多变量(n维)正态随机向量维)正态随机向量密度函数定义为:式中:;|C
13、|:协方差矩阵C的行列式。多维正态密度函数完全由它的均值向量 M 和协方差矩阵C所确定,简记为:p(X)N(M,C)为协方差矩阵,是对称正定矩阵,独立元素有 个;以二维正态密度函数为例:等高线(等密度线)投影到x1ox2面上为椭圆,从原点O到点M 的向量为均值M。椭圆的位置:由均值向量M决定;椭圆的形状:由协方差矩阵C决定。协方差矩阵Ci:反映样本分布区域的形状;均值向量Mi:表明了区域中心的位置。2.正态分布的最小错误率贝叶斯决策规则正态分布的最小错误率贝叶斯决策规则1)多类情况)多类情况具有M 种模式类别的多变量正态密度函数为:前面介绍的Bayes方法事先必须求出p(X|i),P(i)。而
14、当 p(X|i)呈正态分布时,只需要知道 M 和 C 即可。每一类模式的分布密度都完全被其均值向量Mi和协方差矩阵Ci所规定,其定义为:对正态密度函数,为了方便计算,取对数:对数是单调递增函数,取对数后仍有相对应的分类性能。最小错误率Bayes决策中,i类的判别函数为 ,去掉与i无关的项,得判别函数:正态分布的最小错误率Bayes决策的判别函数。(2-25)di(X)为超二次曲面。可见对正态分布模式的Bayes分类器,两类模式之间用一个二次判别界面分开,就可以达到最优的分类效果。判决规则同前:2)两类问题)两类问题(1)当C1C2时:对应判别函数判别界面 是X的二次型方程决定的超曲面。二维判别
15、界面如图2.3所示。若 决策规则:图2.3 C1C2时(2)当C1=C2=C时:由式(2-25)有由此导出判别界面为:为X的线性函数,是一超平面。当为二维时,判别界面为一直线,如图2.4所示。(2-28)两类相同,抵消展开相同,合并(3)当时:判别界面如图2.5所示。图2.4 C1=C2=C,图2.5 C1=C2=I且先验概率相等 例2.3 设在三维特征空间里,有两类正态分布模式,每类各有4 个样本,分别为其均值向量和协方差矩阵可用下式估计:(2-30)(2-31)式中,Ni为类别i中模式的数目,Xij代表在第i类中的第j个模式。两类的先验概率 。试确定两类之间的判别界面。解:经计算有因协方差
16、矩阵相等因协方差矩阵相等,故(2-28)为其判别式。由于将代入:(2-28)图中画出判别平面的一部分。描点:2.3 贝叶斯分类器的错误率贝叶斯分类器的错误率2.3.1 错误率的概念错误率的概念错误率:将应属于某一类的模式错分到其他类中的概率。是衡量分类器性能优劣的重要参数。定义为 表示n重积分,即整个n维模式空间上的积分。式中:;是X的条件错误概率;平均错误率平均错误率错误率的计算或估计方法:按理论公式计算;计算错误率上界;实验估计。设R1为1类的判决区,R2为2类的判决区,分类中可能会发生两种错误:将来自1类的模式错分到R2中去。将来自2类的模式错分到R1中去。错误率为两种错误之和:4.3.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 统计 决策 概率 分类法
限制150内