【教学课件】第三章概率密度的估计.ppt

《【教学课件】第三章概率密度的估计.ppt》由会员分享，可在线阅读，更多相关《【教学课件】第三章概率密度的估计.ppt（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章 概率密度密度的估计第三章 概率密度密度的估计2第三章 概率密度密度的估计33.1 引言基于样本的Bayes分类器：通过估计类条件概率密度函数，设计相应的判别函数分类器功能结构基于样本的直接确定判别函数方法第三章 概率密度密度的估计4基于样本的Bayes分类器设计uBayes决策需要已知两种知识：各类的先验概率P(i)各类的条件概率密度函数p(x|i)u知识的来源：对问题的一般性认识或一些训练数据u基于样本的两步Bayes分类器设计利用样本集估计P(i)和p(x|i)基于上述估计值设计判别函数及分类器u面临的问题：如何利用样本集进行估计估计量的评价利用样本集估计错误率引言第三章 概率密度

2、密度的估计5基于样本的Bayes分类器训练样本集样本分布的统计特征：概率密度函数决策规则：判别函数决策面方程u最一般情况下适用的“最优”分类器：错误率最小，对分类器设计在理论上有指导意义。u获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计分布的条件。引言第三章 概率密度密度的估计6直接确定判别函数u基于样本的直接确定判别函数方法：针对各种不同的情况，使用不同的准则函数，设计出满足这些不同准则要求的分类器。这些准则的“最优”并不一定与错误率最小相一致：次优分类器。实例：正态分布最小错误率贝叶斯分类器在特殊情况下，是线性判别函数g(x)=wTx（决策面是超平面），能否基于样本直接确定

3、w?训练样本集决策规则：判别函数决策面方程选择最佳准则引言第三章 概率密度密度的估计7概率密度估计的方法u类的先验概率P(i)的估计：用训练数据中各类出现的频率来估计依靠经验引言u类条件概率密度函数的估计：两大类方法参数估计：概率密度函数的形式已知，而表征函数的参数未知，需要通过训练数据来估计最大似然估计Bayes估计非参数估计：概率密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计Parzen窗法和kn-近邻法神经网络方法第三章 概率密度密度的估计83.2 参数估计u统计量：样本集K=x1,x2,xN的某种函数f(K)u参数空间：总体分布的未知参数所有可能取值组成的集合()u

4、点估计和参数估计u点估计的估计量和估计值：第三章 概率密度密度的估计9估计量的评价标准u估计量的评价标准：无偏性，有效性，一致性无偏性：E()=有效性：D()小，估计更有效一致性：样本数趋于无穷时，依概率趋于：第三章 概率密度密度的估计103.2.1 最大似然估计uMaximum Likelihood(ML)估计估计的参数是确定而未知的，而Bayes估计方法则视为随机变量。样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集来训练。概率密度函数的形式已知，参数未知，为了描述概率密度函数p(x|i)与参数的依赖关系，用p(x|i,)表示。u独立地按概率密度p(x|)抽取样本集K=x1,

5、x2,xN，用K估计未知参数第三章 概率密度密度的估计11似然函数u似然函数：u对数(loglarized)似然函数：最大似然估计第三章 概率密度密度的估计12最大似然估计最大似然估计第三章 概率密度密度的估计13最大似然估计示意图最大似然估计第三章 概率密度密度的估计14计算方法u最大似然估计量使似然函数梯度梯度为0：最大似然估计第三章 概率密度密度的估计153.2.2 贝叶斯估计-最大后验概率u用一组样本集K=x x1,x x2,x xN估计未知参数u未知参数视为随机变量，先验分布为 p()，而在已知样本集K出现的条件下的后验概率为p(|K)u最大后验概率估计-Maximum a post

6、eriori(MAP)第三章 概率密度密度的估计16贝叶斯决策问题与贝叶斯估计问题u贝叶斯决策问题:样本x决策ai真实状态wj状态空间A是离散空间先验概率P(wj)u贝叶斯参数估计问题：样本集K估计量s真实参数s参数空间S是连续空间参数的先验分布p(s)贝叶斯估计第三章 概率密度密度的估计17贝叶斯(最小风险)估计u参数估计的条件风险：给定x条件下，估计量的期望损失u参数估计的风险：估计量的条件风险的期望uu贝叶斯估计：贝叶斯估计：使风险最小的估计贝叶斯估计第三章 概率密度密度的估计18贝叶斯估计(II)贝叶斯估计u损失函数定义为误差平方：定理 3.1:如果定义损失函数为误差平方函数，则有：第

7、三章 概率密度密度的估计19贝叶斯估计的步骤1.确定的先验分布 p()2.由样本集K=x1,x2,xN求出样本联合分布：p(K|)3.计算的后验分布4.计算贝叶斯估计贝叶斯估计第三章 概率密度密度的估计20贝叶斯学习u贝叶斯学习：利用的先验分布 p()及样本提供的信息求出的后验分布p(|K)，然后直接求总体分布p(x|K)方法性能贝叶斯估计参数的贝叶斯学习性质第三章 概率密度密度的估计213.3 正态分布的参数估计u最大似然估计示例u贝叶斯估计示例u贝叶斯学习示例第三章 概率密度密度的估计223.3.1 一元正态分布例解最大似然估计第三章 概率密度密度的估计23一元正态分布均值的估计最大似然估

8、计第三章 概率密度密度的估计24一元正态分布方差的估计最大似然估计第三章 概率密度密度的估计25多元正态分布参数最大似然估计u最大似然估计是一致估计u均值估计是无偏的，协方差矩阵估计是有偏的。u协方差矩阵的无偏估计是：总体均值向量和协方差矩阵最大似然估计第三章 概率密度密度的估计263.3.2 一元正态分布贝叶斯估计例解u总体分布密度为：贝叶斯估计u均值为随机未知变量，的先验分布为：u用贝叶斯估计方法求的估计量u样本集：K=x1,x2,xNu计算的后验分布：第三章 概率密度密度的估计27一元正态分布例解(II)u计算的后验分布：贝叶斯估计计算的贝叶斯估计：第三章 概率密度密度的估计283.3.

9、3 贝叶斯学习u贝叶斯学习：利用的先验分布 p()及样本提供的信息求出的后验分布p(|K)，然后直接求总体分布p(x|K)贝叶斯估计第三章 概率密度密度的估计29一元正态分布例解u总体分布密度为：u均值为随机未知变量，其先验分布为：u样本集：K=x1,x2,xNu计算的后验分布：贝叶斯估计第三章 概率密度密度的估计30一元正态分布例解(II)u直接计算总体密度：贝叶斯估计第三章 概率密度密度的估计313.5 非参数估计u非参数估计：密度函数的形式未知，也不作假设，利用训练数据直接对概率密度进行估计。又称作模型无关方法。参数估计需要事先假定一种分布函数，利用样本数据估计其参数。又称作基于模型的方

10、法u两种主要非参数估计方法：核函数方法Parzen窗法kN-近邻法神经网络方法：PNN第三章 概率密度密度的估计323.5.1 核函数方法u估计的目的：从样本集K=x1,x2,xN估计样本空间中任何一点的概率密度p(x)u基本方法：用某种核函数表示某一样本对待估计的密度函数的贡献，所有样本所作贡献的线性组合视作对某点概率密度p(x)的估计非参数估计第三章 概率密度密度的估计33核函数方法图解非参数估计一个样本对自己所在位置的分布贡献最大，离得越远贡献越小第三章 概率密度密度的估计34基本方法u基本思想：u两种常用的方法：Parzen窗法:kN-近邻法:非参数估计第三章 概率密度密度的估计353

11、.5.2 Parzen窗法u样本集KN=x1,x2,xNu区域RN是一个d维超立方体，棱长hN，体积VN=hNdu定义窗核函数：u落入超立方体内样本数kN：u某点概率密度p(x)的估计非参数估计计数函数第三章 概率密度密度的估计36核函数的选择u核函数需满足归一化条件：u两种常用的核函数：均匀核(方窗)：正态核(高斯窗)：非参数估计第三章 概率密度密度的估计37窗宽的选择uhN是控制“窗”宽度的参数，根据样本的数量选择。太大：平均化，分辨力低太小：统计变动大不同窗宽的估计效果非参数估计第三章 概率密度密度的估计38估计密度函数的统计性质u为保证估计依概率渐进收敛到真实的概率密度，即：u估计密度

12、函数是渐进无偏和平方误差一致的。其充要条件：非参数估计39Parzen窗法示例1非参数估计估计单一正态分布40Parzen窗法示例2非参数估计估计两个均匀分布第三章 概率密度密度的估计41有限样本的影响u密度估计的均方误差：u维数灾难(Curse of Dimensionality):当维数较高时，样本数量无法达到精确估计的要求。NdN4/(d+4)1610.13220.117850.13162100.13E+13500.1非参数估计第三章 概率密度密度的估计42 kN-近邻法u均匀核函数Parzen窗估计，窗宽固定，不同位置落在窗内的样本点的数目是变化的。ukN-近邻估计：把窗扩大到刚好覆盖

13、kN个点。落在窗内的样本点的数目固定，窗宽是变化的。kN根据样本总数N选择。u概率密度估计表达式：非参数估计点x处窗的“体积”是Vn收敛条件经验值kN-近邻法举例ukN的选择：渐进收敛容易保证；有限样本性质、最小平方误差与Parzen窗方法几乎相同。非参数估计第三章 概率密度密度的估计443.6 分类器错误率的估计u在处理实际问题时，更多的是利用样本来估计错误率。对于已设计好的分类器，利用样本来估计错误率。Test Dataset。对于未设计好的分类器，需将样本分成两部分(Train Dataset和Test Dataset)。第三章 概率密度密度的估计45已设计好的分类器的错误率估计u错误率

14、的估计：错分样本数/总样本数错误率估计u这是错误率的最大似然估计。错分样本数k是随机变量，服从二项分布。第三章 概率密度密度的估计46错误率估计的统计性质u是真实错误率的无偏估计u测试样本数越多，估计越有效，估计的置信区间越小。u如果已知各类的先验概率，则可进行选择性抽样产生测试样本集，这比随机抽样更为有效。错误率估计第三章 概率密度密度的估计47未设计好的分类器的错误率估计u需要把样本集分为训练集和测试集C-法：利用N个样本设计，也利用这N个样本测试。得到乐观估计。U-法：把样本集分为训练集和测试集。得到保守估计。样本划分法：样本数需要比较多，测试样本数越多越有效。留一法：样本较少时，N-1

15、个样本设计，另一样本测试，遍历N个样本。假设错分样本数为K，则错误率估计为：错误率估计第三章 概率密度密度的估计483.7 讨论u概率密度函数包含了随机变量的全部信息，是导致估计困难的重要原因。u高维概率分布的估计无论在理论上还是实际操作中都是一个十分困难的问题。u进行模式识别并不需要利用概率密度的所有信息，只需要求出分类面。u先估计概率密度，再进行分类，可能走了“弯路”。第三章 概率密度密度的估计49习题1.一元正态分布的最大似然估计：假设样本x服从正态分布N(,2)已获得一组样本 x1,x2,xN 2.用C/Java/Matlab语言设计一程序片断，计算上题中的估计参数(,2)3.试简述参

16、数估计，非参数估计和非参数分类器等概念间的关系4.证明对正态总体的期望u的最大似然估计是无偏的，对方差s2的最大似然估计是有偏的。第三章 概率密度密度的估计50习题5.已知一数据集有两类样本，第一类有四个样本，分别为:(0,0,1)，(1,1,1)，(1,0,1)及(1,0,0)，第二类也有四个样本，分别为:(0,0,0)，(1,1,0)，(0,1,0)及(0,1,1)。1）试求该数据集的均值向量和协方差矩阵。2）说明该协方差矩阵中每个元素的含义。6.给出Parzen窗估计的程序框图。第三章 概率密度密度的估计51混合高斯模型参数估计uMixed gaussian distributionu密度函数具有如下形式：正态模型的线性组合u需估计的参数：u采用迭代法进行参数估计