模式识别 第五章 统计决策中的训练、学习与错误率测试.ppt

《模式识别 第五章 统计决策中的训练、学习与错误率测试.ppt》由会员分享，可在线阅读，更多相关《模式识别 第五章 统计决策中的训练、学习与错误率测试.ppt（48页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章第五章 统计决策中的训练、统计决策中的训练、学习与错误率测试、估计学习与错误率测试、估计n 统计推断概述统计推断概述n 参数估计参数估计n 概密的窗函数估计法概密的窗函数估计法本章目的：已知类别的样本（训练样本）本章目的：已知类别的样本（训练样本）学习或训练学习或训练获得类概密获得类概密在上一章的学习中在上一章的学习中,我们一直假设类的条件概我们一直假设类的条件概率密度函数是已知的率密度函数是已知的,然后去设计贝叶斯分类器。然后去设计贝叶斯分类器。但在实际中，这些知识往往是不知道的，这就需但在实际中，这些知识往往是不知道的，这就需要用已知的样本进行学习或训练。也就是说利用要用已知的样本进

2、行学习或训练。也就是说利用统计推断理论中的估计方法，从样本集数据中估统计推断理论中的估计方法，从样本集数据中估计这些参数。计这些参数。5.1 统计推断概述统计推断概述如果已知如果已知iw 类的概密类的概密)(ixp wr的函数类型，即知道的函数类型，即知道iw 类的类的概型，但不知道其中的参数或参数集概型，但不知道其中的参数或参数集，可采用参数估计的方法可采用参数估计的方法，当解得这些参数，当解得这些参数 后后)(ixp wr也就确定了。也就确定了。),(21qqq=qD qmiLr确定未知参数确定未知参数参数估计参数估计参数估计有两类方法参数估计有两类方法:1.1.将参数作为非随机量处理，如

3、将参数作为非随机量处理，如矩法估计矩法估计、最大似然估计最大似然估计；2.2.将参数作为随机变量，将参数作为随机变量，贝叶斯估计贝叶斯估计就属此就属此类。类。5.1 统计推断概述统计推断概述非参数估计非参数估计5.1 统计推断概述统计推断概述当不知道类的概型时，就要采用非参数估计的当不知道类的概型时，就要采用非参数估计的方法，这种方法也称为总体推断，这类方法有：方法，这种方法也称为总体推断，这类方法有：1.p-1.p-窗法窗法2.2.有限项正交函数级数逼近法有限项正交函数级数逼近法3.3.随机逼近法随机逼近法基本概念基本概念母体（总体）：母体（总体）：一个模式类称为一个一个模式类称为一个总体总

4、体或或母体母体5.1 统计推断概述统计推断概述设模式空间设模式空间 是是 维的。维的。母体的母体的子样子样：一个模式类中某些模式：一个模式类中某些模式(即母体中的即母体中的 一些元素一些元素)的集合称为这个的集合称为这个母体的子样母体的子样。母体的。母体的子样含有母体的某些信息，可以通过构造子样含有母体的某些信息，可以通过构造样本样本的函数的函数来获得。来获得。统计量：统计量：一般来说，每一个样本都包含着母体的某一般来说，每一个样本都包含着母体的某些信息，为了估计未知参数就要把有用的信息些信息，为了估计未知参数就要把有用的信息从样本中抽取出来。为此，要构造训练样本的从样本中抽取出来。为此，要构

5、造训练样本的某种函数，这种函数在统计学中称为统计量。某种函数，这种函数在统计学中称为统计量。基本概念基本概念经验分布：经验分布：由样本推断的分布称为经验分布。由样本推断的分布称为经验分布。5.1 统计推断概述统计推断概述数学期望、方差等数学期望、方差等理论量（或理论分布）：理论量（或理论分布）：参数空间：参数空间：在统计学中，把未知参数在统计学中，把未知参数q q的可能值的的可能值的集合称为参数空间，记为集合称为参数空间，记为Q Q。点估计、估计量：点估计、估计量：针对某未知参数针对某未知参数q q构造一个统计构造一个统计量作为量作为q q的估计的估计 ，这种估计称为点估计。，这种估计称为点估

6、计。称为称为q q的估计量。的估计量。基本概念基本概念5.1 统计推断概述统计推断概述 为了准确地对某一类的分布进行参数估计或总为了准确地对某一类的分布进行参数估计或总体推断，应只使用该类的样本。体推断，应只使用该类的样本。就是说在进行参数估计时，应对各类进行独立就是说在进行参数估计时，应对各类进行独立的参数估计或总体推断。因此在以后的论述中，如的参数估计或总体推断。因此在以后的论述中，如无必要，不特别言明类别。无必要，不特别言明类别。区间估计：区间估计：在一定置信度条件下估计某一未知参数在一定置信度条件下估计某一未知参数q q的取值范围，称之为置信区间，这类估计成为的取值范围，称之为置信区间

7、，这类估计成为区间估计。区间估计。基本概念基本概念5.1 统计推断概述统计推断概述估计估计:所谓估计就是由样本所谓估计就是由样本 按按某种规则构造的一个统计量某种规则构造的一个统计量 用以代替被估参数集用以代替被估参数集 。估计量估计量 作为随机样本作为随机样本的函数，显然也是随机量的函数，显然也是随机量。无偏估计无偏估计：估计量估计量 的数学期望等于被估量的数学期望等于被估量 的数的数学期望，即对任意的学期望，即对任意的 ，有有 。估计无估计无偏性的意义在于可以用多个估计的平均近似真值偏性的意义在于可以用多个估计的平均近似真值。基本概念基本概念5.1 统计推断概述统计推断概述渐近无偏估计渐近

8、无偏估计：即即 。当不能对所当不能对所有有 的都有的都有 时，希望估计量时，希望估计量 是渐是渐近无偏估计。近无偏估计。最小方差无偏估计量：最小方差无偏估计量：在无偏估计条件下，对任意在无偏估计条件下，对任意的的 ，则称则称 是是最小方差最小方差无偏估计量无偏估计量。我们希望在无偏的基础上，估计量随。我们希望在无偏的基础上，估计量随机摆幅越小越好，即估计量的方差越小越好。机摆幅越小越好，即估计量的方差越小越好。基本概念基本概念5.1 统计推断概述统计推断概述均方收敛均方收敛:均方逼近均方逼近:均方收敛均方收敛:又称相合估计又称相合估计一致估计一致估计:当样本无限增多时，估计量当样本无限增多时，

9、估计量 依概依概率收敛于率收敛于 ，5.2 参数估计参数估计5.2.1 5.2.1 均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计5.2.2 5.2.2 最大似然估计最大似然估计(MLE)(MLE)5.2.3 5.2.3 贝叶斯估计贝叶斯估计(BE)(BE)5.2 参数估计参数估计均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计矩法估计矩法估计是用样本是用样本(的统计的统计)矩作为总体矩作为总体(理论理论)矩的估矩的估值。若类的概型为正态分布，我们用矩法估计出类的值。若类的概型为正态分布，我们用矩法估计出类的均值矢量和协方差阵后，类的概密也就完全确定了。均值矢量和协方差阵后，

10、类的概密也就完全确定了。均值矢量均值矢量:均值无偏估计均值无偏估计:5.2 参数估计参数估计均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计协方差阵协方差阵 :5.2 参数估计参数估计均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计协方差阵协方差阵:协方差阵无偏估计协方差阵无偏估计:或或5.2 参数估计参数估计设设和和是由是由个样本算得的均矢和协方差阵，个样本算得的均矢和协方差阵，则可采用则可采用递推公式递推公式进行估算进行估算若再加入一个新的样本若再加入一个新的样本初始值初始值:)(11)(1NmxNNmNrrrrrr-+=+均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩

11、法估计5.2 参数估计参数估计协方差矩阵的递推估计式协方差矩阵的递推估计式:均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计+=+-=11)1()1(11NjjjNmNmNNxxNrrrr11)(12)()(111111+=+-+-=NNNjNjjxxNxNmNNmNmNNxxNrrrrrrrr)()(11)(111NmxNmxNNCNNNNrrrr-+-=+F=-=-=)1()1()1(111111xxxxmmxxCrrrrrrrr初始值初始值:5.2 参数估计参数估计均值矢量和协方差阵的矩法估计均值矢量和协方差阵的矩法估计 矩法估计只能用于各阶矩的估计，它对于矩法估计只能用于各阶矩

12、的估计，它对于原点原点矩矩 的估计是无偏的，对的估计是无偏的，对中心矩中心矩 的估计是相合估计量。其算法简单但优良性较差，的估计是相合估计量。其算法简单但优良性较差，因此宜用于样本容量较大的情况，以保证它的优良因此宜用于样本容量较大的情况，以保证它的优良性。性。注意注意:5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate)如同如同矩法估计矩法估计一样，一样，最大似然估计最大似然估计要求要求已知已知总体的概型总体的概型，即概密的具体函数形式，它也将被，即概密的具体函数形式，它也将被估计量作为确定性的变量对待。但最大似然估计估计量作为

13、确定性的变量对待。但最大似然估计适用范围比矩法估计更宽一些，可以用于不是正适用范围比矩法估计更宽一些，可以用于不是正态分布的情况。态分布的情况。最大似然估计最大似然估计是参数估计中最重要的方法。是参数估计中最重要的方法。5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate)似然函数似然函数:当当个随机样本取定值个随机样本取定值时，时，称为相对于称为相对于的的的的似然函数似然函数。联合概密联合概密 设一个总体设一个总体的概密为的概密为，其中，其中是一个是一个未知参数集，未知参数集，妈妈新开了个淘宝店，欢迎前来捧场妈妈新开了个淘宝店，欢

14、迎前来捧场妈妈的淘宝点开了快半年了，主要卖的是毛绒玩具、坐垫、抱枕之类的，妈妈的淘宝点开了快半年了，主要卖的是毛绒玩具、坐垫、抱枕之类的，但生意一直不是很好，感觉妈妈还是很用心的，花了不少功夫，但是就是没但生意一直不是很好，感觉妈妈还是很用心的，花了不少功夫，但是就是没有人气，所以我也来出自己的一份力，帮忙宣传一下。有人气，所以我也来出自己的一份力，帮忙宣传一下。并且妈妈总是去五亭龙挑最好的玩具整理、发货，质量绝对有保证。并且妈妈总是去五亭龙挑最好的玩具整理、发货，质量绝对有保证。另外我家就在扬州五亭龙玩具城旁边，货源丰富，质量可靠，价格便宜。另外我家就在扬州五亭龙玩具城旁边，货源丰富，质量可

15、靠，价格便宜。欢迎大家来逛逛欢迎大家来逛逛【扬州五亭龙玩具总动员扬州五亭龙玩具总动员】个人小广告：个人小广告：5.2 5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate)由于由于是概密的一个确定性的参数集是概密的一个确定性的参数集,因此因此实际上就是条件概密实际上就是条件概密 上式中不同的上式中不同的 ,将不同。将不同。如果各个如果各个是独立抽取的，则进是独立抽取的，则进一步有：一步有：5.2 5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(MLE)(Maximum Likelihood Estimate)(Maxim

16、um Likelihood Estimate)最大似然估计：最大似然估计：最大似然估计的思想是：如果对总体的独立最大似然估计的思想是：如果对总体的独立观测中得样本观测中得样本，则认为，则认为在点在点处最可能取得最大值，不同的处最可能取得最大值，不同的 使使是同一概型而不是同一概密，从而它的最大值点是同一概型而不是同一概密，从而它的最大值点也不同，于是有理由选取满足也不同，于是有理由选取满足的的作为未知参数集的估计值。作为未知参数集的估计值。5.2 5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(MLE)(Maximum Likelihood Estimate)(Maximum Li

17、kelihood Estimate)的函数。的函数。按此方法所得到的按此方法所得到的的估值的估值称为最大似称为最大似的最大似然估计的最大似然估计是是然估计然估计(值值)，显然，显然 在实际中多是独立取样和经常处理正态变量，而在实际中多是独立取样和经常处理正态变量，而且对数函数是单值单调函数，对数似然函数与似然且对数函数是单值单调函数，对数似然函数与似然函数在相同的函数在相同的 处取得最大值。处取得最大值。5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate)在似然函数可微的条件下，在似然函数可微的条件下，求下面微分方程组的解：求下面

18、微分方程组的解：或等价地求或等价地求作为极值的必要条件。作为极值的必要条件。对数似然方程组对数似然方程组 5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(Maximum Likelihood Estimate)需要指出的是：需要指出的是：对于具体问题，有时用上述对于具体问题，有时用上述方法不一定可行，原因之一是似然函数在最大值方法不一定可行，原因之一是似然函数在最大值点处没有零斜率。点处没有零斜率。求出上面方程组中的一切解及边界值，计算使求出上面方程组中的一切解及边界值，计算使最大的最大的作为作为的最大似然估计。的最大似然估计。因此，最大似然的关键是必须知道概型。因此，最大似然的关

19、键是必须知道概型。5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(MLE)(Maximum Likelihood Estimate)下面我们以多维正态分布为例进行说明。下面我们以多维正态分布为例进行说明。（1 1）假设）假设是已知的，未知的只是均值是已知的，未知的只是均值，则：，则：5.2 参数估计参数估计最大似然估计最大似然估计(MLE)(MLE)(Maximum Likelihood Estimate)这说明，样本总体的未知均值的最大似然估计这说明，样本总体的未知均值的最大似然估计就是训练样本的平均值。它的几何解释就是：若把就是训练样本的平均值。它的几何解释就是：若把N N个样

20、本看成是一群质点，则样本均值便是它们的个样本看成是一群质点，则样本均值便是它们的质心。质心。（2 2）一维正态的情况，设）一维正态的情况，设 则：则：（2 2）一维正态的情况，设）一维正态的情况，设 则：则：可见，正态分布中的协方差阵可见，正态分布中的协方差阵的最大似然估的最大似然估计量等于计量等于N N个矩阵的算术平均值。个矩阵的算术平均值。（3 3）对于一般的多维正态密度的情况，计算方法）对于一般的多维正态密度的情况，计算方法完全是类似的。最后的结果是：完全是类似的。最后的结果是：可以证明上式的均值是无偏估计，但协方差阵可以证明上式的均值是无偏估计，但协方差阵并不是无偏估计，无偏估计是：并

21、不是无偏估计，无偏估计是：5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)(BE)引入损失函数引入损失函数：即用即用 替代替代 所造成的损失所造成的损失在在观测观测条件下的期望条件下的期望损损失失为为：考考虑虑到到的各种取的各种取值值，我，我们应们应求求在在空空间间中的期望，即平均中的期望，即平均损损失：失：5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)(BE)贝叶斯估计的思想是：贝叶斯估计的思想是：所求得的所求得的的估计值的估计值应使估计损失的期望最小，这种使应使估计损失的期望最小，这种使或等价的使或等价的使取最小值的取最小值的 的估值的估值 称为称为 的的贝叶斯估计贝叶斯估计。5

22、.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)不同的具体定义，可得到不同不同的具体定义，可得到不同的最佳贝叶斯估计。比如，可以用平方误差作为的最佳贝叶斯估计。比如，可以用平方误差作为代价，此时：代价，此时：上式中，对于上式中，对于于是：于是：5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)由于由于是非负的，是非负的，只出现在内层积分中，关于只出现在内层积分中，关于使使最小等价于：最小等价于：为求为求极小，令极小，令5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)从而可得：从而可得：上式表明，上式表明，的最小方差的最小方差贝贝叶斯估叶斯估计计是在是在观测观测条件下的条件下的 的条件期

23、望。的条件期望。5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)下面介绍估计下面介绍估计由贝叶斯定理知：由贝叶斯定理知：所涉及的其它公式或近似算式：所涉及的其它公式或近似算式：由于各样本是独立抽取的，故它们条件独立，即有由于各样本是独立抽取的，故它们条件独立，即有5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)的后验概密的后验概密也可以作如下近似计算：也可以作如下近似计算：为正态分布为正态分布，可取，可取，为估计的不确定性度量。由于为估计的不确定性度量。由于只与只与有关而与有关而与 无关，可取其为一个关于无关，可取其为一个关于的简单函数的简单函数，由于观测是独立的，则上式可近似为：，由

24、于观测是独立的，则上式可近似为：设设5.2 参数估计参数估计贝叶斯估计贝叶斯估计(BE)归纳起来贝叶斯估计的步骤是：归纳起来贝叶斯估计的步骤是：1.确定未知参数集确定未知参数集的先验概密的先验概密2.由样本集由样本集根据下式根据下式(已知概型已知概型)求求3.根据下式计算根据下式计算4.根据下式计算根据下式计算395.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式由于下面只针对由于下面只针对 类的概密和样本进行讨论，为简类的概密和样本进行讨论，为简洁，下面不再标记类别。记洁，下面不再标记类别。记 类的概密类的概密:设设 个样本个样本 是从上述概密为是从上述概密

25、为 的总的总体中独立抽取的，体中独立抽取的，个样本中有个样本中有 个样本落入区域个样本落入区域 中的概率中的概率 服从离散随机变量的二项分布服从离散随机变量的二项分布，是，是的总体概密的总体概密随机矢量随机矢量 落入区域落入区域 中的概率为中的概率为405.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式令令 为众数，如果为众数，如果 不是整数，则不是整数，则:即即 等于等于 的整数部分；的整数部分；在上面的二项分布中使在上面的二项分布中使 取最大的取最大的 值称为值称为众数众数。如果如果 是整数，则是整数，则:和和415.4 概密的窗函数估计法概密的窗函数估计

26、法概率密度的基本估计式概率密度的基本估计式众数众数定义表明有定义表明有 个样本落入区域个样本落入区域 的概率最大。的概率最大。由概率论知，由概率论知，的数学期望的数学期望 。若实际落入。若实际落入域域 的样本有的样本有 个，就认为这时的个，就认为这时的 。由于：由于：所以：所以：这这里里 是是 的估计，当的估计，当 较大较大 较小时上式的近似较小时上式的近似程度是足够的。程度是足够的。425.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式 当固定当固定 时，对时，对 的最大似然估计的最大似然估计 ，由概率论知，由概率论知，的数学期望的数学期望 。综上所述并根据

27、贝努利定理可以认为综上所述并根据贝努利定理可以认为 的估值的估值435.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式设区域设区域R的体积为的体积为V，我们取，我们取R足够小，使足够小，使=RVxpxdxpP)()(rrr设设)(xpr是是)(xpr的估计，由上面二式有的估计，由上面二式有VxpxdxpPNkR)()(rrr=于是可得于是可得445.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式显然显然是是的基本估的基本估计计式，它与式，它与有关，有关，显显然然和和有一定的有一定的误误差。差。理理论论上，要使上，要使 R0 V

28、0，同，同时时k，N。而而实际实际估估计时计时体体积积不是任意的小，且不是任意的小，且样样本本总总数数总总是存在是存在误误差。差。也是有限的，所以也是有限的，所以455.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式为了提高为了提高处的概密处的概密)(xpr的估计精度，我们根据的估计精度，我们根据理论，可以采用如下步骤以尽量满足理论要求：理论，可以采用如下步骤以尽量满足理论要求：极限极限 构造一包含构造一包含的区域序列的区域序列各区域各区域的体积的体积满足满足 相对区域相对区域作估计实验，对作估计实验，对取取N个样本个样本进行估计，设有进行估计，设有个样本落入

29、个样本落入样本数目应满足样本数目应满足中，中，465.4 概密的窗函数估计法概密的窗函数估计法概率密度的基本估计式概率密度的基本估计式则估计则估计处处收敛于处处收敛于)(xprr。只要区域平只要区域平稳稳地地缩缩小，小，在在处连续处连续，则则:可使空可使空间间平均密度平均密度收收敛敛于真于真实实的密度的密度仅对仅对的点才有意的点才有意义义，亦即当，亦即当时时，使，使，可使，可使频频率在概率意率在概率意义义上收上收敛敛于概率于概率是是 收收敛敛的必要条件，它描述了的必要条件，它描述了的增的增长长速度要大于速度要大于的增的增长长速度，使速度，使为为无无穷穷小，而小，而和和为为同同阶阶的无的无穷穷小

30、，使小，使为为非无非无穷穷大的有界数，大的有界数，。避免了避免了475.4 概密的窗函数估计法概密的窗函数估计法满足上述三个条件的区域序列和样本选取一般有两种满足上述三个条件的区域序列和样本选取一般有两种方法，从而形成了两种总体概密估计。方法，从而形成了两种总体概密估计。(1)Parzen窗法窗法 (2)近邻估计法近邻估计法使区域序列的体积使区域序列的体积 按按 的某个函数随的某个函数随 的增大的增大不断地缩小。不断地缩小。收收敛敛于于。例如：例如：，在这时应对，在这时应对 和和 都要加以都要加以限制以使限制以使485.4 概密的窗函数估计法概密的窗函数估计法满足上述三个条件的区域序列和样本选取一般有两种满足上述三个条件的区域序列和样本选取一般有两种方法，从而形成了两种总体概密估计。方法，从而形成了两种总体概密估计。(1)Parzen窗法窗法 (2)近邻估计法近邻估计法的的个近邻点，该区域的体积可用作个近邻点，该区域的体积可用作 点的密度估计。点的密度估计。，而，而的选取是使相应的的选取是使相应的正好包含正好包含例如例如1.让让为为的某个函数，随的某个函数，随的增大而变大。的增大而变大。