应用数理统计Chapter33.pptx

1 3.3 极大似然估计 思想方法思想方法：一次试验就出现的事件有较大的概率 例如例如:有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球现从两箱中任取一箱,并从箱中任取一球,结果所取得的球是白球.问:所取的球来自哪一箱?答:第一箱.极大似然估计就是通过样本观察值 求得总体的分布参数,使得 取值为 的概率最大.第1页/共25页2n 似然函数u 似然函数的定义第2页/共25页3(Likelihood function).第3页/共25页4u 似然函数的定义第4页/共25页5XP(),即当样本X 为(x1,x2,xn)时，求样本的似然函数.例解：解：第5页/共25页6似然函数和概率函数是同一表达式,但含义不同.注注:概率函数概率函数:将 固定,将其看成定义在样本空间 上的函数；似然函数似然函数:将 x x 固定,将其看成定义在参数空间 上的函数；称 lnL()为对数似然函数对数似然函数,记为 l(;x x).对数似然函数对数似然函数:第6页/共25页7n 引例 设罐子里装有黑球和红球，它们的比例是 1:3,但不知道是黑球多还是红球多，则从中抽出一球为黑球的概率 为 或 .现从罐子里有放回地抽出 n 个球，试根据样本数据，估计 的值为 ，还是？解：解：令Xi 表示第i 次抽球的结果，即第7页/共25页8任务：任务：x0123L(1 1;x)27/64 27/649/641/64L(2 2;x)1/649/6427/6427/64第8页/共25页9结论：结论：第9页/共25页10n 问题 结论：结论：若这正是“极大似然”一词的由来.第10页/共25页11 如果某统计量 满足 则称 是 的极大似然估计(Maximum Likelihood Estimate)，简记为MLE。称 lnL()为对数似然函数对数似然函数,记为 l(;x x).由于很多分布族的p.d.f.中含有x的指数形式,人们通常习惯于由对数似然函数lnL()出发寻找 的极大似然估计.极大似然估计 n 定义 注注:第11页/共25页12当L()是可微函数时，求导是求极大似然估计最常用的方法.因为L()与lnL()有相同的极值点，一般对lnL()求导更加简单些.n 极大似然估计的求法 微分法；定义法.u 微分法的解.第12页/共25页13u 定义法当似然函数L()有不连续点时，似然方程没有意义，须从定义出发求极大似然估计.如果 是 的极大似然估计，则对任一函数g()，其极大似然估计为 .n 性质 该性质称为极大似然估计的不变性不变性.第13页/共25页14例解：解：(1)似然函数为对数似然方程为第14页/共25页15(2)根据极大似然估计的不变性，有例解：解：(1)似然函数为对数似然函数为第15页/共25页16对数似然方程为(2)根据极大似然估计的不变性，有第16页/共25页17 对正态总体N(,2),=(,2)是二维参数，设有样本x1,x2,xn，求 的MLE.例解：解：似然函数与对数似然函数分别为第17页/共25页18将 l(,2)分别关于两个分量求偏导并令其为0,即得到似然方程组解此方程组，可得 与 2的MLE为第18页/共25页19u虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。设x1,x2,xn是来自均匀总体U(0,)的样本,试求 的极大似然估计.例解：解：似然函数为要使L()达到最大，要满足两个条件:(1)示性函数取值为1;(2)1/n 取到最大.第19页/共25页20 取到最小.设x1,x2,xn是来自均匀总体U(0,)的样本,试求 的极大似然估计.例解：解：似然函数为要使L()达到最大，要满足两个条件:(1)示性函数取值为1;(2)1/n 取到最大.第20页/共25页21(1)标准差；(2)概率 设x1,x2 ,xn是来自正态总体N(,2)的样本，求如下参数的MLE:例解：解：已知 和 2 的极大似然估计为由不变性可得如下参数的极大似然估计(1)(2)第21页/共25页22练习练习第22页/共25页23u 3.3 作业第23页/共25页24第24页/共25页25感谢您的观看。第25页/共25页