参数估计最大似然估计.ppt

《参数估计最大似然估计.ppt》由会员分享，可在线阅读，更多相关《参数估计最大似然估计.ppt（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、参数估计最大似然估计现在学习的是第1页，共21页求 的矩估计值和最大似然估计值。例1 设总体的概率分布为：其中：(0 1/2),利用总体的如下样本：3，1，3，0，3，1，2，3现在学习的是第2页，共21页现在学习的是第3页，共21页二、二、极大似然估计法极大似然估计法 极极大大似似然然估估计计法法是是在在总总体体的的分分布布类类型型已已知知的的条条件下所使用的一种参数估计方法件下所使用的一种参数估计方法.它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的.GaussFisher然而，这个方法常归功于然而，这个方法常归功于英国统计学家英国统计学家费歇费歇.费歇费歇在在

2、1922年重新发现了这一方法，并首年重新发现了这一方法，并首先研究了这种方法的一些性质先研究了这种方法的一些性质.现在学习的是第4页，共21页极大似然原理：极大似然原理：一个随机试验有若干个可能结一个随机试验有若干个可能结果果A,B,C,。若在一次试验中，结果。若在一次试验中，结果A发生，发生，则一般认为试验条件对则一般认为试验条件对A最有利最有利，即，即A发生的发生的概率概率 最大最大条件条件自然，认为从甲箱取更合理自然，认为从甲箱取更合理现在学习的是第5页，共21页极大似然估计法：极大似然估计法：又如，兔龟赛跑，得第一名的最有可能是谁？又如，兔龟赛跑，得第一名的最有可能是谁？（1）X-离散

3、型，离散型，已知已知 X的分布的分布样本样本 取到观测值取到观测值事件事件A独立独立现在学习的是第6页，共21页Xi与与X 同分布同分布对给定对给定的的样样本本值值是参数是参数 的函数，称为的函数，称为似然函数似然函数，记做，记做现在学习的是第7页，共21页改改结构：结构：n 项连乘，总体分布项连乘，总体分布A已经发生，由极大已经发生，由极大似然原理，似然原理，达到最大，所以达到最大，所以 的最合理的最合理估计值估计值 应满足：应满足：定义定义 对给定的样本值对给定的样本值 ，若，若现在学习的是第8页，共21页如何求如何求？即求？即求 的最大值点问题的最大值点问题方法一方法一:若若 为可导函数

4、为可导函数现在学习的是第9页，共21页回忆：回忆：(1)单调性相同，从而单调性相同，从而最大值最大值点相同点相同.n项连乘项连乘,求导麻烦求导麻烦n项相加，求导简单项相加，求导简单方法二：方法二：从而，从而，对数似然函数对数似然函数现在学习的是第10页，共21页（2）连续型总体似然函数的求法）连续型总体似然函数的求法设设X为连续型总体，其概率密度为：为连续型总体，其概率密度为：对来自总体的样本对来自总体的样本 ，其观测值其观测值为为 ，作为与总体，作为与总体X同分布且相互独同分布且相互独立的立的n维随机变量，样本的联合概率密度为维随机变量，样本的联合概率密度为:其中其中 未知未知现在学习的是第

5、11页，共21页求求 的步骤：的步骤：现在学习的是第12页，共21页例例2:设总体设总体X的分布律为：的分布律为：0p1,p未知未知,求参数求参数p 的极大似然估计量的极大似然估计量.X01pk1-pp解解:总体总体X的分布律为：的分布律为：设设(X1,X2,Xn)是来自总体是来自总体X的样本。的样本。现在学习的是第13页，共21页似然函数为：似然函数为：现在学习的是第14页，共21页解得解得p的极大似然估计量为：的极大似然估计量为：说明：说明：p的极大似然估计值为：的极大似然估计值为：现在学习的是第15页，共21页求 的矩估计值和最大似然估计值。例1(续)设总体的概率分布为：其中：(0 0,现在学习的是第18页，共21页求导并令其为求导并令其为0=0从中解得从中解得即为即为 的的最大似然估计值最大似然估计值.对数似然函数为对数似然函数为现在学习的是第19页，共21页 现在学习的是第20页，共21页作业P173:4(1)现在学习的是第21页，共21页