矩估计和极大似然估计.ppt
第二章 参数估计,1,参数估 计问题,假设检 验问题,点 估 计,区间估 计,2,什么是参数估计？,参数是刻画总体某方面的概率特性的数量.,当这个数量是未知的时候，从总体抽出一个 样本，用某种方法对这个未知参数进行估计 就是参数估计.,例如，X N ( , 2),若, 2未知，通过构造样本的函数, 给出它 们的估计值或取值范围就是参数估计的内容.,3,参数估计的类型,点估计 估计未知参数的值,区间估计 估计未知参数的取值范围， 使得这个范围包含未知参数 真值的概率为给定的值.,4,一、点估计的思想方法,设总体X 的分布函数的形式已知，但它含有一个或多个未知参数：1,2, ,k,设 X1, X2, Xn为总体的一个样本,构造 k 个统计量：,随机变量,第一节 参数的点估计,5,当测得一组样本值(x1, x2, xn)时，代入上述 统计量，即可得到 k 个数：,数值,问题,如何构造统计量？,6,1、矩方法；（矩估计） 2、极大似然函数法（极大似然估计）.,二.点估计的方法,1. 矩方法,方法,用样本的 k 阶矩作为总体的 k 阶矩的 估计量, 建立含待估计参数的方程，从而可解出待估计参数,7,一般地，不论总体服从什么分布，总体期望 与方差 2 存在，则根据矩估计法它们的 矩估计量分别为,注: 矩估计不唯一,8,事实上，按矩法原理，令,9,设待估计的参数为,设总体的 r 阶矩存在，记为,设 X1, X2, Xn为一样本，样本的 r 阶矩为,令, 含未知参数 1,2, ,k 的方程组,10,解方程组，得 k 个统计量：,未知参数1,2, ,k 的矩估计量,未知参数1,2, ,k 的矩估计值,代入一组样本值得k个数:,11,例1 有一批零件，其长度XN(,2)，现从中任取4件，测的长度(单位：mm)为12.6,13.4,12.8,13.2。试估计和2的值。,解： 由,得和2的估计值分别为13(mm)和0.133(mm)2,12,例2 设总体X的概率密度为,X1,X2,Xn为来自于总体X的样本,x1,x2, ,xn为样本值,求参数的矩估计。,解： 先求总体矩,13,为的矩估计量,为的矩估计值.,令,14,例3 设总体X的概率密度为,求的矩估计量,解法一 虽然 中仅含有一个参数，但因,不含,不能由此解出,需继续求总体的二阶原点矩,15,解法二,即,用,替换,即得的另一矩估计量为,得的矩估计量为,用,替换,即,16,矩估计的优点 不依赖总体的分布，简便易行 只要n充分大，精确度也很高。 矩估计的缺点 矩估计的精度较差； 要求总体的某个k阶矩存在； 要求未知参数能写为总体的原点矩的函数形式,17,注意：,1. 总体不一定存在适当阶的矩。,例 考虑Cauchy分布，其密度函数为,其各阶矩均不存在。,2. 对相同的参数 ，存在多个矩估计。,例如，考虑总体是参数为 的Poisson分布，,18,你就会想,只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.,先看一个简单的例子: 某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只听到一声枪响,野兔应声倒下.如果要你推测,是谁打中的呢？你会如何想呢？,这个例子所作的推断已经体现了极大似然法的基本思想.,2、极大似然函数法,19,例: 设袋中装有许多白球和黑球。只知两种球的数目之比为3:1，试判断是白球多还是黑球多。,分析: 从袋中有放回的任取3只球. 设每次取到黑球的概率为p (p=1/4或3/4) 设取到黑球的数目为X, 则X服从B(3,p),分别计算p=1/4,p=3/4时，PX=x的值，列于表,结论:,定义1:(1)设随机变量X的概率密度函数为f(x,), 其中为未知参数(f为已知函数).,若X是离散型随机变量，似然函数定义为,称 为 X关于样本观察值 的似然函数。,22,的样本观察值,为样本,定义2 如果似然函数 在 时达到最大值,则称 是参数的 极大似然估计。,例1 设总体X 服从参数为的指数分布，即有概率密度,又x1,x2, ,xn为来自于总体的样本值，试求的极大似然估计.,23,解 ：第一步 似然函数为,于是,第二步,第三步,经验证，,在,处达到最大，所以,是的极大似然估计。,令,24,例2： 设X服从(01)分布，PX=1=p, 其中p未知， x1,x2, ,xn为来自于总体的样本值求p的极大似然估计。,解:,得(01)分布之分布律的另一种表达形式,25,令,例3：设总体X服从参数为的泊松分布，即X有分布列(分布律),是未知参数，(0,+)，试求的极大似然估计。,解： 样本的似然函数为,27,从,可以解出,是的极大似然估计。,因此,28,极大似然估计的优点 利用了分布函数形式, 得到的估计量的精度一般较高。 极大似然估计的缺点 要求必须知道总体的分布函数形式,29,若总体X的概率密度为：,求解方程组,即可得到极大似然估计,多参数情形的极大似然估计,30,数学上可以严格证明，在一定条件下，只要样本容量n足够大，极大似然估计和未知参数的真值可相差任意小。,31,例4：设 为正态总体 的一个样本值， 求: 和 的极大似然估计.,解 ：似然函数为,32,解方程组,得,这就是,和,的极大似然估计,即,33,例5 设X为离散型随机变量,其分布律如下(0<<1/2),随机抽样得3，1，3，0，3，1，2，3，分别用矩方法和极大似然法估计参数。,解：,例6 设总体X的概率密度为,又,为来自于总体X的样本值,求参数的极大似然估计。,解：令,似然函数为:,35,当,时,L()是的单调增函数,处达到最大值，,所以的极大似然估计:,L()在,36,作 业,习题八,37,
