第二章参数估计理论_2_byCEQ.pdf
1授课对象：授课对象：授课对象：授课对象：07070707级研究生级研究生级研究生级研究生授课教师：授课教师：授课教师：授课教师：陈陈陈陈 恩恩恩恩 庆庆庆庆联系方式：联系方式：联系方式：联系方式：or or 郑州大学郑州大学郑州大学郑州大学 信息工程学院信息工程学院信息工程学院信息工程学院 现代信号处理现代信号处理Modern Signal ProcessingModern Signal ProcessingBayes Bayes 估计估计估计估计最小均方误差估计（最小均方误差估计（最小均方误差估计（最小均方误差估计（MMSEMMSE）最大后验概率估计（最大后验概率估计（最大后验概率估计（最大后验概率估计（MAPMAP）最大似然估计（最大似然估计（最大似然估计（最大似然估计（MLEMLE）第二章第二章第二章第二章 参数估计理论参数估计理论参数估计理论参数估计理论(2)(2)2.3 Bayes 2.3 Bayes 估计与最大似然估计（估计与最大似然估计（估计与最大似然估计（估计与最大似然估计（MLEMLE）2222()var()()()()()()var()()bEEEEEMmseEb2=+?估计子的 方差：均方误偏差:差：?当当N趋于无穷时，估计子均方误差趋于无穷时，估计子均方误差mse趋于零，相当于要求其偏差和方差均趋于零，这时称该估计子为一致估计。趋于零，相当于要求其偏差和方差均趋于零，这时称该估计子为一致估计。?最小方差无偏估计器（MVU）：对于确定性参数的估计，最理想的情况是设计一个无偏估计器，使其估计方差最小，称MVU。最小方差无偏估计器（MVU）：对于确定性参数的估计，最理想的情况是设计一个无偏估计器，使其估计方差最小，称MVU。(;)(;)()(,)(,)()(),p xp xp xxPDFp xxPDFp xp xp其中：是一个确定性（非随机变量）但未知需要估计的参数是一个与 有关的观测向量 的概率密度函数其中：是一个随机变量，且未知需要估计的参数是一个与 有关的观测向量 和参数确定性参数的联合的估计：随机参数的估计：)()()()()px p xp xxPDFpxxPDF=是 取值情况下 的条件是 取值情况下 的条件先验概率后验概率?确定性参数与随机参数估计确定性参数与随机参数估计确定性参数与随机参数估计确定性参数与随机参数估计?Bayes Bayes 估计（估计（估计（估计（1 1）222()(;)()(;)()(;)0()pdpdpdg因为 是确定量，不参与概率空间的运算，即 mse()mse(在经典的确定性参数估计中，利用均方误差mse()最小化，可能得不)令其等于零其中包含了待估计的参数，因此无法实到可实现的估计。现。器xxxxxx222()(,)()(,)()(,)0()pd dpd dpd dg那么估计的均方误差mse()定义为：mse()ms因此，在Bayes估计中，假设所要估计的参数 是一个随机变量，Bayes估计的是该随机参数的一次实现的e()令其等于零可以实现。值。xxxxxxx?Bayes Bayes 估计（估计（估计（估计（2 2）2222()(,)()()()()()()()()0 ()pd dpdpdpdpdpdp 先将估计的均方误差mse()写为：mse()mse下面推导最小均方误差准则(MM()令SE)下的Bayes估其等于零计表达式。xxxxxxxxxx20)()()()()()0pdpdpdE=2xxxx?Bayes Bayes 估计（估计（估计（估计（3 3）()pdE=xxx说明最小均方误差准则下的Bayes估计为：已知一个观测向量 条件下的参数 的条件期望值（条件均值）。?Bayes Bayes 估计（估计（估计（估计（4 4）()()()()()()()()ppppppppd=xxxxx?通常情况下，后验概率通常情况下，后验概率通常情况下，后验概率通常情况下，后验概率不容易获得，因此常用下式不容易获得，因此常用下式不容易获得，因此常用下式不容易获得，因此常用下式()px2ayes()(,)Epd dCC=此时，MMSE B估计得到的最小均方误差为 Bmse()为 的条件协方差。xxxxx2/212/20/2 ()(),0,.,1,()1()211 ()exp()2()()()()()11expaANNnAANx nAw n nNw nAWGNApaepAx nApA pAp ApA pA dA=+=xxxx例：设观测值其中为零均值，方差为1，且估计量 服从零均值方差为1的高斯分布，即 ，求参数A的估计解：(2)(2)2212/2012/2/201()22111exp()22NAnNANnx nAex nAedA=(2)?Bayes Bayes 估计（估计（估计（估计（5 5）2212/2/2012/2/201/221/2111exp()22()111exp()22(1)1 exp(1)()21()()11NANnNANnx nAep Ax nAedANNXNANNXNXAE AAp AdANN=+=+=+(2)(2)(2)xxx?Bayes Bayes 估计（估计（估计（估计（6 6）101()NnXx nN=仍为高斯分布?Bayes Bayes 估计（估计（估计（估计（7 7）?矢量情况矢量情况121 NEEEE=xx xx?Bayes Bayes 估计（估计（估计（估计（8 8）?其它损失函数的情况其它损失函数的情况unif0 (,)1 C?均匀损失函数均匀损失函数?绝对损失函数绝对损失函数(,)C=(,)E C 风险函数:?Bayes Bayes 估计（估计（估计（估计（9 9）?最大后验概率（最大后验概率（MAP）估计）估计?使由均匀损失函数构成的风险函数最小化使由均匀损失函数构成的风险函数最小化unifunifunif(,)(,)(,)()()()ln()ln()RE CCpd dppppp =+xxxxx?arg minarg maxarg maxarg max()()()()()()()()ppppppppd=xxxxxunif0 (,)1 C?Bayes Bayes 估计（估计（估计（估计（1010）最大后验概率（最大后验概率（MAP）估计的例子）估计的例子2222122/220 ()(),0,.,1,()()1()expaye2211 ()exp()2 wAAAANNMnwwAPAx nAw n nNw nAWGNAApApAx nAA=+=x例：设观测值其中为零均值，方差为，且估计量 服从如下高斯分布，求参数A的MAP的B估计。解：(2arg max)2122/2222022122220 ()111 ()()exp()exp222A1 ln ()l)n(/(NAANnwwAANAAMAPAnAwAwApA pAx nAAx nN NpANp A=+xx?(2)上式两边取对数，并对 求导使导数等于零得：?Bayes Bayes 估计（估计（估计（估计（1111）最大后验概率（最大后验概率（MAP）估计与）估计与MLE的关系的关系unifunif (,)()()0 ln()0 ln()ln()ln()0RE Cpppppp=+=xxxxx?arg minarg max最大后验概率估计 ()()()()pppp=xxx?当服从均匀分布当服从均匀分布ln()0p=ln()0 p=x似然函数?当服从均匀分布，采用均匀损失函数的当服从均匀分布，采用均匀损失函数的Bayes估计（估计（MAP）与最大似然估计（）与最大似然估计（MLE）等价！）等价！?最大似然估计（最大似然估计（最大似然估计（最大似然估计（MLEMLE）（）（）（）（1 1）?基本思想：在对被估计量没有任何先验知识的情况下，利用已知的若干观测值来估计该参数。基本思想：在对被估计量没有任何先验知识的情况下，利用已知的若干观测值来估计该参数。111,.,.,(,.,)()()NNNNxxxxff xx=似然函数考虑个样本，或用随机向量表示。设联合条件分布密度函数 存在且有界。将其视为真实参数 的函数，称之为似定义：然函数。xx ()MLp=x?最大似然估计使似然函数最大的估计，即arg max?最大似然估计（最大似然估计（最大似然估计（最大似然估计（MLEMLE）（）（）（）（2 2）(l)n()0LxLp=此时，常取对数似然函数作为似最大似然然函数）由（估计求得。?最大似然估计（最大似然估计（最大似然估计（最大似然估计（MLEMLE）（）（）（）（3 3）?最大似然估计的性质最大似然估计的性质1.最大似然估计一般不是无偏的，但偏差可以通过对估计值乘以一个合适常数消除。最大似然估计一般不是无偏的，但偏差可以通过对估计值乘以一个合适常数消除。2.最大似然估计是一致估计。最大似然估计是一致估计。3.最大似然估计给出优效估计，如果存在的话。最大似然估计给出优效估计，如果存在的话。4.对于大的样本点数，最大似然估计为一高斯分布。对于大的样本点数，最大似然估计为一高斯分布。?例子例子例子例子21222012010()(),0,.,1,()11()exp()21ln()()01()()1NnNnNMLnMLMLx nAw n nNw nAWGNAMLEfAx nAfAx nAAAx nx nNAE AE=+=xxN/2例：有一个观测值其中为零均值，方差为，求未知量 的，并评价其性能。解：(2)由求的数学期望1100101()()1()NNnnNMLnx nEAw nNNAEw nAAN=+=+=是无偏估计2222222212010222 ln()()ln()1var()()()ln()()()1ln()()()()()()NnNnNfAANI AEfAAAEAAI ANfAK AAAAfAx nAAx nNANx nNANAANK A=xxxx由上次课例题得知：等号成立条件是，而事实上，有取22var()AN=即可使等号成立，即?总结总结总结总结?Bayes估计将待估计量看成是一随机变量，是使风险函数最小的估计。Bayes估计将待估计量看成是一随机变量，是使风险函数最小的估计。?用均方（二次型）损失函数得到的Bayes估计是MMSE估计。用均方（二次型）损失函数得到的Bayes估计是MMSE估计。?用均匀损失函数得到的Bayes估计是最大后验概(MAP)估计。用均匀损失函数得到的Bayes估计是最大后验概(MAP)估计。?Bayes估计需要待估计量的先验知识，即：需要待估计量的PDF或者后验分布函数f(|x)。而MLE仅需要由观测决定的似然函数f(x|)。Bayes估计需要待估计量的先验知识，即：需要待估计量的PDF或者后验分布函数f(|x)。而MLE仅需要由观测决定的似然函数f(x|)。?最大似然估计的估计参数既可以是确定量又可以是随机量。最大似然估计的估计参数既可以是确定量又可以是随机量。?服从均匀分布的随机参数的最大似然估计等价与最大后验概率Bayes估计。服从均匀分布的随机参数的最大似然估计等价与最大后验概率Bayes估计。
