第二章参数估计理论_3_byCEQ.pdf

《第二章参数估计理论_3_byCEQ.pdf》由会员分享，可在线阅读，更多相关《第二章参数估计理论_3_byCEQ.pdf（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1授课对象：授课对象：授课对象：授课对象：07070707级研究生级研究生级研究生级研究生授课教师：授课教师：授课教师：授课教师：陈陈陈陈 恩恩恩恩 庆庆庆庆联系方式：联系方式：联系方式：联系方式：or or 郑州大学郑州大学郑州大学郑州大学 信息工程学院信息工程学院信息工程学院信息工程学院 现代信号处理现代信号处理Modern Signal ProcessingModern Signal Processing?复习复习复习复习?Bayes估计将待估计量看成是一随机变量，是使风险函数最小的估计。Bayes估计将待估计量看成是一随机变量，是使风险函数最小的估计。?用均方（二次型）损失函数得到的B

2、ayes估计是MMSE估计。用均方（二次型）损失函数得到的Bayes估计是MMSE估计。?用均匀损失函数得到的Bayes估计是最大后验概(MAP)估计。用均匀损失函数得到的Bayes估计是最大后验概(MAP)估计。?Bayes估计需要待估计量的先验知识，即：需要待估计量的PDF或者后验分布函数f(|x)。而MLE仅需要由观测决定的似然函数f(x|)。Bayes估计需要待估计量的先验知识，即：需要待估计量的PDF或者后验分布函数f(|x)。而MLE仅需要由观测决定的似然函数f(x|)。?最大似然估计的估计参数既可以是确定量又可以是随机量。最大似然估计的估计参数既可以是确定量又可以是随机量。?服从

3、均匀分布的随机参数的最大似然估计等价与最大后验概率Bayes估计。服从均匀分布的随机参数的最大似然估计等价与最大后验概率Bayes估计。线性均方估计（线性均方估计（线性均方估计（线性均方估计（LMMSELMMSE）最小二乘估计（最小二乘估计（最小二乘估计（最小二乘估计（LSLS）第二章第二章第二章第二章 参数估计理论参数估计理论参数估计理论参数估计理论(3)(3)2.5 2.5 线性均方估计线性均方估计线性均方估计线性均方估计?贝叶斯估计需要知道待估计量的贝叶斯估计需要知道待估计量的PDF或者后验分布函数或者后验分布函数f(|x)?最大似然估计会导致非线性问题的求解。最大似然估计会导致非线性问

4、题的求解。?线性均方（线性均方（线性均方（线性均方（LMMSELMMSE）估计）估计）估计）估计12222122 ()()()2 2 0 iNLMSiiiNiiiwiiiiw xEEEw xE eE eeeEE eE exwwwE e=?待定的估计子被表示成观测数据的线性加权和估计准则为使均方误差最小。即 arg min求偏导数0 1,.,iixiNx=正交性原理：均方误差最小估计误差正交于每一个给定的观测数据?正交性原理是线性估计误差最小化的一种几何解释，即由信号矢量正交性原理是线性估计误差最小化的一种几何解释，即由信号矢量x的各元素作为一个分量构成一个线性空间，在这个空间中估计参数，线性最

5、小均方误差估计的误差应该垂直于线性空间，或者说误差向该空间的投影最小。的各元素作为一个分量构成一个线性空间，在这个空间中估计参数，线性最小均方误差估计的误差应该垂直于线性空间，或者说误差向该空间的投影最小。?线性均方（线性均方（线性均方（线性均方（LMMSELMMSE）估计）估计）估计）估计?正交性原理的一个推论是线性估计误差最小化时，参数的估计值与线性最小均方误差估计的误差正交。正交性原理的一个推论是线性估计误差最小化时，参数的估计值与线性最小均方误差估计的误差正交。?线性均方（线性均方（线性均方（线性均方（LMMSELMMSE）估计）估计）估计）估计11 ()0 1,.,iNiiiiiNi

6、kkikiiijijwE exEw xxR wgiNgExRE x x=求系数其中，,11111;,.,;,.,.,TTN Nij i jNNNRwwggxx=RwgRwgwRgR记 则有 相关矩阵 可逆的条件：样本不相关。?线性均方（线性均方（线性均方（线性均方（LMMSELMMSE）估计）估计）估计）估计:LMMSE,.LMMSEWiener LMMSE BayesxxxRxgx几点说明（1）除需观测向量 外 还需要 的自相关矩阵以及 和 的互相关矢量这时估计需要的先验知识.而不需要一般Bayes估计的 和 的联合概率密度函数也就是所需先验知识较少（2）将一个随机变量参数的估计推广到一个随

7、机向量,或平稳信号波形的估计时，就是滤波器。（3）当估计参数服从高斯分布的情况下，估计和一般Bayes估计是等价 LMMSE Baye()s pdE=xx的，性能一样。但是，对于非高斯分布的参数，估计一般并不是真正的最优估计。而均方意义下的真正最优估计应是但其一般是非线性的，获取比较困难。?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计111,.,(11,2,3)TPHHNPNNPANPA=A=bAb=A b=A AA b未知参数向量 满足下面模型（矩阵方程）其中 和 分别是与观测相关的系数矩阵()和向量)，是已知的，求随机向量（）当且 非奇异适定方程，正常解（）当超

8、定方程（为高矩阵）LS解（）1,()HHNPA=AAAb 当欠定方程（为矮矩阵）最小范数解?谱估计、系统辨识等信号处理问题中多遇到的是超定情况。需要求最小二乘（谱估计、系统辨识等信号处理问题中多遇到的是超定情况。需要求最小二乘（LS）解。）解。?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计()-11=()()()()02 20 =NHHLSiiHHHHHHHHHHHLHHHSe=+=eAbe eAbAbJe eAbAb A Ab b A bb AJJA AA bA AAbA AA b?目标:使误差向量各元素的平方和最小 a正则方程rg min()()()()()2(

9、)()HHHHHHHH=+xxxxxxy xx yyx Ayy A xAyx xxx AxAAx?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计?最小二乘的解释与最小二乘滤波器最小二乘的解释与最小二乘滤波器?最小二乘估计信号s由某个含未知参数的模型产生，即信号通过某个模型A与未知参数联系，而信号在观测时将受到噪声的影响，或者模型不精确造成观测值x和实际信号中间存在误差，即我们观测到了一个受到扰动的s，并把它表示成观测数据x，因此最小二乘估计信号s由某个含未知参数的模型产生，即信号通过某个模型A与未知参数联系，而信号在观测时将受到噪声的影响，或者模型不精确造成观测值x和

10、实际信号中间存在误差，即我们观测到了一个受到扰动的s，并把它表示成观测数据x，因此x=s+e=A+e参数的LS估计量选择为使信号s和观测数据x最接近的值。参数的LS估计量选择为使信号s和观测数据x最接近的值。?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计?最小二乘的解释与最小二乘滤波器最小二乘的解释与最小二乘滤波器?最小二乘滤波：现有接收（观测或输入）信号x，期望响应（输出最小二乘滤波：现有接收（观测或输入）信号x，期望响应（输出）信号d，希望设计一滤波器系数矢量w，使信号d，希望设计一滤波器系数矢量w，使=dded=A w+edA w平 方 和 最 小 而，112

11、112011112(),(1),.,(),(),(1),.,()()(),(1),.,(1),.,(),(1),.,()TTTTMTe ie ie id id id iix ix ix iMwwwx ix ix i+=+=+edxwA其 中,()-1()()HHHLHLSS=wwe eAwdAwdwA AA d?arg min?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计()2-1,111 cov()=rank()=var()HHHNppppEEp=bAeAbee0eeeIAA AA b定理：线性方程组 其中 为矩阵，为向量，为随机向量；为随机误差向量，其均值与协方

12、差矩阵分别为则当且仅当 时，存在最优（方差最小意义下）无偏解，且其方差var(),bAe?其中 为 的任何其它解。?Gauss-Markov定理定理?物理含义物理含义：在上述观测模型中，误差向量：在上述观测模型中，误差向量e各分量间不相关并且具有相同的方差时，最小二乘估计才是无偏的和具有最小方差的估计。各分量间不相关并且具有相同的方差时，最小二乘估计才是无偏的和具有最小方差的估计。?加权最小二乘估计（为了克服误差分量具有相关性或方差不同问题）加权最小二乘估计（为了克服误差分量具有相关性或方差不同问题）?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计()-1=()()(

13、)()0220 =HHHHWLSHHHHHHHHHHHHHHWLS=+=e Wee Wee eAbW AbJe WeAbW Ab A WAb Wb A Wbb WAJJA WAA WbA WAA WbA WAA Wb?目标:使损失函数Q()=最小 arg min?如何求加权矩阵如何求加权矩阵W?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计22cov(),cov()cov()()HHHLS=+=+=eV VVVPPPPbAeP bP AP exB+xP b BP A P eP eIP eB BB xA-1-1-1-1-1-1-1-1-1-1假设误差向量的自协方差是一个

14、已知正定矩阵。由于 正定其中 非奇异。用左乘观测模型得其中而 即新的误差向量各分量间不相关，且具有相同方差。()-1111HH=VAA V bWV?投影算子和正交投影算子投影算子和正交投影算子?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计()()()()()-1-1-1-1-1 ,HHLSHHHHHHHH=d=Aw+e dAwwA AA ddA A AA dAxx PxA A AA xPxx APPA A AA=I-PIA A AAxx x A，令定义为对 的列向量张成空间的投影算子。任意矢量 在该空间的投影为即 作用于 得到矢量 在 的列向量张成空间的投影。正交投

15、影算子定义为 它作用于 得到矢量 与 在 的列向量张成空间的投影的 =e x xP x矢量的差，即?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计()-1(1),=(2),(SVD-LS)HHHLSHHHHLS=AA AA AA bAA AA bA AA b列满秩非奇异非列满秩,解不唯一参数不可辨识有很多参数 可以满足但其中可以有数值稳定性最好的满足解?两种情况两种情况()-1=HHLSAAA b?求求LS解的方法解的方法SVD法（法（SVD-LS算法）算法）?最小二乘（最小二乘（最小二乘（最小二乘（LSLS）估计）估计）估计）估计?提高提高LS性能的方法性能的方法总体最小二乘法（总体最小二乘法（TLS）?其它其它LS方法：按阶递推方法：按阶递推LS,序贯序贯LS,约束约束LS,非线性非线性LS