平稳随机过程估计理论PPT讲稿.ppt

《平稳随机过程估计理论PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《平稳随机过程估计理论PPT讲稿.ppt（36页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、平稳随机过程估计理论1第1页，共36页，编辑于2022年，星期六信号处理的根本任务是要提取有用的信息，有用信息信号处理的根本任务是要提取有用的信息，有用信息是通过检测、估计的方法对信号进行处理后提取出来是通过检测、估计的方法对信号进行处理后提取出来的，所以、检测、估计的信号处理方法是信号处理技的，所以、检测、估计的信号处理方法是信号处理技术的理论基础，它的应用领域十分广泛。术的理论基础，它的应用领域十分广泛。2第2页，共36页，编辑于2022年，星期六3第3页，共36页，编辑于2022年，星期六 声纳系统声纳系统-利用声波信号确定船只的位置利用声波信号确定船只的位置 图象处理图象处理-使用红外

2、检测是否有飞机出现使用红外检测是否有飞机出现 图图象象分分析析-根根据据照照相相机机的的图图象象估估计计目目标标的的位位置置和和方方向向，用机器人抓目标时是必须的用机器人抓目标时是必须的 生物医学生物医学-估计胎儿的心率估计胎儿的心率 控控制制-估估计计汽汽艇艇的的位位置置，以以便便采采用用正正确确的的导导航航行行为为，如如LoranLoran系统系统 地地震震学学-检检测测地地下下是是否否有有油油田田，并并根根据据油油层层和和岩岩层层的密度，根据声反射来估计油田的地下距离。的密度，根据声反射来估计油田的地下距离。4第4页，共36页，编辑于2022年，星期六所所有有这这些些问问题题都都有有一一

3、个个共共同同的的特特点点，那那就就是是从从含含有有噪噪声声的的数数据据集集中中去去提提取取我我们们所所需需要要的的有有用用信信息息，这这些些有有用用信信息息可可能能是是“目目标标出出现现与与否否”、“数数字字源源发发射射的的是是0 0还还是是1 1”或或者者“目目标标的的距距离离”、“目目标标的的方方位位”，或或”目目标标的的速速度度”等等，由由于于噪噪声声固固有有的的随随机机性性，因因此此，有有用用信信息息的的提提取取必必须须采采用用统统计计的的方方法法，这这些些统统计计方方法法的的基基础础就就是是检检测测理论与估计理论，就是本课程后续章节学习的内容。理论与估计理论，就是本课程后续章节学习的

4、内容。5第5页，共36页，编辑于2022年，星期六5.5.信号的估计问题信号的估计问题5.1 估计的基本概念估计的基本概念 5.2 确定性信号处理的最小平方问题确定性信号处理的最小平方问题5.3 随机信号参数的最小均方估计随机信号参数的最小均方估计5.4 最小二乘估计：最小二乘估计：观测与估计偏差的平方和最小观测与估计偏差的平方和最小5.5 波形估计波形估计6第6页，共36页，编辑于2022年，星期六估计问题通常是以下三种情况：估计问题通常是以下三种情况：n 根据观测样本直接对观测样本的各类统计特性作出估计；根据观测样本直接对观测样本的各类统计特性作出估计；n 根据观测样本，对观测样本中的信号

5、中的未知的待定参量作根据观测样本，对观测样本中的信号中的未知的待定参量作出估计，称为信号的参量估计问题，又分为出估计，称为信号的参量估计问题，又分为点估计点估计和和区间估计区间估计；n 根据观测样本对随时间变化的信号作出波形估计，又称为根据观测样本对随时间变化的信号作出波形估计，又称为过程估计过程估计。5.15.1估计的基本概念估计的基本概念7第7页，共36页，编辑于2022年，星期六信源s()P()混合P(n)n估计规则估计规则估计估计()z观测空间观测空间信号参量估计的统计推断模型信号参量估计的统计推断模型5.15.1估计的基本概念估计的基本概念8第8页，共36页，编辑于2022年，星期六

6、估计问题基本要素估计问题基本要素5.15.1估计的基本概念估计的基本概念概率传递机制概率传递机制估计准则估计准则9第9页，共36页，编辑于2022年，星期六5.25.2确定性信号最小平方估计确定性信号最小平方估计例例1 实数二次型实数二次型10第10页，共36页，编辑于2022年，星期六5.25.2确定性信号最小平方估计确定性信号最小平方估计11第11页，共36页，编辑于2022年，星期六5.25.2确定性信号最小平方估计确定性信号最小平方估计例例2 多项式多项式由信号由信号估计估计寻求寻求12第12页，共36页，编辑于2022年，星期六5.25.2确定性信号最小平方估计确定性信号最小平方估计

7、由由可得使可得使E为最小的向量为最小的向量估计的最小平方误差为估计的最小平方误差为13第13页，共36页，编辑于2022年，星期六5.25.2确定性信号最小平方估计确定性信号最小平方估计14第14页，共36页，编辑于2022年，星期六1、线性最小均方估计、线性最小均方估计(linear minimum mean square error estimation)设随机参量设随机参量 与观测数据与观测数据z有关，且有关，且 在观测过程中不变，根据在观测过程中不变，根据N个观测数据个观测数据z:z1,z2,zN,对参量对参量 作线性最小均方估计作线性最小均方估计 。规定估计量具有线性函数形式：规定估

8、计量具有线性函数形式：选择适当的系数选择适当的系数hk及及b，使估计均方误差最小。，使估计均方误差最小。5.35.3随机信号的线性最小均方估计随机信号的线性最小均方估计15第15页，共36页，编辑于2022年，星期六由上两式即可求得由上两式即可求得b及系数及系数hk。实现线性最小均方估计条件：实现线性最小均方估计条件：通常称为通常称为正交条件正交条件，即估计误差与各个观测数据乘积的统计，即估计误差与各个观测数据乘积的统计均值等于零。均值等于零。5.35.3随机信号的线性最小均方估计随机信号的线性最小均方估计16第16页，共36页，编辑于2022年，星期六性能分析：性能分析：线性最小均方估计为无

9、偏估计，即有：线性最小均方估计为无偏估计，即有：线性最小均方估计的均方误差等于误差与被估计量乘积的线性最小均方估计的均方误差等于误差与被估计量乘积的统计均值，即：统计均值，即：其中：其中：5.35.3随机信号的线性最小均方估计随机信号的线性最小均方估计17第17页，共36页，编辑于2022年，星期六例例1、在平稳白噪声背景中，对参量作线性最小均方估计。、在平稳白噪声背景中，对参量作线性最小均方估计。1)观测数据为：观测数据为：其中其中a为信号幅值，为信号幅值，Ea2=A，Ea=0；nk为均值为零、方差为为均值为零、方差为 的的白噪声，且信号幅值与噪声不相关，求白噪声，且信号幅值与噪声不相关，求

10、a的最佳线性估计。的最佳线性估计。2)若观测数据为：若观测数据为：设设Es2=S，Es=0；其余条件同；其余条件同(1)，试根据二个观测数据求，试根据二个观测数据求s的的最佳线性估计。最佳线性估计。5.35.3随机信号的线性最小均方估计随机信号的线性最小均方估计18第18页，共36页，编辑于2022年，星期六1 1、估计量的性能标准、估计量的性能标准 无偏性无偏性 如果估计量的均值等于非随机参量或等于随机参量的均值，如果估计量的均值等于非随机参量或等于随机参量的均值，则称估计量具有无偏性。即满足：则称估计量具有无偏性。即满足：对于确定量，有：对于确定量，有：对于随机量，有：对于随机量，有：5.

11、45.4估计量的性能估计量的性能19第19页，共36页，编辑于2022年，星期六 有效性有效性 对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于真值附近，估计的性能越好。真值附近，估计的性能越好。5.45.4估计量的性能估计量的性能20第20页，共36页，编辑于2022年，星期六对于有偏估计，尽管估计的方差很小，但估计对于有偏估计，尽管估计的方差很小，但估计的误差可能仍然很大。的误差可能仍然很大。5.45.4估计量的性能估计量的性能21第21页，共36页，编辑于2022年，星期六 有效性有效性 对于无偏估计，如果估计的方差越小

12、，表明估计量的取值越集中对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于真值附近，估计的性能越好。于真值附近，估计的性能越好。用估计的方差还不能准确地描述估计的性能用估计的方差还不能准确地描述估计的性能，所以我们可以，所以我们可以用均方误差作为评价估计量性能的一个指标。用均方误差作为评价估计量性能的一个指标。5.45.4估计量的性能估计量的性能22第22页，共36页，编辑于2022年，星期六 一致性一致性 即对于任意小数即对于任意小数，若有：，若有：则估计量则估计量 为为一致一致估计量。估计量。若满足若满足则称为则称为均方一致均方一致估计量。估计量。5.45.4估计量的性能估计量的性

13、能23第23页，共36页，编辑于2022年，星期六例例1、高斯白噪声中的直流电平估计、高斯白噪声中的直流电平估计-未知参数。设有未知参数。设有N次独立观测次独立观测zi=A+vi，i=1,2,.N，其中，其中viN(0,2)，2已知。已知。5.45.4估计量的性能估计量的性能24第24页，共36页，编辑于2022年，星期六2 2、克拉美罗限、克拉美罗限(Cramer-Rao Low bound)(Cramer-Rao Low bound)无偏估计量的估计方差的最小值无偏估计量的估计方差的最小值 非随机参量非随机参量任何无偏估计量的方差满足任何无偏估计量的方差满足 等号成立的条件：等号成立的条件

14、：克拉美-罗限5.45.4估计量的性能估计量的性能25第25页，共36页，编辑于2022年，星期六2 2、克拉美罗限、克拉美罗限(Cramer-Rao bound)(Cramer-Rao bound)如果一个无偏估计，它的方差达到如果一个无偏估计，它的方差达到CRLBCRLB，那么，这个估计必定是最大似然，那么，这个估计必定是最大似然估计。这时最大似然估计是最好的。但如果不存在达到估计。这时最大似然估计是最好的。但如果不存在达到CRLBCRLB的估计，最大的估计，最大似然估计就不一定是最好的估计。似然估计就不一定是最好的估计。5.45.4估计量的性能估计量的性能26第26页，共36页，编辑于2

15、022年，星期六例例2、高斯白噪声中的高斯白噪声中的DCDC电平。电平。DCDC电平的最大似然估计的方差是电平的最大似然估计的方差是否达到否达到CRLBCRLB？它的估计方差是多少？它的估计方差是多少？5.45.4估计量的性能估计量的性能27第27页，共36页，编辑于2022年，星期六2 2、克拉美罗限、克拉美罗限(Cramer-Rao Low bound)(Cramer-Rao Low bound)无偏估计量的估计方差的最小值无偏估计量的估计方差的最小值 随机参量随机参量任何无偏估计量的均方误差满足任何无偏估计量的均方误差满足 等号成立的条件：等号成立的条件：克拉美-罗限5.45.4估计量的

16、性能估计量的性能28第28页，共36页，编辑于2022年，星期六2 2、克拉美罗限、克拉美罗限(Cramer-Rao Low bound)(Cramer-Rao Low bound)无偏估计量的估计方差的最小值无偏估计量的估计方差的最小值 随机参量随机参量如果有某个无偏估计达到如果有某个无偏估计达到CRLB,CRLB,那么该估计必定是最大后验概率估计那么该估计必定是最大后验概率估计.而而最小均方估计的均方误差也是最小的最小均方估计的均方误差也是最小的,所以这时最小均方估计与最大后所以这时最小均方估计与最大后验概率估计等价验概率估计等价.5.45.4估计量的性能估计量的性能29第29页，共36页

17、，编辑于2022年，星期六例例2 高斯白噪声中的直流电平估计高斯白噪声中的直流电平估计-高斯先验分布。设有高斯先验分布。设有N N次独立观次独立观测测z zi i=A+v=A+vi i,i=1,2,.N,i=1,2,.N，其中，其中vN(0,)vN(0,)，A A ，求，求A A的估的估计的计的CRLBCRLB。5.45.4估计量的性能估计量的性能30第30页，共36页，编辑于2022年，星期六1 1、波形估计、波形估计 参量估计适用于非时变参量，无法解决时变参量估计问题。参量估计适用于非时变参量，无法解决时变参量估计问题。关于时变参量甚至时变信号本身的估计称为时变信号估计关于时变参量甚至时变

18、信号本身的估计称为时变信号估计或波形估计，因此波形估计又称过程估计。或波形估计，因此波形估计又称过程估计。波形估计其实质就是给定有用信号和加性噪声的混合波形，波形估计其实质就是给定有用信号和加性噪声的混合波形，寻求一种线性运算作用于此混合波形，使信号与噪声实现最佳分寻求一种线性运算作用于此混合波形，使信号与噪声实现最佳分离，最佳的含义是使估计的均方误差最小，故又称为最佳线性滤离，最佳的含义是使估计的均方误差最小，故又称为最佳线性滤波理论。波理论。5.5 5.5 波形估计波形估计31第31页，共36页，编辑于2022年，星期六 波形估计通常分为滤波、平滑、预测三种基本估计。波形估计通常分为滤波、

19、平滑、预测三种基本估计。滤波：滤波：根据当前和过去的观测值根据当前和过去的观测值z(k),k=n0,n0+1,.,n对信对信号号s(n)进行估计进行估计(Filtering)；预测预测:根据当前和过去的观测值根据当前和过去的观测值z(k),k=n0,n0+1,.,nf对未对未来时刻来时刻n(nnf)的信号的信号s(n)进行估计，预测也称为外推；进行估计，预测也称为外推；(Prediction)根据某一区间的观测数据根据某一区间的观测数据z(k),k=n0,n0+1,.,nf对区间内的某一对区间内的某一个时刻个时刻n(n0nnf)的信号进行估计，内插也称为平滑。的信号进行估计，内插也称为平滑。(

20、Smoothing)。5.5 5.5 波形估计波形估计32第32页，共36页，编辑于2022年，星期六2 2、维纳滤波、维纳滤波 线性最小均方估计是观测的线性函数，它可以看作为观测序列线性最小均方估计是观测的线性函数，它可以看作为观测序列通过离散时间线性系统，即通过离散时间线性系统，即Wiener-Hopf方程方程 滤波器系数的选择：滤波器系数的选择：正交原理正交原理5.5 5.5 波形估计波形估计33第33页，共36页，编辑于2022年，星期六假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为因果的线性时不变离散时间线性

21、系统系统为因果的线性时不变离散时间线性系统 5.5 5.5 波形估计波形估计34第34页，共36页，编辑于2022年，星期六维纳滤波器维纳滤波器信号信号s(n)与观测噪声统计独立时，维纳滤波器为：与观测噪声统计独立时，维纳滤波器为：观测为白噪声时，维纳滤波器为：观测为白噪声时，维纳滤波器为：5.5 5.5 波形估计波形估计35第35页，共36页，编辑于2022年，星期六维纳滤波和卡尔曼滤波是实现从噪声中提取信号，完成信号维纳滤波和卡尔曼滤波是实现从噪声中提取信号，完成信号波形估计的两种线性最佳估计方法。波形估计的两种线性最佳估计方法。维纳滤波需要设计维纳滤波器，它的求解要求知道随机信号的维纳滤

22、波需要设计维纳滤波器，它的求解要求知道随机信号的统计特性，即相关函数或功率谱密度。当信号的功率谱为有理谱时，统计特性，即相关函数或功率谱密度。当信号的功率谱为有理谱时，采用谱分解的方法求解滤波器的系统函数，简单易行，物理概念清楚，采用谱分解的方法求解滤波器的系统函数，简单易行，物理概念清楚，具有一定的工程实用价值，但当功率谱变化时，却不能进行实时处理。具有一定的工程实用价值，但当功率谱变化时，却不能进行实时处理。维纳滤波的限制是：它仅实用于一维平稳随机信号。维纳滤波的限制是：它仅实用于一维平稳随机信号。20世纪世纪50年代，为了解决多输入、多输出非平稳随机信号的估计问年代，为了解决多输入、多输出非平稳随机信号的估计问题，卡尔曼于题，卡尔曼于60年采用状态方程和观测方程描述系统的信号模型，提出离散年采用状态方程和观测方程描述系统的信号模型，提出离散状态估计的一组递推公式，即卡尔曼滤波器公式。由于卡尔曼滤波采用的递状态估计的一组递推公式，即卡尔曼滤波器公式。由于卡尔曼滤波采用的递推算法非常适合计算机处理，广泛应用于许多领域。推算法非常适合计算机处理，广泛应用于许多领域。36第36页，共36页，编辑于2022年，星期六