【教学课件】第四章自适应信号处理.ppt

第四章 自适应信号处理郑宝玉1 内内 容容v最优滤波理论与最优滤波理论与Wiener滤波器滤波器v梯度下降算法梯度下降算法v横向横向LMS自适应滤波器自适应滤波器v横向横向RLS自适应滤波器自适应滤波器vKalman滤波器滤波器v自适应格型滤波器自适应格型滤波器v自适应格自适应格-梯型滤波器梯型滤波器v无限脉冲响应自适应滤波器无限脉冲响应自适应滤波器 v盲自适应滤波器盲自适应滤波器v自适应滤波器的应用自适应滤波器的应用 2 Kalman滤波器滤波器q 状态空间方程状态空间方程3 Kalman滤波器（续）滤波器（续）假设：线性状态模型、高斯噪声4 Kalman滤波器（续）滤波器（续）已知：5 Kalman滤波器（续）滤波器（续）q 三个基本概念三个基本概念6 Kalman滤波器（续）滤波器（续）q 新息新息称 为 的新息过程向量7 Kalman滤波器（续）滤波器（续）估计状态向量估计误差：相关矩阵：校正项8 Kalman滤波器（续）滤波器（续）例：是一个时不变的标量随机变量，为观测数据，其中 为白噪声。现用Kalman滤波器自适应估计 ，即考虑设计Kalman滤波器的问题。设计过程：(1)构造状态空间方程；(2)设计 的更新公式9 Kalman滤波器（续）滤波器（续）10LMS、RLS、Kalman算法比较算法比较（1）计算复杂度计算复杂度：LMSRLSKalman 相差不大相差不大（2）RLS算法是算法是“无激励无激励”状态空间模型状态空间模型下的下的Kalman滤波算法滤波算法（3）收敛速率收敛速率：LMS：越大，学习步长越大，收敛越快 RLS：越大，遗忘作用越弱，收敛越慢 时变学习速率、时变遗忘因子 Kalman：无收敛问题，无收敛参数11表表1 Kalman滤波算法与滤波算法与RLS滤波算法变量对照表滤波算法变量对照表Kalman算法算法RLS算法算法 参数名称参数名称变变 量量变变 量量 参数名称参数名称初始状态向量初始状态向量 s(0)w0抽头权向量抽头权向量状态向量状态向量 s(n)指数加权的抽头权向量指数加权的抽头权向量参考（观测）信号参考（观测）信号 y(n)期望响应期望响应观测噪声观测噪声 v(n)测量误差测量误差一步预测的状态向量一步预测的状态向量抽头权向量的估计抽头权向量的估计状态预测误差相关阵状态预测误差相关阵 K(n)输入向量相关矩阵的逆矩阵输入向量相关矩阵的逆矩阵Kalman增量增量 g(n)增量向量增量向量新息新息先验估计误差先验估计误差()初始条件初始条件初始条件初始条件 K(0)12 内内 容容v最优滤波理论与最优滤波理论与Wiener滤波器滤波器v梯度下降算法梯度下降算法v横向横向LMS自适应滤波器自适应滤波器v横向横向RLS自适应滤波器自适应滤波器vKalman滤波器滤波器v自适应格型滤波器自适应格型滤波器v自适应格自适应格-梯型滤波器梯型滤波器v无限脉冲响应自适应滤波器无限脉冲响应自适应滤波器 v盲自适应滤波器盲自适应滤波器v自适应滤波器的应用自适应滤波器的应用 13自适应格型滤波器自适应格型滤波器v 格型自适应滤波原理格型自适应滤波原理 对称的格型结构对称的格型结构 n时刻的前向和后向预测误差时刻的前向和后向预测误差(残差残差)服从如下递推关系服从如下递推关系:其初值为：其初值为：前向和后向预测误差滤波器传递函数递推公式为前向和后向预测误差滤波器传递函数递推公式为其中其中14自适应格型滤波器自适应格型滤波器v 格型自适应滤波原理格型自适应滤波原理 对称的格型结构对称的格型结构 容易推出前、后向滤波器传递函数的一般关系式：容易推出前、后向滤波器传递函数的一般关系式：由式(4a)知:为为了了使使前前向向滤滤波波器器物物理理可可实实现现，前前向向滤滤波波器器传传递递函函数数Am(z)必须是最小相位多项式，即必须是最小相位多项式，即的零点必须全部在单位圆内，亦即的零点必须全部在单位圆内，亦即 从而从而这就是格型滤波器时各级反射系数必须满足的条件。这就是格型滤波器时各级反射系数必须满足的条件。15自适应格型滤波器自适应格型滤波器v格型自适应滤波原理格型自适应滤波原理 对称的格型结构（续）对称的格型结构（续）由式由式(4b),即由即由下式下式可见可见,格型滤波器的设计归结为前向滤波器的设计格型滤波器的设计归结为前向滤波器的设计。可知，后向滤波器的权系数与前向滤波器的权系数可知，后向滤波器的权系数与前向滤波器的权系数之间存在以下关系：之间存在以下关系：16自适应格型滤波器自适应格型滤波器v格型自适应滤波原理格型自适应滤波原理 格型滤波器设计准则格型滤波器设计准则 现在讨论前向滤波器现在讨论前向滤波器A(z)的设计准则。的设计准则。(3)可等价写作可等价写作相应的时域表达式为相应的时域表达式为17自适应格型滤波器自适应格型滤波器v格型自适应滤波原理格型自适应滤波原理 格型滤波器设计准则格型滤波器设计准则 定义前、后向滤波器的残差能量定义前、后向滤波器的残差能量容易证明容易证明 上式表明上式表明,在格型滤波器设计中有如下三种等价表述：在格型滤波器设计中有如下三种等价表述：i)使前向预测滤波器使前向预测滤波器Am(z)残差能量均方误差残差能量均方误差Fm最小最小ii)使后向预测滤波器使后向预测滤波器Bm(z)残差能量均方误差残差能量均方误差Gm最小最小iii)使前后向预测滤波器残差能量均方误差使前后向预测滤波器残差能量均方误差(Fm+Gm)/2最小最小18自适应格型滤波器自适应格型滤波器v格型自适应滤波原理格型自适应滤波原理 格型滤波器设计准则格型滤波器设计准则 上述结论构成格型滤波器的设计基础，而且由此有上述结论构成格型滤波器的设计基础，而且由此有 1)完全可以仅根据前向残差能量完全可以仅根据前向残差能量Fm设计格型滤波器，设计格型滤波器，2)后向预测误差（残差）正交后向预测误差（残差）正交 这表明，不同级滤波器的后向残差正交这表明，不同级滤波器的后向残差正交 这一特性意味着格型滤波器的前后级是解耦的，故可这一特性意味着格型滤波器的前后级是解耦的，故可 独立设计每一级滤波器。独立设计每一级滤波器。3)阶数越大，前向残差阶数越大，前向残差Fm越小越小。19自适应格型滤波器自适应格型滤波器v格型自适应滤波原理格型自适应滤波原理 格型滤波器设计准则格型滤波器设计准则 总结总结上述，格型滤波器的设计过程可表述如下：上述，格型滤波器的设计过程可表述如下：令令m=1,2,，并依次设计前向滤波器，当前向残差能量并依次设计前向滤波器，当前向残差能量 不再减小时，最小的阶数即为格型滤波器的最优阶数。不再减小时，最小的阶数即为格型滤波器的最优阶数。20自适应格型滤波器自适应格型滤波器v格型自适应滤波原理格型自适应滤波原理 格型自适应算法格型自适应算法 令令w(n)为滤波器在为滤波器在n时刻的权系数，并满足时刻的权系数，并满足 现考虑采用一般能量形式的加权最小二乘法。为此，现考虑采用一般能量形式的加权最小二乘法。为此，定义瞬态前后向残差能量定义瞬态前后向残差能量 和和n时刻及以前时刻前后向残差的加权总能量误差函数时刻及以前时刻前后向残差的加权总能量误差函数21自适应格型滤波器自适应格型滤波器v格型自适应滤波原理格型自适应滤波原理 格型自适应算法格型自适应算法(续续)利用利用可得可得n时刻发射系数时刻发射系数且有这保证了前向滤波器是最小相位的这保证了前向滤波器是最小相位的,即物理可实现的。即物理可实现的。22自适应格型滤波器自适应格型滤波器v格型自适应滤波原理格型自适应滤波原理 格型自适应算法（续）格型自适应算法（续）取取 并引入并引入即得即得且 服从如下递推关系式：23自适应格型滤波器自适应格型滤波器v格型自适应滤波原理格型自适应滤波原理 格型自适应算法（步骤）格型自适应算法（步骤）步步骤骤1 计计算算预预测测误误差差功功率率和和前前后后向向预预测测误误差差的的初初始始值值:步骤步骤2 计算前、后向残差计算前、后向残差 步骤步骤3 求中间系数求中间系数 步骤步骤4 计算反射系数：计算反射系数：步骤步骤5 计算预测误差功率：计算预测误差功率：步骤步骤6 令令 ,重做步骤重做步骤2-5,直到预测误差功率很小为止直到预测误差功率很小为止.24 内内 容容v最优滤波理论与最优滤波理论与Wiener滤波器滤波器v梯度下降算法梯度下降算法v横向横向LMS自适应滤波器自适应滤波器v横向横向RLS自适应滤波器自适应滤波器vKalman滤波器滤波器v自适应格型滤波器自适应格型滤波器v自适应格自适应格-梯型滤波器梯型滤波器v无限脉冲响应自适应滤波器无限脉冲响应自适应滤波器 v盲自适应滤波器盲自适应滤波器v自适应滤波器的应用自适应滤波器的应用 25自适应格自适应格-梯型滤波器梯型滤波器v预备知识预备知识v算法原理算法原理基本方程基本方程更新方程更新方程-阶更新方程阶更新方程-时间更新方程时间更新方程 输出估计输出估计v 算法步骤算法步骤26自适应格自适应格-梯型滤波器梯型滤波器v 预备知识预备知识 分块矩阵求逆引理分块矩阵求逆引理 设有分块矩阵：设有分块矩阵：则有则有或或其中其中27自适应格自适应格-梯型滤波器梯型滤波器v 预备知识预备知识 数据向量与预测系数向量数据向量与预测系数向量 考虑数据向量考虑数据向量 则存在两种不同的分块方式则存在两种不同的分块方式 分别对应于前向预测和后向预测。分别对应于前向预测和后向预测。定义前向预测系数向量和后向预测系数向量，即定义前向预测系数向量和后向预测系数向量，即28自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程 1)1)数据向量数据向量 a)a)对于前向预测：对于前向预测：b)对于后向预测：对于后向预测：29自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程 2)2)预测误差预测误差 (l=0,1,n)a a)对于前向预测：对于前向预测：b)对于后向预测：对于后向预测：c)对于联合估计：对于联合估计：30自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程 3)3)代价函数代价函数（预测误差加权平方和预测误差加权平方和）a)a)对于于前向预测：对于于前向预测：b)对于后向预测：对于后向预测：c)对于联合估计：对于联合估计：31自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程 4)4)最小代价函数最小代价函数 对于前向预测：对于前向预测：对于后向预测：对于后向预测：32自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程 5)W-H方程与方程与Wiener解解 a)a)对于前向预测：对于前向预测：b)对于后向预测：对于后向预测：c)对于联合估计：对于联合估计：33自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程 6)联合方程联合方程（联合最小代价函数和（联合最小代价函数和W-H方程）方程）对于前向预测：对于前向预测：对于后向预测：对于后向预测：34自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程 7)自自相关矩阵相关矩阵 对于前向预测：对于前向预测：对于后向预测：对于后向预测：35自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程 8)互相关向量互相关向量 a)a)对于前向预测：对于前向预测：b)对于后向预测：对于后向预测：c)对于联合估计：对于联合估计：36自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程 9)期望响应加权平方和期望响应加权平方和对于后向预测：对于后向预测：对于前向预测：对于前向预测：37自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 基本方程基本方程10)Kalman增益向量增益向量 38自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 阶更新方程阶更新方程 11)相关矩阵逆矩阵相关矩阵逆矩阵 对于前向预测：对于前向预测：对于后向预测：对于后向预测：39自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 阶更新方程阶更新方程 12)预测系数向量预测系数向量后向预测：后向预测：联合估计：联合估计：前向预测前向预测:40自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 阶更新方程阶更新方程 13)最小代价函数最小代价函数 对于前向预测：对于前向预测：对于后向预测：对于后向预测：41自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 阶更新方程阶更新方程 14)误差函数误差函数 a)a)对于前向预测：对于前向预测：b)对于后向预测：对于后向预测：c)对于联合估计：对于联合估计：其中其中其中其中其中其中42自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 时间更新方程时间更新方程 15)预测系数向量预测系数向量 对于前向预测：对于前向预测：对于后向预测：对于后向预测：43自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 时间更新方程时间更新方程 km(n)的更新方程的更新方程 考虑考虑其中其中由此导出由此导出定义定义则有则有其中其中44自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 时间更新方程时间更新方程 的更新方程的更新方程其中其中因为因为由此可导出由此可导出45自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 的阶的阶更新方程更新方程Kalman增益向量可以写为增益向量可以写为 由上式及由上式及(16-17)得得Kalman增益向量还可写为增益向量还可写为 再注意到再注意到由由(22)-(24)得得46自适应格自适应格-梯型滤波器梯型滤波器v 算法原理算法原理 输出估计输出估计 由由(2c)和和(14c)可见，系统的输出估计值是后向残差的加权和可见，系统的输出估计值是后向残差的加权和。归纳上述，即得如下归纳上述，即得如下RLS格格-梯型算法梯型算法。其中系统的输出估计值为其中系统的输出估计值为47自适应格自适应格-梯型滤波器梯型滤波器vRLS格格-梯型算法梯型算法(先验形式先验形式)格型预测器格型预测器:从从n=0出发出发,对对m=0,1,M-1,计算阶更新计算阶更新 48自适应格自适应格-梯型滤波器梯型滤波器vRLS格格-梯型算法梯型算法(先验形式先验形式)梯型预测器梯型预测器:从从n=0出发出发,对对m=0,1,M-1,计算阶更新计算阶更新 初始化初始化:49