现代信号处理03-自适应信号处理.ppt
第三章 自适应信号处理周围1 内内 容容v梯度下降算法梯度下降算法v横向横向LMSLMS自适应滤波器自适应滤波器v横向横向RLSRLS自适应滤波器自适应滤波器v自适应格型滤波器自适应格型滤波器v盲自适应滤波器盲自适应滤波器v自适应滤波器的应用自适应滤波器的应用 2参数可调数字滤波器自适应算法+_y(n)参考信号d(n)e(n)自适应滤波器原理图x(n)输入输出3自适应自适应FIR滤波器：滤波器：定义输入向量定义输入向量输入信号：输入信号：输出信号：输出信号：期望信号（参考信号期望信号（参考信号或训练信号）：或训练信号）：d(n)抽头权矢量：抽头权矢量：输出误差信号：输出误差信号：+-+自适应算法最优权矢量：最优权矢量：4均方误差性能曲面及其性质均方误差性能曲面及其性质输入信号的自相关矩阵：输入信号的自相关矩阵：互相关矩阵互相关矩阵5与FIR维纳滤波器的最优解一致。均方误差函数（代价函数）678几何意义几何意义对二维实加权情况：均方误差性能函数：为求得等高线令9均方误差性能曲面均方误差性能曲面的等高线10定义输入向量定义输入向量输出信号：输出信号：复加权矢量：复加权矢量：输出误差信号：输出误差信号：11定义输入向量定义输入向量其中空间自相关矩阵：其中空间自相关矩阵：最优加权矢量：最优加权矢量：互相关矩阵互相关矩阵12 最陡（梯度）下降算法最陡（梯度）下降算法q 梯度的数学表示：相对于 向量 的梯度算子记作 ，定义为因此，一个实际量函数 相对于一列向量的梯度为13最陡（梯度）下降算法（续）最陡（梯度）下降算法（续）q 梯度的几何特征梯度的几何特征梯度的每个分量给出了标量函数在该分量方向梯度的每个分量给出了标量函数在该分量方向上的变化率上的变化率。q 梯度的重要性质梯度的重要性质指出了当变元增大时函数的最大增大率指出了当变元增大时函数的最大增大率。相反，。相反，梯度的负值（简称负梯度）指出了当变元增大时梯度的负值（简称负梯度）指出了当变元增大时函数的最大减小率。函数的最大减小率。这一性质是梯度下降算法的这一性质是梯度下降算法的基础基础。14极小化极小化 取负曲率方向作搜索方向取负曲率方向作搜索方向 取负梯度取负梯度作目标函数的更新方向。作目标函数的更新方向。定理定理：令令 是实向量是实向量 的实值函数。将的实值函数。将 视视为独立的变元，实目标函数为独立的变元，实目标函数 的曲率方向由梯的曲率方向由梯度向量度向量 给出。给出。最陡（梯度）下降算法最陡（梯度）下降算法15梯度下降算法的迭代过程：近似解在迭代过程中的校正量与目标函数的负梯度成正比。上式称为优化问题近似解的学习算法；常数 称为学习步长，它决定近似解趋向最优解的收敛速率。梯度：故坐标平移 最陡（梯度）下降算法最陡（梯度）下降算法16坐标旋转去耦合由初始权向量迭代可得：（变量间无耦合）或表为因为 最陡（梯度）下降算法最陡（梯度）下降算法17若满足：实际常用（保守的）收敛条件收敛条件：则有：则有：或 最陡（梯度）下降算法（续）最陡（梯度）下降算法（续）18过渡过程过渡过程令：令：则则其中权向量时间常数其中权向量时间常数（1）权向量过渡过程）权向量过渡过程（2）均方误差过渡过程）均方误差过渡过程其中均方误差时间常数其中均方误差时间常数 最陡（梯度）下降算法（续）最陡（梯度）下降算法（续）19（3）特征值分散对过渡过程的影响）特征值分散对过渡过程的影响均均方方误误差差和和权权矢矢量量的的分分量量均均按按M个个不不同同时时间间常常数数 的的指指数数函函数数之之和的规律变化。收敛速度主要取决于最慢的指数过程，相应时间常数：和的规律变化。收敛速度主要取决于最慢的指数过程，相应时间常数：为了保证收敛，步长为了保证收敛，步长 ，故有：，故有：当特征值分散性大（条件数大）时，算法最陡下降法收敛性很差。最陡（梯度）下降算法（续）最陡（梯度）下降算法（续）20 梯度下降算法（续）梯度下降算法（续）（4）步长）步长对过渡过程的影响对过渡过程的影响步长 必须满足收敛条件:太大将不收敛；在保证收敛情况下：越大，收敛越快，但太大时过渡过程具有振荡特性，且稳态误差较大；越小，稳态误差越小，但收敛越慢。或(a)小的值情况步长值的影响(b)大的值情况21 内内 容容v最优滤波理论与最优滤波理论与Wiener滤波器滤波器v梯度下降算法梯度下降算法v横向横向LMSLMS自适应滤波器自适应滤波器v横向横向RLSRLS自适应滤波器自适应滤波器v自适应格型滤波器自适应格型滤波器v盲自适应滤波器盲自适应滤波器v自适应滤波器的应用自适应滤波器的应用 22 自适应滤波基本原理自适应滤波基本原理 自适应滤波器包括两个过程自适应滤波器包括两个过程：滤波过程和自适应过程。：滤波过程和自适应过程。此仅考虑后者此仅考虑后者,即滤波器的自适应实现问题；且主要考虑即滤波器的自适应实现问题；且主要考虑 FIR滤波器的自适应实现，其关键是自适应算法。滤波器的自适应实现，其关键是自适应算法。FIR滤波器的自适应实现指的是滤波器的自适应实现指的是：M 阶阶FIR滤波器的抽滤波器的抽 头权系数头权系数w1,wM-1可以根据估计误差可以根据估计误差e(n)的大小自动调的大小自动调 节，使得误差在某个统计最优准则下最小。节，使得误差在某个统计最优准则下最小。滤波器设计最常用的准则滤波器设计最常用的准则：MMSE准则，即是使滤波器准则，即是使滤波器 实际输出实际输出y(n)与期望响应期望响应d(n)之间的均方误差之间的均方误差 最小最小;最终达到最终达到Wiener解。解。23 自适应滤波基本原理（续）自适应滤波基本原理（续）最广泛使用的自适应算法是最广泛使用的自适应算法是“下降算法下降算法”式中式中w(n)为第为第n步迭代步迭代(亦即时刻亦即时刻n)的权向量的权向量，为第为第n步步 迭代的更新步长迭代的更新步长，v(n)为第为第n步迭代的更新方向步迭代的更新方向(向量向量)下降算法的两种实现方式下降算法的两种实现方式 -自适应梯度算法：自适应梯度算法：LMS算法及其改进算法算法及其改进算法-自适应高斯牛顿算法：自适应高斯牛顿算法：RLS算法及其改进算法算法及其改进算法 本节介绍本节介绍LMS类算法，下一节介绍类算法，下一节介绍RLS类算法。类算法。24 最小均方（LMS）滤波器）滤波器最陡下降法：最陡下降法：随机优化问题随机优化问题：Wiener滤波器：滤波器：真实梯度真实梯度25 LMS滤波器（续）滤波器（续）梯度下降算法梯度下降算法：步长参数，学习速率步长参数，学习速率真实梯度真实梯度缺点缺点：真实梯度含数学期望，不易求得：真实梯度含数学期望，不易求得。梯度估计梯度估计改进改进：瞬时梯度瞬时梯度：先验估计误差先验估计误差26 LMS滤波器（续）滤波器（续）v 基本基本LMSLMS算法算法：瞬时梯度分析瞬时梯度分析：最陡下降法最陡下降法LMSLMS算法算法 搜索方向为梯度负方向，每一步更新都使目标函数值减小（“最陡下降含义”）。搜索方向为瞬时梯度负方向，不保证每一步更新都使目标函数值减小，但总趋势使目标函数值减小。27 LMS滤波器（续）滤波器（续）梯度下降法要求：梯度下降法要求：不同时间的梯度向量（搜索方向）线性独立。LMSLMS算法的独立性要求算法的独立性要求：要求不同时间的输入信号向量 线性独立（因为瞬时梯度向量为 ）。28 LMS滤波器（续）滤波器（续）v 自适应学习速度参数及收敛性自适应学习速度参数及收敛性（3）“换档变速换档变速”方法方法：固定时变（2）时变学习速度时变学习速度：（递减），模拟退火法则（1）固定学习速度固定学习速度：（常数）缺点：偏大 收敛快 跟踪性能差 偏小 收敛慢 跟踪性能好29 LMS滤波器（续）滤波器（续）例1.（先搜索，后收敛）例2.（先固定，后指数衰减）（4）自适应学习速度：自适应学习速度：“学习规则的学习学习规则的学习”和 正的常数30 而且可以证明而且可以证明LMS自适应滤波器的权向量收敛于维纳解：自适应滤波器的权向量收敛于维纳解：(5)算法收敛性算法收敛性 前已指出，瞬时梯度向量是真实梯度向量的无偏估计：前已指出，瞬时梯度向量是真实梯度向量的无偏估计：条件是条件是 LMS算法还必须算法还必须兼顾兼顾收敛速度和失调收敛速度和失调,它来自梯度估计误它来自梯度估计误差差:LMS滤波器（续）滤波器（续）31 若若 自适应产生，则称为自适应步长的自适应产生，则称为自适应步长的LMS算法算法 LMS算法的几种变形算法的几种变形 若若 常数，则称为基本常数，则称为基本LMSLMS算法算法 若若 ,则称为归一化则称为归一化LMSLMS算法算法结论结论：这些算法通常称为：这些算法通常称为LMSLMS类类算法算法梯度算法梯度算法。LMSLMS算法的改进算法的改进32 LMSLMS算法的改进（续）算法的改进（续）从从LMS算法导出牛顿法算法导出牛顿法 前面已导出维纳最优解为前面已导出维纳最优解为 它由梯度它由梯度 得出，其中得出，其中 用用 左乘上式两边左乘上式两边,并将结果代入维纳解公式并将结果代入维纳解公式,得得写成更一般的迭代形式写成更一般的迭代形式(即即牛顿迭代公式牛顿迭代公式)：33 LMSLMS算法的改进（续）算法的改进（续）从从LMS算法导出牛顿法（续）算法导出牛顿法（续）上式可写成更一般的迭代形式：上式可写成更一般的迭代形式：这就是所谓这就是所谓牛顿法牛顿法基本迭代式。其中基本迭代式。其中 称为称为牛顿方向牛顿方向。统一算法统一算法 LMSLMS法与牛顿法可统一为更一般的下降算法法与牛顿法可统一为更一般的下降算法:取不同的取不同的 就构成不同的自适应算法。就构成不同的自适应算法。34 内内 容容v正交性原理正交性原理vWiener滤波器滤波器v梯度下降算法梯度下降算法v横向横向LMSLMS自适应滤波器自适应滤波器v横向横向RLSRLS自适应滤波器自适应滤波器vKalman滤波器滤波器v自适应格型滤波器自适应格型滤波器v盲自适应滤波器盲自适应滤波器v自适应滤波器的应用自适应滤波器的应用 35RLSRLS自适应滤波器自适应滤波器v 基本思想基本思想v RLS算法算法v RLS滤波算法与滤波算法与Kalman滤波算法滤波算法 36系统输入(c)预预测测延延 迟迟自适应滤波器自适应滤波器随机信号u系统输出2e(n)y -+d(n)系统输出1(d)自适应干扰（噪声）抵消自适应干扰（噪声）抵消自适应滤波器自适应滤波器基本信号e(n)y(n)+系统输出参考信号用于预测编码和语音分析用于噪声消除和波束形成设备设备(待测待测)自适应滤波器自适应滤波器(a)辨识辨识(正向建模）正向建模）系统输入x(n)系统输出e(n)-y(n)+d(n)用于系统辨识设备设备(待测待测)自适应滤波器自适应滤波器(b)逆模型逆模型u(n)系统输出e(n)-y(n)d(n)=x(n-)延延 迟迟 z-用于信道均衡和反卷积x(n)+x(n)+N(n)-d(n)37
