自适应滤波器及其应用.pptx
第1页/共97页第2页/共97页第3页/共97页第4页/共97页第5页/共97页第6页/共97页第7页/共97页第8页/共97页第9页/共97页第10页/共97页第11页/共97页第12页/共97页第13页/共97页第四章第四章 自适应滤波器及其应用自适应滤波器及其应用u基本原理与典型应用u自适应算法及误差性能自适应算法及误差性能u梯度下降算法u横向LMS自适应滤波器u横向RLS自适应滤波器第14页/共97页+-+自适应算法单输入的结构第15页/共97页+-+自适应算法多输入的结构第16页/共97页第17页/共97页第18页/共97页第19页/共97页第20页/共97页第21页/共97页第22页/共97页第23页/共97页第24页/共97页第25页/共97页第26页/共97页第27页/共97页第28页/共97页第29页/共97页第30页/共97页四、误差性能曲面的几何意义：为直观期间，假定L=1，考察二维权矢量、三维空间的情况：均方误差性能函数：为求等高线方程，令第31页/共97页均方误差性能曲面均方误差性能曲面的等高线第32页/共97页第33页/共97页第34页/共97页第35页/共97页第36页/共97页第四章第四章 自适应滤波器及其应用自适应滤波器及其应用u基本原理与典型应用u自适应算法及误差性能u梯度下降算法梯度下降算法u横向LMS自适应滤波器u横向RLS自适应滤波器第37页/共97页q 自适应算法梯度下降算法 （负梯度方向）最陡下降算法第38页/共97页第39页/共97页q 梯度的数学表示：相对于 阶矢量 的梯度算子记作 ，定义为因此，一个实际量函数 相对于一列矢量的梯度为q 梯度的主要特征：梯度的每个分量给出了标量函数在该分量方向上的变化率；正梯度表示当变元增大时函数的最大增大率；负梯度表示当变元增大时函数的最大减小率（梯度下降算法的基础）。第40页/共97页极小化 取负曲率方向作搜索方向 取负梯度作目标函数的更新方向。定理：令 是实矢量 的实值函数。将 视为独立的变元，实目标函数 的曲率方向由梯度矢量 给出。梯度下降算法的迭代关系：近似解在迭代过程中的校正量与目标函数的负梯度成正比。上式是优化问题近似解的学习算法；常数 称为学习步长，它决定近似解趋向最优解的收敛速率；均方误差 随迭代次数n变化的曲线称为“学习曲线”。第41页/共97页梯度：故坐标平移坐标旋转去耦合第42页/共97页由初始权向量迭代可得：(分量间无耦合分量间无耦合)或表式为：因为，第43页/共97页或：第44页/共97页实际常用（保守的）收敛条件收敛条件：如果迭代过程收敛，则第45页/共97页第46页/共97页第47页/共97页第48页/共97页步长 必须满足收敛条件:太大将不收敛；在保证收敛情况下：越大，收敛越快，但太大时过渡过程具有振荡特性（欠阻尼），且稳态误差较大；越小，稳态误差越小，但收敛越慢。或(a)小的值情况步长值的影响(b)大的值情况第49页/共97页第50页/共97页第51页/共97页第52页/共97页第53页/共97页第54页/共97页第55页/共97页第56页/共97页为了保证收敛，步长 ，故有：当特征值分散性大使条件数很大时，最陡下降算法收敛性很差。第57页/共97页第58页/共97页第59页/共97页第60页/共97页第61页/共97页第四章第四章 自适应滤波器及其应用自适应滤波器及其应用u基本原理与典型应用u自适应算法及误差性能u梯度下降算法u横向横向LMS自适应滤波器自适应滤波器u横向RLS自适应滤波器第62页/共97页 自适应滤波器包括两个过程：滤波过程和自适应过程。滤波器的自适应实现是关键；设计重点是选择FIR结构，主要内容是研究自适应算法。FIR滤波器的自适应实现指的是(L+1)阶FIR滤波器的抽 头权系数 可以根据估计误差e(n)的大小自动调节，使得误差在某个统计最优准则下最小。自适应滤波器设计最常用MMSE准则，即：使滤波器 实际输出y(n)与期望响应d(n)之间的均方误差 最小;最终达到Wiener解。第63页/共97页 最广泛使用的自适应算法是“下降算法”下降算法的两种实现方式 -自适应梯度算法：LMS算法及其改进算法-自适应高斯牛顿算法：RLS算法及其改进算法 本节介绍LMS类算法，下一节介绍RLS类算法。式中 为第n步迭代(亦即时刻n)的权矢量，为第n步 迭代的更新步长，为第n步迭代的更新方向(矢量)。随机优化问题(数学描述)：最优解(Wiener解）：最陡下降算法：真实梯度真实梯度第64页/共97页最陡下降法存在不可实现的缺点：真实梯度含数学期望，只有理论意义。梯度的估计梯度的估计算法改进：算法改进：无偏估计无偏估计瞬时梯度瞬时梯度：先验估计误差先验估计误差用误差平方代替均方误差用误差平方代替均方误差第65页/共97页第66页/共97页第67页/共97页第68页/共97页第69页/共97页权矢量因梯度估计误差而引入的稳态噪声第70页/共97页权矢量稳态噪声功率权矢量稳态噪声功率第71页/共97页第72页/共97页第73页/共97页第74页/共97页第75页/共97页算算法法流流程程图图单支路全系统第76页/共97页(1)若 常数，则称为基本LMS算法；(2)若 ,则称为归一化LMS算法；(3)若 自适应产生，则称为自适应步长的LMS算法。LMS类算法统称为梯度算法，实际应用中有以下几种形式：类算法统称为梯度算法，实际应用中有以下几种形式：六、LMS算法的改进：牛顿法也是一类LMS算法，与LMS算法有相同的迭代格式。用 左乘上式两边，并将结果代入维纳解公式，得：实际上，前面已导出维纳最优解为：第77页/共97页由上式可写出牛顿迭代公式：LMS类算法的统一迭代结构:取不同的 就构成不同的自适应算法。第78页/共97页第四章第四章 自适应滤波器及其应用自适应滤波器及其应用u基本原理与典型应用u自适应算法及误差性能u梯度下降算法u横向LMS自适应滤波器u横向横向RLSRLS自适应滤波器自适应滤波器第79页/共97页一、最小二乘（LS）准则及LS滤波器最小均方误差（MMSE)准则使误差平方的统计平均最小，需要根据输入数据长期统计特性寻求最佳滤波。实际中通常已知的仅是一组数据，因而只能对长期统计特性进行估计或近似。最小二乘准则是直接根据一组有限长数据进行最佳滤波的准则。最小二乘准则：对有限长数据，用其误差二乘方的时间平均代替MMSE准则中的均方误差，并使其最小化。第80页/共97页+-+自适应算法问题描述：当前时刻n已获得n个数据如何设计m阶滤波器的权矢量 对这组数据进行滤波，使其输出为期望信号 的最小二乘估计。特别注意：这里是批处理，特定时刻n的一批输入数据对应一个 权矢量 。FIR LS滤波器结构第81页/共97页对d(i)的估计：第82页/共97页n个估计误差平方加权和：估计误差：表示用n时刻 滤波权矢量处理数据时对d(i)进行估计的误差。如下页示意图：如下页示意图：第83页/共97页注：后补零仅针对并行（多）输入情形注：后补零仅针对并行（多）输入情形第84页/共97页考虑指数加权的最小二乘法，其代价函数表示为以前加窗法 为例。2)和 e(i)分别称为滤波器在i 时刻后验和先验估计误差 故使用 作为误差函数比使用 e(i)更为合理。即式中 ,称为遗忘因子。其作用是对离n时刻越近的误差更加大权重,而对离n时刻越远的误差更减小权重,即 对各个时刻的误差具有某种遗忘作用。式(1a)中,误差函数定义为：1)式中，滤波器权矢量取为n时刻的权向量,理由是:在自适 应更新过程中,滤波器特性总是越来越好,这意味着,对任何时刻,总有讨论讨论第85页/共97页合并(1a)和(1b)得 从而，有最佳权矢量使代价函数最小，即第86页/共97页式(4)表明：指数加权最小二乘问题的最佳权矢量也为维纳解。最佳权矢量的自适应迭代求解过程即采用RLS自适应算法。根据上面的推导，可以得出记第87页/共97页二、递归最小二乘（二、递归最小二乘（RLSRLS）自适应算法的构造）自适应算法的构造算法思想：算法思想：把最小二乘法(LS)推广为一种自适应算法，用来设计自适应的横向滤波器，利用n-1时刻的滤波器抽头权系数，通过简单的更新，求出n 时刻的滤波器抽头权系数。这种自适应的递推算法称为递归最小二乘算法，简称RLS算法。第88页/共97页第89页/共97页可得T(n)的递推关系（请课后自己推导请课后自己推导）：第90页/共97页继续继续第91页/共97页 是利用n-1时刻最优权 和n时刻数据 对d(n)进行预测时的预测误差。第92页/共97页三、自适应三、自适应RLSRLS算法的特性算法的特性第93页/共97页用Kalman增益矢量k(n)代替LMS算法中 即得RLS算法。但计算复杂度增加但计算复杂度增加第94页/共97页第95页/共97页作业：P118-119：3.3、3.5、3.6、3.10第96页/共97页感谢您的观看！第97页/共97页
