第五章基本自适应算法优秀PPT.ppt

第五章基本自适应算法第一页，本课件共有95页5.1 LMS算法第二页，本课件共有95页河南工业大学河南工业大学下图所示为自适应横向滤波器的结构及其功能：（1）具有可调节抽头权系数的横向滤波器，权系数 ，表示在n时刻的值。（2）在自适应状态能调节这些权系数的机理过程。这个过程首先自动调节滤波器系数的自适应训练步骤，然后利用滤波系数加权延迟线抽头上的信号来产生输出信号，将输出信号与期望信号进行对比，所得的误差值通过一定的自适应控制算法再用来调节权值以保证滤波器处在最佳状态，达到实现滤波的目的。5.1.1最陡下降法最陡下降法第三页，本课件共有95页河南工业大学河南工业大学W1(n)Wm(n)自适应控制算法W2(n)Wm-1(n)Z-1Z-1Z-1-+d(n)y(n)e(n)x(n)x(n-1)x(n-m+1)x(n-m+1)图自适应横向滤波器结构框图图自适应横向滤波器结构框图第四页，本课件共有95页河南工业大学河南工业大学显然，输出信号y(n)是 (5-1)e(n)=d(n)-y(n)(5-2)自适应滤波器控制机理是用误差序列e(n)按照某种准则和算法对其系数 进行调节的，最终使代价函数最小化，达最佳滤波状态.按照均方误差（MSE）准则所定义的目标函数为：F(e(n)=(n)=E(e(n)=Ed(n)-2d(n)y(n)+y(n)(5-3)第五页，本课件共有95页河南工业大学河南工业大学综合前面几个式子目标函数可以写成(n)=Ed(n)-2Ed(n)wT(n)x(n)+EwT(n)x(n)xT(n)w(n)(5-4)当滤波系数固定时，目标函数又可写成：(n)=d(n)-2wTP+wTRw (5-5)可见，自适应滤波器的目标函数是延迟线抽头系数（加权或滤波系数）的二次函数。当矩阵R和矢量P已知时，可以由权系数矢量w直接求其解。第六页，本课件共有95页河南工业大学河南工业大学 令 代表n时刻的M*1维度矢量，M为滤波器系数的数目，w(n)为自适应滤波器在n时刻的滤波系数或权矢量。按照最陡下降法调节滤波系数，则在n+1时刻的滤波系数或权矢量w(n+1)可以用下列简单递归关系来计算 w(n+1）=w(n）+1/2-(5-6)其中是一个正实数，通常称它为收敛因子或步长，n为迭代次数,为梯度矢量.根据梯度矢量定义，(n)可以写成 (5-7)第七页，本课件共有95页河南工业大学河南工业大学当系数为最佳值,即是维纳解,梯度矢量应等于零即：Ee(n)x(n)=0 (5-8)则误差性能函数的梯度向量为：=2RW(n)-2P (5-9)权值迭代算法的基本表达式为：w(n+1)=w(n)+P-RW(n)(5-10)在MMSE准则下最陡下降算法稳定收敛的充分必要条件为:0 2/max 式中max 为相关矩阵R的最大特征值.第八页，本课件共有95页河南工业大学河南工业大学5.1.2最小均方最小均方(LMS)算法算法1、LMS算法的基本原理 最小均方（LMS）自适应算法就是一种以期望响应和滤波输出信号之间误差的均方值最小为准的，依据输入信号在迭代过程中估计梯度矢量，并更新权系数以达到最优的自适应迭代算法。LMS算法是一种梯度最速下降方法，其显著的特点是它的简单性。这算法不需要计算相应的相关函数，也不需要进行矩阵运算。1960年美国斯坦福大学的Widrow等提出了最小均方（LMS）算法，这是一种用瞬时值估计梯度矢量的方法.(5-11)第九页，本课件共有95页河南工业大学河南工业大学2、LMS算法的公式 按照自适应滤波器滤波系数矢量的变化与梯度矢量估计的方向之间的关系，可以写出：(5-12)把前面所推关系式代入式(5-11)得：(5-13)第十页，本课件共有95页河南工业大学河南工业大学3、LMS算法原理框图图图LMS算法原理流图算法原理流图x(n)Id(n)+-e(n)W(n+1)W(n)第十一页，本课件共有95页河南工业大学河南工业大学4、LMS算法的计算步骤如下：我们利用时间n=0的滤波系数矢量为任意的起始值W(0)，然后开始。(1)由现在时刻n的滤波器滤波系数矢量估值 ，输入信号矢量x(n)以及期望信号d(n),计算误差信号：(5-14)(2)利用递归法计算滤波器系数矢量的更新估值：(5-15)(3)将时间指数n增加1，回到步骤(1)，重复上述计算步骤，一直到达稳态为止.由此可见,LMS算法简单，它既不要计算输入信号的相关函数，又不要求矩阵之逆，因而得到了广泛的应用。但是，由于LMS算法采用梯度矢量瞬时估计，它有大的方差，以致不能获得最优滤波性能。第十二页，本课件共有95页河南工业大学河南工业大学5、LMS算法的性能分析一、自适应收敛性 自适应滤波器系数矢量的起始值w(0)是任意常数，应用LMS算法调节滤波系数具有随机性而使系数矢量w(n)带来非平稳过程，通常为了简化LMS算法的统计分析，往往假设算法连续迭代之间存在以下的充分条件：（1）每个输入信号样本矢量x(n)与其过去全部样本矢量x(k),k=0,1,2,n-1是统计独立的，不相关的，即：Ex(n)xH(K)=0;k=0,1,2,n-1 (5-16)第十三页，本课件共有95页河南工业大学河南工业大学（2）每个输入信号样本矢量x(n)与全部过去的期望信号d(k)k=0,1,2,n-1也是统计独立且不相关的，即：Ex(n)d(k)=0;k=0,1,2,n-1 (5-17)（3）期望样本信号d(n)依赖于输入过程样本矢量x(n)，但全部过去的期望信号样本是统计独立的.（4）滤波器抽头输入信号矢量x(n)与期望信号d(n)包含着全部n的共同的高斯分布随机变量.第十四页，本课件共有95页河南工业大学河南工业大学 由前面的计讨论可知，自适应滤波器在n+1时刻的滤波系数矢量 依赖于三个输入：（1）输入过程的过去样本矢量x(k),k=n,n-1,0;（2）期望信号的以前样本值d(k),k=n,n-1,0;（3）滤波系数矢量的起始值 .现在将系数误差矢量w(n）代入式(5-15)得(5-18)式中wo是最佳滤波系数矢量，w(n）是误差矢量即w(n）=w(n)-w0 第十五页，本课件共有95页河南工业大学河南工业大学 如将W0移至等式左边，则 等于系数误差矢量的更新值，于是式(5-18)可写成 (5-19)对式(5-19)两边取数学期望，得到(5-20)LMS算法与前述最陡下降算法有相同的精确数学表达式。第十六页，本课件共有95页河南工业大学河南工业大学 因些，要使LMS算法收敛于均值，必须使步长参数满足下列条件：0 2/max (5-21)max是相关矩阵R的最大特征值。在此条件下，迭代计算次数n接近无穷大时，自适应滤波系数矢量w(n)近似等于最佳维纳解w0。第十七页，本课件共有95页河南工业大学河南工业大学二、平均MSE-学习曲线 如前节所述，最陡下降算法每次迭代都要精确计算梯度矢量，使自适应横向滤波器权矢量或滤波系数矢量w(n)能达到最佳维纳解w0,这时滤波器均方误差（MSE）为最小.LMS算法用瞬时值估计梯度存在误差的噪声估计，结果使滤波器权矢量估值只能近似于最佳维纳解，这意味着滤波均方误差(n)随着迭代次数n的增加而出现小波动地减小，最后()不是等于而是稍大于其值。如下图所示，步长参数选用的越小，则噪化指数衰减曲线上的波动幅度将越小，即学习曲线的平滑度越好.第十八页，本课件共有95页河南工业大学河南工业大学 对于自适应横向滤波器总体来说，假设每个滤波器LMS算法用相同的步长和同等的起始系数矢量w(0),并从同一统计群体随机地选取各个平稳的各态历经（遍历性）的输入信号，由此计算自 minmin 0 0MSEn n图图图图5-35-3单条学习曲线单条学习曲线单条学习曲线单条学习曲线第十九页，本课件共有95页河南工业大学河南工业大学平均MSE minminn n ex(n)ex(n)图图5-45-4总体平均学习曲线总体平均学习曲线总体平均学习曲线总体平均学习曲线适应滤波器总体平均学习曲线，如下图所示，这是一个平滑的总体平均学习曲线，通常它是由50到200个单独LMS算法的结果加以平均而得到的，显然，我们可以用E(n)表示的平均LMS来描述LMS算法的动态性质.第二十页，本课件共有95页河南工业大学河南工业大学三、失调 在自适应滤波器中，失调(Misadjustment)是衡量其滤波性能的一个技术指标，它被定义为总体平均超量均方误差值ex()与最小均方误差min 之比，即(5-22)(5-22)证明可知：(1)失调为自适应LMS算法提供了一个很有用的测度，比如，10%失调意味着自适应算法所产生的总体平均MSE高于最小均方误差的增量值为10%；(2)失调是随滤波系数数目线性增加的；(3)失调可以做得任意小，只要选用大的时间常数，也就是小的步长值即可。第二十一页，本课件共有95页河南工业大学河南工业大学但是，滤波器自适应收敛过程需要长的时间，影响了滤波器自学习、自训练的速度，所以，自适应滤波器LMS算法的失调与自适应收敛过程之间存在着矛盾，如何缩短收敛过程，而且有很小的失调，这是值得研究的问题。第二十二页，本课件共有95页5.2 RLS算法第二十三页，本课件共有95页河南工业大学河南工业大学5.2.1 预备知识5.2.2 矩阵求逆引理5.2.3 指数加权递归最小二乘算法5.2.4 正则化参数的选择5.2.5 误差平方加权和的更新递归第二十四页，本课件共有95页河南工业大学河南工业大学在本节中，我们将推广最小二乘的应用，以便推出一种设计自适应横向滤波器的递归算法。即给定n-1次迭代滤波器抽头权向量最小二乘估计，依据新到达的数据计算n次迭代权向量的最新估计。我们把这一算法称为递归最小二乘（RLS，recursive least-squares）算法（滤波器）。第二十五页，本课件共有95页河南工业大学河南工业大学 在RLS 滤波器的推进过程中，我们首先回顾最小二乘法的一些基本关系式。然后，应用矩阵代数中矩阵求逆引理所揭示的关系，导出RLS滤波器。RLS滤波器的一个重要特点是，它的收敛速率比一般的LMS滤波器快一个数量级。这是因为RLS滤波器通过利用数据相关矩阵之逆，对输入数据（假定这些数据的均值为零）进行了白化处理。然而，性能的改善以RLS滤波器计算复杂性的增加为代价。第二十六页，本课件共有95页河南工业大学河南工业大学 在最小二乘的递归实现中，我们从给定的初始条件出发，通过应用新的数据样本值中所包含的信息对旧的估计值进行更新。因此我们发现，可测数据的长度是可变的。因而，把待最小化的代价函数表示为(n)，其中n是可测数据的可变长度。另外，习惯上还在(n)的定义中引入加权因子。于是，可以写出 (5-23)(5-23)其中e(i)是期望d(i)与i时刻抽头输入为 的横向滤波器输出y(i)之差，如下图5-5-所示。5.2.1 预备知识u(i),u(i-1),u(i-M+1)第二十七页，本课件共有95页河南工业大学河南工业大学图图5-55-5具有时变抽头权值的横向滤波器即即输出信号y(i)输入信号u(i)u(i-1)u(i-M+1)u(i-M+2)(5-2(5-2)第二十八页，本课件共有95页河南工业大学河南工业大学其中u(i)是i 时刻的抽头输入向量，定义为(5-25)式中w(n)是n时刻抽头权向量，定义为 (5-26)注意，在代价函数定义的观测区间i n内，横向滤波器的抽头权值保持不变式（5-23）中的加权因子 满足如下关系 i=1,2,n第二十九页，本课件共有95页河南工业大学河南工业大学 一般说来，加权因子 的使用是为了保证“遗忘”掉久远的过去数据，以便当滤波器工作在非平稳时，能跟踪观测数据的统计变化。通常所用的加权因子是指数加权因子，或所谓遗忘因子,定义为 (5-27)式中是一个接近1，但又小于1的正常数。当=1时,对应一般的最小二乘法。粗略地说，1-的倒数可以用来衡量算法的记忆能力；而=1的特殊情况，则应对于无限记忆。i=1,2,n第三十页，本课件共有95页河南工业大学河南工业大学正则化 最小二乘估计和最小二乘法一样，是一个病态的求逆问题。在该问题中，给定构成抽头输入向量u(n)的输入数据和相应的期望响应d(n)（其中n是变量），要求估计出多重回归模型中的未知向量，该向量与d(n)和u(n)有关 最小二乘估计的病态特性源于以下原因：输入数据中的信息不足以唯一地构建输入输出间的映射关系。在输入数据中不可以避免地存在着噪声或不精确性，这为构建输入输出映射关系增加了不确定性。第三十一页，本课件共有95页河南工业大学河南工业大学 为使估计问题变为非病态，需要某种与输入输出映射关系有关的先验信息。这意味着必须扩展代价函数公式，使其能考虑先验信息。为满足这一需要，我们把待最小化的代价函数扩展为两部分之和 (5-28)（这里假设使用了预加窗）代价函数的两个分量如下：1）误差加权平方和 (5-29)第三十二页，本课件共有95页河南工业大学河南工业大学它与输入数据有关。这个分量反映出期望响应d(i)与滤波器实际响应y(i)之间的指数加权误差，且y(i)与抽头输入向量u(i)的关系可用公式表示为2)正则化项式中 是一个正实数，称为正则化参数除了因子外，正则化项只取决于抽头权向w(n).将这一项包含在代价函数中，以便通过平滑作用来稳定递归最小二乘问题的解。(5-30)(5-31)(5-31)第三十三页，本课件共有95页河南工业大学河南工业大学 从严格意义上说，项是正则化的近似形式。原因有两个:(1)首先指数加权因子介于01之间；从而，当1时，随着n的增大趋于零。这意味着时间的推移，项对代价函数的影响会逐渐减小（即逐渐被遗忘）。(2)正则化项应是 形式，其中 是由RLS滤波器实现的输入输出映射关系，D是差分算子。式(5-28)的正则化项通常用在RLS滤波器设计中。第三十四页，本课件共有95页河南工业大学河南工业大学正则方程的变形 将式(5-28)展开并进行整理，我们发现，在代价函数 中增加正则化项 ，相当于将抽头输入向量u(i)的MM时间平均相关矩阵表示为式中I是 MM单位阵。容易发现，增加正则化项还有这样的作用：它使得相关矩阵(n)(n)在从在从n=0n=0开始的开始的整个整个计计算算过过程中非奇异。将上式修正程中非奇异。将上式修正为为相关矩相关矩阵阵的的过过程叫程叫做做对对角加角加载载。(5-32)第三十五页，本课件共有95页河南工业大学河南工业大学 横向滤波器抽头输入与期望响应之间的M时间平均互相关向量z(n)为 它将不受正则化的影响，此处依然假定使用预加窗法。根据前面讨论过的最小二乘法，可使用代价函数获得最小值的最优MM抽抽头头权权向向量量 由由正正则则方方程程定定义义。递递归归最小二乘问题的正则方程可用矩阵形式写为：最小二乘问题的正则方程可用矩阵形式写为：这里的(n)和z(n)分别由式(5-32)和式(5-33)决定。(5-33)(5-34)(5-34)第三十六页，本课件共有95页河南工业大学河南工业大学 将对应于i=n的项与式(5-32)右边的求和项分开，可写出根据定义，上式右边括号内的表达式等于相关矩阵(n-1)。于是，可得用于更新抽头输入相关矩阵的递归公式其中(n-1)是相关矩阵的过去值，矩阵乘积 在更新过程中起着“修正”项的作用。注意，上式的递归过程与初始条件无关。(n)和和z(n)的递归算法的递归算法(5-35)(5-36)第三十七页，本课件共有95页河南工业大学河南工业大学类似地，可以导出抽头输入与期望响应之间互相关向量的更新公式 为了按式(5-32)计算抽头权向量 的最小二乘估计，必须确定相关矩阵(n)的逆。然而在实际中，我们通常尽量避免这样做，因为这种运算非常耗时，特别是当抽头数M很大时。另外，我们希望能够递归计算n=1,2,时抽头权向量 的最小二乘估计。我们发现，利用矩阵代数中矩阵求逆引理，可以实现上述两个目标。(5-37)第三十八页，本课件共有95页河南工业大学河南工业大学5.2.2 矩阵求逆引理 设A和B是两个MM正定阵，它们之间的关系为其中，D是NM正定阵，C是MN矩阵。根据矩阵求逆引理，可将A的逆矩阵表示为该引理在此不做证明，书中有介绍。在下一节，我们将说明怎样应用矩阵求逆引理，得到计算抽头权向量 最小二乘解的递归公式。(5-38)(5-39)第三十九页，本课件共有95页河南工业大学河南工业大学5.2.3 指数加权递归最小二乘算法 假定相关矩阵(n)是非奇异的，因而它可逆。我们对式(5-36)所表示的递归方程应用矩阵求逆引理，首先做如下设定第四十页，本课件共有95页河南工业大学河南工业大学然后，将这些定义代入矩阵求逆引理，可得计算相关矩阵逆阵的递归方程如下为了方便计算，令和(5-40)(5-41)(5-42)第四十一页，本课件共有95页河南工业大学河南工业大学用上面的定义，可将式(5-40)改写为MM矩阵P(n)叫做逆相关矩阵，M1向量K(n)叫做增益向量，后面将会解释这样叫的原因。式(5-43)是RLS算法的Riccati 方程。整理K(n)表达式，可得(5-43)(5-44)第四十二页，本课件共有95页河南工业大学河南工业大学换句话说，增益向量K(n)可以定义为经相关矩阵(n)逆矩阵变换的抽头输入向量u(n).这一结论，连同 可以用来定义增益向量我们可以将上式简化为 K(n)=P(n)u(n)(5-45)(5-46)第四十三页，本课件共有95页河南工业大学河南工业大学抽头权向量的时间更新 下面，我们要导出更新抽头权向量最小二乘估计 的递归公式。为此，用式(5-32)、式(5-37)、式(5-41)来表示抽头权向量n次迭代时的最小二乘估计(5-47)将式(5-47)右边第一项中P(n)用式(5-43)代替，可得第四十四页，本课件共有95页河南工业大学河南工业大学最后，应用P(n)u(n)等于增益向量K(n)，可得更新抽头向量的递归方程为(5-48)(5-48)(5-49)第四十五页，本课件共有95页河南工业大学河南工业大学其中是一个先验估计误差。內积 表示基于n-1时刻抽头权向量最小二乘估计旧值的期望响应d(n)的估值。根据调整抽头权向量的表达式和表示先验估计误差的表达式可用图5-6(a)所示的框图表示递归最小二乘算法。(5-50)第四十六页，本课件共有95页河南工业大学河南工业大学 一般说来，先验估计误差(n)不同于下式(5-51)的后验估计误差 其计算设计抽头权向量在时刻n（当前时刻）的最小二乘估计。实际上，我们可以将(n)视为更新抽头权向量之前e(n)的暂时值。但要注意的是，在导出式(5-49)(5-49)递归算法的最小二乘优化问题中，我们实际上是基于e(n)而不是基于(n)使代价函数(n)最小。(5-51)(5-51)第四十七页，本课件共有95页河南工业大学河南工业大学输出横向滤波器输入向量U(n)自适应权值控制机制误差(n)期望响应 d(n)图5-6(a)框图RLS算法算法+-K(n)增益图5-6(b)信号流图-+第四十八页，本课件共有95页河南工业大学河南工业大学RLS算法小结 式(5-42),(5-43),(5-49),(5-50)组成了RLS算法，并在表(5-1)中总结。特别要注意的是，式(5-50)表述了该算法的滤波过程，据此激励横向滤波器以计算先验估计误差(n)。式(5-49)描述了算法的自适应过程，据此可通过在其过去值的基础上增加一个量来递推抽头权向量，该量等于先验估计误差(n)复共轭与时变增益向量K(n)的乘积(“增益向量”由此得名)。第四十九页，本课件共有95页河南工业大学河南工业大学式(5-42),(5-43),使得我们能够更新增益向量本身。上述RLS算法的一个重要特点是，每一次迭代中的相关矩阵(n)的逆矩阵为简单的标量相除所代替。图(5-6a)给出RLS算法的框图，图(5-6b)则是RLS算法的信号流图。表表1 RLS算法小结算法小结算法初始化算法初始化第五十页，本课件共有95页河南工业大学河南工业大学表表1续续第五十一页，本课件共有95页河南工业大学河南工业大学 注意，在表1的总结中，增益向量K(n)的计算分两步进行：首先，计算用 表示的中间量。第二，用 计算K(n)从有限精度运算的角度看，分两步计算K(n)比直接用式(5-25)计算K(n)更可取。为对RLS滤波器进行初始化，需要指定两个量：初始权向量 。习惯上令 。初始相关矩阵(n)(n)。令式。令式(5-8)(5-8)中的中的n=0n=0，如果使用预加窗，可以得，如果使用预加窗，可以得到到 其中是正则化参数。参数的设定与信噪比有关，高信噪比时取小值；低信噪比时则取较大值。这样做的合理性可以在正则化的意义得到证明。第五十二页，本课件共有95页河南工业大学河南工业大学5.2.4 正则化参数的选择 在Moustakides的详细研究(1997)中，评价了在平稳环境下RLS算法的收敛性能，它有两个特殊的可变参数：抽头输入数据的信噪比(SNR)，这个量由流行的运行条件决定。正则化参数，它由设计人员控制。第五十三页，本课件共有95页河南工业大学河南工业大学 为了总结Moustakides研究成果的实验条件，用F(x)表示一个关于x的矩阵函数，用f(x)表示一个关于x的非负标量函数。其中，变量x属于集合。于是，我们可引入如下定义 F(x)=(f)(5-52)第五十四页，本课件共有95页河南工业大学河南工业大学 如前所述，RLS滤波器初始化包括设定时间平均相关矩阵的初始值，即这里存在独立于变量x的常数 ，使得 对所有x 其中式(5-52)中引入的定义的意义将变得很明显。(5-53)(5-54)第五十五页，本课件共有95页河南工业大学河南工业大学其中,是数据样值u(n)的方差。因此,根据式(5-55)和式(5-57)正则化参量可定义为正则化参量与信噪比的关系已由Moustakides(1997)给出详细说明。特别是，(0)，可表示为(5-55)其中(5-56)是一个确定的正定阵，定义为(5-57)(5-58)第五十六页，本课件共有95页河南工业大学河南工业大学 参数为区分相关矩阵(n)初始值的大、中、小提供了数学基础。特别是对下列情况(5-59)我们可根据式(5-55)的定义来区别以下三种情况：第五十七页，本课件共有95页河南工业大学河南工业大学 有了这些定义和三种不同的初始条件，我们可以总结出式(5-35)支配下RLS算法初始化过程中有关正则化参数的选择方法(moustakides,1997)如下：1）高信噪比：当抽头输入噪声电平低（即输入SNR较高，如30dB或更高数量级）时，RLS算法呈现指数级的快速收敛率，只要相关矩阵以足够小的范数初始化。典型地，通过设定=1来满足这个要求。随着减小到零即随着(0)的矩阵范数增加，RLS算法的收敛性会变差。第五十八页，本课件共有95页河南工业大学河南工业大学2）中等信噪比：在中等SNR环境下（即输入SNR为10dB数量级时），RLS算法的收敛速率比高信噪比情况下的最佳收敛速率要差。但是RLS算法的收敛特性对-1M(5-73)其中(n)(n)是是u(n)u(n)的的时时间间平平均均相相关关矩矩阵阵，且且要要求求nM,nM,以以保保证证横横向向滤滤波波器器的的每每一一个个抽抽头头上上部部有有输输入入信信号号。式式(5-73)的近似将随着时间n的增加得到改善。第七十六页，本课件共有95页河南工业大学河南工业大学假假设设 加权误差向量(n)的波动比输入信号向量u(n)的波动慢。假设成立的合理性在于，加权误差向量(n)是RLS算法n次迭代中一系列变化量的累加。这一性质可表示为(5-74)此式由式(5-49)得出。尽管K(i)和 都与u(i)有关，但式(5-74)中的和对(n)(n)具具有有平平滑滑作作用用。实实际际上上，RLSRLS滤滤波波器起到了时变低通滤波器的作用。器起到了时变低通滤波器的作用。下面的讨论都是基于以上u(n)和d(n)的三点假设。第七十七页，本课件共有95页河南工业大学河南工业大学RLS算法的均值收敛性由正则方程(5-34)解 ,可得nM其中，对=1有(5-75)和(5-76)(5-77)将式(5-62)代入式(5-77)，然后应用式(5-76)，可得第七十八页，本课件共有95页河南工业大学河南工业大学(5-78)式中的最后一行，我们应用了=1时的式(5-32)。由此，可以将式(5-75)重新写为(5-79)对式(5-79)的两边取数学期望，并引用假设和假设，可以写出第七十九页，本课件共有95页河南工业大学河南工业大学nM(5-80)其中p是期望响应d(n)与输入向量u(n)之间的集平均互相关向量。式(5-80)表明，RLS算法在均值意义上是收敛的。如果n大于滤波器长度M的有限值，则由于用(0)=I 对算法进行初始化，所以估计 是有偏的。但当n趋于无限时，偏差将趋于0。第八十页，本课件共有95页河南工业大学河南工业大学RLS算法的均方偏差加权误差相关矩阵定义为(5-81)将式(5-79)代入式(5-81)，并且忽略初始化的影响(这一点对nM成立)，可得第八十一页，本课件共有95页河南工业大学河南工业大学在假设条件下，输入向量u(n)以及由它所得的 与测量噪声 无关。因此，可以将K(n)表示为两个期望的积由于测量噪声 是白色的（假设），我们有(5-82)第八十二页，本课件共有95页河南工业大学河南工业大学其中 是 的方差。因此，加权误差相关矩阵变为最后，引用嵌入在式(5-73)中的假设，可写出nM(5-83)第八十三页，本课件共有95页河南工业大学河南工业大学均方偏差定义为(5-84)其中tr.表示矩阵求逆算子。根据式(5-83),RLS算法的均方偏差为nM(5-85)第八十四页，本课件共有95页河南工业大学河南工业大学其中 是集平均相关矩阵R的特征值。根据式(5-85)，我们现在可以对于nM的情况得出如下两点重要结论：1)均方偏差 被最小特征值 的倒数放大。因此，对于下一阶近似，RLS算法对特征值扩散的敏感性正比于最小特征值的倒数。因此，病态的最小二乘问题会使收敛性能变差。第八十五页，本课件共有95页河南工业大学河南工业大学2)均方偏差 随迭代次数n几乎成线性衰减。因此，由RLS算法得到的估计 几乎随时间线性地按范数（即“均方”）收敛于多重线性回归模型的参数向量 。第八十六页，本课件共有95页河南工业大学河南工业大学RLS算法集平均学习曲线 在RLS算法中，存在两类误差(n)和后验估计误差e(n).给定表中的初始条件，可以发现这两种误差均方值随时间n不同地变化。当n=1时,(n)的均方值较大等于期望响应d(n)的均方值，然后随着n的增大而衰减。另一方面，当n=1时，e(n)的均方值较小，然后随着n的增大而增大，以致增加到e(n)等于(n)时一个n较大的点。因此，选择(n)作为感兴趣的误差，可得到一个与LMS算法学习曲线形状相同的RLS算法学习曲线。第八十七页，本课件共有95页河南工业大学河南工业大学 于是，我们能够通过图形直接在RLS算法与LMS算法的学习曲线之间进行比较。因此，我们可以先验估计误差(n)为基础计算RLS算法的集平均学习曲线，得(5-86)式中的撇号用来区分(n)与e(n)的均方值第八十八页，本课件共有95页河南工业大学河南工业大学(5-87)其中包括(n-1)的第二项是无干扰估计误差。将式(5-87)代入式(5-86),然后展开，可得(5-88)在式(5-50)和式(5-72)之间消除期望响应d(n),可以将先验估计误差表示为第八十九页，本课件共有95页河南工业大学河南工业大学为了处理式(5-88)中的四个数学期望项，要注意以下几点：由式(5-82)可知，的期望值是 。第二个期望可表示为第九十页，本课件共有95页河南工业大学河南工业大学在假设条件下，n次迭代时加权误差向量外积的随机波动慢于外积 。因此，我们可利用直接平方法写出(5-89)第九十一页，本课件共有95页河南工业大学河南工业大学将式(5-83)代入式(5-89)得(其中M是滤波器长度)nM(5-90)第三个期望等于零。原因有两个：首先，将n时刻视为现时刻，则加权误差向量(n-1)取决于输入向量u(n)和测量噪声 的过去值 参见式(5-74)。第二，在假设条件下，u(n)和 是统计独立的，而且第九十二页，本课件共有95页河南工业大学河南工业大学(5-91)e(n)的均值为零。因此，可以写出除了共轭差别外，第四个期望与第三个期望的形式相同。因此，第四个期望也等于零。将这些结果用于式(5-88),可写出nM(5-92)第九十三页，本课件共有95页河南工业大学河南工业大学2)随着迭代次数n趋于无限，均方误差 趋于测量误差 的方差 。换句话说，RLS算法理论上的额外均方误差为零(也就是零失调)。在式(5-92)的基础上，我们可以得出如下结论：1)RLS算法集平均学习曲线的收敛大约需要2M次迭代，其中M是滤波器长度。这意味着RLS算法的收敛速度比LMS算法快一个数量级。第九十四页，本课件共有95页河南工业大学河南工业大学3)RLS算法在均方意义上的收敛性独立于输入向量u(n)集平均相关矩阵R的特征值。在本节所介绍的RLS算法收敛性分析中，均假设指数加权因子等于1（即算法是无记忆的）。当位于0 1范围的情况，这里不予讨论。感兴趣的同学可以参看西蒙.赫金编写的自适应滤波器原理这本书的第14章。第九十五页，本课件共有95页