用极大似然法进行参数估计.docx

《用极大似然法进行参数估计.docx》由会员分享，可在线阅读，更多相关《用极大似然法进行参数估计.docx（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、北京工商大学?系统建模与辨识?课程上机实验报告2021年秋季学期专业名称 ： 控制工程 上机题目 ： 用极大似然法进展参数估计 专业班级 ： 计研3班 学生姓名 ： 王 瑶 吴 超 学 号 ： 指导教师 ： 刘翠玲 2021 年 1 月一 实验目的通过实验掌握极大似然法在系统参数辨识中的原理与应用。二 实验原理1 极大似然原理设有离散随机过程与未知参数有关，假定概率分布密度。如果我们得到n个独立的观测值，那么可得分布密度，,。要求根据这些观测值来估计未知参数，估计的准那么是观测值的出现概率为最大。为此，定义一个似然函数 1.1 上式的右边是n个概率密度函数的连乘，似然函数L是的函数。如果L到达

2、极大值，的出现概率为最大。因此，极大似然法的实质就是求出使L到达极大值的的估值。为了便于求，对式1.1等号两边取对数，那么把连乘变成连加，即 1.2由于对数函数是单调递增函数，当L取极大值时，lnL也同时取极大值。求式1.2对的偏导数，令偏导数为0，可得 1.3解上式可得的极大似然估计。 2 系统参数的极大似然估计Newton-Raphson法实际上就是一种递推算法，可以用于在线辨识。不过它是一种依每L次观测数据递推一次的算法，现在我们讨论的是每观测一次数据就递推计算一次参数估计值得算法。本质上说，它只是一种近似的极大似然法。设系统的差分方程为 2.1式中因为是相关随机向量，故2.1可写成 2

3、.2式中 2.3 2.4是均值为0的高斯分布白噪声序列。多项式，与中的系数与序列的均方差都是未知参数。设待估参数 2.5并设的预测值为 2.6式中为预测误差；，为，的估值。预测误差可表示为 2.7或者 2.8因此预测误差满足关系式 2.9式中假定预测误差服从均值为0的高斯分布，并设序列具有一样的方差。因为与，与有关，所以是被估参数的函数。为了书写方便，把式2.9写成 2.10 2.11或写成 2.12令k=n+1,n+2,n+N,可得的N个方程式，把这N个方程式写成向量-矩阵形式 2.13式中 因为已假定是均值为0的高斯噪声序列，高斯噪声序列的概率密度函数为 2.14式中y为观测值，与m为y的

4、方差与均值，那么 2.15对于符合高斯噪声序列的极大似然函数为 2.16或 2.17对上式2.17等号两边取对数得 2.18 或写为 2.19求对的偏导数，令其等于0，可得 2.20那么 2.21式中 2.22越小越好，因为当方差最小时，最小，即残差最小。因此希望的估值取最小 2.23因为式2.10可理解为预测模型，而e(k)可看做预测误差。因此使式2.22最小就是使误差的平方之与最小，即使对概率密度不作任何假设，这样的准那么也是有意义的。因此可按J最小来求的估计值。由于e(k)式参数的线性函数，因此J是这些参数的二次型函数。求使最大的，等价于在式2.10的约束条件下求使J为最小。由于J对是非

5、线性的，因而求J的极小值问题并不好解，只能用迭代方法求解。求J极小值的常用迭代算法有拉格朗日乘子法与牛顿-拉卜森法。下面介绍牛顿-拉卜森法。整个迭代计算步骤如下：(1)确定初始的值。对于中的可按模型 2.24用最小二乘法来求，而对于中的可先假定一些值。(2)计算预测误差 2.25给出 并计算 2.26(3)计算J的梯度 与海赛矩阵 ,有 2.27式中 2.28即 2.29同理可得 2.30 2.31将式2.29移项化简，有 2.32因为 2.33由求偏导，故 2.34将2.34代入2.32，所以 2.35所以得 2.36同理可得2.30与2.31为 2.37 2.38根据2.36构造公式 2.

6、39将其代入2.36，可得 (2.40消除可得 2.41同理可得2.37与2.38式 2.42 2.43式2.29、式2.30与式2.31均为差分方程，这些差分方程的初始条件为0，可通过求解这些差分方程，分别求出e(k)关于的全部偏导数，而这些偏导数分别为，与的线性函数。下面求关于的二阶偏导数，即 2.44 当接近于真值时，e(k)接近于0。在这种情况下，式2.44等号右边第2项接近于0，可近似表示为 2.45那么利用式2.45计算比拟简单。(4)按牛顿-拉卜森计算的新估值，有 2.46重复(2)至(4)的计算步骤，经过r次迭代计算之后可得，近一步迭代计算可得 2.47如果 2.48那么可停顿

7、计算，否那么继续迭代计算。式2.48说明，当残差方差的计算误差小于时就停顿计算。这一方法即使在噪声比拟大的情况也能得到较好的估计值。三 实验内容设SISO系统差分方程为其中极大似然估计法默认为：辨识参数向量为 c1 c2式中，为噪声方差各异的白噪声或有色噪声；u(k)与y(k)表示系统的输入输出变量。四 实验流程图五 代码实现程序如下： 0.926 -1.297 %输入数据 0.134 1.901%输出数据na=2;nb=1;nc=2;d=1;nn=max(na,nc);L=size(Y,2);xiek=zeros(nc,1); %白噪声估计初值yfk=zeros(nn,1); %yf(k-i

8、)ufk=zeros(nn,1); %uf(k-i)xiefk=zeros(nc,1); %vf(k-i)thetae_1=zeros(na+nb+1+nc,1); %参数估计初值P=eye(na+nb+1+nc);for k=3:L %构造向量 phi=-Y(k-1);-Y(k-2);U(k-1);U(k-2);xiek; %组建hk xie=Y(k)-phi*thetae_1; phif=-yfk(1:na);ufk(d:d+nb);xiefk; %递推极大似然参数估计算法 K=P*phif/(1+phif*P*phif); thetae(:,k)=thetae_1+K*xie; P=(e

9、ye(na+nb+1+nc)-K*phif)*P; yf=Y(k)-thetae(na+nb+2:na+nb+1+nc,k)*yfk(1:nc); %yf(k) uf=U(k)-thetae(na+nb+2:na+nb+1+nc,k)*ufk(1:nc); %uf(k) xief=xie-thetae(na+nb+2:na+nb+1+nc,k)*xiefk(1:nc); %vf(k) %更新数据 thetae_1=thetae(:,k); for i=nc:-1:2 xiek(i)=xiek(i-1); xiefk(i)=xiefk(i-1); end xiek(1)=xie; xiefk(1

10、)=xief; for i=nn:-1:2 yfk(i)=yfk(i-1); ufk(i)=ufk(i-1); end yfk(1)=yf; ufk(1)=uf;endthetae_1figure(1)plot(1:L,thetae(1:na,:);xlabel(k); ylabel(参数估计a);legend(a_1,a_2); axis(0 L -2 2);figure(2)plot(1:L,thetae(na+1:na+nb+1,:);xlabel(k); ylabel(参数估计b);legend(b_1,b_2); axis(0 L 2);figure(3)plot(1:L,theta

11、e(na+nb+2:na+nb+nc+1,:);xlabel(k); ylabel(参数估计c);legend(c_1,c_2); axis(0 L -2 2);六 实验结果实验结果如下所示。thetae_1 =可知，估计值a1=，a2=，b1=，b2=，c1=，c2=图1 A参数波形变化情况图2 B参数波形变化情况图3 C参数波形变化情况图10-11 图10-12有162个数据，结果如下：thetae_1 =可知，估计值a1=，a2=，b1=，b2= ，c1= ，c2= 图1 A参数波形变化情况图2 B参数波形变化情况图3 C参数波形变化情况六 实验总结通过此次实验，对极大似然法的原理与方法进展了研究与对其matlab的仿真，可发现其离线辨识效果很好，但是其在线辨识的计算量很大，实验数据不同，出现的效果也不一样，递推的极大似然法呈现病态，所得参数估计取值很不稳定，以至于不能采用。第 13 页