参数估计理论与应用(第三章)课件.ppt

第三章第三章 参数估计理论与应用参数估计理论与应用3.1 参数估计的评价准则3.2 基于统计分布的参数估计方法3.3 基于模型的参数最小二乘估计 本章小结1/24/2023第三章 参数估计理论与应用 在在许许多多情情况况下下，观观测测数数据据所所服服从从的的概概率率模模型型已已知知的的，而而模型的未知部分是以模型的未知部分是以未知参数形式出现未知参数形式出现的。的。参参数数估估计计的的基基础础是是优优化化理理论论，即即被被估估计计的的参参数数应应该该在在某某种准则下种准则下是是最优最优的，以及任何获得最优的估计。的，以及任何获得最优的估计。非非参参数数估估计计方方法法不不假假定定观观测测数数据据服服从从某某种种特特定定的的概概率率模模型型。例例如如，频频域域上上的的谱谱估估计计与与谱谱线线拟拟合合就就是是典典型型的的非非参参数数估估计方法计方法。观测到的状态观测到的状态状态状态控制控制x(t)y(t)u(t)v(t)w(t)观量噪声观量噪声设备噪声设备噪声设备（模型结构已设备（模型结构已知、参数未知）知、参数未知）测量装置测量装置图图3-13-1 系统辨识中的参数估计问题系统辨识中的参数估计问题1/24/2023第三章 参数估计理论与应用3.1 3.1 参数估计的评价准则参数估计的评价准则 参参数数估估计计是是通通过过样样本本去去估估计计总总体体的的某某些些数数字字特特征征或或统统计计量量。任任何何一一个统计量都可作为参数的估计量，但其效果的优劣有所差别。个统计量都可作为参数的估计量，但其效果的优劣有所差别。3.1.1 3.1.1 无偏性、有效性与相容性无偏性、有效性与相容性 （1 1）无无偏偏性性 设设样样本本的的总总体体分分布布密密度度函函数数为为 p(x;),是是未未知知参参数数。从从总总体体中中抽抽取取容容量量为为 N 的的样样本本 x=x1,xN,用用样样本本的的估估计计量量 来来估估计计，如如果果希希望望多多次次估估计计中中，平平均均的估计值没有偏差的估计值没有偏差，即，即 则称则称 是是的的无偏估计量无偏估计量。1/24/2023第三章 参数估计理论与应用 例例3-13-1 样本均值是总体数学期望的无偏估计。样本均值是总体数学期望的无偏估计。设设x1,xN 是是随随机机过过程程 xk 的的N个个独独立立观观测测样样本本，如如果果参数参数是总体的数学期望是总体的数学期望Ex，即用样本的均值，即用样本的均值作为作为的估计量，对该估计量取期望值，有的估计量，对该估计量取期望值，有 一一个个无无偏偏估估计计量量在在多多次次估估计计中中将将不不会会产产生生系系统统偏偏差差，但但并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏的，即的，即1/24/2023第三章 参数估计理论与应用那么它仍然有可能是一个好的估计。那么它仍然有可能是一个好的估计。考虑实随机过程考虑实随机过程xk的相关函数的两种估计量：的相关函数的两种估计量：假定数据假定数据xk是独立观测的，容易验证是独立观测的，容易验证 式中，式中，Rx()=E xk+xk 是随机数据是随机数据xk的相关函数。的相关函数。以以上上二二式式表表明明，估估计计量量 1()是是无无偏偏的的，而而 2()则则是是有偏的。但是，有偏的。但是，2()是渐进无偏的是渐进无偏的，即，即1/24/2023第三章 参数估计理论与应用渐渐进进无无偏偏估估计计量量 2()是是半半正正定定的的，而而无无偏偏估估计计量量 1()却却不一定是半正定的，故不一定是半正定的，故 2()的使用场合较多。的使用场合较多。（2 2）有有效效性性 如如果果 1 和和 2 是是两两个个根根据据N个个独独立立观观测测样样本本得得到到的的无无偏偏估估计计量量，无无疑疑地地，对对 的的平平均均偏偏差差较较小小是是选选择择的标准之一。例如，如果的标准之一。例如，如果则则 1的的值值比比 2 的的值值更更密密集集地地聚聚集集在在真真值值的的附附近近。通通常常将将方方差差（或或协协方方差差阵阵）在在所所有有的的无无偏偏估估计计量量中中达达到到最最小小的的 称称为为有效估计量有效估计量。例例3 3-2 2 设设x1,xN 是是N个个独独立立观观测测样样本本，若若被被估估计计参参数数1/24/2023第三章 参数估计理论与应用=Ex，则对任何满足，则对任何满足都是都是的无偏估计量。利用不等式的无偏估计量。利用不等式 可得可得在估计总体的数学期望时，简单的在估计总体的数学期望时，简单的算术平均算术平均比比加权平均加权平均好。好。（3 3）一一致致性性 估估计计量量的的精精度度是是与与样样本本的的容容量量 N 有有关关系系的的。一一般般说说来来，总总是是认认为为N 越越大大估估计计的的效效果果应应该该越越好好。如如果果记依赖样本容量记依赖样本容量 N 的估计为的估计为 N，当满足，当满足1/24/2023第三章 参数估计理论与应用则称则称 N 是是的的一致性估计量一致性估计量，或，或相容估计相容估计。例例3-33-3 设总体设总体 x 具有均匀分布，分布密度为具有均匀分布，分布密度为其中，其中，1 和和2 是未知参数。是未知参数。总体样本总体样本的的均值均值和和二阶矩二阶矩分别为（严格按定义计算）分别为（严格按定义计算）解得解得1/24/2023第三章 参数估计理论与应用 按按矩矩的的估估计计方方法法，用用独独立立样样本本的的均均值值和和独独立立样样本本的的二二阶阶矩矩，分别作为，分别作为总体总体均值均值和和二阶矩二阶矩的的估计量估计量，就有，就有 下面说明下面说明 1 和和 2 分别是分别是1 和和2 的的相容估计相容估计。设设 y1,yN 是是具具有有同同分分布布的的独独立立观观测测样样本本，根根据据大大数数定定律，有律，有令令y=x2,就有就有1/24/2023第三章 参数估计理论与应用于是于是3.1.2 Fisher3.1.2 Fisher信息和信息和Cramer-Cramer-RaoRao不等式不等式 通常希望获得有效的参数估计量。但是，由于不存在导通常希望获得有效的参数估计量。但是，由于不存在导致最小方差无偏估计量的最佳算法，所以通常采用参数无偏致最小方差无偏估计量的最佳算法，所以通常采用参数无偏估计的估计的Cramer-Rao下限下限(或或CR下界下界),作为评价参数估计性作为评价参数估计性能能的测度。为了简洁叙述这一的评价测度，先定义一个重要的的测度。为了简洁叙述这一的评价测度，先定义一个重要的概念。概念。Fisher 信息信息 Fisher 信息用信息用J（）表示，定义为）表示，定义为（3.1.13.1.1）1/24/2023第三章 参数估计理论与应用 当当考考虑虑 N 个个观观测测样样本本 X=x1,xN,此此时时，联联合合条条件件分分布密度函数可表示为布密度函数可表示为 将将式式（3 3.1 1.1 1）中中的的p(x|)改改为为p(X|)就就可可给给出出N个个样样本本变量变量X的的Fisher信息的表达式。信息的表达式。定定理理（C Cr ra am me er r-R Ra ao o不不等等式式）设设观观测测样样本本X=x1,xN,若若参参数数估估计计 是是真真实实参参数数 的的无无偏偏估估计计，并并且且条条件件分分布布密密度度函数的函数的p(X|)对参数对参数 的一、二阶偏导数存在，则有的一、二阶偏导数存在，则有（3.1.23.1.2）参参数数 的的方方差差所所能能达达到到的的下下限限（称称为为CR下下限限），即即上上式式等号成立等号成立的充要条件是的充要条件是1/24/2023第三章 参数估计理论与应用其中其中,函数函数K()0，并与样本向量并与样本向量 X 无关无关。当当 为有偏估计量时，为有偏估计量时，Cramer-Rao 不等式为不等式为（3.1.33.1.3）式式 中中()为为估估计计偏偏差差，即即()=E -，并并假假定定b()是是 可可微分的。微分的。对对于于多多个个参参数数的的情情况况，记记=1，p，则则用用矩矩阵阵J()表示表示Fisher信息，其元素信息，其元素Jij()定义为定义为（3.1.43.1.4）1/24/2023第三章 参数估计理论与应用且且Cramer-Rao不等式变为矩阵不等式：不等式变为矩阵不等式：（3.1.53.1.5）上上式式表表示示无无偏偏估估计计量量的的协协方方差差矩矩阵阵cov()与与逆逆Fisher信信息息阵阵之差之差是一是一半正定矩阵半正定矩阵。Fisher信信息息是是描描述述从从观观测测数数据据中中得得到到的的 的的“信信息息”测测度度，它它给给出出利利用用观观测测数数据据估估计计参参数数的的方方差差下下界界。但但是是，满满足这一下界的估计量有的时候可能不存在足这一下界的估计量有的时候可能不存在。3.2 3.2 基于统计分布的参数估计方法基于统计分布的参数估计方法 参参数数估估计计量量的的优优劣劣取取决决于于所所采采用用的的评评价价准准则则（或或代代价价函函数数）和和估估计计算算法法。现现在在介介绍绍已已知知总总体体统统计计分分布布的的两两种种最最有有效效的参数估计方法：的参数估计方法：Bayes 估计估计和和最大似然估计最大似然估计。1/24/2023第三章 参数估计理论与应用3.2.1 3.2.1 BayesBayes 估计估计 在参数估计中，估计误差在参数估计中，估计误差-通常不为零。因此，除了通常不为零。因此，除了采用前面介绍的采用前面介绍的无偏无偏、有效有效和和相容估计相容估计作为评价准则外，还作为评价准则外，还可以利用可以利用估计误差估计误差的变化范围的变化范围作为参数估计作为参数估计的的测度测度，这种测，这种测度叫做度叫做代价函数代价函数，用符号，用符号C(,)表示。常用的代价函数有表示。常用的代价函数有绝对型绝对型、二次型二次型和和均匀型均匀型三种。三种。OOO/2/2绝对型绝对型二次型二次型均匀型均匀型1/24/2023第三章 参数估计理论与应用 本节仅介绍最常用的本节仅介绍最常用的二次型二次型代价函数，即代价函数，即 当总体的分布密度函数当总体的分布密度函数p(X|)已知时，利用已知时，利用X=x1,xN 进行参数估计，通常是采用进行参数估计，通常是采用代价函数代价函数的的期望值期望值作作为为评评价价参参数数估估计计量量效效果果的的测测度度，并并称称之之为为风风险险函函数数。使使风风险险函函数数最最小小的的参参数数估估计计叫叫做做 Bayes 估估计计；基基于于二二次次型型风风险险函函数数最最小小的的估估计计称称为为最最小小均均方方误误差差（minimum mean square error,MMSE）估计）估计。二次型风险函数定义为。二次型风险函数定义为（3.2.13.2.1）根据条件概率公式，有根据条件概率公式，有1/24/2023第三章 参数估计理论与应用其其中中，p(|x1,xN)是是给给定定N个个观观测测样样本本X=x1,xN 条条件件下下 的后验分布密度函数。于是，式（的后验分布密度函数。于是，式（3.2.13.2.1）可以写成）可以写成（3.2.23.2.2）为为使使风风险险函函数数RM M S E 最最小小，对对上上式式取取 的的偏偏导导，并并令令其其结果为零，便得到结果为零，便得到由由于于p(x1,xN)是是非非负负的的，因因此此，RM M S E/=0,等等价价于于上式中上式中=0。故有。故有1/24/2023第三章 参数估计理论与应用（3.2.33.2.3）注意，在式（注意，在式（3.2.33.2.3）中，利用了以下事实：）中，利用了以下事实：由此可得出重要的结论：未知参数由此可得出重要的结论：未知参数 的的MMSE估计是给估计是给定样本定样本X条件下条件下的条件均值。的条件均值。例例3 3-4 4 某某一一随随机机参参量量x 服服从从高高斯斯N(mx,Cx)分分布布，用用仪仪器器可测量其线性组合可测量其线性组合y，即，即（1 1）式中，式中，yN 维，维，kNM 维，维，x M维，维，e N 维。维。1/24/2023第三章 参数估计理论与应用其中，测量误差其中，测量误差 e 服从高斯服从高斯N(0,Ce)分布；分布；k 为给定的常数为给定的常数阵。假设阵。假设 ()e 与与 x 独立；独立；()e 与与 x 相关，互协方差函数为相关，互协方差函数为Cxe。试试分分别别求求出出两两种种情情况况下下的的MMSE估估计计x(y)和和估估计计误误差差x (y)的的协方差协方差R x(y)。解解 如如果果将将 x 看看作作未未知知参参数数，那那么么，根根据据上上面面讨讨论论,x 的的MMSE估估计计是是给给定定观观测测样样本本y1,yN 时时 x 的的条条件件均均值值。因因此，可利用公式（此，可利用公式（1.4.16）和（）和（1.4.17）pp.29（2 2）（3 3）来求解。来求解。1/24/2023第三章 参数估计理论与应用 对式（对式（1）两边取均值，得到）两边取均值，得到 （4 4）将式（将式（1）和（）和（3）代入有关定义式，得）代入有关定义式，得（5 5）（6 6）（7 7）1/24/2023第三章 参数估计理论与应用（i）当）当 e与与 x 互相独立，互相独立，Cxe=0。将式（。将式（4）（7）代入）代入式（式（2）和（）和（3），得到），得到x(y)的估计及协方差的估计及协方差R x(y)（ii）当）当 e 与与 x 相关，只需注意相关，只需注意Cxe 0即可。即可。这这个个问问题题留留给给读读者者解解决决。请请构构造造一一组组数数据据，在在M atlab 平平台上仿真这两种的估计结果。台上仿真这两种的估计结果。3.2.2 3.2.2 最大似然估计最大似然估计 最最大大似似然然估估计计（maximum likelihood estimate,M L估估计计）的的基基本本思思路路是是：在在给给定定参参数数条条件件下下，将将观观测测样样本本 x xK1/24/2023第三章 参数估计理论与应用联联合合条条件件概概率率密密度度函函数数p(x|)视视为为真真实实参参数数 的的函函数数，即即似似然然函函数数L(x，)（包包含含未未知知参参数数的的可可能能性性函函数数），然然后后利利用用容容量量为为 N 的的观观测测样样本本x=x1,xN，求求出出使使L(x，)达达到到最最大大化化的的参参 数数 作作 为为=1，p的的估估计计值值。在在数数学学上，通常将未知参数上，通常将未知参数 的最大似然估计量记为的最大似然估计量记为式式中中是是参参数数 的的值值域域。故故ML估估计计量量 ML就就是是p(x|)的的全全局极大点。局极大点。由由于于对对数数函函数数是是严严格格单单调调的的，故故 L(x，)的的极极大大点点与与ln L(x，)的的极极大大点点是是一一致致的的。通通常常，将将ln L(x，)称称为为对对数似然函数数似然函数。于是，。于是，ML估计量估计量 ML可由可由（3.2.43.2.4）1/24/2023第三章 参数估计理论与应用确确定定。如如果果 x1,xN 是是N个个独独立立的的观观测测样样本本，则则对对数数似似然然函函数可写作数可写作（3.2.53.2.5）ML估估计计量量 M L只只要要能能够够求求出出来来，总总是是比比较较好好的的估估计计，它它具具有有以以下下性性质质：最最大大似似然然估估计计是是有有效效和和一一致致估估计计；对对于于大大的的N，ML估估计计量量 M L服服从从高高斯斯分分布布，并并且且是是无无偏偏的的，方方差差可可达达CR下界。下界。例例3 3-5 5 设设样样本本x=x1,xN 服服从从高高斯斯分分布布N（m，），则其对数似然函数为则其对数似然函数为1/24/2023第三章 参数估计理论与应用分别求分别求 lnL 关于关于 m 和和2 的偏导，并令它们等于零，得到的偏导，并令它们等于零，得到解得解得显然有显然有 可可见见，均均值值的的ML估估计计 M L 是是无无偏偏的的，而而方方差差的的ML估估计计 M L是是有有偏偏的的。但但若若将将 M L N/(N-1)作作为为新新的的估估计计量量，则则该该估计是无偏的。估计是无偏的。1/24/2023第三章 参数估计理论与应用 计算计算L(x，)的相对于的相对于m 的二阶偏导数，有的二阶偏导数，有 由式（由式（3.1.13.1.1）得）得Fisher 信息：信息：Cramer-Rao不等式为不等式为等号成立的充要条件是等号成立的充要条件是事实上，我们有事实上，我们有1/24/2023第三章 参数估计理论与应用因因此此，只只要要取取K(m)=N/2，ML估估计计 M L就就可可达达CR下下界界2/N。这表明。这表明ML估计估计 ML是一有效估计量。是一有效估计量。例例3 3-6 6（二二元元阵阵最最大大似似然然测测向向系系统统）设设二二元元阵阵布布置置在在 x轴轴上上，两两个个基基元元坐坐标标分分别别为为x1 和和x2，如如图图3-2所所示示。如如果果取取x1=0，则则 x2=d，d为为两两传传感感器器的的位位置置间间隔隔。假假设设信信号号为为平平面面波，入射角为波，入射角为，则传感器，则传感器1相对于传感器相对于传感器2的信号时延的信号时延为为 （3.2.63.2.6）式式中，中，c 为声速。我们的问题是为声速。我们的问题是如何利用二元阵中两个输入过程如何利用二元阵中两个输入过程的时差的时差来测定目标的方位角来测定目标的方位角。xx2=dx1=0图图3-23-2 二元阵测向系统的几何关系二元阵测向系统的几何关系1/24/2023第三章 参数估计理论与应用 解解 设两传感器的零均值接收过程可分别表示为设两传感器的零均值接收过程可分别表示为其其中中，si 为为单单频频平平面面波波信信号号，wi(i=1，2)为为零零均均值值高高斯斯噪噪声，二者互相独立。声，二者互相独立。如如果果采采用用图图3-3所所示示的的时时延延补补偿偿方方法法，则则单单频频平平面面波波信信号号的的归归一一化化声声程程补补偿偿（或或指指向向）向向量量 v 在在所所考考虑虑的的二二元元阵阵中中可可表示为表示为 下面，我们来推导信号的下面，我们来推导信号的协方差矩阵和噪声的协方差矩协方差矩阵和噪声的协方差矩阵，以便于求出阵，以便于求出观测样本的似观测样本的似v*图图3-3 3-3 声程补偿系统声程补偿系统x2x11exp(-(-jn)1/24/2023第三章 参数估计理论与应用函数。记输入信号和输入噪声的傅立叶系数为函数。记输入信号和输入噪声的傅立叶系数为设设信信号号和和噪噪声声的的功功率率谱谱分分别别为为S(n)和和N(n),那那么么，由由公公式（式（1.4.6）pp.26,n=2n/T）信号和噪声的协方差矩阵可分别表示为信号和噪声的协方差矩阵可分别表示为（3.2.73.2.7）1/24/2023第三章 参数估计理论与应用于是，观测样本的似然函数可表示为于是，观测样本的似然函数可表示为（3.2.83.2.8）式式中中，X(1)=X1(1)，X2(1)T，X(TW)=X1(TW)，X2(TW)T 是是传传感感器器的的接接收收过过程程x=x1，x2T的的傅傅立立叶叶系系数数阵阵；T 是是过过程程的的持持续续时时间间（采采样样数数据据的的长长度度），W 是是接接收收过过程的带宽。程的带宽。容容易易验验证证，行行列列式式|Cw+Cs|与与时时延延无无关关。于于是是，ML估估计计就就是是选选择择，使使ln p(X|)最最大大,也也即即使使式式（3 3.2 2.8 8）的的指指数函数数函数（3.2.93.2.9）1/24/2023第三章 参数估计理论与应用最最大大。下下面面，我我们们从从式式（3 3.2 2.9 9）出出发发，推推导导时时延延参参数数 的的最大似然估计的等效形式。为此，首先引进下列求逆公式最大似然估计的等效形式。为此，首先引进下列求逆公式（3.2.103.2.10）式式中中，A为为nn非非奇奇异异矩矩阵阵；g为为n 1列列向向量量。证证明明留留给给请请读者课外练习读者课外练习【利用恒等式利用恒等式 g(1+gHA-1g)=(A+gHg)A-1g）】。利用求逆公式，可知利用求逆公式，可知 1/24/2023第三章 参数估计理论与应用将将上上式式代代入入式式（3.2.9），略略去去与与无无关关的的量量T/N(n)。因因此，选择此，选择使式（使式（3.2.9）最大，等价于使下式）最大，等价于使下式（3.2.113.2.11）最大。现引入记号最大。现引入记号在在此此将将 X(n，)视视为为某某时时间间函函数数 x(t,)在在时时间间（t-T，t）内内的的傅傅立立叶叶系系数数。将将上上述述替替换换量量代代入入式式（3.2.11）后后，再再应应用用周期函数的周期函数的 Parseval 公式，就有公式，就有1/24/2023第三章 参数估计理论与应用略略去去无无关关紧紧要要的的常常数数项项1/2，计计算算 z(x,)的的结结构构如如图图3-4所所示示。调调节节时时延延，使使输输出出 z(x,)达达到到最最大大，相相应应的的时时延延就就是是真实时延的真实时延的ML估计估计 ML。根根据据ML估估计计的的传传递递性性，由由式式（3.2.6）可可得得真真实实方方位位的的ML估计估计 （3.2.123.2.12）xH0(t)z(x,)x1(t)x2(t)H0()()2图图3-43-4 二元阵最大似然测向系统二元阵最大似然测向系统exp(-j)1/24/2023第三章 参数估计理论与应用 二二元元阵阵最最大大似似然然测测向向系系统统与与二二元元阵阵似似然然比比检检测测系系统统具具有有完完全全相相同同的的结结构构。这这是是因因为为：在在 H1 情情况况下下，p(X|)等等价价于于 p(X|H1)，后后者者也也可可看看作作是是时时延延参参数数的的函函数数；而而在在 H0 情情况况下下，p(X|H0)与与无无关关。因因此此，选选取取 使使似似然然函函数数最最大，也就是使似然比大，也就是使似然比p(X|H1)/p(X|H0)最大。由此可见，检测问题与参数估计问题是密切相关。最大。由此可见，检测问题与参数估计问题是密切相关。顺便指出，可用测向测距近似公式顺便指出，可用测向测距近似公式（3.2.133.2.13）构构成成最最大大似似然然联联合合测测向向测测距距系系统统。其其中中，di 表表示示第第i 个个传传感感器器与与“基基准准”传传感感器器位位置置的的间间距距；D 表表示示目目标标与与“基基准准”传传感器位置之间的距离。感器位置之间的距离。1/24/2023第三章 参数估计理论与应用3.3 3.3 基于模型的参数最小二乘估计基于模型的参数最小二乘估计 最小二乘法（最小二乘法（Least square method，LS）是一种）是一种不需要不需要任任何何先先验验知知识识的的参参数数估估计计方方法法。在在被被测测系系统统的的静静态态（稳稳态态）模模型型和和动动态态模模型型的的参参数数辨辨识识中中，最最小小二二乘乘法法是是最最常常用用的的参参数数估计方法，在测控技术领域获得了广泛的应用。估计方法，在测控技术领域获得了广泛的应用。3.3.1 3.3.1 最小二乘估计器及其统计特性最小二乘估计器及其统计特性 在在一一般般的的最最小小二二乘乘问问题题中中，线线性性系系统统的的参参数数化化模模型型可可以以表示为表示为(3.3.1)(3.3.1)其其中中，u=u1,upT 是是模模型型的的输输入入向向量量，f1,fn 是是u 的的已已知知函函数数，也也可可以以是是未未知知输输入入的的观观测测数数据据；1,n 是是待待估估计计1/24/2023第三章 参数估计理论与应用的参数，又称为的参数，又称为回归系数回归系数；y 是系统的输出。是系统的输出。当当 f1,fn 是是u 的的稳稳态态响响应应状状态态或或是是实实测测的的确确定定性性变变量量，且且 y 是是系系统统的的稳稳态态输输出出，则则称称式式(3 3.3 3.1 1)是是描描述述线线性性系系统统的的静静态态模模型型；当当 y 是是u 的的动动态态响响应应或或瞬瞬态态观观测测数数据据，那那末末式式(3.3.1)(3.3.1)就是描述线性系统的就是描述线性系统的动态模型动态模型。为为了了估估计计未未知知参参数数i,必必须须做做实实验验来来获获得得数数据据对对u i yi 或或 fk(u i)yi,i=1,2,N,k=1,2,n；N n 以以构构成成训训练练数数据。将数据对代入方程据。将数据对代入方程 (3.3.1)(3.3.1)，可以获得一组线性方程：，可以获得一组线性方程：用矩阵表示方法，将上式写成更简洁的形式，即用矩阵表示方法，将上式写成更简洁的形式，即1/24/2023第三章 参数估计理论与应用 (3.3.2)(3.3.2)其中其中 为为了了唯唯一一地地识识别别出出未未知知参参数数，通通常常要要求求 N n，即即数数据据对对的的数数目目多多于于拟拟合合参参数数的的数数目目。满满足足所所有有 N 个个方方程程的的精精确确解解是是不不可可能能的的，因因为为观观测测数数据据难难免免受受到到噪噪声声的的污污染染，或或者者描描述述系系统统的的参参数数化化数数学学模模型型不不够够精精确确。故故必必须须考考虑虑随随机机噪噪声声或或建建模误差，在方程模误差，在方程(3.3.2)(3.3.2)中引入随机误差向量中引入随机误差向量e，得到，得到(3.3.3)(3.3.3)1/24/2023第三章 参数估计理论与应用 参数参数的的最小二乘估计最小二乘估计 LS，就是就是使使目标函数目标函数(3.3.4)(3.3.4)达到达到最小值最小值的的参数估计参数估计。为此，通常都采用求极值的方法。为此，通常都采用求极值的方法。将式将式(3.3.4)(3.3.4)展开后，得到展开后，得到 对对 求导数，有求导数，有 J 极小化的条件是极小化的条件是一般均假设一般均假设T非奇异，于是，非奇异，于是，LS 有唯一的解：有唯一的解：1/24/2023第三章 参数估计理论与应用 (3.3.53.3.5)式式中中+表示表示的伪逆。的伪逆。上上述述表表示示误误差差向向量量对对整整体体平平方方误误差差有有相相同同权权重重。可可以以进进一步扩展，令每个一步扩展，令每个误差项误差项有有不同不同的的权重权重。设。设W 为所需的为所需的权值权值矩阵矩阵，它是，它是对称对称和和正定正定的，则加权的目标函数为的，则加权的目标函数为(3.3.6)(3.3.6)按上述求极小值的方法，可得加权的最小二乘估计量：按上述求极小值的方法，可得加权的最小二乘估计量：(3.3.7)(3.3.7)显然，当显然，当W 选为单位矩阵时，选为单位矩阵时，WLS=LS。例例3 3-7 7 考考虑虑最最简简单单的的一一维维线线性性模模型型（静静态态的的），即即只只有有一个控制变量一个控制变量 u 的情形，这时模型的形式是的情形，这时模型的形式是1/24/2023第三章 参数估计理论与应用求未知参数求未知参数0 和和1的的LS估计量估计量。解解 实实际际过过程程输输出出是是模模型型的的输输出出加加上上一一随随机机误误差差项项，即即观测数据对观测数据对ui,yi的结构应为的结构应为式式中中，ei 称称为为模模型型的的残残差差或或观观测测噪噪声声，一一般般认认为为是是零零均均值值、相相互互独独立立的的随随机机序序列列，并并具具有有相相同同的的方方差差2。将将上上式式写写成成矩阵形式：矩阵形式：根据式根据式(3.3.5)(3.3.5)，可得，可得LS估计量：估计量：1/24/2023第三章 参数估计理论与应用 如如果果进进一一步步假假定定 ei 的的分分布布是是正正态态的的，则则容容易易验验证证，方方差差2 的的ML估计量估计量是是 作作为为练练习习，请请读读者者在在M atlab平平台台上上输输入入以以下下数数据据和和函函数：数：x=1 2 3 4 5;y=1.3 1.8 2.2 2.9 3.5;p,s=polyfit(x,y,1)%生成拟合一次多项式生成拟合一次多项式运行结果是：运行结果是：p=0.55 0.69，s=0.1643。即即y=0.55x+0.69标准差为标准差为0.1643。1/24/2023第三章 参数估计理论与应用 例例5 5-8 8（可可线线性性化化的的非非线线性性静静态态模模型型曲曲线线回回归归）假假设有一个非线性模型的输出为设有一个非线性模型的输出为 其中，其中，x1，x2 为确定性输入变量，为确定性输入变量，a，b和和 c为待估计参数。为待估计参数。解解 上上式式两两边边经经简简单单的的代代数数运运算算，再再同同时时取取自自然然对对数数，可转化为一个线性模型：可转化为一个线性模型：这这说说明明变变换换后后的的输输出出 ln(y-1-1)可可以以显显式式地地表表达达为为以以 lnx1和和 x2 为为输输入入、以以 lna，b 和和 c 为为参参数数的的线线性性模模型型。因因此此，就就可可以以按按变变换换后后的的线线性性模模型型用用最最小小二二乘乘法法来来估估计计变变换换后后的的未未知知参参数数，然后，再根据变换后的估计参数计算出原参数。然后，再根据变换后的估计参数计算出原参数。1/24/2023第三章 参数估计理论与应用 判判定定输输入入x-输输出出y之之间间的的关关系系能能否否用用一一个个线线性性模模型型来来描描述的标准，通常用述的标准，通常用互相关系数互相关系数的大小来衡量：的大小来衡量：(3.3.8)(3.3.8)xy 的的绝绝对对值值越越大大，表表示示变变量量之之间间的的线线性性关关系系越越密密切切，因因而而线性回归的效果就越好。线性回归的效果就越好。例例3 3-9 9 设设某某一一结结构构参参数数 n，m 和和 d 已已知知的的离离散散线线性性系系统，其差分方程的形式为：统，其差分方程的形式为：(3.3.9)(3.3.9)1/24/2023第三章 参数估计理论与应用其其中中，e(k)为为噪噪声声，(k)为为输输入入-输输出出观观测测向向量量，为为未未知知参参数向量，且数向量，且要要求求根根据据 N 次次数数据据对对 y(i),u(i),i=1,2,N；N n+m+1来估计对未知参数来估计对未知参数。解解 将式将式(3.3.9)(3.3.9)改写成矩阵形式，得到改写成矩阵形式，得到将数据写成下标形式，就有将数据写成下标形式，就有这样，未知参数向量这样，未知参数向量 可按式可按式(3.3.53.3.5)进行估计。进行估计。1/24/2023第三章 参数估计理论与应用 考虑如下单输入考虑如下单输入-单输出系统：单输出系统：用用Matlab中中rarx函数进行系统辨识，程序如下：函数进行系统辨识，程序如下：A=1 -1.5 0.7;%a0=1,a1=-1.5,a2=0.7B=0 0.3 0.2 0.5;%b0=0,b1=0.3,b2=0.2,b3=0.5th0=arx2th(A,B,1,1);%实际系统的实际系统的ARXARX模型模型e=randn(200,1);u=idinput(200，prbs);%高斯噪声和伪随机信号高斯噪声和伪随机信号y=idsim(u e,th0);z=y u;%模型仿真；输入模型仿真；输入-输出信号输出信号zzna=2;nb=3;nk=1%ARX ARX模型的阶次模型的阶次thm,yhat=rarx(z,na nb nk,ng,0.1);%根据根据zz进行进行ARXARX模型参数辨识模型参数辨识plot(y,-);grid%作图，实际系统的输出作图，实际系统的输出曲线曲线hold onplot(yhat,:)%作图，辨识系统的输出曲线作图，辨识系统的输出曲线 参数辨识结果参数辨识结果thm：a1=-1.3798，a2=0.7039，b1=0.3007，b2=0.1170，b3=0.4243。1/24/2023第三章 参数估计理论与应用 应应当当指指出出，要要求求观观测测数数据据容容量量N n+m+1是是为为了了保保证证T非非奇奇异异，降降低低过过程程噪噪声声序序列列e(k)的的影影响响，从从而而提提高高参参数数估估计计的的精精度度。不不论论 e(k)是是何何种种形形式式的的噪噪声声序序列列，式式(3 3.3 3.5 5)总总是是成成立立的的。换换言言之之，噪噪声声性性质质仅仅影影响响L S估估计计的的统统计特性计特性。下下面面介介绍绍L S估估计计的的统统计计特特性性。如如果果观观测测噪噪声声或或建建模模误误差差序列序列e(k)具有具有零均值零均值和和相同相同的的方差方差，即，即则则L S估估计计量量 L S是是无无偏偏、有有效效和和相相容容的的，并并具具估估计计误误差差的的协协方差为方差为 2(T)-1。对对于于动动态态控控制制系系统统的的辨辨识识，输输入入信信号号u(t)必必须须满满足足持持续续激激励励条条件件，也也即即输输入入信信号号u(t)的的频频 谱谱必必须须包包含含足足够够丰丰富富（Sufficient rich）的的频频率率成成分分，以以保保证证充充分分激激励励受受控控对对象象的的1/24/2023第三章 参数估计理论与应用所所有有振振型型，从从而而使使观观测测数数据据载载有有动动态态系系统统的的主主要要信信息息。L S估估计计在在满满足足持持续续激激励励条条件件时时，是是渐渐进进无无偏偏的的，也也称称为为估估计计的的一致性一致性。式式(3 3.3 3.9 9)，也也称称为为CAR模模型型（即即受受控控的的AR模模型型），可可以写成更简洁的形式以写成更简洁的形式 (3.3.10)(3.3.10)式中式中 q 表示表示时间算子时间算子，d为整数，表示系统的为整数，表示系统的滞后量滞后量；A(A(),),B(B()分别为分别为 q1 的降次幂的降次幂多项式。多项式。CAR模型模型满足一致估计（或相容估计）的条件为：满足一致估计（或相容估计）的条件为：（1）e(k)是是白噪声序列白噪声序列；（2）u(k)的的均均值值和和协协方方差差有有界界；且且满满足足（m+1）阶阶持持续续激励条件激励条件（或正定条件）：（或正定条件）：1/24/2023第三章 参数估计理论与应用 （3）u(k)和和 e(k)相相互互独独立立。通通常常，u(k)都都采采用用伪伪随随机机二二元序列。元序列。只只要要选选择择恰恰当当的的模模型型阶阶次次或或最最小小二二乘乘多多项项式式阶阶次次(参参见见taylor.m,M atlab)，最最小小二二乘乘法法总总是是可可以以很很好好地地拟拟合合数数据据，但但是是，如如果果观观测测数数据据波波动动较较大大，将将严严重重影影响响参参数数估估计计的的准准确确性。对此，可采用性。对此，可采用数据预处理数据预处理和和数字滤波数字滤波的方法加以解决。的方法加以解决。检检验验模模型型准准确确性性的的最最简简单单方方法法是是准准备备另另外外一一组组输输入入-输输出出数数据据对对，称称为为检检验验数数据据集集，在在参参数数估估计计时时不不用用，待待模模型型建建立立后，用这组数据对来后，用这组数据对来验证验证所得所得模型模型的的普适性普适性或或泛化泛化能力。能力。1/24/2023第三章 参数估计理论与应用 上上述述讨讨论论，均均假假设设数数学学模模型型的的阶阶次次是是已已知知的的。实实际际上上，对对于于动动态态系系统统，模模型型的的阶阶次次很很少少是是预预知知的的。检检验验模模型型阶阶次次是是否否合合适适的的一一种种简简单单而而有有效效的的方方法法是是：评评估估不不同同阶阶次次的的理理论论模模型对观测数据的拟合度，用拟合误差函数型对观测数据的拟合度，用拟合误差函数 来来描描述述。通通常常，当当 n 或或（n,m）增增大大时时 J(n)或或 J(n,m)就就会会减减小小；而而当当 n(或或n,m)大大于于模模型型的的真真实实阶阶次次 n0(或或n0,m0)时时，J 的的减减小小就就不不显显著著了了。由由此此，可可以以很很方方便便地地用用多多次次实实验验的的方方法来确定模型的恰当阶次。法来确定模型的恰当阶次。注注意意，对对于于J(n,m