参数估计理论与应用第三章.ppt

《参数估计理论与应用第三章.ppt》由会员分享，可在线阅读，更多相关《参数估计理论与应用第三章.ppt（74页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、现在学习的是第1页，共74页参数估计理论与应用第三章 在在许许多多情情况况下下，观观测测数数据据所所服服从从的的概概率率模模型型已已知知的的，而而模型的未知部分是以模型的未知部分是以未知参数形式出现未知参数形式出现的。的。参参数数估估计计的的基基础础是是优优 化化 理理 论论，即即被被估估计计的的参参数数应应 该该在在 某某种准则下种准则下是是最优最优的，以及任何获得最优的估计。的，以及任何获得最优的估计。非非参参数数估估计计方方法法不不假假定定观观测测数数据据服服从从某某种种特特定定的的概概率率模模型型。例例如如，频频 域域 上上的的谱谱 估估 计计与与谱谱 线线 拟拟 合合就就是是典典型型

2、的的非非 参参 数数 估估计方法计方法。观测到的状态观测到的状态状态状态控制控制x(t)y(t)u(t)v(t)w(t)观量噪声观量噪声设备噪声设备噪声设备（模型结构已设备（模型结构已知、参数未知）知、参数未知）测量装置测量装置图图3-1 3-1 系统辨识中的参数估计问题系统辨识中的参数估计问题现在学习的是第2页，共74页3.1 3.1 参数估计的评价准则参数估计的评价准则 参参 数数 估估 计计是是 通通 过过样样 本本去去估估 计计 总总 体体的的 某某 些些数数 字字 特特 征征或或统统 计计 量量。任任 何何 一一个统计量都可作为参数的估计量，但其效果的优劣有所差别。个统计量都可作为参

3、数的估计量，但其效果的优劣有所差别。3.1.1 3.1.1 无偏性、有效性与相容性无偏性、有效性与相容性 （1 1）无无 偏偏 性性 设设样样本本的的总总体体分分布布密密度度函函数数为为 p(x;),是是未未知知参参数数。从从总总体体中中抽抽取取容容量量为为 N 的的样样本本 x=x1,xN,用用 样样 本本 的的 估估 计计 量量 来来 估估 计计，如如 果果 希希 望望多多 次次 估估 计计 中中，平平 均均的估计值没有偏差的估计值没有偏差，即，即 则称则称 是是的的无偏估计量无偏估计量。现在学习的是第3页，共74页 例例3-13-1 样本均值是总体数学期望的无偏估计。样本均值是总体数学期

4、望的无偏估计。设设x1,xN 是是随随机机过过程程 xk 的的N个个独独立立观观测测样样本本，如如果果参数参数是总体的数学期望是总体的数学期望Ex，即用样本的均值，即用样本的均值作为作为的估计量，对该估计量取期望值，有的估计量，对该估计量取期望值，有 一一 个个 无无 偏偏 估估 计计 量量 在在 多多 次次 估估 计计 中中 将将 不不 会会 产产 生生系系 统统 偏偏 差差，但但并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏的，即的，即现在学习的是第4页，共74页那么它仍然有可能是一个好的估计。那么它仍然有可能是一个好的估计。考虑实

5、随机过程考虑实随机过程xk的相关函数的两种估计量：的相关函数的两种估计量：假定数据假定数据xk是独立观测的，容易验证是独立观测的，容易验证 式中，式中，Rx()=E xk+xk 是随机数据是随机数据xk的相关函数。的相关函数。以以 上上 二二 式式 表表 明明，估估 计计 量量 1()是是 无无 偏偏 的的，而而 2()则则 是是有偏的。但是，有偏的。但是，2()是渐进无偏的是渐进无偏的，即，即现在学习的是第5页，共74页渐渐 进进 无无 偏偏 估估 计计 量量 2()是是半半 正正 定定的的，而而 无无 偏偏 估估 计计 量量 1()却却不一定是半正定的，故不一定是半正定的，故 2()的使用

6、场合较多。的使用场合较多。（2 2）有有效效性性 如如果果 1 和和 2 是是两两个个根根据据N个个独独立立观观测测样样本本得得到到的的无无偏偏估估计计量量，无无疑疑地地，对对 的的平平均均偏偏差差较较小小是是选选择择的标准之一。例如，如果的标准之一。例如，如果则则 1的的值值比比 2 的的值值更更密密集集地地聚聚集集在在真真 值值的的附附 近近。通通常常将将 方方差差（或或 协协 方方 差差 阵阵）在在 所所 有有 的的 无无 偏偏 估估 计计 量量 中中 达达 到到 最最 小小 的的 称称 为为有效估计量有效估计量。例例3 3-2 2 设设x1,xN 是是 N个个 独独 立立 观观 测测

7、样样 本本，若若 被被 估估 计计 参参 数数现在学习的是第6页，共74页=Ex，则对任何满足，则对任何满足都是都是的无偏估计量。利用不等式的无偏估计量。利用不等式 可得可得在估计总体的数学期望时，简单的在估计总体的数学期望时，简单的算术平均算术平均比比加权平均加权平均好。好。（3 3）一一致致性性 估估计计量量的的精精度度是是与与样样本本的的容容量量 N 有有 关关 系系的的。一一 般般 说说 来来，总总 是是 认认 为为N 越越 大大 估估 计计 的的 效效 果果 应应 该该 越越 好好。如如 果果记依赖样本容量记依赖样本容量 N 的估计为的估计为 N，当满足，当满足现在学习的是第7页，共

8、74页则称则称 N 是是的的一致性估计量一致性估计量，或，或相容估计相容估计。例例3-33-3 设总体设总体 x 具有均匀分布，分布密度为具有均匀分布，分布密度为其中，其中，1 和和2 是未知参数。是未知参数。总体样本总体样本的的均值均值和和二阶矩二阶矩分别为（严格按定义计算）分别为（严格按定义计算）解得解得现在学习的是第8页，共74页 按按矩矩的的估估计计方方法法，用用独独立立样样本本的的均均 值值和和独独立立样样本本的的二二 阶阶矩矩，分别作为，分别作为总体总体均值均值和和二阶矩二阶矩的的估计量估计量，就有，就有 下面说明下面说明 1 和和 2 分别是分别是1 和和2 的的相容估计相容估计

9、。设设 y1,yN 是是具具有有同同分分布布的的独独立立观观测测样样本本，根根据据大大数数定定律，有律，有令令y=x2,就有就有现在学习的是第9页，共74页于是于是3.1.2 Fisher3.1.2 Fisher信息和信息和Cramer-RaoCramer-Rao不等式不等式 通常希望获得有效的参数估计量。但是，由于不存在导通常希望获得有效的参数估计量。但是，由于不存在导致最小方差无偏估计量的最佳算法，所以通常采用参数无偏致最小方差无偏估计量的最佳算法，所以通常采用参数无偏估计的估计的Cramer-Rao下限下限(或或CR下界下界),作为评价参数估计性能作为评价参数估计性能的测度。为了简洁叙述

10、这一的评价测度，先定义一个重要的的测度。为了简洁叙述这一的评价测度，先定义一个重要的概念。概念。Fisher 信息信息 Fisher 信息用信息用J（）表示，定义为）表示，定义为（3.1.13.1.1）现在学习的是第10页，共74页 当当 考考 虑虑 N 个个观观测测样样本本 X=x1,xN,此此时时，联联合合条条件件分分布密度函数可表示为布密度函数可表示为 将将 式式（3 3.1 1.1 1）中中 的的p(x|)改改 为为p(X|)就就 可可 给给 出出N个个 样样 本本变量变量X的的Fisher信息的表达式。信息的表达式。定定 理理（C Cr ra am me er r-R Ra ao o

11、不不 等等 式式）设设 观观 测测 样样 本本X=x1,xN,若若参参数数估估计计 是是真真实实参参数数 的的无无偏偏估估计计，并并且且条条件件分分布布密密度度函数的函数的p(X|)对参数对参数 的一、二阶偏导数存在，则有的一、二阶偏导数存在，则有（3.1.23.1.2）参参数数 的的方方差差所所能能达达到到的的下下限限（称称为为CR下下限限），即即上上式式等号成立等号成立的充要条件是的充要条件是现在学习的是第11页，共74页其中其中,函数函数K()0，并与样本向量并与样本向量 X 无关无关。当当 为有偏估计量时，为有偏估计量时，Cramer-Rao 不等式为不等式为（3.1.33.1.3）式

12、式 中中()为为 估估 计计 偏偏 差差，即即()=E -，并并 假假 定定b()是是 可可微分的。微分的。对对 于于 多多 个个 参参 数数 的的 情情 况况，记记=1，p，则则 用用 矩矩阵阵J()表示表示Fisher信息，其元素信息，其元素Jij()定义为定义为（3.1.43.1.4）现在学习的是第12页，共74页且且Cramer-Rao不等式变为矩阵不等式：不等式变为矩阵不等式：（3.1.53.1.5）上上式式表表示示无无偏偏估估计计量量的的协协方方差差矩矩阵阵cov()与与 逆逆Fisher信信 息息 阵阵之差之差是一是一半正定矩阵半正定矩阵。Fisher信信 息息是是描描述述从从观

13、观测测数数据据中中得得到到的的 的的“信信 息息”测测度度，它它给给出出利利用用观观测测数数据据估估计计参参数数的的方方差差下下界界。但但 是是，满满足这一下界的估计量有的时候可能不存在足这一下界的估计量有的时候可能不存在。3.2 3.2 基于统计分布的参数估计方法基于统计分布的参数估计方法 参参数数估估计计量量的的优优劣劣取取决决于于所所采采用用的的评评价价准准则则（或或代代价价函函数数）和和估估计计算算法法。现现在在介介绍绍已已知知总总体体统统计计分分布布的的两两种种最最有有效效的参数估计方法：的参数估计方法：Bayes 估计估计和和最大似然估计最大似然估计。现在学习的是第13页，共74页

14、3.2.1 Bayes 3.2.1 Bayes 估计估计 在参数估计中，估计误差在参数估计中，估计误差-通常不为零。因此，除了通常不为零。因此，除了采用前面介绍的采用前面介绍的无偏无偏、有效有效和和相容估计相容估计作为评价准则外，还作为评价准则外，还可以利用可以利用估计误差估计误差的变化范围的变化范围作为参数估计作为参数估计的的测度测度，这种测，这种测度叫做度叫做代价函数代价函数，用符号，用符号C(,)表示。常用的代价函数有表示。常用的代价函数有绝对型绝对型、二次型二次型和和均匀型均匀型三种。三种。OOO/2/2绝对型绝对型二次型二次型均匀型均匀型现在学习的是第14页，共74页 本节仅介绍最常

15、用的本节仅介绍最常用的二次型二次型代价函数，即代价函数，即 当总体的分布密度函数当总体的分布密度函数p(X|)已知时，利用已知时，利用X=x1,xN 进行参数估计，通常是采用进行参数估计，通常是采用代价函数代价函数的的期望值期望值作作为为评评价价参参数数估估计计量量效效果果的的测测度度，并并称称之之为为风风 险险 函函 数数。使使 风风险险函函数数最最小小的的参参数数估估计计叫叫做做 Bayes 估估 计计；基基于于二二次次型型风风险险函函数数最最小小的的估估计计称称为为最最小小均均方方误误差差（minimum mean square error,MMSE）估计）估计。二次型风险函数定义为。二

16、次型风险函数定义为（3.2.13.2.1）根据条件概率公式，有根据条件概率公式，有现在学习的是第15页，共74页其其中中，p(|x1,xN)是是给给定定N个个观观测测样样本本X=x1,xN 条条 件件下下 的后验分布密度函数。于是，式（的后验分布密度函数。于是，式（3.2.13.2.1）可以写成）可以写成（3.2.23.2.2）为为 使使风风险险函函数数RM M S E 最最 小小，对对上上式式取取 的的偏偏导导，并并令令其其结果为零，便得到结果为零，便得到由由 于于p(x1,xN)是是 非非 负负 的的，因因 此此，RM M S E/=0,等等 价价 于于上式中上式中=0。故有。故有现在学习

17、的是第16页，共74页（3.2.33.2.3）注意，在式（注意，在式（3.2.33.2.3）中，利用了以下事实：）中，利用了以下事实：由此可得出重要的结论：未知参数由此可得出重要的结论：未知参数 的的MMSE估计是给估计是给定样本定样本X条件下条件下的条件均值。的条件均值。例例3 3-4 4 某某一一随随机机参参量量x 服服从从高高斯斯N(mx,Cx)分分布布，用用仪仪器器可测量其线性组合可测量其线性组合y，即，即（1 1）式中，式中，yN 维，维，kNM 维，维，x M维，维，e N 维。维。现在学习的是第17页，共74页其中，测量误差其中，测量误差 e 服从高斯服从高斯N(0,Ce)分布；

18、分布；k 为给定的常数为给定的常数阵。假设阵。假设 ()e 与与 x 独立；独立；()e 与与 x 相关，互协方差函数为相关，互协方差函数为Cxe。试试 分分 别别 求求 出出 两两 种种 情情 况况 下下 的的M M S E估估 计计x(y)和和估估 计计 误误 差差x (y)的的协方差协方差R x(y)。解解 如如 果果将将 x 看看作作未未知知参参数数，那那么么，根根据据上上面面讨讨论论,x 的的MMS E 估估 计计是是给给定定观观测测样样本本y1,yN 时时 x 的的条条件件均均值值。因因此，可利用公式（此，可利用公式（1.4.16）和（）和（1.4.17）pp.29（2 2）（3

19、3）来求解。来求解。现在学习的是第18页，共74页 对式（对式（1）两边取均值，得到）两边取均值，得到 （4 4）将式（将式（1）和（）和（3）代入有关定义式，得）代入有关定义式，得（5 5）（6 6）（7 7）现在学习的是第19页，共74页（i）当）当 e与与 x 互相独立，互相独立，Cxe=0。将式（。将式（4）（7）代入）代入式（式（2）和（）和（3），得到），得到x(y)的估计及协方差的估计及协方差R x(y)（ii）当）当 e 与与 x 相关，只需注意相关，只需注意Cxe 0即可。即可。这这个个问问题题留留给给读读者者解解决决。请请构构造造一一组组数数据据，在在M atlab 平平台

20、上仿真这两种的估计结果。台上仿真这两种的估计结果。3.2.2 3.2.2 最大似然估计最大似然估计 最最 大大 似似 然然 估估 计计（maximum likelihood estimate,M L估估计计）的的基基本本思思路路是是：在在给给定定参参数数条条件件下下，将将观观测测样样本本 x xK现在学习的是第20页，共74页联联合合条条件件概概率率密密度度函函数数p(x|)视视 为为真真 实实 参参 数数 的的 函函 数数，即即似似然然 函函 数数L(x，)（包包 含含 未未 知知 参参 数数的的 可可 能能 性性 函函 数数），然然 后后 利利用用 容容 量量 为为 N 的的 观观 测测

21、样样 本本x=x1,xN，求求 出出使使L(x，)达达 到到最最 大大 化化的的参参 数数 作作 为为=1，p的的估估 计计 值值。在在 数数 学学上，通常将未知参数上，通常将未知参数 的最大似然估计量记为的最大似然估计量记为式式 中中是是 参参 数数 的的 值值 域域。故故M L估估 计计 量量 ML就就 是是p(x|)的的 全全局极大点。局极大点。由由 于于 对对 数数 函函 数数 是是 严严 格格 单单 调调 的的，故故 L(x，)的的 极极 大大 点点 与与ln L(x，)的的 极极 大大 点点 是是 一一 致致 的的。通通 常常，将将ln L(x，)称称 为为对对数似然函数数似然函数

22、。于是，。于是，ML估计量估计量 ML可由可由（3.2.43.2.4）现在学习的是第21页，共74页确确 定定。如如 果果 x1,xN 是是N个个独独立立的的观观测测样样本本，则则对对数数似似然然函函数可写作数可写作（3.2.53.2.5）ML估估计计量量 ML只只要要能能够够求求出出来来，总总是是比比较较好好的的估估计计，它它具具有有以以下下性性质质：最最大大似似然然估估计计是是有有效效和和一一致致估估计计；对对于于大大的的N，M L估估 计计 量量 ML服服从从高高斯斯分分布布，并并且且是是无无偏偏的的，方方差差可可达达CR下界。下界。例例3 3-5 5 设设 样样 本本x=x1,xN 服

23、服 从从 高高 斯斯 分分 布布N（m，），则其对数似然函数为则其对数似然函数为现在学习的是第22页，共74页分别求分别求 lnL 关于关于 m 和和2 的偏导，并令它们等于零，得到的偏导，并令它们等于零，得到解得解得显然有显然有 可可见见，均均值值的的ML估估 计计 ML 是是无无偏偏的的，而而方方差差的的ML估估 计计 ML是是 有有 偏偏 的的。但但 若若 将将 ML N/(N-1)作作 为为 新新 的的 估估 计计 量量，则则 该该估计是无偏的。估计是无偏的。现在学习的是第23页，共74页 计算计算L(x，)的相对于的相对于m 的二阶偏导数，有的二阶偏导数，有 由式（由式（3.1.13

24、.1.1）得）得Fisher 信息：信息：Cramer-Rao不等式为不等式为等号成立的充要条件是等号成立的充要条件是事实上，我们有事实上，我们有现在学习的是第24页，共74页因因 此此，只只 要要 取取K(m)=N/2，M L估估 计计 M L就就 可可 达达C R下下 界界2/N。这表明。这表明ML估计估计 ML是一有效估计量。是一有效估计量。例例3 3-6 6（二二元元阵阵最最大大似似然然测测向向系系统统）设设二二元元阵阵布布置置在在 x轴轴 上上，两两 个个 基基 元元 坐坐 标标 分分 别别 为为x1 和和 x2，如如 图图3-2所所 示示。如如 果果 取取x1=0，则则 x2=d，

25、d为为两两传传感感器器的的位位置置间间隔隔。假假设设信信号号为为平平面面波，入射角为波，入射角为，则传感器，则传感器1相对于传感器相对于传感器2的信号时延的信号时延为为 （3.2.63.2.6）式式中，中，c 为声速。我们的问题是为声速。我们的问题是如何利用二元阵中两个输入过程如何利用二元阵中两个输入过程的时差的时差来测定目标的方位角来测定目标的方位角。xx2=dx1=0图图3-23-2 二元阵测向系统的几何关系二元阵测向系统的几何关系现在学习的是第25页，共74页 解解 设两传感器的零均值接收过程可分别表示为设两传感器的零均值接收过程可分别表示为其其 中中，si 为为 单单 频频 平平 面面

26、 波波 信信 号号，wi(i=1，2)为为 零零 均均 值值 高高 斯斯 噪噪声，二者互相独立。声，二者互相独立。如如果果采采用用图图3-3所所示示的的时时延延补补偿偿方方法法，则则单单频频平平面面波波信信号号的的归归一一化化声声程程补补偿偿（或或指指向向）向向量量 v 在在所所考考虑虑的的二二元元阵阵中中可可表示为表示为 下面，我们来推导信号的下面，我们来推导信号的协方差矩阵和噪声的协方差矩协方差矩阵和噪声的协方差矩阵，以便于求出阵，以便于求出观测样本的似观测样本的似v*图图3-3 3-3 声程补偿系统声程补偿系统x2x11exp(-(-jn)现在学习的是第26页，共74页函数。记输入信号和

27、输入噪声的傅立叶系数为函数。记输入信号和输入噪声的傅立叶系数为设设 信信 号号 和和 噪噪 声声 的的 功功 率率 谱谱 分分 别别 为为S(n)和和N(n),那那 么么，由由 公公式（式（1.4.6）pp.26,n=2n/T）信号和噪声的协方差矩阵可分别表示为信号和噪声的协方差矩阵可分别表示为（3.2.73.2.7）现在学习的是第27页，共74页于是，观测样本的似然函数可表示为于是，观测样本的似然函数可表示为（3.2.83.2.8）式式 中中，X(1)=X1(1)，X2(1)T，X(T W)=X1(T W)，X2(T W)T 是是 传传 感感 器器 的的 接接 收收 过过 程程x=x1，x2

28、T的的 傅傅 立立 叶叶 系系 数数阵阵；T 是是过过程程的的持持续续时时间间（采采样样数数据据的的长长度度），W 是是接接收收过过程的带宽。程的带宽。容容易易验验证证，行行列列式式|Cw+Cs|与与时时延延无无关关。于于是是，M L估估计计就就是是选选择择，使使ln p(X|)最最 大大,也也 即即 使使 式式（3 3.2 2.8 8）的的 指指数函数数函数（3.2.93.2.9）现在学习的是第28页，共74页最最 大大。下下 面面，我我 们们 从从 式式（3 3.2 2.9 9）出出 发发，推推 导导 时时 延延 参参 数数 的的最大似然估计的等效形式。为此，首先引进下列求逆公式最大似然估

29、计的等效形式。为此，首先引进下列求逆公式（3.2.103.2.10）式式 中中，A为为nn非非 奇奇 异异 矩矩 阵阵；g为为n 1列列 向向 量量。证证 明明 留留 给给 请请读者课外练习读者课外练习【利用恒等式利用恒等式 g(1+gHA-1g)=(A+gHg)A-1g）】。利用求逆公式，可知利用求逆公式，可知 现在学习的是第29页，共74页将将 上上 式式 代代 入入 式式（3.2.9），略略 去去 与与无无 关关 的的 量量T/N(n)。因因此，选择此，选择使式（使式（3.2.9）最大，等价于使下式）最大，等价于使下式（3.2.113.2.11）最大。现引入记号最大。现引入记号在在 此此

30、 将将 X(n，)视视 为为 某某 时时 间间 函函 数数 x(t,)在在 时时 间间（t-T，t）内内 的的傅傅立立叶叶系系数数。将将上上述述替替换换量量代代入入式式（3.2.11）后后，再再应应用用 周期函数的周期函数的 Parseval 公式，就有公式，就有现在学习的是第30页，共74页略略 去去 无无 关关 紧紧 要要 的的 常常 数数 项项1/2，计计 算算 z(x,)的的 结结 构构 如如 图图3-4所所示示。调调 节节 时时 延延，使使 输输 出出 z(x,)达达 到到 最最 大大，相相 应应 的的 时时 延延 就就是是 真实时延的真实时延的ML估计估计 ML。根根据据ML估估计

31、计的的传传递递性性，由由式式（3.2.6）可可得得真真实实方方位位的的ML估计估计 （3.2.123.2.12）xH0(t)z(x,)x1(t)x2(t)H0()()2图图3-43-4 二元阵最大似然测向系统二元阵最大似然测向系统exp(-j)现在学习的是第31页，共74页 二二 元元 阵阵最最大大似似然然测测向向系系统统与与二二元元阵阵似似然然比比检检测测系系统统具具 有有完完全全相相同同的的结结构构。这这是是因因为为：在在 H1 情情况况下下，p(X|)等等 价价于于 p(X|H1)，后后 者者也也可可看看作作是是时时延延参参数数的的 函函 数数；而而 在在 H0 情情 况况 下下，p(X

32、|H0)与与无无 关关。因因 此此，选选 取取 使使 似似 然然 函函 数数 最最大，也就是使似然比大，也就是使似然比p(X|H1)/p(X|H0)最大。由此可见，检测问题与参数估计问题是密切相关。最大。由此可见，检测问题与参数估计问题是密切相关。顺便指出，可用测向测距近似公式顺便指出，可用测向测距近似公式（3.2.133.2.13）构构成成最最大大似似然然联联合合测测向向测测距距系系统统。其其中中，di 表表 示示 第第i 个个 传传感感器器与与“基基 准准”传传感感器器位位置置的的间间距距；D 表表示示目目标标与与“基基 准准”传传感器位置之间的距离。感器位置之间的距离。现在学习的是第32

33、页，共74页3.3 3.3 基于模型的参数最小二乘估计基于模型的参数最小二乘估计 最小二乘法（最小二乘法（Least square method，LS）是一种）是一种不需要不需要任任 何何先先 验验 知知 识识的的参参 数数 估估 计计 方方 法法。在在被被测测系系统统的的静静态态（稳稳态态）模模型型和和动动态态模模型型的的参参数数辨辨识识中中，最最小小二二乘乘法法是是最最常常用用的的参参数数估计方法，在测控技术领域获得了广泛的应用。估计方法，在测控技术领域获得了广泛的应用。3.3.1 3.3.1 最小二乘估计器及其统计特性最小二乘估计器及其统计特性 在在一一般般的的最最小小二二乘乘问问题题中

34、中，线线性性系系统统的的参参数数化化模模型型可可以以表示为表示为(3.3.1)(3.3.1)其其 中中，u=u1,upT 是是模模型型的的输输入入向向量量，f1,fn 是是u 的的 已已 知知函函数数，也也可可以以是是未未知知输输入入的的观观测测数数据据；1,n 是是待待估估计计现在学习的是第33页，共74页的参数，又称为的参数，又称为回归系数回归系数；y 是系统的输出。是系统的输出。当当 f1,fn 是是u 的的稳稳态态响响应应状状态态或或 是是实实 测测的的确确定定性性变变量量，且且 y 是是系系统统的的稳稳态态输输出出，则则称称式式(3 3.3 3.1 1)是是描描述述线线性性系系统统的

35、的静静 态态 模模 型型；当当 y 是是u 的的动动 态态 响响 应应或或瞬瞬态态观观测测数数据据，那那 末末 式式(3.3.1)(3.3.1)就是描述线性系统的就是描述线性系统的动态模型动态模型。为为了了估估计计未未知知参参数数i,必必须须做做实实验验来来获获得得数数据据对对u i yi 或或 fk(u i)yi,i=1,2,N,k=1,2,n；N n 以以构构成成训训练练数数据。将数据对代入方程据。将数据对代入方程 (3.3.1)(3.3.1)，可以获得一组线性方程：，可以获得一组线性方程：用矩阵表示方法，将上式写成更简洁的形式，即用矩阵表示方法，将上式写成更简洁的形式，即现在学习的是第3

36、4页，共74页 (3.3.2)(3.3.2)其中其中 为为 了了唯唯 一一地地识识 别别出出 未未 知知参参 数数，通通 常常要要 求求 N n，即即数数 据据对对的的数数 目目多多 于于拟拟合合参参数数的的数数目目。满满足足所所有有 N 个个方方程程的的精精确确解解是是不不可可能能的的，因因为为观观测测数数据据难难免免受受到到噪噪声声的的污污染染，或或者者描描述述系系统统的的参参数数化化数数学学模模型型不不够够精精确确。故故必必须须考考虑虑随随机机噪噪声声或或建建模误差，在方程模误差，在方程(3.3.2)(3.3.2)中引入随机误差向量中引入随机误差向量e，得到，得到(3.3.3)(3.3.

37、3)现在学习的是第35页，共74页 参数参数的的最小二乘估计最小二乘估计 LS，就是就是使使目标函数目标函数(3.3.4)(3.3.4)达到达到最小值最小值的的参数估计参数估计。为此，通常都采用求极值的方法。为此，通常都采用求极值的方法。将式将式(3.3.4)(3.3.4)展开后，得到展开后，得到 对对 求导数，有求导数，有 J 极小化的条件是极小化的条件是一般均假设一般均假设T非奇异，于是，非奇异，于是，LS 有唯一的解：有唯一的解：现在学习的是第36页，共74页 (3.3.5)(3.3.5)式式中中+表示表示的伪逆。的伪逆。上上述述表表示示误误差差向向量量对对整整体体平平方方误误差差有有相

38、相同同权权重重。可可以以进进一步扩展，令每个一步扩展，令每个误差项误差项有有不同不同的的权重权重。设。设W 为所需的为所需的权值权值矩阵矩阵，它是，它是对称对称和和正定正定的，则加权的目标函数为的，则加权的目标函数为(3.3.6)(3.3.6)按上述求极小值的方法，可得加权的最小二乘估计量：按上述求极小值的方法，可得加权的最小二乘估计量：(3.3.7)(3.3.7)显然，当显然，当W 选为单位矩阵时，选为单位矩阵时，WLS=LS。例例3 3-7 7 考考虑虑最最简简单单的的一一维维线线性性模模型型（静静态态的的），即即只只有有一个控制变量一个控制变量 u 的情形，这时模型的形式是的情形，这时模

39、型的形式是现在学习的是第37页，共74页求未知参数求未知参数0 和和1的的LS估计量估计量。解解 实实际际过过程程输输出出是是模模型型的的输输出出加加上上一一随随机机误误差差项项，即即观测数据对观测数据对ui,yi的结构应为的结构应为式式中中，ei 称称为为模模型型的的残残 差差或或观观测测噪噪声声，一一般般认认为为是是零零均均值值、相相 互互 独独 立立的的随随 机机 序序 列列，并并 具具 有有相相 同同的的 方方 差差2。将将 上上 式式 写写 成成矩阵形式：矩阵形式：根据式根据式(3.3.5)(3.3.5)，可得，可得LS估计量：估计量：现在学习的是第38页，共74页 如如果果进进一一

40、步步假假定定 ei 的的分分布布是是正正态态的的，则则容容易易验验证证，方方差差2 的的ML估计量估计量是是 作作为为练练习习，请请读读者者在在Matlab平平台台上上输输入入以以下下数数据据和和函函数：数：x=1 2 3 4 5;y=1.3 1.8 2.2 2.9 3.5;p,s=polyfit(x,y,1)%生成拟合一次多项式生成拟合一次多项式运行结果是：运行结果是：p=0.55 0.69，s=0.1643。即即y=0.55x+0.69标准差为标准差为0.1643。现在学习的是第39页，共74页 例例5 5-8 8（可可线线性性化化的的非非线线性性静静态态模模型型 曲曲线线回回归归）假假设

41、有一个非线性模型的输出为设有一个非线性模型的输出为 其中，其中，x1，x2 为确定性输入变量，为确定性输入变量，a，b和和 c为待估计参数。为待估计参数。解解 上上式式两两边边经经简简单单的的代代数数运运算算，再再同同时时取取自自然然对对数数，可转化为一个线性模型：可转化为一个线性模型：这这说说明明变变换换后后的的输输出出 ln(y-1-1)可可以以显显式式地地表表达达为为以以 lnx1和和 x2 为为输输入入、以以 lna，b 和和 c 为为参参数数的的线线性性模模型型。因因此此，就就可可以以按按变变换换后后的的线线性性模模型型用用最最小小二二乘乘法法来来估估计计变变换换后后的的未未知知参参

42、数数，然后，再根据变换后的估计参数计算出原参数。然后，再根据变换后的估计参数计算出原参数。现在学习的是第40页，共74页 判判 定定输输 入入x-输输 出出y之之 间间 的的关关 系系能能否否用用一一个个线线 性性 模模 型型来来 描描述的标准，通常用述的标准，通常用互相关系数互相关系数的大小来衡量：的大小来衡量：(3.3.8)(3.3.8)xy 的的绝绝 对对 值值越越 大大，表表 示示 变变 量量 之之 间间 的的线线 性性 关关 系系越越 密密 切切，因因 而而线性回归的效果就越好。线性回归的效果就越好。例例3 3-9 9 设设 某某 一一 结结 构构 参参 数数 n，m 和和 d 已已

43、 知知 的的 离离 散散 线线 性性 系系统，其差分方程的形式为：统，其差分方程的形式为：(3.3.9)(3.3.9)现在学习的是第41页，共74页其其中中，e(k)为为噪噪声声，(k)为为输输入入-输输出出观观测测向向量量，为为未未知知参参数向量，且数向量，且要要求求根根据据 N 次次数数据据对对 y(i),u(i),i=1,2,N；N n+m+1来估计对未知参数来估计对未知参数。解解 将式将式(3.3.9)(3.3.9)改写成矩阵形式，得到改写成矩阵形式，得到将数据写成下标形式，就有将数据写成下标形式，就有这样，未知参数向量这样，未知参数向量 可按式可按式(3.3.5)(3.3.5)进行估

44、计。进行估计。现在学习的是第42页，共74页 考虑如下单输入考虑如下单输入-单输出系统：单输出系统：用用Matlab中中rarx函数进行系统辨识，程序如下：函数进行系统辨识，程序如下：A=1 -1.5 0.7;%a0=1,a1=-1.5,a2=0.7B=0 0.3 0.2 0.5;%b0=0,b1=0.3,b2=0.2,b3=0.5th0=arx2th(A,B,1,1);%实际系统的实际系统的ARXARX模型模型e=randn(200,1);u=idinput(200，prbs);%高斯噪声和伪随机信号高斯噪声和伪随机信号y=idsim(u e,th0);z=y u;%模型仿真；输入模型仿真；

45、输入-输出信号输出信号zzna=2;nb=3;nk=1%ARX ARX模型的阶次模型的阶次thm,yhat=rarx(z,na nb nk,ng,0.1);%根据根据zz进行进行ARXARX模型参数辨识模型参数辨识plot(y,-);grid%作图，实际系统的输出曲线作图，实际系统的输出曲线hold onplot(yhat,:)%作图，辨识系统的输出曲线作图，辨识系统的输出曲线 参数辨识结果参数辨识结果thm：a1=-1.3798，a2=0.7039，b1=0.3007，b2=0.1170，b3=0.4243。现在学习的是第43页，共74页 应应当当指指出出，要要求求观观测测数数据据容容 量量

46、N n+m+1是是为为了了保保证证T非非 奇奇 异异，降降低低过过程程噪噪声声序序列列e(k)的的影影响响，从从而而提提高高参参数数 估估 计计 的的 精精 度度。不不 论论 e(k)是是 何何 种种 形形 式式 的的 噪噪 声声 序序 列列，式式(3 3.3 3.5 5)总总是是成成立立的的。换换言言之之，噪噪声声性性质质仅仅影影响响L S估估 计计 的的 统统计特性计特性。下下面面介介绍绍LS估估计计的的统统计计特特性性。如如果果观观测测噪噪声声或或建建模模误误差差序列序列e(k)具有具有零均值零均值和和相同相同的的方差方差，即，即则则L S估估 计计 量量 LS是是无无 偏偏、有有 效效

47、和和相相 容容的的，并并具具估估计计误误差差的的协协方差为方差为 2(T)-1。对对于于动动态态控控制制系系统统的的辨辨识识，输输入入信信号号u(t)必必须须满满足足持持 续续激激 励励 条条 件件，也也 即即 输输 入入 信信 号号u(t)的的频频 谱谱必必 须须 包包 含含足足 够够 丰丰 富富（Sufficient rich）的的频频率率成成分分，以以保保证证充充分分激激励励受受控控对对象象的的现在学习的是第44页，共74页所所有有振振型型，从从而而使使观观测测数数据据载载有有动动态态系系统统的的主主要要信信息息。L S估估 计计在在满满 足足持持续续激激励励条条件件时时，是是渐渐进进无

48、无偏偏的的，也也 称称 为为估估 计计的的一致性一致性。式式(3 3.3 3.9 9)，也也称称为为CAR模模型型（即即受受控控的的AR模模型型），可可以写成更简洁的形式以写成更简洁的形式 (3.3.10)(3.3.10)式中式中 q 表示表示时间算子时间算子，d为整数，表示系统的为整数，表示系统的滞后量滞后量；A(),A(),B()B()分别为分别为 q1 的降次幂的降次幂多项式。多项式。CAR模型模型满足一致估计（或相容估计）的条件为：满足一致估计（或相容估计）的条件为：（1）e(k)是是白噪声序列白噪声序列；（2）u(k)的的均均 值值和和协协方方差差有有 界界；且且满满足足（m+1）阶

49、阶持持续续激励条件激励条件（或正定条件）：（或正定条件）：现在学习的是第45页，共74页 （3）u(k)和和 e(k)相相互互独独立立。通通常常，u(k)都都采采用用伪伪随随机机二二元序列。元序列。只只要要选选择择恰恰当当的的模模 型型 阶阶 次次或或最最小小二二乘乘多多项项式式阶阶次次(参参 见见taylor.m,M atlab)，最最小小二二乘乘法法总总 是是 可可 以以很很 好好地地拟拟 合合 数数 据据，但但是是，如如果果观观测测数数据据波波动动较较大大，将将严严重重影影响响参参数数估估计计的的准准确确性。对此，可采用性。对此，可采用数据预处理数据预处理和和数字滤波数字滤波的方法加以解

50、决。的方法加以解决。检检验验模模型型准准确确性性的的最最简简单单方方法法是是准准备备另另外外一一组组输输入入-输输出出数数据据对对，称称为为检检验验数数据据集集，在在参参数数估估计计时时不不用用，待待模模型型建建立立后，用这组数据对来后，用这组数据对来验证验证所得所得模型模型的的普适性普适性或或泛化泛化能力。能力。现在学习的是第46页，共74页 上上述述讨讨论论，均均假假设设数数学学模模型型的的阶阶 次次是是已已 知知的的。实实际际上上，对对于于动动态态系系统统，模模型型的的阶阶次次很很少少是是预预知知的的。检检验验模模型型阶阶次次是是否否合合适适的的一一种种简简单单而而有有效效的的方方法法是