参数估计理论与应用第三章讲稿.ppt

第一页，讲稿共七十四页哦参数估计理论与应用第三章 在在许许多多情情况况下下，观观测测数数据据所所服服从从的的概概率率模模型型已已知知的的，而而模型的未知部分是以模型的未知部分是以未知参数形式出现未知参数形式出现的。的。参参数数估估计计的的基基础础是是优优 化化 理理 论论，即即被被估估计计的的参参数数应应 该该在在 某某种准则下种准则下是是最优最优的，以及任何获得最优的估计。的，以及任何获得最优的估计。非非参参数数估估计计方方法法不不假假定定观观测测数数据据服服从从某某种种特特定定的的概概率率模模型型。例例如如，频频域域上上的的谱谱估估计计与与谱谱线线拟拟合合就就是是典典型型的的非非参参数数估估计方法计方法。观测到的状态观测到的状态状态状态控制控制x(t)y(t)u(t)v(t)w(t)观量噪声观量噪声设备噪声设备噪声设备（模型结构已设备（模型结构已知、参数未知）知、参数未知）测量装置测量装置图图3-1 3-1 系统辨识中的参数估计问题系统辨识中的参数估计问题第二页，讲稿共七十四页哦3.1 3.1 参数估计的评价准则参数估计的评价准则 参参 数数 估估 计计是是 通通 过过样样 本本去去估估 计计 总总 体体的的 某某 些些数数 字字 特特 征征或或统统 计计 量量。任任 何何 一一个统计量都可作为参数的估计量，但其效果的优劣有所差别。个统计量都可作为参数的估计量，但其效果的优劣有所差别。3.1.1 3.1.1 无偏性、有效性与相容性无偏性、有效性与相容性 （1 1）无无 偏偏 性性 设设样样本本的的总总体体分分布布密密度度函函数数为为 p(x;),是是 未未 知知 参参 数数。从从 总总 体体 中中 抽抽 取取 容容 量量 为为 N 的的 样样 本本 x=x1,xN,用用 样样 本本 的的 估估 计计 量量 来来 估估 计计，如如 果果 希希 望望多多 次次 估估 计计 中中，平平 均均的估计值没有偏差的估计值没有偏差，即，即 则称则称 是是的的无偏估计量无偏估计量。第三页，讲稿共七十四页哦 例例3-13-1 样本均值是总体数学期望的无偏估计。样本均值是总体数学期望的无偏估计。设设x1,xN 是是随随机机过过程程 xk 的的N个个独独立立观观测测样样本本，如如果果参数参数是总体的数学期望是总体的数学期望Ex，即用样本的均值，即用样本的均值作为作为的估计量，对该估计量取期望值，有的估计量，对该估计量取期望值，有 一一个个无无偏偏估估计计量量在在多多次次估估计计中中将将不不会会产产生生系系 统统 偏偏 差差，但但并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏的，即的，即第四页，讲稿共七十四页哦那么它仍然有可能是一个好的估计。那么它仍然有可能是一个好的估计。考虑实随机过程考虑实随机过程xk的相关函数的两种估计量：的相关函数的两种估计量：假定数据假定数据xk是独立观测的，容易验证是独立观测的，容易验证 式中，式中，Rx()=E xk+xk 是随机数据是随机数据xk的相关函数。的相关函数。以以 上上 二二 式式 表表 明明，估估 计计 量量 1()是是 无无 偏偏 的的，而而 2()则则 是是有偏的。但是，有偏的。但是，2()是渐进无偏的是渐进无偏的，即，即第五页，讲稿共七十四页哦渐渐 进进 无无 偏偏 估估 计计 量量 2()是是半半 正正 定定的的，而而 无无 偏偏 估估 计计 量量 1()却却不一定是半正定的，故不一定是半正定的，故 2()的使用场合较多。的使用场合较多。（2 2）有有效效性性 如如果果 1 和和 2 是是两两个个根根据据N个个独独立立观观测测样样本本 得得 到到 的的 无无 偏偏 估估 计计 量量，无无 疑疑 地地，对对 的的平平 均均 偏偏 差差 较较 小小是是 选选 择择的标准之一。例如，如果的标准之一。例如，如果则则 1的的 值值 比比 2 的的 值值 更更密密集集地地聚聚集集在在真真 值值的的附附 近近。通通 常常将将 方方差差（或或 协协 方方 差差 阵阵）在在 所所 有有 的的 无无 偏偏 估估 计计 量量 中中 达达 到到 最最 小小 的的 称称 为为有效估计量有效估计量。例例3 3-2 2 设设x1,xN 是是N个个独独立立观观测测样样本本，若若被被估估计计参参数数第六页，讲稿共七十四页哦=Ex，则对任何满足，则对任何满足都是都是的无偏估计量。利用不等式的无偏估计量。利用不等式 可得可得在估计总体的数学期望时，简单的在估计总体的数学期望时，简单的算术平均算术平均比比加权平均加权平均好。好。（3 3）一一 致致 性性 估估计计量量的的精精度度是是与与样样本本的的容容量量 N 有有 关关 系系的的。一一般般说说来来，总总是是认认为为N 越越大大估估计计的的效效果果应应该该越越好好。如如果果记依赖样本容量记依赖样本容量 N 的估计为的估计为 N，当满足，当满足第七页，讲稿共七十四页哦则称则称 N 是是的的一致性估计量一致性估计量，或，或相容估计相容估计。例例3-33-3 设总体设总体 x 具有均匀分布，分布密度为具有均匀分布，分布密度为其中，其中，1 和和2 是未知参数。是未知参数。总体样本总体样本的的均值均值和和二阶矩二阶矩分别为（严格按定义计算）分别为（严格按定义计算）解得解得第八页，讲稿共七十四页哦 按按矩矩的的估估计计方方法法，用用独独立立样样本本的的均均 值值和和独独立立样样本本的的二二 阶阶矩矩，分别作为，分别作为总体总体均值均值和和二阶矩二阶矩的的估计量估计量，就有，就有 下面说明下面说明 1 和和 2 分别是分别是1 和和2 的的相容估计相容估计。设设 y1,yN 是是 具具 有有 同同 分分 布布 的的 独独 立立 观观 测测 样样 本本，根根 据据 大大 数数 定定律，有律，有令令y=x2,就有就有第九页，讲稿共七十四页哦于是于是3.1.2 Fisher3.1.2 Fisher信息和信息和Cramer-RaoCramer-Rao不等式不等式 通常希望获得有效的参数估计量。但是，由于不存在导通常希望获得有效的参数估计量。但是，由于不存在导致最小方差无偏估计量的最佳算法，所以通常采用参数无偏致最小方差无偏估计量的最佳算法，所以通常采用参数无偏估计的估计的Cramer-Rao下限下限(或或CR下界下界),作为评价参数估计性能作为评价参数估计性能的测度。为了简洁叙述这一的评价测度，先定义一个重要的的测度。为了简洁叙述这一的评价测度，先定义一个重要的概念。概念。Fisher 信息信息 Fisher 信息用信息用J（）表示，定义为）表示，定义为（3.1.13.1.1）第十页，讲稿共七十四页哦 当当考考虑虑 N 个个观观测测样样本本 X=x1,xN,此此时时，联联合合条条件件分分布密度函数可表示为布密度函数可表示为 将将 式式（3 3.1 1.1 1）中中 的的p(x|)改改 为为p(X|)就就 可可 给给 出出N个个 样样 本本变量变量X的的Fisher信息的表达式。信息的表达式。定定 理理（C Cr ra am me er r-R Ra ao o不不 等等 式式）设设 观观 测测 样样 本本X=x1,xN,若若 参参 数数 估估 计计 是是 真真 实实 参参 数数 的的无无 偏偏 估估 计计，并并 且且 条条 件件 分分 布布 密密 度度函数的函数的p(X|)对参数对参数 的一、二阶偏导数存在，则有的一、二阶偏导数存在，则有（3.1.23.1.2）参参 数数 的的方方差差所所能能达达到到的的下下限限（称称为为C R下下限限），即即上上式式等号成立等号成立的充要条件是的充要条件是第十一页，讲稿共七十四页哦其中其中,函数函数K()0，并与样本向量并与样本向量 X 无关无关。当当 为有偏估计量时，为有偏估计量时，Cramer-Rao 不等式为不等式为（3.1.33.1.3）式式 中中()为为 估估 计计 偏偏 差差，即即()=E -，并并 假假 定定b()是是 可可微分的。微分的。对对 于于 多多 个个 参参 数数 的的 情情 况况，记记=1，p，则则 用用 矩矩阵阵J()表示表示Fisher信息，其元素信息，其元素Jij()定义为定义为（3.1.43.1.4）第十二页，讲稿共七十四页哦且且Cramer-Rao不等式变为矩阵不等式：不等式变为矩阵不等式：（3.1.53.1.5）上上 式式 表表 示示无无偏偏估估计计量量的的协协方方差差矩矩阵阵cov()与与 逆逆Fisher信信 息息 阵阵之差之差是一是一半正定矩阵半正定矩阵。Fisher信信 息息是是描描述述从从观观测测数数据据中中得得到到的的 的的“信信 息息”测测度度，它它给给出出利利用用观观测测数数据据估估计计参参数数的的方方差差下下界界。但但是是，满满足这一下界的估计量有的时候可能不存在足这一下界的估计量有的时候可能不存在。3.2 3.2 基于统计分布的参数估计方法基于统计分布的参数估计方法 参参数数估估计计量量的的优优劣劣取取决决于于所所采采用用的的评评价价准准则则（或或代代价价函函数数）和和估估计计算算法法。现现在在介介绍绍已已知知总总体体统统计计分分布布的的两两种种最最有有效效的参数估计方法：的参数估计方法：Bayes 估计估计和和最大似然估计最大似然估计。第十三页，讲稿共七十四页哦3.2.1 Bayes 3.2.1 Bayes 估计估计 在参数估计中，估计误差在参数估计中，估计误差-通常不为零。因此，除了通常不为零。因此，除了采用前面介绍的采用前面介绍的无偏无偏、有效有效和和相容估计相容估计作为评价准则外，还作为评价准则外，还可以利用可以利用估计误差估计误差的变化范围的变化范围作为参数估计作为参数估计的的测度测度，这种测，这种测度叫做度叫做代价函数代价函数，用符号，用符号C(,)表示。常用的代价函数有表示。常用的代价函数有绝对型绝对型、二次型二次型和和均匀型均匀型三种。三种。OOO/2/2绝对型绝对型二次型二次型均匀型均匀型第十四页，讲稿共七十四页哦 本节仅介绍最常用的本节仅介绍最常用的二次型二次型代价函数，即代价函数，即 当总体的分布密度函数当总体的分布密度函数p(X|)已知时，利用已知时，利用X=x1,xN 进行参数估计，通常是采用进行参数估计，通常是采用代价函数代价函数的的期望值期望值作作为为评评价价参参数数估估计计量量效效果果的的测测度度，并并称称之之为为风风险险函函数数。使使 风风险险函函数数最最小小的的参参数数估估计计叫叫做做 Bayes 估估 计计；基基于于二二次次型型风风险险函函数数最最小小的的估估计计称称为为最最小小均均方方误误差差（minimum mean square error,MMSE）估计）估计。二次型风险函数定义为。二次型风险函数定义为（3.2.13.2.1）根据条件概率公式，有根据条件概率公式，有第十五页，讲稿共七十四页哦其其 中中，p(|x1,xN)是是 给给 定定N个个观观测测样样本本X=x1,xN 条条 件件下下 的后验分布密度函数。于是，式（的后验分布密度函数。于是，式（3.2.13.2.1）可以写成）可以写成（3.2.23.2.2）为为 使使风风 险险 函函 数数RM M S E 最最 小小，对对 上上 式式 取取 的的 偏偏 导导，并并 令令 其其结果为零，便得到结果为零，便得到由由 于于p(x1,xN)是是非非负负的的，因因此此，RM M S E/=0,等等 价价 于于上式中上式中=0。故有。故有第十六页，讲稿共七十四页哦（3.2.33.2.3）注意，在式（注意，在式（3.2.33.2.3）中，利用了以下事实：）中，利用了以下事实：由此可得出重要的结论：未知参数由此可得出重要的结论：未知参数 的的MMSE估计是给估计是给定样本定样本X条件下条件下的条件均值。的条件均值。例例3 3-4 4 某某一一随随机机参参量量x 服服从从高高斯斯N(mx,Cx)分分布布，用用仪仪器器可测量其线性组合可测量其线性组合y，即，即（1 1）式中，式中，yN 维，维，kNM 维，维，x M维，维，e N 维。维。第十七页，讲稿共七十四页哦其中，测量误差其中，测量误差 e 服从高斯服从高斯N(0,Ce)分布；分布；k 为给定的常数为给定的常数阵。假设阵。假设 ()e 与与 x 独立；独立；()e 与与 x 相关，互协方差函数为相关，互协方差函数为Cxe。试试 分分 别别 求求 出出 两两 种种 情情 况况 下下 的的M M S E估估 计计x(y)和和 估估 计计 误误 差差x (y)的的协方差协方差R x(y)。解解 如如 果果将将 x 看看作作未未知知参参数数，那那么么，根根据据上上面面讨讨论论,x 的的MMS E估估 计计是是给给定定观观测测样样本本y1,yN 时时 x 的的条条件件均均值值。因因此，可利用公式（此，可利用公式（1.4.16）和（）和（1.4.17）pp.29（2 2）（3 3）来求解。来求解。第十八页，讲稿共七十四页哦 对式（对式（1）两边取均值，得到）两边取均值，得到 （4 4）将式（将式（1）和（）和（3）代入有关定义式，得）代入有关定义式，得（5 5）（6 6）（7 7）第十九页，讲稿共七十四页哦（i）当）当 e与与 x 互相独立，互相独立，Cxe=0。将式（。将式（4）（7）代入）代入式（式（2）和（）和（3），得到），得到x(y)的估计及协方差的估计及协方差R x(y)（ii）当）当 e 与与 x 相关，只需注意相关，只需注意Cxe 0即可。即可。这这个个问问题题留留给给读读者者解解决决。请请构构造造一一组组数数据据，在在Matlab 平平台上仿真这两种的估计结果。台上仿真这两种的估计结果。3.2.2 3.2.2 最大似然估计最大似然估计 最最 大大 似似 然然 估估 计计（maximum likelihood estimate,ML估估计计）的的 基基 本本 思思 路路 是是：在在 给给 定定 参参 数数条条 件件 下下，将将 观观 测测 样样 本本 x xK第二十页，讲稿共七十四页哦联联合合条条件件概概率率密密度度函函数数p(x|)视视 为为真真 实实 参参 数数 的的 函函 数数，即即似似然然 函函 数数L(x，)（包包含含未未知知参参数数的的可可能能性性函函数数），然然后后利利用用 容容 量量 为为 N 的的 观观 测测 样样 本本x=x1,xN，求求 出出使使L(x，)达达 到到最最 大大 化化的的参参 数数 作作 为为=1，p的的 估估 计计 值值。在在 数数 学学上，通常将未知参数上，通常将未知参数 的最大似然估计量记为的最大似然估计量记为式式 中中是是 参参 数数 的的 值值 域域。故故M L估估 计计 量量 M L就就 是是p(x|)的的 全全局极大点。局极大点。由由 于于 对对 数数 函函 数数 是是 严严 格格 单单 调调 的的，故故 L(x，)的的 极极 大大 点点 与与ln L(x，)的的极极大大点点是是一一致致的的。通通常常，将将ln L(x，)称称 为为对对数似然函数数似然函数。于是，。于是，ML估计量估计量 ML可由可由（3.2.43.2.4）第二十一页，讲稿共七十四页哦确确定定。如如果果 x1,xN 是是N个个独独立立的的观观测测样样本本，则则对对数数似似然然函函数可写作数可写作（3.2.53.2.5）M L 估估 计计 量量 M L只只要要能能够够求求出出来来，总总是是比比较较好好的的估估计计，它它具具 有有 以以 下下 性性 质质：最最 大大 似似 然然 估估 计计 是是 有有 效效 和和 一一 致致 估估 计计；对对 于于 大大 的的N，M L 估估 计计 量量 ML服服 从从 高高 斯斯 分分 布布，并并 且且 是是 无无 偏偏 的的，方方 差差 可可 达达CR下界。下界。例例3 3-5 5 设设 样样 本本x=x1,xN 服服从从高高斯斯分分布布N（m，），则其对数似然函数为则其对数似然函数为第二十二页，讲稿共七十四页哦分别求分别求 lnL 关于关于 m 和和2 的偏导，并令它们等于零，得到的偏导，并令它们等于零，得到解得解得显然有显然有 可可见见，均均值值的的ML估估 计计 ML 是是无无偏偏的的，而而方方差差的的M L 估估 计计 ML是是有有偏偏的的。但但若若将将 ML N/(N-1)作作为为新新的的估估计计量量，则则该该估计是无偏的。估计是无偏的。第二十三页，讲稿共七十四页哦 计算计算L(x，)的相对于的相对于m 的二阶偏导数，有的二阶偏导数，有 由式（由式（3.1.13.1.1）得）得Fisher 信息：信息：Cramer-Rao不等式为不等式为等号成立的充要条件是等号成立的充要条件是事实上，我们有事实上，我们有第二十四页，讲稿共七十四页哦因因 此此，只只 要要 取取K(m)=N/2，M L估估 计计 M L就就 可可 达达C R下下 界界2/N。这表明。这表明ML估计估计 ML是一有效估计量。是一有效估计量。例例3 3-6 6（二二元元阵阵最最大大似似然然测测向向系系统统）设设二二元元阵阵布布置置在在 x轴轴上上，两两个个基基元元坐坐标标分分别别为为x1 和和x2，如如 图图3-2所所示示。如如果果取取x1=0，则则 x2=d，d为为 两两 传传 感感 器器 的的 位位 置置 间间 隔隔。假假 设设 信信 号号 为为 平平 面面波，入射角为波，入射角为，则传感器，则传感器1相对于传感器相对于传感器2的信号时延的信号时延为为 （3.2.63.2.6）式式中，中，c 为声速。我们的问题是为声速。我们的问题是如何利用二元阵中两个输入过程如何利用二元阵中两个输入过程的时差的时差来测定目标的方位角来测定目标的方位角。xx2=dx1=0图图3-23-2 二元阵测向系统的几何关系二元阵测向系统的几何关系第二十五页，讲稿共七十四页哦 解解 设两传感器的零均值接收过程可分别表示为设两传感器的零均值接收过程可分别表示为其其 中中，si 为为 单单 频频 平平 面面 波波 信信 号号，wi(i=1，2)为为 零零 均均 值值 高高 斯斯 噪噪声，二者互相独立。声，二者互相独立。如如 果果 采采 用用 图图3-3所所示示的的时时延延补补偿偿方方法法，则则单单频频平平面面波波信信号号的的归归一一化化声声程程补补偿偿（或或指指向向）向向量量 v 在在所所考考虑虑的的二二元元阵阵中中可可表示为表示为 下面，我们来推导信号的下面，我们来推导信号的协方差矩阵和噪声的协方差矩协方差矩阵和噪声的协方差矩阵，以便于求出阵，以便于求出观测样本的似观测样本的似v*图图3-3 3-3 声程补偿系统声程补偿系统x2x11exp(-(-jn)第二十六页，讲稿共七十四页哦函数。记输入信号和输入噪声的傅立叶系数为函数。记输入信号和输入噪声的傅立叶系数为设设信信号号和和噪噪声声的的功功率率谱谱分分别别为为S(n)和和N(n),那那 么么，由由 公公式（式（1.4.6）pp.26,n=2n/T）信号和噪声的协方差矩阵可分别表示为信号和噪声的协方差矩阵可分别表示为（3.2.73.2.7）第二十七页，讲稿共七十四页哦于是，观测样本的似然函数可表示为于是，观测样本的似然函数可表示为（3.2.83.2.8）式式 中中，X(1)=X1(1)，X2(1)T，X(T W)=X1(T W)，X2(T W)T 是是 传传 感感 器器 的的 接接 收收 过过 程程x=x1，x2T的的 傅傅 立立 叶叶 系系 数数阵阵；T 是是过过程程的的持持续续时时间间（采采样样数数据据的的长长度度），W 是是 接接 收收 过过程的带宽。程的带宽。容容易易验验证证，行行列列式式|Cw+Cs|与与 时时 延延无无关关。于于是是，M L估估计计就就是是选选择择，使使ln p(X|)最最 大大,也也 即即 使使 式式（3 3.2 2.8 8）的的 指指数函数数函数（3.2.93.2.9）第二十八页，讲稿共七十四页哦最最 大大。下下 面面，我我 们们 从从 式式（3 3.2 2.9 9）出出 发发，推推 导导 时时 延延 参参 数数 的的最大似然估计的等效形式。为此，首先引进下列求逆公式最大似然估计的等效形式。为此，首先引进下列求逆公式（3.2.103.2.10）式式 中中，A为为nn非非奇奇异异矩矩阵阵；g为为n 1列列向向量量。证证明明留留给给请请读者课外练习读者课外练习【利用恒等式利用恒等式 g(1+gHA-1g)=(A+gHg)A-1g）】。利用求逆公式，可知利用求逆公式，可知 第二十九页，讲稿共七十四页哦将将 上上 式式 代代 入入 式式（3.2.9），略略 去去 与与无无 关关 的的 量量T/N(n)。因因此，选择此，选择使式（使式（3.2.9）最大，等价于使下式）最大，等价于使下式（3.2.113.2.11）最大。现引入记号最大。现引入记号在在 此此 将将 X(n，)视视 为为 某某 时时 间间 函函 数数 x(t,)在在 时时 间间（t-T，t）内内 的的 傅傅 立立 叶叶 系系 数数。将将 上上 述述 替替 换换 量量 代代 入入 式式（3.2.11）后后，再再 应应用用 周期函数的周期函数的 Parseval 公式，就有公式，就有第三十页，讲稿共七十四页哦略略 去去 无无 关关 紧紧 要要 的的 常常 数数 项项1/2，计计 算算 z(x,)的的 结结 构构 如如 图图3-4所所示示。调调 节节 时时 延延，使使 输输 出出 z(x,)达达 到到 最最 大大，相相 应应 的的 时时 延延 就就是是 真实时延的真实时延的ML估计估计 ML。根根 据据M L估估计计的的传传递递性性，由由式式（3.2.6）可可得得真真实实方方位位的的ML估计估计 （3.2.123.2.12）xH0(t)z(x,)x1(t)x2(t)H0()()2图图3-43-4 二元阵最大似然测向系统二元阵最大似然测向系统exp(-j)第三十一页，讲稿共七十四页哦 二二 元元 阵阵最最大大似似然然测测向向系系统统与与 二二 元元 阵阵似似然然比比检检测测系系统统具具 有有完完 全全 相相 同同 的的 结结 构构。这这 是是 因因 为为：在在 H1 情情 况况 下下，p(X|)等等 价价于于 p(X|H1)，后后 者者也也 可可 看看 作作 是是 时时 延延 参参 数数的的 函函 数数；而而 在在 H0 情情 况况 下下，p(X|H0)与与无无 关关。因因 此此，选选 取取 使使 似似 然然 函函 数数 最最大，也就是使似然比大，也就是使似然比p(X|H1)/p(X|H0)最大。由此可见，检测问题与参数估计问题是密切相关。最大。由此可见，检测问题与参数估计问题是密切相关。顺便指出，可用测向测距近似公式顺便指出，可用测向测距近似公式（3.2.133.2.13）构构成成最最大大似似然然联联合合测测向向测测距距系系统统。其其中中，di 表表示示第第i 个个传传感感器器与与“基基准准”传传感感器器位位置置的的间间距距；D 表表示示目目标标与与“基基准准”传传感器位置之间的距离。感器位置之间的距离。第三十二页，讲稿共七十四页哦3.3 3.3 基于模型的参数最小二乘估计基于模型的参数最小二乘估计 最小二乘法（最小二乘法（Least square method，LS）是一种）是一种不需要不需要任任 何何先先 验验 知知 识识的的参参 数数 估估 计计 方方 法法。在在被被测测系系统统的的静静态态（稳稳态态）模模 型型 和和 动动 态态 模模 型型 的的 参参 数数 辨辨 识识 中中，最最 小小 二二 乘乘 法法 是是 最最 常常 用用 的的 参参 数数估计方法，在测控技术领域获得了广泛的应用。估计方法，在测控技术领域获得了广泛的应用。3.3.1 3.3.1 最小二乘估计器及其统计特性最小二乘估计器及其统计特性 在在一一般般的的最最小小二二乘乘问问题题中中，线线性性系系统统的的参参数数化化模模型型可可以以表示为表示为(3.3.1)(3.3.1)其其中中，u=u1,upT 是是模模型型的的输输入入向向量量，f1,fn 是是u 的的已已知知函函数数，也也可可以以是是未未知知输输入入的的观观测测数数据据；1,n 是是 待待 估估 计计第三十三页，讲稿共七十四页哦的参数，又称为的参数，又称为回归系数回归系数；y 是系统的输出。是系统的输出。当当 f1,fn 是是u 的的稳稳态态响响应应状状态态或或 是是实实 测测的的确确定定性性变变量量，且且 y 是是 系系 统统 的的稳稳 态态 输输 出出，则则 称称 式式(3 3.3 3.1 1)是是描描述述线线性性系系统统的的静静 态态 模模 型型；当当 y 是是u 的的动动 态态 响响 应应或或瞬瞬 态态 观观 测测 数数 据据，那那 末末 式式(3.3.1)(3.3.1)就是描述线性系统的就是描述线性系统的动态模型动态模型。为为 了了 估估 计计 未未 知知 参参 数数i,必必 须须 做做 实实 验验 来来 获获 得得 数数 据据 对对u i yi 或或 fk(u i)yi,i=1,2,N,k=1,2,n；N n 以以构构成成训训练练数数据。将数据对代入方程据。将数据对代入方程 (3.3.1)(3.3.1)，可以获得一组线性方程：，可以获得一组线性方程：用矩阵表示方法，将上式写成更简洁的形式，即用矩阵表示方法，将上式写成更简洁的形式，即第三十四页，讲稿共七十四页哦 (3.3.2)(3.3.2)其中其中 为为 了了唯唯 一一地地识识 别别出出 未未 知知参参 数数，通通 常常要要 求求 N n，即即数数 据据对对的的数数 目目多多 于于拟拟 合合 参参 数数的的数数 目目。满满 足足 所所 有有 N 个个方方程程的的精精确确解解是是不不可可能能的的，因因为为观观测测数数据据难难免免受受到到噪噪声声的的污污染染，或或者者描描述述系系统统的的参参数数化化数数学学模模型型不不够够精精确确。故故必必须须考考虑虑随随机机噪噪声声或或建建模误差，在方程模误差，在方程(3.3.2)(3.3.2)中引入随机误差向量中引入随机误差向量e，得到，得到(3.3.3)(3.3.3)第三十五页，讲稿共七十四页哦 参数参数的的最小二乘估计最小二乘估计 LS，就是就是使使目标函数目标函数(3.3.4)(3.3.4)达到达到最小值最小值的的参数估计参数估计。为此，通常都采用求极值的方法。为此，通常都采用求极值的方法。将式将式(3.3.4)(3.3.4)展开后，得到展开后，得到 对对 求导数，有求导数，有 J 极小化的条件是极小化的条件是一般均假设一般均假设T非奇异，于是，非奇异，于是，LS 有唯一的解：有唯一的解：第三十六页，讲稿共七十四页哦 (3.3.5)(3.3.5)式式中中+表示表示的伪逆。的伪逆。上上述述表表示示误误差差向向量量对对整整体体平平方方误误差差有有相相同同权权重重。可可以以进进一步扩展，令每个一步扩展，令每个误差项误差项有有不同不同的的权重权重。设。设W 为所需的为所需的权值权值矩阵矩阵，它是，它是对称对称和和正定正定的，则加权的目标函数为的，则加权的目标函数为(3.3.6)(3.3.6)按上述求极小值的方法，可得加权的最小二乘估计量：按上述求极小值的方法，可得加权的最小二乘估计量：(3.3.7)(3.3.7)显然，当显然，当W 选为单位矩阵时，选为单位矩阵时，WLS=LS。例例3 3-7 7 考考虑虑最最简简单单的的一一维维线线性性模模型型（静静态态的的），即即只只有有一个控制变量一个控制变量 u 的情形，这时模型的形式是的情形，这时模型的形式是第三十七页，讲稿共七十四页哦求未知参数求未知参数0 和和1的的LS估计量估计量。解解 实实际际过过程程输输出出是是模模型型的的输输出出加加上上一一随随机机误误差差项项，即即观测数据对观测数据对ui,yi的结构应为的结构应为式式中中，ei 称称为为模模型型的的残残 差差或或观观测测噪噪声声，一一般般认认为为是是零零均均值值、相相 互互 独独 立立的的随随 机机 序序 列列，并并 具具 有有相相 同同的的方方 差差2。将将 上上 式式 写写 成成矩阵形式：矩阵形式：根据式根据式(3.3.5)(3.3.5)，可得，可得LS估计量：估计量：第三十八页，讲稿共七十四页哦 如如果果进进一一步步假假定定 ei 的的分分布布是是正正态态的的，则则容容易易验验证证，方方差差2 的的ML估计量估计量是是 作作为为练练习习，请请读读者者在在Matlab平平台台上上输输入入以以下下数数据据和和函函数：数：x=1 2 3 4 5;y=1.3 1.8 2.2 2.9 3.5;p,s=polyfit(x,y,1)%生成拟合一次多项式生成拟合一次多项式运行结果是：运行结果是：p=0.55 0.69，s=0.1643。即即y=0.55x+0.69标准差为标准差为0.1643。第三十九页，讲稿共七十四页哦 例例5 5-8 8（可可线线性性化化的的非非线线性性静静态态模模型型 曲曲线线回回归归）假假设有一个非线性模型的输出为设有一个非线性模型的输出为 其中，其中，x1，x2 为确定性输入变量，为确定性输入变量，a，b和和 c为待估计参数。为待估计参数。解解 上上式式两两边边经经简简单单的的代代数数运运算算，再再同同时时取取自自然然对对数数，可转化为一个线性模型：可转化为一个线性模型：这这说说明明变变换换后后的的输输出出 ln(y-1-1)可可以以显显式式地地表表达达为为以以 lnx1和和 x2 为为 输输 入入、以以 lna，b 和和 c 为为 参参 数数的的线线性性模模型型。因因此此，就就可可以以按按变变 换换 后后 的的 线线 性性 模模 型型 用用 最最 小小 二二 乘乘 法法 来来 估估 计计 变变 换换 后后 的的 未未 知知 参参 数数，然后，再根据变换后的估计参数计算出原参数。然后，再根据变换后的估计参数计算出原参数。第四十页，讲稿共七十四页哦 判判 定定输输 入入x-输输 出出y之之间间的的关关 系系能能否否用用一一个个线线性性模模型型来来 描描述的标准，通常用述的标准，通常用互相关系数互相关系数的大小来衡量：的大小来衡量：(3.3.8)(3.3.8)xy 的的绝绝对对值值越越 大大，表表示示变变量量之之间间的的线线性性关关系系越越密密切切，因因而而线性回归的效果就越好。线性回归的效果就越好。例例3 3-9 9 设设 某某 一一 结结 构构 参参 数数 n，m 和和 d 已已 知知 的的 离离 散散 线线 性性 系系统，其差分方程的形式为：统，其差分方程的形式为：(3.3.9)(3.3.9)第四十一页，讲稿共七十四页哦其其 中中，e(k)为为 噪噪 声声，(k)为为 输输 入入-输输 出出 观观 测测 向向 量量，为为 未未 知知 参参数向量，且数向量，且要要 求求 根根 据据 N 次次 数数 据据 对对 y(i),u(i),i=1,2,N；N n+m+1来估计对未知参数来估计对未知参数。解解 将式将式(3.3.9)(3.3.9)改写成矩阵形式，得到改写成矩阵形式，得到将数据写成下标形式，就有将数据写成下标形式，就有这样，未知参数向量这样，未知参数向量 可按式可按式(3.3.5)(3.3.5)进行估计。进行估计。第四十二页，讲稿共七十四页哦 考虑如下单输入考虑如下单输入-单输出系统：单输出系统：用用Matlab中中rarx函数进行系统辨识，程序如下：函数进行系统辨识，程序如下：A=1 -1.5 0.7;%a0=1,a1=-1.5,a2=0.7B=0 0.3 0.2 0.5;%b0=0,b1=0.3,b2=0.2,b3=0.5th0=arx2th(A,B,1,1);%实际系统的实际系统的ARXARX模型模型e=randn(200,1);u=idinput(200，prbs);%高斯噪声和伪随机信号高斯噪声和伪随机信号y=idsim(u e,th0);z=y u;%模型仿真；输入模型仿真；输入-输出信号输出信号zzna=2;nb=3;nk=1%ARX ARX模型的阶次模型的阶次thm,yhat=rarx(z,na nb nk,ng,0.1);%根据根据zz进行进行ARXARX模型参数辨识模型参数辨识plot(y,-);grid%作图，实际系统的输出曲线作图，实际系统的输出曲线hold onplot(yhat,:)%作图，辨识系统的输出曲线作图，辨识系统的输出曲线 参数辨识结果参数辨识结果thm：a1=-1.3798，a2=0.7039，b1=0.3007，b2=0.1170，b3=0.4243。第四十三页，讲稿共七十四页哦 应应当当指指出出，要要求求观观 测测 数数 据据容容 量量N n+m+1是是 为为 了了 保保 证证T非非 奇奇 异异，降降 低低 过过 程程 噪噪 声声 序序 列列e(k)的的 影影 响响，从从 而而 提提 高高 参参数数 估估 计计 的的 精精 度度。不不 论论 e(k)是是 何何 种种 形形 式式 的的 噪噪 声声 序序 列列，式式(3 3.3 3.5 5)总总 是是 成成 立立 的的。换换 言言 之之，噪噪 声声 性性 质质 仅仅 影影 响响L S估估 计计 的的 统统计特性计特性。下下 面面 介介 绍绍L S估估计计的的统统计计特特性性。如如果果观观测测噪噪声声或或建建模模误误差差序列序列e(k)具有具有零均值零均值和和相同相同的的方差方差，即，即则则L S估估 计计 量量 L S是是无无 偏偏、有有 效效和和相相 容容的的，并并具具估估计计误误差差的的协协方差为方差为 2(T)-1。对对 于于 动动 态态 控控 制制 系系 统统 的的 辨辨 识识，输输 入入 信信 号号u(t)必必 须须 满满 足足持持 续续激激 励励 条条 件件，也也 即即 输输 入入 信信 号号u(t)的的频频 谱谱必必 须须 包包 含含足足 够够 丰丰 富富（Sufficient rich）的的频频率率成成分分，以以保保证证充充分分激激励励受受控控对对象象的的第四十四页，讲稿共七十四页哦所所有有振振型型，从从而而使使观观测测数数据据载载有有动动态态系系统统的的主主要要信信息息。L S估估 计计在在满满 足足持持续续激激励励条条件件时时，是是渐渐进进无无偏偏的的，也也称称为为估估 计计的的一致性一致性。式式(3 3.3 3.9 9)，也也称称为为CAR模模型型（即即受受控控的的AR模模型型），可可以写成更简洁的形式以写成更简洁的形式 (3.3.10)(3.3.10)式中式中 q 表示表示时间算子时间算子，d为整数，表示系统的为整数，表示系统的滞后量滞后量；A(),A(),B()B()分别为分别为 q1 的降次幂的降次幂多项式。多项式。CAR模型模型满足一致估计（或相容估计）的条件为：满足一致估计（或相容估计）的条件为：（1）e(k)是是白噪声序列白噪声序列；（2）u(k)的的均均 值值和和协协方方差差有有 界界；且且满满足足（m+1）阶阶持持续续激励条件激励条件（或正定条件）：（或正定条件）：第四十五页，讲稿共七十四页哦 （3）u(k)和和 e(k)相相互互独独立立。通通常常，u(k)都都采采用用伪伪随随机机二二元序列。元序列。只只要要选选择择恰恰当当的的模模型型阶阶次次或或最最小小二二乘乘多多项项式式阶阶次次(参参 见见taylor.m,M atlab)，最最小小二二乘乘法法总总是是可可以以很很 好好地地拟拟合合数数据据，但但是是，如如果果观观测测数数据据波波动动较较大大，将将严严重重影影响响参参数数估估计计的的准准确确性。对此，可采用性。对此，可采用数据预处理数据预处理和和数字滤波数字滤波的方法加以解决。的方法加以解决。检检验验模模型型准准确确性性的的最最简简单单方方法法是是准准备备另另外外一一组组输输入入-输输出出数数 据据 对对，称称 为为检检 验验 数数 据据 集集，在在 参参 数数 估估 计计 时时 不不 用用，待待 模模 型型 建建 立立后，用这组数据对来后，用这组数据对来验证验证所得所得模型模型的的普适性普适性或或泛化泛化能力。能力