第十三章梯度校正参数辩识方法优秀PPT.ppt

《第十三章梯度校正参数辩识方法优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第十三章梯度校正参数辩识方法优秀PPT.ppt（62页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第十三章梯度校正参数辩识方法1第一页，本课件共有62页12.1 梯度校正参数辩识方法梯度校正参数辩识方法2第二页，本课件共有62页引言引言n最小二乘类参数辩识递推算法最小二乘类参数辩识递推算法n新的参数估计值新的参数估计值=老的参数估计值老的参数估计值+增益矩阵增益矩阵 新息新息n梯度校正参数辩识方法（简称梯度校正法）梯度校正参数辩识方法（简称梯度校正法）n递推算法同样具有递推算法同样具有 的结构的结构n基本原理不同于最小二乘类方法基本原理不同于最小二乘类方法n基本做法基本做法 沿着准则函数的负梯度方向，逐步修正模型参数沿着准则函数的负梯度方向，逐步修正模型参数估计值，直至准则函数达到最小值。

2、估计值，直至准则函数达到最小值。3第三页，本课件共有62页主要内容主要内容n确定性问题的梯度校正参数辩识方法确定性问题的梯度校正参数辩识方法n随机性问题的梯度校正参数辩识方法随机性问题的梯度校正参数辩识方法n随机逼近法随机逼近法4第四页，本课件共有62页确定性问题的梯度校正参数辩识方法确定性问题的梯度校正参数辩识方法n设过程的输出设过程的输出n参数参数 的线性组合的线性组合n如果输出如果输出 和输入和输入 是可以是可以准确测量的，则准确测量的，则 式过程称作式过程称作确定性过程确定性过程5第五页，本课件共有62页n确定性过程确定性过程n置置过程过程 6第六页，本课件共有62页n若过程参数的真值

3、记作若过程参数的真值记作n则则n在离散时间点可写成在离散时间点可写成n其中其中7第七页，本课件共有62页n例如例如n用差分方程描述的确定性过程用差分方程描述的确定性过程n可以化成可以化成8第八页，本课件共有62页n现在的问题现在的问题n如何利用输入输出数据如何利用输入输出数据 和和n确定参数确定参数 在在 时刻的估计值时刻的估计值n使准则函数使准则函数n式中式中9第九页，本课件共有62页n解决上述问题的方法解决上述问题的方法n可以是梯度校正法，通俗地说最速下降法可以是梯度校正法，通俗地说最速下降法n沿着沿着 的负梯度方向不断修正的负梯度方向不断修正 值值n直至直至 达到最小值达到最小值10第十

4、页，本课件共有62页n数学表达式数学表达式n -维的对称阵，称作加权阵维的对称阵，称作加权阵n -准则函数准则函数 关于关于 的梯度的梯度11第十一页，本课件共有62页n当准则函数当准则函数 取取 式时式时12第十二页，本课件共有62页n 式可写成式可写成n -确定性问题的确定性问题的梯度校正参数估计递推公式梯度校正参数估计递推公式n其中权矩阵的选择至关重要其中权矩阵的选择至关重要13第十三页，本课件共有62页随机性问题的梯度校正参数辩识方法随机性问题的梯度校正参数辩识方法n随机性问题的提法随机性问题的提法n确定性问题的梯度校正法与其他辩识方法相比确定性问题的梯度校正法与其他辩识方法相比n最大

5、的优点：计算简单最大的优点：计算简单n缺点：如果过程的输入输出含有噪声，这种方法不能用缺点：如果过程的输入输出含有噪声，这种方法不能用n随机性问题的梯度校正法随机性问题的梯度校正法n特点：计算简单，可用于在线实时辩识特点：计算简单，可用于在线实时辩识n缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性14第十四页，本课件共有62页n随机性问题随机性问题15第十五页，本课件共有62页n设过程的输出设过程的输出n模型参数模型参数 的线性组合的线性组合n输入输出数据含有测量噪声输入输出数据含有测量噪声16第十六页，本课件共有62页n其中其中n 和和 为零均值

6、的不相关随机噪声为零均值的不相关随机噪声17第十七页，本课件共有62页n置置n则则18第十八页，本课件共有62页n现在的问题现在的问题n利用输入输出数据利用输入输出数据 和和n确定参数确定参数 在在 时刻的估计值时刻的估计值n使准则函数使准则函数n其中其中19第十九页，本课件共有62页随机逼近法随机逼近法n随机逼近法随机逼近法n梯度校正法的一种类型梯度校正法的一种类型n颇受重视的参数估计方法颇受重视的参数估计方法20第二十页，本课件共有62页随机逼近原理随机逼近原理n考虑如下模型的辩识问题考虑如下模型的辩识问题n -均值为零的噪声均值为零的噪声n模型的参数辩识模型的参数辩识n通过极小化通过极小

7、化 的方差来实现的方差来实现n即求参数即求参数 的估计值使下列准则函数达到极小值的估计值使下列准则函数达到极小值21第二十一页，本课件共有62页n准则函数的一阶负梯度准则函数的一阶负梯度n令其梯度为零令其梯度为零22第二十二页，本课件共有62页n原则上原则上n由由 式可以求得使式可以求得使 的参数估计值的参数估计值n但，因为但，因为 的统计性质不知道的统计性质不知道n因此因此 式实际上还是无法解的式实际上还是无法解的23第二十三页，本课件共有62页n如果如果n 式左边的数学期望用平均值来近似式左边的数学期望用平均值来近似n则有则有n这种近似使问题退化成最小二乘问题这种近似使问题退化成最小二乘问

8、题24第二十四页，本课件共有62页n研究研究 式的随机逼近法解式的随机逼近法解n设设 是标量，是标量，是对应的随机变量是对应的随机变量n 是是 条件下条件下 的概率密度函数的概率密度函数n则随机变量则随机变量 关于关于 的条件数学期望为的条件数学期望为n记作记作n它是它是 的函数，称作的函数，称作回归函数回归函数25第二十五页，本课件共有62页n对于给定的对于给定的n设下列方程，具有唯一的解设下列方程，具有唯一的解n当当 函数的形式及条件概率密度函数函数的形式及条件概率密度函数 都都不知道时不知道时n求下列方程的解释是困难的求下列方程的解释是困难的n可以利用可以利用随机逼近法求解随机逼近法求解

9、26第二十六页，本课件共有62页n随机逼近法随机逼近法n利用变量利用变量 及其对应的随机变量及其对应的随机变量n通过迭代计算通过迭代计算n逐步逼近方程逐步逼近方程 式的解式的解27第二十七页，本课件共有62页n常用的常用的迭代算法迭代算法nRobbins Monro Robbins Monro 算法算法nKiefer Wolfowitz Kiefer Wolfowitz 算法算法28第二十八页，本课件共有62页12.2 极大似然法和预报误差方法极大似然法和预报误差方法29第二十九页，本课件共有62页引言引言n极大似然法极大似然法n一种非常有用的传统估计方法一种非常有用的传统估计方法n由由 Fi

10、sherFisher 发展起来的发展起来的n基本思想可追溯到高斯基本思想可追溯到高斯（1809 1809 年）年）n用于动态过程辩识可以获得良好的估计性质用于动态过程辩识可以获得良好的估计性质30第三十页，本课件共有62页n最小二乘法和梯度校正法最小二乘法和梯度校正法n计算简单计算简单n参数估计具有优良的统计性质参数估计具有优良的统计性质n噪声的先验知识要求也不高噪声的先验知识要求也不高n极大似然法极大似然法n基本思想与最小二乘法和梯度校正法完全不同基本思想与最小二乘法和梯度校正法完全不同31第三十一页，本课件共有62页n极大似然法极大似然法n需要构造一个以数据和未知参数为自变量的似然函数需要

11、构造一个以数据和未知参数为自变量的似然函数n通过极大化似然函数获得模型的参数估计值通过极大化似然函数获得模型的参数估计值32第三十二页，本课件共有62页n意味着意味着n模型输出的概率分布将最大可能地逼近实际过程输出的概模型输出的概率分布将最大可能地逼近实际过程输出的概率分布率分布n通常要求具有能够写出输出量的条件概率密度函数通常要求具有能够写出输出量的条件概率密度函数的先验知识的先验知识n独立观测的条件下，必须知道输出量的概率分布独立观测的条件下，必须知道输出量的概率分布n在序贯观测的条件下，需要确定基于在序贯观测的条件下，需要确定基于 时刻以前的数据时刻以前的数据在在 时刻输出量的条件概率分

12、布时刻输出量的条件概率分布33第三十三页，本课件共有62页n预报误差方法预报误差方法n需要事先确定一个预报误差准则函数需要事先确定一个预报误差准则函数n利用预报误差的信息来确定模型的参数利用预报误差的信息来确定模型的参数n某种意义上某种意义上n与极大似然法等价的与极大似然法等价的n或极大似然法的一种推广或极大似然法的一种推广34第三十四页，本课件共有62页n极大似然法和预报误差方法极大似然法和预报误差方法n优点：参数估计量具有良好的渐近性质优点：参数估计量具有良好的渐近性质n缺点：计算量比较大缺点：计算量比较大35第三十五页，本课件共有62页极大似然原理极大似然原理n设设 是一个随机变量是一个

13、随机变量n在参数在参数 条件下条件下 的概率密度函数为的概率密度函数为n 的的 个观测值构成一个随机序列个观测值构成一个随机序列n 个观测值记作个观测值记作n则则 的联合概率密度为的联合概率密度为n 的极大似然估计就是使的极大似然估计就是使 的参的参数估计值数估计值36第三十六页，本课件共有62页n即有即有n或或37第三十七页，本课件共有62页n对一组确定的数据对一组确定的数据n 只是参数只是参数 的函数的函数已不再是概率密度函数已不再是概率密度函数n这时的这时的 称作称作 的的似然函数似然函数n以示区别有时记作以示区别有时记作n概率密度函数和似然函数有着不同的物理意义概率密度函数和似然函数有

14、着不同的物理意义n但数学表达式是一致的但数学表达式是一致的38第三十八页，本课件共有62页n极大似然原理的数学表现极大似然原理的数学表现n或或n -对数对数似然函数似然函数n -极大似然参数估计值极大似然参数估计值n使得使得似然函数或似然函数或对数对数似然函数达到最大值似然函数达到最大值39第三十九页，本课件共有62页n物理意义（极大似然原理的数学表现）物理意义（极大似然原理的数学表现）n对一组确定的随机序列对一组确定的随机序列n设法找到参数估计值设法找到参数估计值n使得随机变量使得随机变量 在在 条件下的概率密度函数条件下的概率密度函数最大可能地逼近随机变量最大可能地逼近随机变量 在在 （真

15、值）条件（真值）条件下的概率密度函数下的概率密度函数n上式反映上式反映极大似然原理的本质极大似然原理的本质，但数学上不好实现，但数学上不好实现40第四十页，本课件共有62页预报误差参数辩识方法预报误差参数辩识方法n极大似然法极大似然法n要求数据的概率分布是已知的要求数据的概率分布是已知的n通常都假设它们是服从高斯分布的通常都假设它们是服从高斯分布的n实际问题不一定满足这一假设实际问题不一定满足这一假设n如果数据的概率分布不知道如果数据的概率分布不知道n使用极大似然法存在着一定的困难使用极大似然法存在着一定的困难41第四十一页，本课件共有62页n预报误差法预报误差法n不要求数据概率分布的先验知识

16、不要求数据概率分布的先验知识n解决更加一般问题的一种辩识方法解决更加一般问题的一种辩识方法n极大似然法的一种推广极大似然法的一种推广n当数据的概率分布服从正态分布时当数据的概率分布服从正态分布时n等价与极大似然法等价与极大似然法42第四十二页，本课件共有62页预报误差准则预报误差准则n考虑更加一般的模型考虑更加一般的模型n -维的输出向量维的输出向量n -维的输入向量维的输入向量n -模型的参数向量模型的参数向量n -噪声项，其均值为零，协方差为噪声项，其均值为零，协方差为n -输出量的初始状态，计算输出量的初始状态，计算 的必要信息的必要信息43第四十三页，本课件共有62页n置置n则模型则模

17、型 式写成式写成n 时刻的输出可以用时刻的输出可以用 时刻以前的数据来刻划时刻以前的数据来刻划44第四十四页，本课件共有62页n在获得数据在获得数据 和和 的条件下的条件下n对输出对输出 的的“最好最好”预报可取它的条件数学期望值预报可取它的条件数学期望值n使得使得n这种这种“最好最好”的输出预报应是的输出预报应是“最好最好”模型的输出模型的输出n可通过极小化预报误差准则来获得可通过极小化预报误差准则来获得45第四十五页，本课件共有62页n常用的误差预报准则常用的误差预报准则n加权阵加权阵 -预先选定的矩阵预先选定的矩阵n或或n其中其中 46第四十六页，本课件共有62页n当当 时时n 将收敛于

18、将收敛于 的协方差阵的协方差阵n通过极小化通过极小化 或或 获得的参数估计值称获得的参数估计值称作作预报误差估计预报误差估计n它用不着数据概率分布知识它用不着数据概率分布知识47第四十七页，本课件共有62页12.3 其他两种辩识方法其他两种辩识方法48第四十八页，本课件共有62页Bayes Bayes 方法方法n基本原理基本原理n所要估计的参数看作随机变量所要估计的参数看作随机变量n设法通过观测与该参数有关联的其他变量设法通过观测与该参数有关联的其他变量n以此来推断这个参数以此来推断这个参数49第四十九页，本课件共有62页n例如例如 Kalman Kalman 滤波器是典型的滤波器是典型的 B

19、ayes Bayes 方法方法n不可观测的待估计的状态变量不可观测的待估计的状态变量 看作随机变量看作随机变量n状态变量与可观测的输入输出变量是密切相关的状态变量与可观测的输入输出变量是密切相关的n正是基于这些可观测的输入输出变量正是基于这些可观测的输入输出变量n推断不可观测的状态变量推断不可观测的状态变量50第五十页，本课件共有62页n设设 是描述某一动态过程的模型是描述某一动态过程的模型n 是模型是模型 的参数，反映在动态过程的输入输出的参数，反映在动态过程的输入输出观测值中观测值中n如果过程的输出变量如果过程的输出变量 在参数在参数 及其历史记录及其历史记录 条件下的概率密度函数是已知的

20、条件下的概率密度函数是已知的n记作记作n -时刻以前的输入输出集合时刻以前的输入输出集合51第五十一页，本课件共有62页n根据根据 Bayes Bayes 观点，参数观点，参数 的估计问题表述成的估计问题表述成n参数参数 看作具有某种验前概率密度看作具有某种验前概率密度 的的随机变量随机变量n设法从输入输出数据中提取关于参数设法从输入输出数据中提取关于参数 的信息的信息n后者可以归结为参数后者可以归结为参数 的验后概率密度函数的验后概率密度函数 的计的计算问题算问题52第五十二页，本课件共有62页n其中其中n -时刻以前的输入输出数据集合时刻以前的输入输出数据集合n 与与 之间的关系之间的关系

21、n 和和 -过程过程 时刻的输入输出数据时刻的输入输出数据53第五十三页，本课件共有62页n如果如果 是确定的变量，利用是确定的变量，利用 Bayes Bayes 公式公式n参数参数 的验后概率密度函数可表示成的验后概率密度函数可表示成n参数参数 的验前概率密度函数的验前概率密度函数 及数据的条及数据的条件概率密度函数件概率密度函数 是已知的是已知的54第五十四页，本课件共有62页n原则上原则上n根据根据 式可以求得参数式可以求得参数 的验后概率密度函数的验后概率密度函数n实际上实际上n这是困难的这是困难的n只有在参数只有在参数 与数据之间的关系是线性的，噪声又是与数据之间的关系是线性的，噪声

22、又是高斯分布的情况下高斯分布的情况下n才有可能得到才有可能得到 式的解析解式的解析解55第五十五页，本课件共有62页n求得参数求得参数 的验后概率密度函数后的验后概率密度函数后n可进一步求得参数可进一步求得参数 的估计值的估计值n常用的方法常用的方法n极大验后参数估计方法极大验后参数估计方法n条件期望参数估计方法条件期望参数估计方法n极大验后参数估计方法和条件期望参数估计方法极大验后参数估计方法和条件期望参数估计方法统称为统称为 Bayes Bayes 方法方法56第五十六页，本课件共有62页模型参考自适应辩识方法模型参考自适应辩识方法n“模型参考模型参考”概念概念n广泛用于自适应控制中广泛用

23、于自适应控制中n如果如果n控制系统希望达到的控制性能指标用一个称作参考模控制系统希望达到的控制性能指标用一个称作参考模型的理想化控制系统的性能来描述型的理想化控制系统的性能来描述n以以 表示每一瞬间时实际过程与参考模型之间表示每一瞬间时实际过程与参考模型之间的特性的差异的特性的差异n根据差异根据差异 ，不断修改控制器参数，不断修改控制器参数n可使实系统的控制性能指标尽可能的接近参考模型可使实系统的控制性能指标尽可能的接近参考模型57第五十七页，本课件共有62页n模型参考自适应控制原理模型参考自适应控制原理58第五十八页，本课件共有62页n同样同样n“模型参考模型参考”概念可用于实时在线辩识概念

24、可用于实时在线辩识n模型参考自适应控制相反模型参考自适应控制相反n被辩识的对象扮演参考模型的角色被辩识的对象扮演参考模型的角色59第五十九页，本课件共有62页n模型参考自适应辩识原理模型参考自适应辩识原理60第六十页，本课件共有62页n当可调模型的结构已知时当可调模型的结构已知时n根据可调模型与参考模型（实际过程）之间的输出偏根据可调模型与参考模型（实际过程）之间的输出偏差差 进行适当的运算进行适当的运算n通常采用积分通常采用积分+比例运算比例运算n根据运算结果不断修改可调模型的参数根据运算结果不断修改可调模型的参数n使在一组已知的输入下使在一组已知的输入下n可调模型的输出尽可能地接近参考模型的输出可调模型的输出尽可能地接近参考模型的输出61第六十一页，本课件共有62页n当可调模型与参考模型之间的差别无法进一步改当可调模型与参考模型之间的差别无法进一步改善时善时n可调模型的参数就是实际过程参数的估计值可调模型的参数就是实际过程参数的估计值n模型参考自适应辩识方法，按基本结构可分模型参考自适应辩识方法，按基本结构可分n并联并联n串并联串并联n串联串联62第六十二页，本课件共有62页