第十三章梯度校正参数辩识方法精选PPT.ppt

《第十三章梯度校正参数辩识方法精选PPT.ppt》由会员分享，可在线阅读，更多相关《第十三章梯度校正参数辩识方法精选PPT.ppt（62页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第十三章梯度校正参数辩识方法1第1页，此课件共62页哦12.1 梯度校正参数辩识方法梯度校正参数辩识方法2第2页，此课件共62页哦引言引言n最小二乘类参数辩识递推算法最小二乘类参数辩识递推算法n新的参数估计值新的参数估计值=老的参数估计值老的参数估计值+增益矩阵增益矩阵 新息新息n梯度校正参数辩识方法（简称梯度校正法）梯度校正参数辩识方法（简称梯度校正法）n递推算法同样具有递推算法同样具有 的结构的结构n基本原理不同于最小二乘类方法基本原理不同于最小二乘类方法n基本做法基本做法 沿着准则函数的负梯度方向，逐步修正模型参数估沿着准则函数的负梯度方向，逐步修正模型参数估计值，直至准则函数达到最小值

2、。计值，直至准则函数达到最小值。3第3页，此课件共62页哦主要内容主要内容n确定性问题的梯度校正参数辩识方法确定性问题的梯度校正参数辩识方法n随机性问题的梯度校正参数辩识方法随机性问题的梯度校正参数辩识方法n随机逼近法随机逼近法4第4页，此课件共62页哦确定性问题的梯度校正参数辩识方法确定性问题的梯度校正参数辩识方法n设过程的输出设过程的输出n参数参数 的线性组合的线性组合n如果输出如果输出 和输入和输入 是可以是可以准确测量的，则准确测量的，则 式过程称作式过程称作确定性过程确定性过程5第5页，此课件共62页哦n确定性过程确定性过程n置置过程过程 6第6页，此课件共62页哦n若过程参数的真值

3、记作若过程参数的真值记作n则则n在离散时间点可写成在离散时间点可写成n其中其中7第7页，此课件共62页哦n例如例如n用差分方程描述的确定性过程用差分方程描述的确定性过程n可以化成可以化成8第8页，此课件共62页哦n现在的问题现在的问题n如何利用输入输出数据如何利用输入输出数据 和和n确定参数确定参数 在在 时刻的估计值时刻的估计值n使准则函数使准则函数n式中式中9第9页，此课件共62页哦n解决上述问题的方法解决上述问题的方法n可以是梯度校正法，通俗地说最速下降法可以是梯度校正法，通俗地说最速下降法n沿着沿着 的负梯度方向不断修正的负梯度方向不断修正 值值n直至直至 达到最小值达到最小值10第1

4、0页，此课件共62页哦n数学表达式数学表达式n -维的对称阵，称作加权阵维的对称阵，称作加权阵n -准则函数准则函数 关于关于 的梯度的梯度11第11页，此课件共62页哦n当准则函数当准则函数 取取 式时式时12第12页，此课件共62页哦n 式可写成式可写成n -确定性问题的确定性问题的梯度校正参数估计递推公式梯度校正参数估计递推公式n其中权矩阵的选择至关重要其中权矩阵的选择至关重要13第13页，此课件共62页哦随机性问题的梯度校正参数辩识方法随机性问题的梯度校正参数辩识方法n随机性问题的提法随机性问题的提法n确定性问题的梯度校正法与其他辩识方法相比确定性问题的梯度校正法与其他辩识方法相比n最

5、大的优点：计算简单最大的优点：计算简单n缺点：如果过程的输入输出含有噪声，这种方法不能用缺点：如果过程的输入输出含有噪声，这种方法不能用n随机性问题的梯度校正法随机性问题的梯度校正法n特点：计算简单，可用于在线实时辩识特点：计算简单，可用于在线实时辩识n缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性14第14页，此课件共62页哦n随机性问题随机性问题15第15页，此课件共62页哦n设过程的输出设过程的输出n模型参数模型参数 的线性组合的线性组合n输入输出数据含有测量噪声输入输出数据含有测量噪声16第16页，此课件共62页哦n其中其中n 和和 为零均

6、值的不相关随机噪声为零均值的不相关随机噪声17第17页，此课件共62页哦n置置n则则18第18页，此课件共62页哦n现在的问题现在的问题n利用输入输出数据利用输入输出数据 和和n确定参数确定参数 在在 时刻的估计值时刻的估计值n使准则函数使准则函数n其中其中19第19页，此课件共62页哦随机逼近法随机逼近法n随机逼近法随机逼近法n梯度校正法的一种类型梯度校正法的一种类型n颇受重视的参数估计方法颇受重视的参数估计方法20第20页，此课件共62页哦随机逼近原理随机逼近原理n考虑如下模型的辩识问题考虑如下模型的辩识问题n -均值为零的噪声均值为零的噪声n模型的参数辩识模型的参数辩识n通过极小化通过极

7、小化 的方差来实现的方差来实现n即求参数即求参数 的估计值使下列准则函数达到极小值的估计值使下列准则函数达到极小值21第21页，此课件共62页哦n准则函数的一阶负梯度准则函数的一阶负梯度n令其梯度为零令其梯度为零22第22页，此课件共62页哦n原则上原则上n由由 式可以求得使式可以求得使 的参数估计值的参数估计值n但，因为但，因为 的统计性质不知道的统计性质不知道n因此因此 式实际上还是无法解的式实际上还是无法解的23第23页，此课件共62页哦n如果如果n 式左边的数学期望用平均值来近似式左边的数学期望用平均值来近似n则有则有n这种近似使问题退化成最小二乘问题这种近似使问题退化成最小二乘问题2

8、4第24页，此课件共62页哦n研究研究 式的随机逼近法解式的随机逼近法解n设设 是标量，是标量，是对应的随机变量是对应的随机变量n 是是 条件下条件下 的概率密度函数的概率密度函数n则随机变量则随机变量 关于关于 的条件数学期望为的条件数学期望为n记作记作n它是它是 的函数，称作的函数，称作回归函数回归函数25第25页，此课件共62页哦n对于给定的对于给定的n设下列方程，具有唯一的解设下列方程，具有唯一的解n当当 函数的形式及条件概率密度函数函数的形式及条件概率密度函数 都不都不知道时知道时n求下列方程的解释是困难的求下列方程的解释是困难的n可以利用可以利用随机逼近法求解随机逼近法求解26第2

9、6页，此课件共62页哦n随机逼近法随机逼近法n利用变量利用变量 及其对应的随机变量及其对应的随机变量n通过迭代计算通过迭代计算n逐步逼近方程逐步逼近方程 式的解式的解27第27页，此课件共62页哦n常用的常用的迭代算法迭代算法nRobbins Monro Robbins Monro 算法算法nKiefer Wolfowitz Kiefer Wolfowitz 算法算法28第28页，此课件共62页哦12.2 极大似然法和预报误差方法极大似然法和预报误差方法29第29页，此课件共62页哦引言引言n极大似然法极大似然法n一种非常有用的传统估计方法一种非常有用的传统估计方法n由由 FisherFish

10、er 发展起来的发展起来的n基本思想可追溯到高斯基本思想可追溯到高斯（1809 1809 年）年）n用于动态过程辩识可以获得良好的估计性质用于动态过程辩识可以获得良好的估计性质30第30页，此课件共62页哦n最小二乘法和梯度校正法最小二乘法和梯度校正法n计算简单计算简单n参数估计具有优良的统计性质参数估计具有优良的统计性质n噪声的先验知识要求也不高噪声的先验知识要求也不高n极大似然法极大似然法n基本思想与最小二乘法和梯度校正法完全不同基本思想与最小二乘法和梯度校正法完全不同31第31页，此课件共62页哦n极大似然法极大似然法n需要构造一个以数据和未知参数为自变量的似然函数需要构造一个以数据和未

11、知参数为自变量的似然函数n通过极大化似然函数获得模型的参数估计值通过极大化似然函数获得模型的参数估计值32第32页，此课件共62页哦n意味着意味着n模型输出的概率分布将最大可能地逼近实际过程输出的模型输出的概率分布将最大可能地逼近实际过程输出的概率分布概率分布n通常要求具有能够写出输出量的条件概率密度函数的先验通常要求具有能够写出输出量的条件概率密度函数的先验知识知识n独立观测的条件下，必须知道输出量的概率分布独立观测的条件下，必须知道输出量的概率分布n在序贯观测的条件下，需要确定基于在序贯观测的条件下，需要确定基于 时刻以前的数据在时刻以前的数据在 时刻输出量的条件概率分布时刻输出量的条件概

12、率分布33第33页，此课件共62页哦n预报误差方法预报误差方法n需要事先确定一个预报误差准则函数需要事先确定一个预报误差准则函数n利用预报误差的信息来确定模型的参数利用预报误差的信息来确定模型的参数n某种意义上某种意义上n与极大似然法等价的与极大似然法等价的n或极大似然法的一种推广或极大似然法的一种推广34第34页，此课件共62页哦n极大似然法和预报误差方法极大似然法和预报误差方法n优点：参数估计量具有良好的渐近性质优点：参数估计量具有良好的渐近性质n缺点：计算量比较大缺点：计算量比较大35第35页，此课件共62页哦极大似然原理极大似然原理n设设 是一个随机变量是一个随机变量n在参数在参数 条

13、件下条件下 的概率密度函数为的概率密度函数为n 的的 个观测值构成一个随机序列个观测值构成一个随机序列n 个观测值记作个观测值记作n则则 的联合概率密度为的联合概率密度为n 的极大似然估计就是使的极大似然估计就是使 的参的参数估计值数估计值36第36页，此课件共62页哦n即有即有n或或37第37页，此课件共62页哦n对一组确定的数据对一组确定的数据n 只是参数只是参数 的函数的函数已不再是概率密度函数已不再是概率密度函数n这时的这时的 称作称作 的的似然函数似然函数n以示区别有时记作以示区别有时记作n概率密度函数和似然函数有着不同的物理意义概率密度函数和似然函数有着不同的物理意义n但数学表达式

14、是一致的但数学表达式是一致的38第38页，此课件共62页哦n极大似然原理的数学表现极大似然原理的数学表现n或或n -对数对数似然函数似然函数n -极大似然参数估计值极大似然参数估计值n使得使得似然函数或似然函数或对数对数似然函数达到最大值似然函数达到最大值39第39页，此课件共62页哦n物理意义（极大似然原理的数学表现）物理意义（极大似然原理的数学表现）n对一组确定的随机序列对一组确定的随机序列n设法找到参数估计值设法找到参数估计值n使得随机变量使得随机变量 在在 条件下的概率密度函数最大可能条件下的概率密度函数最大可能地逼近随机变量地逼近随机变量 在在 （真值）条件下的概率密度函数（真值）条

15、件下的概率密度函数n上式反映上式反映极大似然原理的本质极大似然原理的本质，但数学上不好实现，但数学上不好实现40第40页，此课件共62页哦预报误差参数辩识方法预报误差参数辩识方法n极大似然法极大似然法n要求数据的概率分布是已知的要求数据的概率分布是已知的n通常都假设它们是服从高斯分布的通常都假设它们是服从高斯分布的n实际问题不一定满足这一假设实际问题不一定满足这一假设n如果数据的概率分布不知道如果数据的概率分布不知道n使用极大似然法存在着一定的困难使用极大似然法存在着一定的困难41第41页，此课件共62页哦n预报误差法预报误差法n不要求数据概率分布的先验知识不要求数据概率分布的先验知识n解决更

16、加一般问题的一种辩识方法解决更加一般问题的一种辩识方法n极大似然法的一种推广极大似然法的一种推广n当数据的概率分布服从正态分布时当数据的概率分布服从正态分布时n等价与极大似然法等价与极大似然法42第42页，此课件共62页哦预报误差准则预报误差准则n考虑更加一般的模型考虑更加一般的模型n -维的输出向量维的输出向量n -维的输入向量维的输入向量n -模型的参数向量模型的参数向量n -噪声项，其均值为零，协方差为噪声项，其均值为零，协方差为n -输出量的初始状态，计算输出量的初始状态，计算 的必要信息的必要信息43第43页，此课件共62页哦n置置n则模型则模型 式写成式写成n 时刻的输出可以用时刻

17、的输出可以用 时刻以前的数据来刻划时刻以前的数据来刻划44第44页，此课件共62页哦n在获得数据在获得数据 和和 的条件下的条件下n对输出对输出 的的“最好最好”预报可取它的条件数学期望值预报可取它的条件数学期望值n使得使得n这种这种“最好最好”的输出预报应是的输出预报应是“最好最好”模型的输出模型的输出n可通过极小化预报误差准则来获得可通过极小化预报误差准则来获得45第45页，此课件共62页哦n常用的误差预报准则常用的误差预报准则n加权阵加权阵 -预先选定的矩阵预先选定的矩阵n或或n其中其中 46第46页，此课件共62页哦n当当 时时n 将收敛于将收敛于 的协方差阵的协方差阵n通过极小化通过

18、极小化 或或 获得的参数估计值称作获得的参数估计值称作预报误差估计预报误差估计n它用不着数据概率分布知识它用不着数据概率分布知识47第47页，此课件共62页哦12.3 其他两种辩识方法其他两种辩识方法48第48页，此课件共62页哦Bayes Bayes 方法方法n基本原理基本原理n所要估计的参数看作随机变量所要估计的参数看作随机变量n设法通过观测与该参数有关联的其他变量设法通过观测与该参数有关联的其他变量n以此来推断这个参数以此来推断这个参数49第49页，此课件共62页哦n例如例如 Kalman Kalman 滤波器是典型的滤波器是典型的 Bayes Bayes 方法方法n不可观测的待估计的状

19、态变量不可观测的待估计的状态变量 看作随机变量看作随机变量n状态变量与可观测的输入输出变量是密切相关的状态变量与可观测的输入输出变量是密切相关的n正是基于这些可观测的输入输出变量正是基于这些可观测的输入输出变量n推断不可观测的状态变量推断不可观测的状态变量50第50页，此课件共62页哦n设设 是描述某一动态过程的模型是描述某一动态过程的模型n 是模型是模型 的参数，反映在动态过程的输入输出观测值中的参数，反映在动态过程的输入输出观测值中n如果过程的输出变量如果过程的输出变量 在参数在参数 及其历史记录及其历史记录 条件下的概率密度函数是已知的条件下的概率密度函数是已知的n记作记作n -时刻以前

20、的输入输出集合时刻以前的输入输出集合51第51页，此课件共62页哦n根据根据 Bayes Bayes 观点，参数观点，参数 的估计问题表述成的估计问题表述成n参数参数 看作具有某种验前概率密度看作具有某种验前概率密度 的随的随机变量机变量n设法从输入输出数据中提取关于参数设法从输入输出数据中提取关于参数 的信息的信息n后者可以归结为参数后者可以归结为参数 的验后概率密度函数的验后概率密度函数 的计算问的计算问题题52第52页，此课件共62页哦n其中其中n -时刻以前的输入输出数据集合时刻以前的输入输出数据集合n 与与 之间的关系之间的关系n 和和 -过程过程 时刻的输入输出数据时刻的输入输出数

21、据53第53页，此课件共62页哦n如果如果 是确定的变量，利用是确定的变量，利用 Bayes Bayes 公式公式n参数参数 的验后概率密度函数可表示成的验后概率密度函数可表示成n参数参数 的验前概率密度函数的验前概率密度函数 及数据的及数据的条件概率密度函数条件概率密度函数 是已知的是已知的54第54页，此课件共62页哦n原则上原则上n根据根据 式可以求得参数式可以求得参数 的验后概率密度函数的验后概率密度函数n实际上实际上n这是困难的这是困难的n只有在参数只有在参数 与数据之间的关系是线性的，噪声又是高斯分与数据之间的关系是线性的，噪声又是高斯分布的情况下布的情况下n才有可能得到才有可能得

22、到 式的解析解式的解析解55第55页，此课件共62页哦n求得参数求得参数 的验后概率密度函数后的验后概率密度函数后n可进一步求得参数可进一步求得参数 的估计值的估计值n常用的方法常用的方法n极大验后参数估计方法极大验后参数估计方法n条件期望参数估计方法条件期望参数估计方法n极大验后参数估计方法和条件期望参数估计方法统称极大验后参数估计方法和条件期望参数估计方法统称为为 Bayes Bayes 方法方法56第56页，此课件共62页哦模型参考自适应辩识方法模型参考自适应辩识方法n“模型参考模型参考”概念概念n广泛用于自适应控制中广泛用于自适应控制中n如果如果n控制系统希望达到的控制性能指标用一个称

23、作参考模型控制系统希望达到的控制性能指标用一个称作参考模型的理想化控制系统的性能来描述的理想化控制系统的性能来描述n以以 表示每一瞬间时实际过程与参考模型之间表示每一瞬间时实际过程与参考模型之间的特性的差异的特性的差异n根据差异根据差异 ，不断修改控制器参数，不断修改控制器参数n可使实系统的控制性能指标尽可能的接近参考模型可使实系统的控制性能指标尽可能的接近参考模型57第57页，此课件共62页哦n模型参考自适应控制原理模型参考自适应控制原理58第58页，此课件共62页哦n同样同样n“模型参考模型参考”概念可用于实时在线辩识概念可用于实时在线辩识n模型参考自适应控制相反模型参考自适应控制相反n被

24、辩识的对象扮演参考模型的角色被辩识的对象扮演参考模型的角色59第59页，此课件共62页哦n模型参考自适应辩识原理模型参考自适应辩识原理60第60页，此课件共62页哦n当可调模型的结构已知时当可调模型的结构已知时n根据可调模型与参考模型（实际过程）之间的输出偏根据可调模型与参考模型（实际过程）之间的输出偏差差 进行适当的运算进行适当的运算n通常采用积分通常采用积分+比例运算比例运算n根据运算结果不断修改可调模型的参数根据运算结果不断修改可调模型的参数n使在一组已知的输入下使在一组已知的输入下n可调模型的输出尽可能地接近参考模型的输出可调模型的输出尽可能地接近参考模型的输出61第61页，此课件共62页哦n当可调模型与参考模型之间的差别无法进一步改善当可调模型与参考模型之间的差别无法进一步改善时时n可调模型的参数就是实际过程参数的估计值可调模型的参数就是实际过程参数的估计值n模型参考自适应辩识方法，按基本结构可分模型参考自适应辩识方法，按基本结构可分n并联并联n串并联串并联n串联串联62第62页，此课件共62页哦