最优控制与状态估计.ppt

华东理工大学华东理工大学ECUSTECUST第一部分、最优控制第一部分、最优控制什么是最优控制？以下通过例子来说明什么是最优控制？以下通过例子来说明问题问题 1：电动机的运动方程为电动机的运动方程为（1）其中，其中，为转矩系数；为转矩系数；为转动惯为转动惯量；量；为恒定的负载转矩为恒定的负载转矩;希望：在时间区间希望：在时间区间0，tf内，电动机从静止起动，转过一定角度内，电动机从静止起动，转过一定角度后停止，使电枢电阻后停止，使电枢电阻 上的损耗上的损耗 最小，求最小，求因为因为 是时间的函数，是时间的函数，E 又是又是 的函数，的函数，E 是函数的函数，是函数的函数，称为泛函。称为泛函。（2）华东理工大学华东理工大学ECUSTECUST采用状态方程表示，令采用状态方程表示，令于是于是（3）初始状态初始状态末值状态末值状态控制控制 不受不受限制限制性能指标性能指标（4）本问题的最优控制问题是：在数学模型（本问题的最优控制问题是：在数学模型（3）的约束下，寻求一个）的约束下，寻求一个控制控制 ，使电动机从初始状态转移到末值状态，性能指标，使电动机从初始状态转移到末值状态，性能指标E 为最小。为最小。华东理工大学华东理工大学ECUSTECUST问题问题 2：对于问题对于问题 1 中的直流他励电动机，如果电动机从初始中的直流他励电动机，如果电动机从初始时刻时刻 的静止状态转过一个角度的静止状态转过一个角度 又停下，求控制又停下，求控制 （是受到限制的），使得所需时间最短。是受到限制的），使得所需时间最短。这也是一个最优控制问题：这也是一个最优控制问题：系统方程为系统方程为初始状态初始状态末值状态末值状态（5）性能指标性能指标（6）最优控制问题为：在状态方程的约束下，寻求最优控制最优控制问题为：在状态方程的约束下，寻求最优控制，将，将 转移到转移到 ，使，使J 为极小。为极小。华东理工大学华东理工大学ECUSTECUST最优控制问题的一般性提法为最优控制问题的一般性提法为系统状态方程为系统状态方程为初始状态为初始状态为其中，其中，x 为为n 维状态向量；维状态向量；u 为为r 维控制向量；维控制向量；f 为为n 维向量函数，维向量函数，它是它是 x、u 和和t 的连续函数，并且对的连续函数，并且对x、t 连续可微。连续可微。最优。其中最优。其中 是是 x、u 和和t 的连续函数的连续函数 寻求在寻求在 上的最优控制上的最优控制 或或 ，以将系统状态从，以将系统状态从 转移到转移到 或或 的一个集的一个集合，并使性能指标合，并使性能指标最优控制问题就是求解一类带有约束条件的条件泛函极值问题。最优控制问题就是求解一类带有约束条件的条件泛函极值问题。华东理工大学华东理工大学ECUSTECUST第一章、用变分法求解最优控制问题第一章、用变分法求解最优控制问题一、泛函与变分一、泛函与变分1、泛函的基本定义：、泛函的基本定义：如果对于某个函数集合如果对于某个函数集合 中的每一个函数中的每一个函数 ，变量，变量J 都都有一个值与之对应，则称变量有一个值与之对应，则称变量J 为依赖于函数为依赖于函数 的泛函，记的泛函，记作作可见，泛函为标量，可以理解为可见，泛函为标量，可以理解为“函数的函数函数的函数”例如：例如：（其中，（其中，为在为在 上连续可积上连续可积函数）函数）当当 时，有时，有 ；当；当 时，有时，有 。华东理工大学华东理工大学ECUSTECUST泛函泛函 如果满足以下条件时，称为线性泛函：如果满足以下条件时，称为线性泛函：1），其中，其中c 为任意常数；为任意常数；2）对于一个任意小正数对于一个任意小正数 ，总是可以找到，总是可以找到 ，当，当 时，有时，有 就称泛函就称泛函 在在 处处是连续的。是连续的。2、泛函的变分、泛函的变分所谓泛函所谓泛函 的宗量的宗量 的变分是指两个函数间的差。的变分是指两个函数间的差。定义：设定义：设 是线性赋泛空间是线性赋泛空间 上的连续泛函，其增量可表上的连续泛函，其增量可表示为示为其中，其中，是关于是关于 的线性连续泛函，的线性连续泛函，是是关于关于 的高阶无穷小。则的高阶无穷小。则 称为泛函称为泛函 的变分。的变分。华东理工大学华东理工大学ECUSTECUST3、泛函变分的规则、泛函变分的规则1）2）3）4）泛函的变分等于泛函的变分等于华东理工大学华东理工大学ECUSTECUST4、泛函的极值、泛函的极值设设 是在线性赋泛空间是在线性赋泛空间 上某个子集上某个子集D 中的线性连续中的线性连续泛函，泛函，若在，若在 的某邻域内的某邻域内在在 时，均有时，均有00或或则称则称 在在 处达到极大值或极小值。处达到极大值或极小值。华东理工大学华东理工大学ECUSTECUST为了判别是极大还是极小，要计算二阶变分为了判别是极大还是极小，要计算二阶变分 。但在实。但在实际问题中根据问题的性质容易判别是极大还是极小，故一般际问题中根据问题的性质容易判别是极大还是极小，故一般不计算不计算 。定理定理：设：设 是在线性赋泛空间是在线性赋泛空间 上某个开子集上某个开子集D 中定中定义的可微泛函，且在义的可微泛函，且在 处达到极值处达到极值的必要条件是对于的必要条件是对于 在在 处必有处必有泛函泛函 华东理工大学华东理工大学ECUSTECUST欧拉方程：欧拉方程：定理：设有如下泛函极值问题：定理：设有如下泛函极值问题：其中，其中，及及 在在 上连续可微，上连续可微，和和 给定，给定，已知已知 ，则极值轨，则极值轨线线 满足如下欧拉方程满足如下欧拉方程及横截条件及横截条件注意：满足欧拉方程是必要条件，不是充分条件。注意：满足欧拉方程是必要条件，不是充分条件。华东理工大学华东理工大学ECUSTECUST证明证明：让自变量函数让自变量函数 、在极值曲线在极值曲线 、附附近发生微小变分近发生微小变分 、，即，即 上式中上式中 是高阶项是高阶项。于是泛函于是泛函J J 的增量的增量 可计算如下（以下将可计算如下（以下将*号省去）号省去）华东理工大学华东理工大学ECUSTECUST 根据定义，泛函的变分 是 的线性主部，即对上式第二项作分部积分，按公式对上式第二项作分部积分，按公式可得可得华东理工大学华东理工大学ECUSTECUST J J 取极值的必要条件是取极值的必要条件是 等于零。因等于零。因 是任意的，要是任意的，要使上式中第一项（积分项）为零，必有使上式中第一项（积分项）为零，必有上式称为欧拉上式称为欧拉拉格朗日方程。拉格朗日方程。第二项为零，就有第二项为零，就有华东理工大学华东理工大学ECUSTECUST二、用变分法求解最优控制问题二、用变分法求解最优控制问题1 末值时刻固定、末值状态自由情况下的最优控制末值时刻固定、末值状态自由情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为（6）初始状态初始状态（7）其中，其中，x 为为n 维状态向量；维状态向量；u 为为r 维控制向量；维控制向量；f 为为n 维向量函数。维向量函数。要求在控制空间中寻求一个最优控制向量要求在控制空间中寻求一个最优控制向量 ，使以下性能指，使以下性能指标标（8）沿最优轨线沿最优轨线 取极小值。取极小值。（性能指标如（性能指标如（8 8）式所示的最优控制问题，是变分法中的波尔扎）式所示的最优控制问题，是变分法中的波尔扎问题问题）华东理工大学华东理工大学ECUSTECUST引入拉格朗日乘子引入拉格朗日乘子（9）将性能指标（将性能指标（8）式改写为其等价形式）式改写为其等价形式定义哈密顿函数定义哈密顿函数（10）则则（11）由（6）式可知为零 华东理工大学华东理工大学ECUSTECUST（12）对（对（11）式中的第三项进行分部积分，得）式中的第三项进行分部积分，得当泛函当泛函J 取极值时，其一次变分等于零。取极值时，其一次变分等于零。即即可以变分的量：可以变分的量：不可以变分的量：不可以变分的量：求出求出J 的一次变分并令其为零的一次变分并令其为零华东理工大学华东理工大学ECUSTECUST将上式改写成将上式改写成（13）由于由于 未加限制，可以选择未加限制，可以选择 使上式中使上式中 和和 的系数等于零。于是有的系数等于零。于是有（15）（14）（16）由于由于 是任意的变分，根据变分法中的辅助引理，由（是任意的变分，根据变分法中的辅助引理，由（16）式）式得得（17）（14）式称为伴随方程，）式称为伴随方程，为伴随变量，（为伴随变量，（17）式为控制方程。）式为控制方程。华东理工大学华东理工大学ECUSTECUST几点说明：几点说明：1）实际上，（）实际上，（14）式和（）式和（17）式就是欧拉方程。）式就是欧拉方程。（18）因为因为（19）如果令如果令简记成简记成（20）由欧拉方程得到由欧拉方程得到即即（21）华东理工大学华东理工大学ECUSTECUST可见（可见（21）式和（）式和（18）式相同，（）式相同，（22）式和（）式和（19）式相同。因此，）式相同。因此，（14）式和（）式和（17）就是欧拉方程，而（）就是欧拉方程，而（7）式和（）式和（15）就是横截条）就是横截条件。件。（22）2）是泛函取极值的必要条件是否为极小值还需要二次变分是泛函取极值的必要条件是否为极小值还需要二次变分 来判断，来判断，则泛函则泛函J 取极小值。取极小值。华东理工大学华东理工大学ECUSTECUST3）哈密顿函数沿最优轨线随时间的变化率哈密顿函数沿最优轨线随时间的变化率在最优控制在最优控制 、最优轨线、最优轨线 下，有下，有 和和（10）式的哈密顿函数对 求偏导，结果为 由（14）式可得 因为减号两边是相等标量（行向量与列向量相乘）（23）（24）这两个等于零的式子代入（这两个等于零的式子代入（23）式，于是）式，于是华东理工大学华东理工大学ECUSTECUST 即哈密顿函数即哈密顿函数H 沿最优轨线对时间的全导数等于它对时间的偏沿最优轨线对时间的全导数等于它对时间的偏导数。记为导数。记为 则则（25）对上式积分，得到对上式积分，得到（26）当哈密顿函数不显含当哈密顿函数不显含 t 时，由（时，由（25）式得）式得华东理工大学华东理工大学ECUSTECUST初始条件初始条件例例 1 系统状态方程为系统状态方程为性能指标性能指标试求最优控制试求最优控制 ，使，使J 取极小值。取极小值。解解 哈密顿函数哈密顿函数由伴随方程由伴随方程因为因为华东理工大学华东理工大学ECUSTECUST由控制方程由控制方程即即将将 代入状态方程代入状态方程解为解为当当 时，代入上式，求得时，代入上式，求得 ，所以所以当当 时，时，最优性能指标为最优性能指标为华东理工大学华东理工大学ECUSTECUST2 末值时刻固定，末端状态固定情况下的最优控制末值时刻固定，末端状态固定情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为（27）初始状态初始状态（28）末值状态末值状态（29）性能指标性能指标（30）寻求最优控制寻求最优控制 ，在，在 内，将系统从内，将系统从 转移到转移到 ，同时使性能指标，同时使性能指标J 取极小值。取极小值。（性能指标如（性能指标如（3030）式所示的最优控制问题，是变分法中的拉格朗）式所示的最优控制问题，是变分法中的拉格朗日问题日问题）华东理工大学华东理工大学ECUSTECUST引入哈密顿函数引入哈密顿函数其中其中于是于是因为因为对上式右边第对上式右边第2项进行分部积分，可以得到项进行分部积分，可以得到上式中可以变分的量：上式中可以变分的量：不可以变分的量：不可以变分的量：华东理工大学华东理工大学ECUSTECUST令性能指标令性能指标J 的一次变分等于零，得的一次变分等于零，得（31）选择选择 ，使其，使其满足满足（32）则则（33）在末端状态固定情况下，在末端状态固定情况下，不是任意的。只有在系统能控的情不是任意的。只有在系统能控的情况下，才有控制方程况下，才有控制方程华东理工大学华东理工大学ECUSTECUST例例 2 问题问题 1的系统状态方程为的系统状态方程为末值状态末值状态初始状态初始状态性能指标性能指标设设最优控制问题就是在状态方程的约束下，寻求最优控制问题就是在状态方程的约束下，寻求 ，使，使 转移到转移到 ，并使，并使J 取极小值。取极小值。华东理工大学华东理工大学ECUSTECUST解解 根据能控性判据知，该系统是能控的根据能控性判据知，该系统是能控的1）哈密顿函数为）哈密顿函数为2）由控制方程得到）由控制方程得到即即华东理工大学华东理工大学ECUSTECUST3）由伴随方程）由伴随方程 ，得到，得到（，为积分常为积分常数）数）4）由状态方程得）由状态方程得（，为积分常为积分常数）数）华东理工大学华东理工大学ECUSTECUST根据边界条件，确定积分常数，得根据边界条件，确定积分常数，得代入代入 和和它们的曲线如图所示它们的曲线如图所示（图中（图中 ，实线，实线是理论上的变化，虚是理论上的变化，虚线是实际的轨线。）线是实际的轨线。）华东理工大学华东理工大学ECUSTECUST 3 末值时刻自由情况下的最优控制末值时刻自由情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为初始状态初始状态初始时刻初始时刻 固定，末值时刻固定，末值时刻 是自由的。是自由的。自由，性自由，性能指标能指标（34）寻求最优控制寻求最优控制 以及以及 ，使性能指标，使性能指标J 取极小值。为取极小值。为了求出最优控制，引入哈密顿函数了求出最优控制，引入哈密顿函数其中其中华东理工大学华东理工大学ECUSTECUST于是于是可以变分的量可以变分的量不能变分的量不能变分的量上式中上式中H 为为 的简化表示的简化表示对上式中对上式中 进行分部积分，进行分部积分，成为成为（35）华东理工大学华东理工大学ECUSTECUST应当注意，末值时刻应当注意，末值时刻 自由时，自由时，不等于不等于 或或上式代入（上式代入（35）式）式华东理工大学华东理工大学ECUSTECUST性能指标取极值时，必有性能指标取极值时，必有（36）选择选择 使其满足使其满足（37）（38）由于由于 、是任意的，是任意的，可得可得（39）华东理工大学华东理工大学ECUSTECUST（40）（41）而而例例 3 系统的状态方程为系统的状态方程为性能指标性能指标求最优控制求最优控制 和末值时刻和末值时刻 ，使性能指标泛函取极，使性能指标泛函取极小值。小值。解解经判断系统是能控的经判断系统是能控的1）构造哈密顿函数构造哈密顿函数华东理工大学华东理工大学ECUSTECUST2）由控制方程）由控制方程 ，得，得或或3）由伴随方程）由伴随方程4）将）将 代入状态方程代入状态方程解为解为其中，其中，、为积分常数，由为积分常数，由 ，确定，得确定，得华东理工大学华东理工大学ECUSTECUST5）由于）由于 自由，自由，得到，得到或或解得解得华东理工大学华东理工大学ECUSTECUST第二章、第二章、用极小值原理求解最优控制问题用极小值原理求解最优控制问题一、一、问题的提出问题的提出 用变分法求解最优控制时，认用变分法求解最优控制时，认为控制向量为控制向量 不受限制。但不受限制。但是是实际的系统，控制信号都是受到实际的系统，控制信号都是受到某种限制的。某种限制的。因此，应用控制方程因此，应用控制方程来确定最优控制，可能出错。来确定最优控制，可能出错。a)图中所示，图中所示，H 最小值出现在左最小值出现在左侧，不满足控制方程。侧，不满足控制方程。b)图中不存在图中不存在 华东理工大学华东理工大学ECUSTECUST二、二、极小值原理极小值原理非线性定常系统的状态方程为非线性定常系统的状态方程为（42）初始时刻初始时刻 ，初始状态，初始状态 ，末值时刻，末值时刻 ，末端状态，末端状态 自由自由（43）性能指标为末值型性能指标性能指标为末值型性能指标（44）要求在状态方程约束下，寻求最优控制要求在状态方程约束下，寻求最优控制 及及 使使系统从系统从转移到转移到 ，并使，并使J 取极小值。取极小值。华东理工大学华东理工大学ECUSTECUST以下就是用极小值原理解前面的问题：以下就是用极小值原理解前面的问题：设设 为容许控制，为容许控制，为对应的状态轨线。为了使它们分为对应的状态轨线。为了使它们分别成为最优控制别成为最优控制 和最优轨线和最优轨线 ，存在一个向量函数，存在一个向量函数 ，使得，使得（45）（46）其中哈密顿函数：其中哈密顿函数：（47）（49）（48）和和 满足边界条件满足边界条件华东理工大学华东理工大学ECUSTECUST则哈密顿函数则哈密顿函数H 相对最优控制取极小值，即相对最优控制取极小值，即（50）或者或者（51）在末值时刻在末值时刻 是自由的情况是自由的情况哈密顿函数沿最优轨线随时间的变化规律：哈密顿函数沿最优轨线随时间的变化规律：在末值时刻在末值时刻 是固定的情况是固定的情况（52）（53）几点说明：几点说明：1）极小值原理给出的只是最优控制应该满足的必要条件。）极小值原理给出的只是最优控制应该满足的必要条件。2）极小值原理的结果与用变分法求解最优问题的结果相比，差别）极小值原理的结果与用变分法求解最优问题的结果相比，差别仅在于极值条件。仅在于极值条件。4）非线性时变系统也有极小值原理。）非线性时变系统也有极小值原理。3）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求性能指标原理。因为求性能指标J的极小值与求的极小值与求J的极大值等价。的极大值等价。华东理工大学华东理工大学ECUSTECUST三、三、二次积分模型的快速控制二次积分模型的快速控制在问题在问题 2 中，若中，若 ，令，令 。就是二次积分模型。就是二次积分模型。其状态方程模型其状态方程模型（54）1（55）系统的初始状态为系统的初始状态为（56）末值状态为末值状态为（57）性能指标为性能指标为（58）华东理工大学华东理工大学ECUSTECUST 要求在状态方程约束下，寻求满足（要求在状态方程约束下，寻求满足（55）式的最优控制）式的最优控制，使系统从，使系统从 转移到转移到 ，同时使，同时使J 取极小值。取极小值。因为在这个最优控制问题中，控制信号因为在这个最优控制问题中，控制信号 受限制，因此用极小受限制，因此用极小值原理来求解。系统是能控的，其解存在且唯一。值原理来求解。系统是能控的，其解存在且唯一。1）哈密顿函数为）哈密顿函数为（59）2）根据极值条件（）根据极值条件（50），来确定最优控制。），来确定最优控制。只能用分析的方法确定只能用分析的方法确定u(t)，使哈密顿函数取，使哈密顿函数取极小值。显然，在极小值。显然，在u的限制条件下，选择的限制条件下，选择u 使使H 取得极小。有取得极小。有（60）或或（61）华东理工大学华东理工大学ECUSTECUST3）伴随方程为）伴随方程为如果如果 的初始值为的初始值为 ，则，则 （62）（63）在在0，内最多变号一次，最优控制函数有以下可能的内最多变号一次，最优控制函数有以下可能的4种情况种情况华东理工大学华东理工大学ECUSTECUST4）由状态方程可知，当）由状态方程可知，当 时，求得时，求得消去消去t 得得或写成或写成为了形象地表示系统的运动形态，引用相平面方法，画出相轨迹如为了形象地表示系统的运动形态，引用相平面方法，画出相轨迹如下图所示。相轨迹为两族抛物线。下图所示。相轨迹为两族抛物线。华东理工大学华东理工大学ECUSTECUST从从 到达到达 的相轨迹只有两条的相轨迹只有两条 、。0000将将 和和 合起来，合起来，曲线曲线r 将相平面分成两个区域将相平面分成两个区域 和和华东理工大学华东理工大学ECUSTECUST当初始状态当初始状态 位于位于 ：为为（+1，1）最优轨线：当初始状态最优轨线：当初始状态 位于位于 ：为为（1，+1）曲线曲线r 常称为转移曲线或开关曲线。常称为转移曲线或开关曲线。开关曲线方程式为开关曲线方程式为也称为开关函数。最优控制为也称为开关函数。最优控制为当当 及及 ，00当当 及及 ，00最优控制系统的结构图，如下图所示最优控制系统的结构图，如下图所示华东理工大学华东理工大学ECUSTECUST5）最优性能指标）最优性能指标初始状态在初始状态在A点：点：说明：通过这个最优控制问题的求解发现，最优控制与问题说明：通过这个最优控制问题的求解发现，最优控制与问题6-1不不同。在问题同。在问题6-1中，中，为时间的三角函数。为时间的三角函数。而在而在这里，这里，为时间方波函数。原因在于性能指标不同，因此为时间方波函数。原因在于性能指标不同，因此 也不同。因此，在说到最优控制问题时，一定要指明性能指标，即也不同。因此，在说到最优控制问题时，一定要指明性能指标，即求解在什么性能指标下的最优。求解在什么性能指标下的最优。华东理工大学华东理工大学ECUSTECUST第三章、第三章、用动态规划法求解最优控制问题用动态规划法求解最优控制问题右图为某小城镇交通路线图。右图为某小城镇交通路线图。起点站为起点站为S，终点站为，终点站为F，站与站之间的里程标在图上，要求选择一条路线站与站之间的里程标在图上，要求选择一条路线走法，使里程最短。这是一个最优控制问题。走法，使里程最短。这是一个最优控制问题。一种办法是将从一种办法是将从S 到到F 所有可能走法都列出来，并且把每所有可能走法都列出来，并且把每种走法的里程标在各条路线上，找出最短的。种走法的里程标在各条路线上，找出最短的。一、一、动态规划法的基本思想动态规划法的基本思想华东理工大学华东理工大学ECUSTECUST华东理工大学华东理工大学ECUSTECUST第二个办法：从最后一段开始，第二个办法：从最后一段开始，向前倒推。当倒推到某一站时，向前倒推。当倒推到某一站时，计算该站到终点站的总里程，计算该站到终点站的总里程，并选择里程最少的走法。并选择里程最少的走法。华东理工大学华东理工大学ECUSTECUST从该例看出，这种解法有两个特点从该例看出，这种解法有两个特点:第一，它把一个复杂的问题第一，它把一个复杂的问题（即：决定一条路线的选择问题）变成许多个简单的问题（即：每（即：决定一条路线的选择问题）变成许多个简单的问题（即：每次只决定向上走（次只决定向上走（p）还是向下走（）还是向下走（q）的问题），因此问题的求解）的问题），因此问题的求解变得简单容易了。变得简单容易了。不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级最优控制过程来说，就是把原来的多级最优控制问题代换成一系列最优控制过程来说，就是把原来的多级最优控制问题代换成一系列单级最优控制问题。单级最优控制问题。华东理工大学华东理工大学ECUSTECUST二、二、最优性原理最优性原理 最优性原理最优性原理在一个多级决策问题中的最优决策具有这样的性在一个多级决策问题中的最优决策具有这样的性质，不管初始级质，不管初始级、初始状态和初始决策是什么，当把其中任何一、初始状态和初始决策是什么，当把其中任何一级和这一级的状态再作为初始级和初始状态时，余下的决策对此必级和这一级的状态再作为初始级和初始状态时，余下的决策对此必定构成一个最优决策。定构成一个最优决策。将最优性原理应用到离散系统中去，系统状态方程为将最优性原理应用到离散系统中去，系统状态方程为初始状态为初始状态为性能指标为性能指标为要求确定要求确定 ，使性能指标最优，即，使性能指标最优，即华东理工大学华东理工大学ECUSTECUST一般认为，第一般认为，第k 级决策级决策 与第与第k 级以及级以及k 以前各级状态以前各级状态 和决策和决策 有关有关（64）以上函数称为策略函数以上函数称为策略函数如果记如果记则则对于任意级对于任意级k，有有（65）应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前的决策没有明确的要求。的决策没有明确的要求。华东理工大学华东理工大学ECUSTECUST三、三、用动态规划法求解离散系统最优控制问题用动态规划法求解离散系统最优控制问题系统状态方程为系统状态方程为（66）（67）（68）要求在状态方程约束下，寻求要求在状态方程约束下，寻求 使使 可以受限制，也可以不受限制。可以受限制，也可以不受限制。华东理工大学华东理工大学ECUSTECUST例例 4 线性定常离散系统的状态方程为线性定常离散系统的状态方程为初始状态为初始状态为 ，性能指标为，性能指标为寻求最优控制序列寻求最优控制序列 ，使，使 （为了简单起见，设（为了简单起见，设 ）解解 运用动态规划法来求解运用动态规划法来求解1）从最后一级开始，即从最后一级开始，即华东理工大学华东理工大学ECUSTECUST2）向前倒推一级，即向前倒推一级，即因为因为 不受限制，故不受限制，故 可以通过下可以通过下式求得式求得华东理工大学华东理工大学ECUSTECUST3）再向前倒推一级，即再向前倒推一级，即注意：注意：1、对一个多级决策过程来说，最优性原理保证了全过程性、对一个多级决策过程来说，最优性原理保证了全过程性能指标最小，并不保证每一级性能指标最小。但是在每考虑一级时，能指标最小，并不保证每一级性能指标最小。但是在每考虑一级时，都不是孤立地只把这一级的性能指标最小的决策作为最优决策，而都不是孤立地只把这一级的性能指标最小的决策作为最优决策，而总是把这一级放到全过程中间去考虑，取全过程的性能指标最优的总是把这一级放到全过程中间去考虑，取全过程的性能指标最优的决策作为最优决策。决策作为最优决策。2、动态规划法给出的是最优控制的充分条件，不是必要条件。这、动态规划法给出的是最优控制的充分条件，不是必要条件。这和极小值原理是不同的。和极小值原理是不同的。由由 ，解得，解得)0(211)2(*xcx+=华东理工大学华东理工大学ECUSTECUST四、四、用动态规划法求解连续系统最优控制问题用动态规划法求解连续系统最优控制问题非线性时变系统状态方程为非线性时变系统状态方程为（69）初始条件初始条件（70）性能指标性能指标（71）要寻求最优控制，在满足状态方程（要寻求最优控制，在满足状态方程（69）的条件下，使）的条件下，使J 取极小值取极小值（72）满足条件满足条件（73）求解时，用到连续系统的最优性原理。求解时，用到连续系统的最优性原理。华东理工大学华东理工大学ECUSTECUST 如果对于初始时刻如果对于初始时刻 和初始状态和初始状态 来说，来说，和和 是系统的最优控制和最优轨线。那么，对于是系统的最优控制和最优轨线。那么，对于 和状态和状态，它们仍是所研究的系统往后的最优控制和最优轨线。，它们仍是所研究的系统往后的最优控制和最优轨线。假定假定 是存在的且是连续的并且有连续的一阶、二是存在的且是连续的并且有连续的一阶、二阶偏导数，由最优性原理可以写出阶偏导数，由最优性原理可以写出（74）华东理工大学华东理工大学ECUSTECUST用类似的处理方法，令用类似的处理方法，令（75）则（则（74）式可以写成）式可以写成（76）由于由于 对于对于 、是连续可微的，故式（是连续可微的，故式（76）右边第二项可以展开成台劳级数，取一阶近似右边第二项可以展开成台劳级数，取一阶近似（77）华东理工大学华东理工大学ECUSTECUST而由中值定理，（而由中值定理，（76）式右边第一项可以写成）式右边第一项可以写成（78）其中，其中，是介于是介于0和和1之间的某一常数。之间的某一常数。将（将（77）、（）、（78）式代入（）式代入（76）式）式（79）（80）对（对（79）式简化，并且令）式简化，并且令（80）式称为哈密顿贝尔曼方程，是用动态规划法求解最优控）式称为哈密顿贝尔曼方程，是用动态规划法求解最优控制问题的基本方程。制问题的基本方程。华东理工大学华东理工大学ECUSTECUST显然有显然有（81）方程（方程（80）的边界条件）的边界条件（82）如果性能指标泛函中无末值项，则如果性能指标泛函中无末值项，则（83）注意：哈密顿贝尔曼方程是求解最优控制问题的充分条件，注意：哈密顿贝尔曼方程是求解最优控制问题的充分条件，不是必要条件。不是必要条件。华东理工大学华东理工大学ECUSTECUST用动态规划法求解连续系统最优控制问题的步骤：用动态规划法求解连续系统最优控制问题的步骤：（84）的解的解1）求满足）求满足在求解方程（在求解方程（84）时，若）时，若 不受限制，则在引入哈密顿时，不受限制，则在引入哈密顿时，有有如果如果 受限，即受限，即 ，在确定，在确定 时，只时，只能用分析方法，使能用分析方法，使2）将）将 代入（代入（80）、（）、（82）和（）和（83）式，解出）式，解出（85）3）将）将 再代入（再代入（84）就得到最优控制）就得到最优控制华东理工大学华东理工大学ECUSTECUST（86）4）将（）将（85）式代入系统状态方程）式代入系统状态方程可以求出最优轨线可以求出最优轨线 。把。把 代入（代入（85）式得到最优）式得到最优控制控制例例 5 系统状态方程为系统状态方程为，性能指标，性能指标 。1寻求寻求 ，在状态方程约束下，在状态方程约束下，J 取极小值。取极小值。解解 1）求）求用分析方法，可知用分析方法，可知华东理工大学华东理工大学ECUSTECUST2）将）将 代入哈密顿贝尔曼方程代入哈密顿贝尔曼方程即即可以分析出可以分析出 是正函数，则哈密顿贝尔曼方程可写成是正函数，则哈密顿贝尔曼方程可写成由于由于 与与 无关，上式为一元微分方程，其通解为无关，上式为一元微分方程，其通解为其中，其中，c 为积分常数，由边界条件确定为为积分常数，由边界条件确定为 c=0 华东理工大学华东理工大学ECUSTECUST3）将）将 代入代入 的表达式中的表达式中本例中本例中4）将）将 代入状态方程，可解得代入状态方程，可解得由此得由此得最优性能指标最优性能指标华东理工大学华东理工大学ECUSTECUST第四章、第四章、线性二次型最优控制问题线性二次型最优控制问题一、一、引言引言 线性系统以二次型为性能指标的最优控制问题，已经在国内、线性系统以二次型为性能指标的最优控制问题，已经在国内、外的工程实践中得到应用。原因如下：外的工程实践中得到应用。原因如下：1）被控对象是线性的，最优控制问题容易求得解析解。）被控对象是线性的，最优控制问题容易求得解析解。2）线性系统最优控制的结果，可以在小信号条件下，应用于非线）线性系统最优控制的结果，可以在小信号条件下，应用于非线性系统。性系统。3）最优控制器是线性的，易于实现。）最优控制器是线性的，易于实现。4）线性、二次型性能指标的最优控制问题除了得到最优解外，还）线性、二次型性能指标的最优控制问题除了得到最优解外，还可以导出经典控制理论的一些特性。可以导出经典控制理论的一些特性。华东理工大学华东理工大学ECUSTECUST二、二、有限时间状态调节器有限时间状态调节器(tf 有限)线性时变系统的状态方程为线性时变系统的状态方程为（87）（88）（89）寻找一个最优控制寻找一个最优控制 ，使使为极小。为极小。其中，其中，x 为为n 维状态向量；维状态向量；u 为为r 维控制向量，且维控制向量，且u 不受限制。不受限制。其中，其中，F为为 对称半正定常数阵；对称半正定常数阵；为为 对称对称半正定时变阵。半正定时变阵。为为 对称正定时变阵。对称正定时变阵。华东理工大学华东理工大学ECUSTECUST求解这个最优控制问题，可以用极小值原理，也可以用动态规划法。求解这个最优控制问题，可以用极小值原理，也可以用动态规划法。这里用极小值原理来求解。这里用极小值原理来求解。1）哈密顿函数为）哈密顿函数为（90）2）伴随方程为）伴随方程为（91）（92）3）控制方程为）控制方程为（93）故故J 取极小值取极小值华东理工大学华东理工大学ECUSTECUST4）将）将 代入状态方程得代入状态方程得（94）初始状态为初始状态为（95）设设（96）其中，其中，为待定的为待定的 时变阵时变阵 （97）（96）式对）式对t 求导，并且将（求导，并且将（94）式代入）式代入华东理工大学华东理工大学ECUSTECUST（91）式可改写成）式可改写成（98）比较（比较（97）和（）和（98），可以得到），可以得到（99）（100）（99）式称为）式称为Riccati微分方程。其边界条件为微分方程。其边界条件为得到得到（101）华东理工大学华东理工大学ECUSTECUST状态反馈的闭环方程为状态反馈的闭环方程为（102）其中其中（103）两点说明：两点说明：1）由于矩阵黎卡提微分方程的解为对称）由于矩阵黎卡提微分方程的解为对称因此有因此有 个独立的非线性标量微分方程。个独立的非线性标量微分方程。2）最优性能指标为）最优性能指标为（104）华东理工大学华东理工大学ECUSTECUST例例 6 系统状态方程为系统状态方程为求最优控制求最优控制 ，使性能指标，使性能指标取极小值。取极小值。解解 矩阵的黎卡提方程为矩阵的黎卡提方程为求解上面的微分方程，有求解上面的微分方程，有华东理工大学华东理工大学ECUSTECUST其中其中即即最优控制为最优控制为由由最优轨线为最优轨线为华东理工大学华东理工大学ECUSTECUST三、三、无限时间状态调节器无限时间状态调节器(tf )线性时变系统线性时变系统寻找一个最优控制寻找一个最优控制 ，使，使J 取极小值取极小值（105）这里产生一个问题：这里产生一个问题：时，性能指标是否收敛？时，性能指标是否收敛？例如例如寻找最优控制寻找最优控制 ，使，使J 取极小值取极小值（106）华东理工大学华东理工大学ECUSTECUST根据分析，显然当根据分析，显然当 时，时，J 取极小值。取极小值。但是但是是不能控的状态分量，而且是不稳定的。导致是不能控的状态分量，而且是不稳定的。导致结论：该问题不存在有意义的解。结论：该问题不存在有意义的解。如果线性时变系统（如果线性时变系统（105）是能控的，无限时间状态调节器问题一）是能控的，无限时间状态调节器问题一定有解，并且可以通过有限时间状态调节器的解，取定有解，并且可以通过有限时间状态调节器的解，取 来获得。来获得。其结果为其结果为最优控制最优控制（107）（108）（109）最优性能指标最优性能指标（110）华东理工大学华东理工大学ECUSTECUST 可见，无限时间状态调节器与有限时间最优调节器类似，均可可见，无限时间状态调节器与有限时间最优调节器类似，均可以用状态负反馈构成状态闭环控制。但是反馈增益矩阵是时变的，以用状态负反馈构成状态闭环控制。但是反馈增益矩阵是时变的，给工程实践带来不便。给工程实践带来不便。卡尔曼研究了矩阵黎卡提微分方程解的各种性质，得出以下卡尔曼研究了矩阵黎卡提微分方程解的各种性质，得出以下结果：结果：线性定常系统线性定常系统（111）（112）（113）最优控制为最优控制为（114）（115）常数阵常数阵 满足如下黎卡提矩阵代数方程满足如下黎卡提矩阵代数方程华东理工大学华东理工大学ECUSTECUST（114）式代入（）式代入（111）式，得）式，得（116）最优轨线可以由（最优轨线可以由（116）式和（）式和（114）式求出。）式求出。最优性能指标最优性能指标（117）当这个无限时间状态调节器满足以下条件时，状态反馈增益矩当这个无限时间状态调节器满足以下条件时，状态反馈增益矩阵才为常数矩阵：阵才为常数矩阵：1）系统为线性定常系统；）系统为线性定常系统；2）系统为能控；）系统为能控；3）末值时刻）末值时刻 ；4）J 中不含末值项，即中不含末值项，即 F=0 ；5）Q，R 为正定阵。为正定阵。华东理工大学华东理工大学ECUSTE