最优控制最大值原理.ppt

最优控制最大值原理2022/10/51现在学习的是第1页，共98页主 要 内 容2.1最大值原理的提出2.2最大值原理的证明2.3一般型最优控制问题终端时刻tf可变的情况课外习题返回目录2022/10/52现在学习的是第2页，共98页一、古典变分法存在的问题(1)在一般情况下，可以将控制函数U(t)所受到的约束条件利用如下形式的不等式来表示.即当控制函数U(t)受到上述不等式约束,并且最优控制取决于闭集性约束的边界时，古典变分法便不再适用了。(2)在应用古典变分法来求解最优控制问题时，要求函数X(tf),tf,LX(t),U(t),t,fX(t),U(t),t对它们的自变量具有“充分”的可微性，特别要求H/U(t)有定义，于是，类似这样的性能泛函数就被排除在外了。但是在燃料最优控制问题中，这类性能泛函却是无法避免的。2022/10/53现在学习的是第3页，共98页二.最大值原理和动态规划 为了解决古典变分法在求解最优控制问题中所暴露出来的上述问题，许多学者进行了各种探索。其中以苏联学者庞特里雅金（.C.oHTpH）的最大值原理（或最小值原理）与美国学者贝尔曼（R.E.Bellman）的动态规划较为成功，应用也较广泛，现已成为求解最优控制问题的强有力的工具。在这一章里，首先通过积分型最优控制问题提出最大值原理，然后再推广到复合型最优控制问题中，然后利用增量法对最大值原理进行证明。2022/10/54现在学习的是第4页，共98页2.1最大值原理的提出 2.1.1积分型最优控制问题问题2.1.1(积分型最优控制问题)给定系统的状态方程：(2.1.1)其中，f是n维连续可微的向量函数；X(t)是n维状态变量，其初态X(t0)=X0，而终态应满足的条件是：终端时刻tf固定，终端状态X(tf)自由，U(t)是m维控制变量，其所受约束条件是(2.1.2)其中，是以U(t)为元素的m维实函数空间中的一个闭子集。式(2.1.2)表明，控制变量是这个闭子集中的元素。满足式(2.1.2)约束条件的控制变量称为容许控制变量，简称容许控制。要求在满足式(2.1.2)的容许控制中，确定一控制变量U(t)，使系统（2.1.1）从给定的初态X(t0)转移到某个终态2022/10/55现在学习的是第5页，共98页X(tf)的过程中，性能泛函达到极小值。其中L是连续可微的标量函数。这个积分型最优控制问题所确定的控制U(t)称为最优控制，记为U*(t)。如果不考虑式（2.1.2）的约束条件，那么该最优控制问题的解的必要条件可由第一章的定理1.6.1给出，现引述如下：定理1.6.1设系统的状态方程为则为将系统从给定的初态X(t0)=X0转移到终端时刻tf固定，终端状态X(tf)自由的某个终态，并使性能泛函(2.1.3)2022/10/56现在学习的是第6页，共98页达到极小值的最优控制应满足的必要条件是(1)设U*(t)是最优控制，X*(t)是对应与U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X(t)与(t)满足规范方程（2.1.4）（2.1.5）其中，（2.1.6）2022/10/57现在学习的是第7页，共98页 (2)边界条件为(3)哈密顿函数H对控制变量U(t)(t0t tf)取极小值，即定理1.6.1是在控制变量u(t)不受约束的情况下，求最优控制函数U*(t)，使哈密顿函数（2.1.6）达到极小值。这也是在控制函数U(t)不受约束或只受开集性的约束的情况下的最小值原理。显然，控制方程（2.1.9）也可以写成如下形式（2.1.7）（2.1.8）（2.1.9）（2.1.10）2022/10/58现在学习的是第8页，共98页说明：(1)当控制函数U(t)不受约束或只受开集性约束条件下，控制方程（2.1.9）和（2.1.10）是等价的。(2)在控制函数U(t)受到式（2.1.2）所表示的闭集性约束的条件下，控制方程（2.1.9）未必是最优控制问题的解的必要条件之一。a.因为b.作为控制变量U(t)的函数的Hamilton函数HX(t)，(t)，U(t)，t在闭子集内可能不存在极值点，而企图以H/U来求极小值点也是难以奏效的。因此，在控制函数U(t)受到式（2.1.2）那样闭集性约束的条件下，控制方程（2.1.9）不再是由式（2.1.1）式（2.1.3）所给定的最优控制问题解的必要条件了。2022/10/59现在学习的是第9页，共98页但是，控制方程（2.1.10）总是成立的，它仍然是由式（2.1.1）式（2.1.3）所给定的最优控制问题解的必要条件。定理2.1.1（积分型最优控制问题的最小值原理）（积分型最优控制问题的最小值原理）给定系统的状态方程 和初态X(t0)=X0，而终端时刻tf固定，终端状态X(tf)自由以及控制变量U(t)所受约束条件是则为将系统从给定的初态X(t0)转移到某个终态X(tf)，并使性能泛函达到极小值的最优控制应满足的必要条件是：2022/10/510现在学习的是第10页，共98页(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t)和(t)满足规范方程式中H是哈密顿函数，且为(2)边界条件为2022/10/511现在学习的是第11页，共98页(3)哈密顿函数在最优控制U*(t)和最优轨线X*(t)上达到最小值,即 说明:(1)由于定理2.1.1的中心内容是,使性能泛函(2.1.3)达到最小值的最优控制的必要条件是哈密顿函数H达到最小值，所以，该定理称为最小值原理。(2)一个函数的最小值点与该函数反号后的最大值是一致的。所以，若令哈密顿函数为则下列二式2022/10/512现在学习的是第12页，共98页和的结果是一致的，只是二式中的协态变量(t)是互为反号的。定理2.1.2（积分型最优控制问题的最大值原理）（积分型最优控制问题的最大值原理）给定系统的状态方程和初态X(t0)=X0，而终端时刻tf固定，终端状态X(tf)自由以及控制变量U(t)所受约束条件是则为将系统从给定的初态X(t0)转移到某个终态X(tf)，并使性能泛函2022/10/513现在学习的是第13页，共98页达到极小值的最优控制应满足的必要条件是：(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t)和(t)满足规范方程其中，2022/10/514现在学习的是第14页，共98页(2)边界条件为(3)在最优控制U*(t)和最优轨线X*(t)上哈密顿函数达到最大值,即说明：由于定理2.1.2的中心内容是，使性能泛函达到极小值的最优控制的必要条件是哈密顿函数H达到最大值，所以，该定理称为最大值原理。2022/10/515现在学习的是第15页，共98页例2.1.1给定一阶线性系统和初始条件（2.1.11）其中控制作用u(t)的约束条件为（2.1.12）要求确定控制函数u(t)，使性能泛函（2.1.13）达到极小值。解：这是一个积分型最优控制问题，其终端时刻tf=1固定，终端状态X(tf)是自由的。控制函数受到闭集性的约束条件。可以利用上面介绍过的最大值原理（定理2.1.2）或最小值原理（定理2.1.1）来求解。在这里，为了进行比较，将分别利用这两个定理来求解。(1)应用最大值原理求解，为此构造哈密顿函数（2.1.14）2022/10/516现在学习的是第16页，共98页 按照最大值原理，为使泛函（2.1.13）达到极小值必须选择控制函数u(t)，使哈密顿函数（2.1.14）达到最大值。由式(2.1.14)可见，当u(t)与(t)+1/2)同号，且取其约束条件的边界值，即|u(t)|=1时，使哈密顿函数H达到最大值。所以，控制函数应选择为（2.1.15）或（2.1.16）2022/10/517现在学习的是第17页，共98页 由上式可见，若要确定u(t)，必须通过协态方程解出(t)。根据哈密顿函数（2.1.14）可以写出协态方程因为tf=1固定，x(1)自由，所以(1)=0，则协态方程的解为而其曲线如图21(a)所示。由此可得最优控制为或（2.1.17）2022/10/518现在学习的是第18页，共98页2022/10/519现在学习的是第19页，共98页 式中=ln(e/2)，控制函数的曲线如图21(b)所示。将最优控制u*(t)代入状态方程（2.1.11）得到（2.1.18）（2.1.19）利用初始条件x(0)=1，可得式（2.1.18）的解 当t=ln(e/2)时，有 将它作为式（2.1.19）的初始条件。解得2022/10/520现在学习的是第20页，共98页 于是有将u*(t)和x*(t)代入式（2.1.13），得由于只有一个u(t)满足最大值原理。根据实际情况，可判定它是最优控制u*(t)。(2)应用最小值原理求解，为此构造哈密顿函数（2.1.20）2022/10/521现在学习的是第21页，共98页按照最小值原理，为使泛函（2.1.13）达到极小值，必须选择控制函数u(t)使哈密顿函数（2.1.20）达到最小值。由式（2.1.20）可知，当u(t)与(t)1/2)异号，且取其约束条件的边界值（即|u(t)|=1）时，哈密顿函数H达到最小值，所以控制函数应取为 由上式可见，若要确定u(t)，必须由协态方程解出(t)，根据哈密顿函数（2.1.20），可写出协态方程 其解为2022/10/522现在学习的是第22页，共98页由此可得最优控制函数为 可见，这一结果与应用最大值原理所得到的结果是一致的。将它代入状态方程（2.1.11），当然也会得到相同的结果。以下的计算可以仿照（1）进行，这里就不重复了。说明：由例2.1.1可以看出，分别应用最大值原理和最小值原理求解同一个最优控制问题，所得到的最优控制和最优轨线是一致的，但是，协态变量却是互为反号的。2022/10/523现在学习的是第23页，共98页2.1.2复合型最优控制问题问题2.1.2(复合型最优控制问题)给定系统的状态方程：（2.1.21）其中f是n维连续可微的向量函数。X(t)是n维状态变量，已知其初态为X(t0)=X0，终端的约束条件为：（2.1.22）其中是r 维连续可微的向量函数，且rn，U(t)是m维控制变量，且其约束条件为（2.1.23）其中是以U(t)为元素的m维实函数空间中的闭子集。要求我们在满足式（2.1.23）的容许控制中，确定一控制变量U(t)，使系统（2.1.21）从给定的初态X(t0)转移到满足式（2.1.22）条件下的某个终态X(tf)，并使性能泛函2022/10/524现在学习的是第24页，共98页 （2.1.24）达到极小值。其中和L都是连续可微的标量函数，而终端时刻tf是可变的。定理2.1.3（复合型最优控制问题的最小值原理）（复合型最优控制问题的最小值原理）给定系统的状态方程和控制函数U(t)的闭集约束条件则为将系统从给定的初态X(t0)=X0，转移到满足终端约束条件的某个终态X(tf)，其中tf是可变的，并使性能泛函2022/10/525现在学习的是第25页，共98页达到极小值的最优控制应满足的必要条件是(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t)和(t)满足规范方程其中 (2)状态变量和协态变量的边界条件为2022/10/526现在学习的是第26页，共98页在上述各式中的是待定的r维乘子向量，即(3)哈密顿函数H在最优控制与最优轨线上达到最小值。即终端受限tf自由2022/10/527现在学习的是第27页，共98页定理2.1.4（复合型最优控制问题的最大值原理）给定系统的状态方程和控制函数U(t)的闭集约束条件则为将系统从给定的初态X(t0)=X0，转移到满足终端约束条件的某个终态X(tf)，其中tf是可变的，并使性能泛函达到极小值的最优控制应满足的必要条件是：(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程2022/10/528现在学习的是第28页，共98页其中(2)状态变量和协态变量的边界条件为2022/10/529现在学习的是第29页，共98页(3)哈密顿函数H在最优控制与最优轨线上达到最大值。即2.1.3有关最大值原理（或最小值原理）的几点说明最大值原理（当然包括最小值原理，以下同）是对古典变分法的发展。它不仅可以用来求解函数U(t)不受约束或只受开集性约束的最优控制问题，而且也可以用来求解控制函数U(t)受到闭集性约束条件的最优控制问题。这就意味着最大值原理放宽了对控制函数U(t)的要求。最大值原理没有提出哈密顿函数H对控制函数U(t)的可微性的要求，因此，其应用条件进一步放宽了。并且，由最大值原理所求得的最优控制U(t)使哈密顿函数H达到全局、绝对最大值，而由古典变分法的极值条件H/U=0所得到的解是H的局部、相对最大值或驻值。因此，最大值原理将古典变分法求解最优控制问题的极值条件作为一个特例概括在自己之中。2022/10/530现在学习的是第30页，共98页最大值原理是最优控制问题的必要条件，并非充分条件。也就是说，由最大值原理所求得的解能否使性能泛函J达到极小值，还需要进一步分析与判定。但是，如果根据物理意义已经能够断定所讨论的最优控制问题的解是存在的，而由最大值原理所得到的解只有一个，那么，该解就是最优解。实际上，我们遇到的问题往往属于这种情况。利用最大值原理和古典变分法求解最优控制问题时，除了控制方程的形式不同外，其余条件是相同的。一般来说，根据最大值原理确定最优控制U*(t)和最优轨线X*(t)仍然需要求解两点边界值问题。这是一件复杂的工作。由最大值原理和最小值原理所得到的最优控制U*(t)和最优轨线X*(t)是一致的，只是协态变量(t)是互为反号的。若所讨论问题是确定最优控制U*(t)，使性能泛函2022/10/531现在学习的是第31页，共98页达到极大值，最大值原理仍然成立，这时只要将上述性能泛函变为就可以了。2022/10/532现在学习的是第32页，共98页2.2最大值原理的证明2.2.1一般型最优控制问题问题2.2.1(一般型最优控制问题)给定系统的状态方程：（2.2.1）的初态X(t0)=X0和控制函数的约束条件（2.2.2）从满足约束条件（2.2.2）的容许控制函数中，确定一个控制函数U(t)，使性能泛函（2.2.3）达到极小值，其中tf是终端时刻，X(tf)是终端状态。庞特里雅金函数庞特里雅金函数2022/10/533现在学习的是第33页，共98页 说明：最优控制问题的上述提法具有一般性，它将许多常见的最优控制问题概括成为自己的特殊情况，故称为一般型最优控制问题，许多最优控制问题都可以转化为一般型最优控制问题。最速控制问题给定n阶系统的状态方程的初始状态X(t0)=X0和控制函数的约束条件需要从容许控制U(t)中，确定一个控制函数U(t)，能在最短的时间内，将系统从给定的初态X(t0)转移到给定的终态X(tf)。这是最速控制问题，其性能泛函2022/10/534现在学习的是第34页，共98页 其中，t0是固定的初始时刻，tf是可变的终端时刻。下面将其化为一般型最优控制问题。为此，引入一个新的状态变量xn+1(t)，令 其中，于是一个n阶系统的最速控制问题就转化为一个n+1阶系统的一般型最优控制问题。2022/10/535现在学习的是第35页，共98页积分型最优控制问题给定n阶系统的状态方程的初始状态X(t0)=X0和控制函数的约束条件要求从容许控制U(t)中，确定一个控制函数U(t)，将系统从给定的初态X(t0)转移到某个终态X(tf)，并使性能泛函达到极小值。这是个积分型最优控制问题，引入一个新的状态变量xn+1(t)，满足 2022/10/536现在学习的是第36页，共98页其中，于是一个n阶系统的积分型最优控制问题便转化成一个n+1阶系统的一般型最优控制问题。终端型指标的最优控制问题 给定n阶系统的状态方程的初始状态X(t0)=X0和控制函数的约束条件2022/10/537现在学习的是第37页，共98页要求从容许控制U(t)中，确定一个控制函数U(t)，使性能泛函达到极小值。这是个终端型指标的最优控制问题，引入一个新的状态变量xn+1(t)，满足 2022/10/538现在学习的是第38页，共98页 于是，一个n阶系统的终端型指标的最优控制问题也可转化为一个n+1阶系统的一般型最优控制问题。说明：类似地，一个复合型指标的最优控制问题，也能够转化为一般型最优控制问题。这里只要结合应用积分型指标和终端型指标最优控制问题转化为一般型指标最优控制问题的思想和方法，就可以完成这种转化工作。2022/10/539现在学习的是第39页，共98页2.2.2一般型最优控制问题的最大值原理及证明定理2.2.1(一般型最优控制问题的最大值原理终端时刻固定，终端状态自由)给定系统的状态方程 和控制函数U(t)的约束条件 则为将系统从给定的初态X(t0)=X0转移到终端时刻tf固定，终端状态自由的某个终态X(tf)，并使性能泛函 达到极小值的最优控制应满足的必要条件是：(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程2022/10/540现在学习的是第40页，共98页其中，(2)边界条件为(3)在最优控制和最优轨线上哈密顿函数H达到最大值。即（2.2.4）2022/10/541现在学习的是第41页，共98页证明：证明该定理的基本思路是，设最优控制U*(t)获得变分U(t)，相应地，最优轨线X*(t)也发生变分X(t)，这时求出性能泛函J的增量J。根据最优控制U*(t)使J达到极小值，则其增量为（2.2.5）的性质，利用反证法证明，若最大值原理不成立，则式（2.2.5）一定不成立。这与控制函数U*(t)使J达到极小值的假设相矛盾，于是就完成了定理2.2.1的证明。其具体步骤如下：求增量 J设最优控制U*(t)已经求得，即U*(t)使J达到了极小值。现在令U*(t)获得一个变分U(t)，则最优轨线X*(t)相应地也发生变分，设为X(t)。由状态方程（2.2.1）得（2.2.6）2022/10/542现在学习的是第42页，共98页（2.2.7）将式（2.2.7）与式(2.2.6)相减，并左乘以T(t)，得（2.2.8）考虑到哈密顿函数为 则式（2.2.8）变为 对上式两端进行积分，得（2.2.9）2022/10/543现在学习的是第43页，共98页对上式左端进行分部积分，得 将上式代入式（2.2.9），移项后，得（2.2.10）2022/10/544现在学习的是第44页，共98页将上式代入式（2.2.10），得性能泛函的增量为（2.2.11）化简增量 J 由于协态变量方程为（2.2.12）并利用泰勒公式，将式（2.2.11）右端的第二项积分中的第一个函数的最优轨线X*(t)处展开，得2022/10/545现在学习的是第45页，共98页 （2.2.13）其中,01,是nn阶非负定矩阵，且为2022/10/546现在学习的是第46页，共98页 将式（2.2.12）和式(2.2.13)代入式（2.2.11）中，经整理得（2.2.14）在上式右端后两个积分中都含有X(t)，它们相对于第一个积分而言，都是高阶无穷小量，记为，于是，式（2.2.14）变为2022/10/547现在学习的是第47页，共98页（2.2.15）反证法证明定理 为了证明最大值原理是使性能泛函J达到极小值的必要条件，需要证明：如果在容许控制（2.2.16）中，至少能找到一个控制函数U(t)，使哈密顿函数H不能达到最大值的话，那么，该控制函数就一定不会使性能泛函J达到极小值。如果在容许控制（2.2.16）中能够找到使性能泛函J达到极小值的最优控制U*(t)，那么当它发生任何变分U(t)时，都有J0。现在假定最优控制U*(t)只在区间t0，tf中的任一小区间ta，tb上发生变分U(t)，即假定2022/10/548现在学习的是第48页，共98页并且，假设U*(t)不能使哈密顿函数H满足最大值原理，也就是说，对于控制函数U*(t)发生微小变分U(t)后，有其中tta，tb，是一个正常数，对上式两边积分，得 由于控制函数U(t)的变分U(t)只在区间ta，tb上发生，所以式（2.2.15）的泛函的增量将变为2022/10/549现在学习的是第49页，共98页由于是无穷小量，它的存在与否，不影响上面不等式关系，所以J0。这表明，若控制函数U*(t)不能使哈密顿函数H满足最大值原理，则该控制函数U*(t)也不会使泛函J达到极小值。这与控制函数U*(t)是使泛函J达到极小值的假设矛盾。所以，使性能泛函J达到极小值的控制函数U*(t)，一定使哈密顿函数满足最大值原理，于是定理2.2.1得到证明。2022/10/550现在学习的是第50页，共98页推论2.3.1对于线性系统 来说，最大值原理是使性能泛函J（见式2.2.3）达到极小值的充要条件。证明：在这种情况下，哈密顿函数为2022/10/551现在学习的是第51页，共98页这时，相应的式（2.2.14）中的后两个积分均等于零，于是得到因此，若哈密顿函数H满足最大值原理，则上式右端的积分就是非负的，即J0，这样，性能泛函J达到极小值的条件满足了，充分条件得到证明。2022/10/552现在学习的是第52页，共98页例2.2.1给定二阶系统的状态方程及初始状态其中控制函数的约束条件为|u(t)|1，现在需要容许控制中，确定一控制函数u(t)，使系统在终态自由的情况下，从给定的初态（x1(0)=1，x2(0)=0）转移到某个终态（x1(1)，x2(1)），并使性能泛函达到极小值。解：这是一个一般型最优控制问题，其终端时刻tf=1固定，终端状态自由，可以利用定理2.2.1求解。为此，构造哈密顿函数2022/10/553现在学习的是第53页，共98页协态方程求解协态方程得其中1(t)曲线如图22所示。根据定理2.2.1，为使变量u(t)的函数H在约束|u(t)|1条件下达到最大值，显然应取2022/10/554现在学习的是第54页，共98页由图2-2可见，在区间0，1上，10，所以将它代入状态方程，得到由此得到性能泛函的极小值2022/10/555现在学习的是第55页，共98页定理2.2.2(一般型最优控制问题的最大值原理终端时刻固定，终端状态受限)给定系统的状态方程（2.2.17）和控制函数U(t)的约束条件（2.2.18）则为将系统从给定的初态X(t0)=X0转移到满足终端约束条件（2.2.19）某个终态X(tf)，其中，tf是固定，并使性能泛函（2.2.20）达到极小值的最优控制应满足的必要条件是：(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程2022/10/556现在学习的是第56页，共98页其中，(2)边界条件为（2.2.21a）或者（2.2.21b）(3)在最优控制和最优轨线上哈密顿函数H达到最大值。即2022/10/557现在学习的是第57页，共98页例2.2.2给定系统的状态方程和初始条件其终端状态的约束条件为 上面的约束方程在四维空间中代表一个三维图形，也就是说，系统的终态不自由，被限制在这个三维图形上。现在的问题是要求确定控制函数u(t)，使系统在t=0时从原点开始，在t=1时到达上述三维图形上，并使性能泛函2022/10/558现在学习的是第58页，共98页达到极小值。解：写出问题的哈密顿函数由此得协态方程 而c1=c2=c3=0，c4=1，所以2022/10/559现在学习的是第59页，共98页可以解出 将上式代入Hamilton函数得 因为对控制函数u(t)没有施加约束条件，所以由2022/10/560现在学习的是第60页，共98页可以求出满足最大值原理的控制函数为 将上述结果综合起来，求解本例题的最优控制和最优轨线问题就转化为求解下列的两点边界值问题。2022/10/561现在学习的是第61页，共98页加上终端状态的约束条件 上述方程组的解就确定了。不过，欲将它解出来，却是非常困难的，因为状态方程与终端条件是非线性的。(可以借助MATLAB求解)特例：状态变量某些分量的终态xj(tf)是完全固定的情况 设状态变量的前r个分量的终态是固定的，而其余分量的终态是没有约束的。这时约束条件（2.2.19）变为 其中xif是常数，将上述终端约束条件代入式（2.2.21b），则可得到在这种情况下协态变量的终端条件为2022/10/562现在学习的是第62页，共98页既然状态变量前r个分量的终态是固定的，它们在性能指标泛函中自然不会出现。也就是说，对应于状态变量这些分量的常数ci等于零。所以最后得由于i是待定的常数，所以由上面两式可以得到一个重要的结论：若状态变量的分量xi(t)的终态xi(tf)是固定的，则协态变量与之相应的分量i(t)的终态i(tf)是自由的；反之，若状态变量的分量xi(t)的终态xi(tf)是自由的，则协态变量与之相应的分量i(t)的终态i(tf)是固定的，且为ci。2022/10/563现在学习的是第63页，共98页例 2.2.3给定系统的状态方程初始条件（2.2.23）和终端条件（2.2.24）现在需要确定最优控制u1*(t)和u2*(t)以及最优轨线x1*(t)和x2*(t)，将系统从t=0时的初态转移到t=1时的终态，并使性能泛函 达到极小值。（2.2.22）2022/10/564现在学习的是第64页，共98页解：这是一个积分型最优控制问题。应用定理2.1.2来求解，为此构造哈密顿函数由此可写出协态方程由于x1(1)和x2(1)都是固定的，所以1(1)和2(1)都是自由的，故得协态方程的解为其中积分常数a和b需要根据另外的条件来确定。下面分三种情况进行讨论。2022/10/565现在学习的是第65页，共98页u1(t)和u2(t)都不受约束此时，当时，H达到最大值。于是有2022/10/566现在学习的是第66页，共98页将上式代入系统状态方程（2.2.22）并考虑到状态变量的初始条件（2.2.23），可得 代入终端条件（2.2.24），就得到关于a和b的联立方程由此得到最优控制为2022/10/567现在学习的是第67页，共98页最优轨线为而性能泛函为解的曲线如图2-3(a)所示。2022/10/568现在学习的是第68页，共98页u1(t)不受约束，u2(t)1/4前面已经指出，对于u2(t)来说，哈密顿函数H的最大值发生在a/2的地方，但是，这时a之值尚不知道，不过从情况1知a=1时，u2(t)=1/2，依此判断，H的最大值现在发生在u2(t)=1/4的地方，因此，取u2(t)=1/4。由于u1(t)不受约束，所以将u1(t)和u2(t)代入系统方程（2.2.22）并考虑到状态变量的初始条件（2.2.23），可得2022/10/569现在学习的是第69页，共98页利用终端条件（2.2.24），可得联立方程由于 所以，我们取u2(t)=1/4是正确的，代入a，b之值后，求得的最优控制为2022/10/570现在学习的是第70页，共98页而最优轨线为性能指标泛函之值为 由此可以看出，对u2(t)加了约束之后，泛函J的极小值变大了。这时解的曲线如图2-3（b）所示。2022/10/571现在学习的是第71页，共98页u1(t)0和u2(t)1/4由情况2中已经看到，u1(t)之值在后一段时间是小于零的。现在对u1(t)施加了不小于零的限制。由于函数H对于u1(t)来说是二次函数，所以在这种情况下为使H达到最大值的最优控制也将包含有(1)(2)两部分，这两部分的转换时间是需要确定的，问题的复杂性在于，现在还不知道常数a和b之值，因而也不知道u2(t)应取多大值方能满足最大值原理。所以，我们应采用的方法多少带有试探的性质。假设2022/10/572现在学习的是第72页，共98页 至于u1(t)应如何假设，我们先分析一下，如果在开始一段时间，设u1(t)0，那么这等于在方程 中设b0，为了要在时间区间0，1上实现一次转换，这又要求a0，于是在t=0时，有u1(t)0，因而取 将假设的u1(t)和u2(t)代入原状态方程（2.2.22），并考虑初始条件（2.2.23），可得2022/10/573现在学习的是第73页，共98页2022/10/574现在学习的是第74页，共98页这种状态运动将一直继续到转换时刻，我们令u1(t)0可求出转换时刻在时刻，x1(t)和x2(t)分别为 2022/10/575现在学习的是第75页，共98页此后控制函数变为将此控制函数代入原状态方程（2.2.22），并以x1()和x2()作为初始值，可得转换时刻以后的状态运动方程为 现在将终点条件（2.2.24）代入上式，可得联立方程（2.2.25）2022/10/576现在学习的是第76页，共98页若取d=a/2，则上列联立方程的解为而转换时刻与d分别为与题设是矛盾的。若取d=1/4，代入式（2.2.25），得2022/10/577现在学习的是第77页，共98页与题相符。综合以上结果，就得到最优控制与最优轨线分别为（1）当0 t 3/4时，2022/10/578现在学习的是第78页，共98页(2)当3/4 t 1时它们随时间变化的情况如图2-3（c）所示 这个例子一方面说明了最大值原理的应用，另一方面也说明了，即使能够用于计算的简单问题也会遇到很大的困难。稍微复杂的问题，就得借助于MATLAB求其数值解。2022/10/579现在学习的是第79页，共98页2022/10/580现在学习的是第80页，共98页2.3一般型最优控制问题终端时刻tf可变的情况问题2.3.1(一般型最优控制问题)给定系统的状态方程：（23.1）的初态X(t0)=X0和终端的约束条件（2.3.2）其中tf是可变的终端时刻，X(tf)是r维函数向量，即以及控制函数的约束条件（2.3.3）要求从满足约束条件（2.3.3）的容许控制中，确定一最优控制U*(t)，使性能泛函(2.3.4)2022/10/581现在学习的是第81页，共98页达到极小值。利用拉格朗日乘子法，可以将性能泛函写成为(2.3.5)其中是待定的r维乘子向量，即 假设终端时刻tf变化了dtf，则由式（2.3.5）可得 (2.3.6)由上节的式（2.2.21a），有2022/10/582现在学习的是第82页，共98页所以式（2.3.6）可以写为 由于当tf=tf*时，性能泛函J达到极小值，所以上式应等于零，即又因为dtf*是任意的，所以有（2.3.7）上述结果表明，对于终端时刻tf可变的情况，除了增加一个方程（2.3.7）用来确定终端时刻以外，最优控制与终端时刻tf固定时应满足的条件完全相同。于是，可以写出关于问题2.3.1的最优控制所应满足的必要条件的最大值原理的定理。2022/10/583现在学习的是第83页，共98页定理2.3.1(一般型最优控制问题的最大值原理终端时刻可变，终端状态受限不显含tf)给定系统的状态方程：和控制函数U(t)的约束条件 则为将系统从给定的初态X(t0)=X0转移到满足约束条件 的某个终态X(tf)，其中tf是可变的，并使性能泛函达到极小值的最优控制应满足的必要条件是：(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程2022/10/584现在学习的是第84页，共98页其中，(2)边界条件为2022/10/585现在学习的是第85页，共98页(3)在最优控制和最优轨线上哈密顿函数H达到最大值。即当状态变量终端的约束条件 利用拉格朗日乘子法，可以将性能泛函写成为 假设终端时刻tf变化了dtf，则由上式可得2022/10/586现在学习的是第86页，共98页考虑到所以，又因为dtf*是任意的，所以有最小值原理2022/10/587现在学习的是第87页，共98页定理2.3.2(一般型最优控制问题的最小值原理终端时刻可变，终端状态受限显含tf)给定系统的状态方程：和控制函数U(t)的约束条件 则为将系统从给定的初态X(t0)=X0转移到满足约束条件 的某个终态X(tf)，其中tf是可变的，并使性能泛函达到极小值的最优控制应满足的必要条件是：(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程2022/10/588现在学习的是第88页，共98页其中，(2)边界条件为2022/10/589现在学习的是第89页，共98页(3)在最优控制和最优轨线上哈密顿函数H达到最小值。即例2.3.1给定二阶系统的状态方程 现在需要在约束为 的条件下，确定控制函数u(t)，将系统从给定的初始状态 转移到终态2022/10/590现在学习的是第90页，共98页 并使性能泛函 达到极小值。其中tf是可变的。解：这是积分型最优控制问题，利用定理2.1.2求解，其哈密顿函数为由此得协态方程为2022/10/591现在学习的是第91页，共98页其中a，b是待定的积分常数。将上式代入Hamilton函数，有它是关于变量u(t)的一条抛物线，最大值出现在它的顶点处。由此得到最大值点为u(t)将取下列三种可能值，即2022/10/592现在学习的是第92页，共98页可以验证，u(t)一直等于1或者1都不能同时满足状态变量的初始条件和终端条件,所以现在取 将它代入系统的状态方程，并考虑初始条件，可得 设终端时刻为tf，代入终端条件，有2022/10/593现在学习的是第93页，共98页 因为终端时刻是可变的，由终端时刻的Hamilton函数，得联立上面两式，得 求出a,b和tf*后，回过来检查一下假设是否成立，为此，将a,b之值代入式u(t)中，得到2022/10/594现在学习的是第94页，共98页 它在区间0，tf*=3上满足约束条件。因此，在前面所做的假设是正确的。于是最优控制与最优轨线分别为 而性能泛函的最优值为2022/10/595现在学习的是第95页，共98页例2.3.2给定二阶系统的状态方程 求满足约束条件 的控制函数u(t)，使系统以最短时间从给定的初态 转移到零态，即 其中tf是可变的。2022/10/596现在学习的是第96页，共98页解：这是一个时间最优控制问题，其性能指标泛函为 因此该问题的哈密顿函数为 由此得协态方程为 根据最大值原理，满足约束条件的最优控制是2022/10/597现在学习的是第97页，共98页 由于2(t)=(bat)在平面t 2上的图象是一条直线，随着t的增加，2(t)只能有一次变号，根据2(t)是由正变负或由负变正，控制函数u(t)由+1转换为1或由1转换为+1，究竟是哪种可能，可以进行试算。(1)u(t)=+1转换到u(t)=1当u(t)=+1时，系统状态方程变为 设在t=时，控制u(t)由+1转换为1，这时2022/10/598现在学习的是第98页，共98页