最优控制 第六章 极小值原理.ppt

第六章第六章 极小值原理极小值原理 极小值原理是原苏联学者庞特里亚金于极小值原理是原苏联学者庞特里亚金于1956年年提出的。它从变分法引伸而来，与变分法极为相提出的。它从变分法引伸而来，与变分法极为相似。因为极大与极小只相差一个符号，若把性能指似。因为极大与极小只相差一个符号，若把性能指标的符号反过来，极大值原理就成为了极小值原标的符号反过来，极大值原理就成为了极小值原理。极小值原理是解决最优控制，特别是求解容许理。极小值原理是解决最优控制，特别是求解容许控制问题的得力工具。控制问题的得力工具。用古典变分法求解最优控制问题，都是假定用古典变分法求解最优控制问题，都是假定控制变量控制变量u(t)的取值范围不受任何限制，控制变分的取值范围不受任何限制，控制变分u是任意的，从而得到最优控制是任意的，从而得到最优控制u*(t)所应满足的所应满足的控制方程控制方程 。但是，在大多数情况下，控。但是，在大多数情况下，控制变量制变量u(t)总要受到一定限制，总要受到一定限制，u不能任意取值，不能任意取值，控制变量被限制在某一闭集内，即控制变量被限制在某一闭集内，即u(t)满足不等式满足不等式约束条件约束条件 在这种情况下，控制方程在这种情况下，控制方程 已不成立，已不成立，所以不能再用变分法来处理最优控制问题。所以不能再用变分法来处理最优控制问题。(2)一、连续系统的极小值原理一、连续系统的极小值原理 设系统状态方程为设系统状态方程为(1)初始条件为初始条件为x(t0)=x0，终态，终态x(tf)满足终端约束方程满足终端约束方程式中式中Nq维连续可微的矢量函数，维连续可微的矢量函数，qn。控制控制式中式中gl维连续可微的矢量函数，维连续可微的矢量函数，lr。(3)受不等式约束受不等式约束式中，式中，和和L连续可微的矢量函数连续可微的矢量函数 tf待定终端时刻。待定终端时刻。最优控制问题就是要寻求最优容许控制最优控制问题就是要寻求最优容许控制u(t)在在满足上列条件下，使满足上列条件下，使J为极小。为极小。性能泛函性能泛函(4)与前面讨论过的等式约束条件最优控制问题作与前面讨论过的等式约束条件最优控制问题作一比较，可知它们之间的主要差别在于：这里的控一比较，可知它们之间的主要差别在于：这里的控制制u(t)是属于有界闭集是属于有界闭集U，受到不等式，受到不等式gx(t),x(t),t0约束。为了把这样的不等式约束问题转化为等式约约束。为了把这样的不等式约束问题转化为等式约束问题，采取以下两个措施：束问题，采取以下两个措施：虽然虽然u(t)不连续，但不连续，但w(t)是连续的。若是连续的。若u(t)分段分段连续，则连续，则u(t)是分段光滑连续系统。是分段光滑连续系统。(5)1)引入一个新的引入一个新的r维控制变量维控制变量w(t)，令，令(6)无论无论 是正是负，是正是负，恒非负，故满足恒非负，故满足g非负的要求。非负的要求。2)引入另一个新的引入另一个新的l维变量维变量z(t)，令，令的极值问题。的极值问题。(7)通过以上变换，便将上述有不等式约束的最优通过以上变换，便将上述有不等式约束的最优控制问题转化为具有等式约束的波尔扎问题。再应控制问题转化为具有等式约束的波尔扎问题。再应用拉格朗日乘子法引入乘子用拉格朗日乘子法引入乘子和和(读读gamma)，问，问题便进一步化为下列增广性能泛函题便进一步化为下列增广性能泛函(8)(9)为简便计，令为简便计，令哈密尔顿函数为哈密尔顿函数为、Jx、Jw、Jz分别是由于分别是由于tf、x、w、z于是于是J1可写成可写成(10)现在求增广性能泛函现在求增广性能泛函J1的一次变分的一次变分(11)式中式中作微小变化所引起的作微小变化所引起的J1的变分。的变分。(12)注意到注意到(13)故故(14)(15)把式把式(12)式式(15)代入式代入式(11)，最后得，最后得 由于由于tf、xT(tf)、x、w、z都是任意的，都是任意的，于是由于是由J1=0可得增广性能泛函取极值的必要条件，可得增广性能泛函取极值的必要条件，是下列各关系式成立。是下列各关系式成立。(16)1)欧拉方程欧拉方程(17)(18)(19)即即即即2)横截条件横截条件(22)(21)(20)(23)将将 代入式代入式(17)，并注意到，并注意到 ，便得到，便得到1)欧拉方程欧拉方程(24)(25)(26)2)横截条件横截条件(27)(28)(29)(30)对上列方程稍作分析可知：对上列方程稍作分析可知：1)由式由式(24)看出，只有当看出，只有当g不含不含x时，才有时，才有(31)与通常的伴随方程一致。与通常的伴随方程一致。2)式式(18)和式和式(19)说明说明 和和 均为常数，又由式均为常数，又由式(22)和和式式(23)可知，它们在终端处为零，故沿最优轨线，可知，它们在终端处为零，故沿最优轨线，恒有恒有 (32)3)若将若将 代入代入 ，则得，则得即即这表明在有不等式约束情况下，沿最优轨迹这表明在有不等式约束情况下，沿最优轨迹 这个条件已不成立。这个条件已不成立。值得指出的是，式值得指出的是，式(24)式式(30)只给出了最优解只给出了最优解的必要条件。为使最优解为极小，则还必须满足维的必要条件。为使最优解为极小，则还必须满足维尔特拉斯尔特拉斯 函数沿最优轨迹为非负的条件，即函数沿最优轨迹为非负的条件，即(33)由于沿最优轨线有由于沿最优轨线有 和和 ，并且并且 ，所以上式可写成，所以上式可写成 即即上式表明，如果哈密尔顿函数上式表明，如果哈密尔顿函数H看成看成 的的函数，那么最优轨迹上与最优控制函数，那么最优轨迹上与最优控制u*(t)相对应的相对应的H将取绝对极小值将取绝对极小值(即最小值即最小值)。这是极小值原理的。这是极小值原理的一个重要结论。一个重要结论。(34)以以 ，代入上式，便得代入上式，便得(35)定理定理 设系统状态方程为设系统状态方程为(36)控制约束为控制约束为 终端约束为终端约束为 ，待定待定(38)(37)始端条件为始端条件为 性能泛函为性能泛函为取哈密尔顿函数为取哈密尔顿函数为 则实现最优控制的必要条件是，最优控制则实现最优控制的必要条件是，最优控制u*、最优轨迹最优轨迹x*和最优协态矢量和最优协态矢量*满足下列关系式：满足下列关系式：(39)(40)1)沿最优轨线满足正则方程沿最优轨线满足正则方程(41)若若g中不包含中不包含x，则为，则为(43)(42)2)在最优轨迹上，与最优控制在最优轨迹上，与最优控制u*相应的函数取相应的函数取绝对极小值，即绝对极小值，即 (44)沿最优轨迹，有沿最优轨迹，有(45)或或3)函数在最优轨迹终点处的值决定于函数在最优轨迹终点处的值决定于(47)(46)4)协态终值满足横截条件协态终值满足横截条件5)满足边界条件满足边界条件这就是著名的极小值原理。这就是著名的极小值原理。(48)下面对定理作些说明：下面对定理作些说明：1)定理的第一、第二个条件，即式定理的第一、第二个条件，即式(41)式式(44)，普遍适用于求解各种类型的最优控制问题，普遍适用于求解各种类型的最优控制问题，且与边界条件形式或终端时刻自由与否无关。其且与边界条件形式或终端时刻自由与否无关。其中，第二个条件：中，第二个条件：说明，当说明，当u(t)与与u*(t)都从容许的有界闭集都从容许的有界闭集U中取值中取值时，只有时，只有u*(t)能使函数沿最优轨迹能使函数沿最优轨迹x*(t)取全局最小取全局最小值。这一性质与闭集值。这一性质与闭集U的特性无关。的特性无关。将上述条件与等式约束下最优控制的必要条件将上述条件与等式约束下最优控制的必要条件作一比较，可以发现，横截条件和端点边界条件没作一比较，可以发现，横截条件和端点边界条件没有改变，只是有改变，只是 这一条件不成立，代之以这一条件不成立，代之以条件条件 此外，协态方程也略有改变，仅当此外，协态方程也略有改变，仅当g函数中不包函数中不包括括x时，方程才与前面一致。时，方程才与前面一致。第三个条件，即式第三个条件，即式(46)，描述了，描述了H函数终值函数终值与与tf的关系，可用于确定的关系，可用于确定tf的值。在定理推导过程中的值。在定理推导过程中看出，该条件是由于看出，该条件是由于tf变动而产生的，因此当终端时变动而产生的，因此当终端时刻固定时，该条件将不复存在。刻固定时，该条件将不复存在。第四个、五个条件，即式第四个、五个条件，即式(47)式式(48)，将为正则，将为正则方程式方程式(41)式式(43)提供数量足够提供数量足够(2n个个)的边值条件。的边值条件。若初态固定，其一半由若初态固定，其一半由x(t0)=x0提供，另一半由状提供，另一半由状态终值约束方程式态终值约束方程式(48)和协态终值方程式和协态终值方程式(47)共同提供。共同提供。例如，若终态固定，这一半便由状态终值例如，若终态固定，这一半便由状态终值x(tf)=xf提提供，而毋须再对协态终值附加任何约束条件；供，而毋须再对协态终值附加任何约束条件；若若 的形式看，虽然也是寻求的形式看，虽然也是寻求H为极小为极小(或极或极大大)的必要条件。的必要条件。但在变分法中，由但在变分法中，由u*(t)只和只和“接近接近”的的u(t)作比较，所作比较，所以以u*(t)只能使只能使H取得相对极小取得相对极小(或极大或极大)值，甚至只能得到值，甚至只能得到H的驻点条件。的驻点条件。2)当控制矢量无界时，控制方程当控制矢量无界时，控制方程 成立。但成立。但当控制矢量有界时，正如同一个定义在闭区间上的函当控制矢量有界时，正如同一个定义在闭区间上的函数不能用导数等于零去判定它在两个端点处的极值一数不能用导数等于零去判定它在两个端点处的极值一样，这里，样，这里，不成立了，而应代之不成立了，而应代之H为全局最为全局最小。从小。从 的形式看，虽然也是寻求的形式看，虽然也是寻求H为极小为极小(或极大或极大)的必要条件。但在变分法中，由于的必要条件。但在变分法中，由于u*(t)只和只和“接近接近”的的u(t)作比较，所以作比较，所以u*(t)只能使只能使H取得相对极取得相对极小小(或极大或极大)值，甚至只能得到值，甚至只能得到H的驻点条件。的驻点条件。不难理解，当满足变分法应用条件时，用不难理解，当满足变分法应用条件时，用求解控制向量无界时的泛函极值问题只是最小值求解控制向量无界时的泛函极值问题只是最小值原理应用的一个特例。原理应用的一个特例。3)最优控制最优控制u*(t)保证哈密尔顿函数取全局最小值，保证哈密尔顿函数取全局最小值，所谓所谓“极小值原理极小值原理”一词正源于此。在证明这一原一词正源于此。在证明这一原理中，如果定义理中，如果定义与与H的符号恰好与上面相反，的符号恰好与上面相反，可得结论，可得结论 因此，在有些文献中亦称因此，在有些文献中亦称“极大值原理极大值原理”。4)极小值原理只给出了最优控制的必要条件，并非极小值原理只给出了最优控制的必要条件，并非充要条件。充要条件。可以这样说，凡不符合极小值原理的控制必不可以这样说，凡不符合极小值原理的控制必不是最优控制；凡符合极小值原理求得的每个控制，是最优控制；凡符合极小值原理求得的每个控制，还只是最优控制的候选函数，至于到底哪个是最优还只是最优控制的候选函数，至于到底哪个是最优控制，还得根据问题的性质加以判断，或进一步从控制，还得根据问题的性质加以判断，或进一步从数学上予以证明。数学上予以证明。但是能够证明，对于线性函数，极小值原理既但是能够证明，对于线性函数，极小值原理既是泛函取最小值的必要条件，也是充分条件。是泛函取最小值的必要条件，也是充分条件。此外，极小值原理没有涉及最优控制的存在性此外，极小值原理没有涉及最优控制的存在性和唯一性问题。和唯一性问题。5)极小值原理的实际意义在于放宽了控制条件，极小值原理的实际意义在于放宽了控制条件，解决了当控制为有界闭集时，容许控制的求解问解决了当控制为有界闭集时，容许控制的求解问题。它不要求题。它不要求 对对 有可微性。例如，当有可微性。例如，当H(u)为为线性函数，或者在容许控制范围内，线性函数，或者在容许控制范围内，H(u)是单调是单调上升上升(或下降或下降)时，由极小值原理求得的最优控制在时，由极小值原理求得的最优控制在边界上，但用变分法却求不出来，因为边界上，但用变分法却求不出来，因为 已不适用。已不适用。例例1：设系统的状态方程为：设系统的状态方程为控制约束控制约束0.5 u 1，求，求u(t)使使解：这是个终端自由的容许控制问题。解：这是个终端自由的容许控制问题。1)由哈密尔顿函数由哈密尔顿函数 可见可见H是是 的线性函数，的线性函数，与与u无关。无关。根据极小值原理，求根据极小值原理，求H极小等效于求泛函极小，这只极小等效于求泛函极小，这只要使要使u(1-)为极小即可。为极小即可。u的上界为的上界为1，下界为，下界为0.5，因此，因此 当当1时应取时应取u*(t)=1(上界上界)1，对应，对应t0.307，u*(t)=1 0.307，u*(t)=0.5 3)求状态轨迹求状态轨迹x(t)解状态方程解状态方程 当当0 t 0.307时，时，u*=1，得，得x=1+C1et，考虑，考虑x(0)=5，故，故x*(t)=4et+1。当当0.307 t 1时，时，u*=0.5，得，得x=0.5+C2et。考虑第一段的终值考虑第一段的终值x(0.307)=6.438为第二段的为第二段的初值，故初值，故x*(t)=4.368et+0.5。4)求求J*=J(u*)各有关曲线如图各有关曲线如图1所示。所示。