《优控制理论及应用》PPT课件.ppt

《《优控制理论及应用》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《优控制理论及应用》PPT课件.ppt（130页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 最优控制理论与应用最优控制理论与应用最优控制理论与应用最优控制理论与应用 第一章第一章 最优控制问题最优控制问题的一般概念的一般概念第二章第二章 最优控制的变分方法最优控制的变分方法第三章第三章 极小值原理极小值原理及其应用及其应用第四章第四章 线性二次型问题的最优控制线性二次型问题的最优控制第五章第五章 动态规划动态规划10/29/20221 最优控制理论与应用最优控制理论与应用一一 基本概念基本概念最优控制理论中心问题：最优控制理论中心问题：给定一个控制系统给定一个控制系统（已建立的被控对象的数学模型），选择一个容（已建立的被控对象的数学模型），选择一个容许的控制律，使被控对象按预定要求

2、运行，并使许的控制律，使被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值）给定的某一性能指标达到极小值（或极大值）第一章第一章 最优控制问题最优控制问题的一般概念的一般概念10/29/20222 最优控制理论与应用最优控制理论与应用二二二二 最优控制问题最优控制问题最优控制问题最优控制问题1 1 例子例子 飞船软着陆问题飞船软着陆问题 宇宙飞船在月球表面着陆宇宙飞船在月球表面着陆时速度必须为零，即软着陆，这要靠发动机的推时速度必须为零，即软着陆，这要靠发动机的推力变化来完成。问题是如何选择一个推力方案，力变化来完成。问题是如何选择一个推力方案，使燃料消耗最小。使燃料消耗最小。

3、m m 飞船的质量，飞船的质量，h h 高度，高度，v v 垂直速度，垂直速度，g g 月球重力加速度常数，月球重力加速度常数，M M 飞船自身质量飞船自身质量F F 燃料的质量燃料的质量10/29/20223 最优控制理论与应用最优控制理论与应用软着陆过程开始时刻软着陆过程开始时刻t t为零为零 K K为常数为常数 ，初始状态，初始状态 末端条件末端条件 10/29/20224 最优控制理论与应用最优控制理论与应用性能指标性能指标控制约束控制约束 任务：满足控制约束条件下，求发动机推力的任务：满足控制约束条件下，求发动机推力的最优变化律，使登月舱由初始出发点到达目标处最优变化律，使登月舱由初

4、始出发点到达目标处（末态），并使性能指标达到极值（燃耗量最小）（末态），并使性能指标达到极值（燃耗量最小）10/29/20225 最优控制理论与应用最优控制理论与应用例例2 2 火车快速运行问题火车快速运行问题 设火车从甲地出发，设火车从甲地出发，求容许控制，使其到达乙地时间最短。求容许控制，使其到达乙地时间最短。m m 火车质量；火车质量；火车加速度；火车加速度；u u（t t）产生）产生加速度的推力且加速度的推力且 火车运动方程火车运动方程 10/29/20226 最优控制理论与应用最优控制理论与应用2 2 问题描述问题描述(1)(1)状态方程状态方程 一般形式为一般形式为 为为n n维状

5、态向量维状态向量 为为r r维控制向量维控制向量 为为n n维向量函数维向量函数 给定控制规律给定控制规律 满足一定条件时，方程有唯一解满足一定条件时，方程有唯一解 10/29/20227 最优控制理论与应用最优控制理论与应用(2)(2)容许控制容许控制 ：,(3)(3)目标集目标集 n维向量函数维向量函数 固定端问题固定端问题 自由端问题自由端问题 10/29/20228 最优控制理论与应用最优控制理论与应用(4)(4)性能指标性能指标 对状态、控制以及终点状态的要求，复合型性能对状态、控制以及终点状态的要求，复合型性能指标指标 积分型性能指标，表示对整个状积分型性能指标，表示对整个状态和控

6、制过程的要求态和控制过程的要求 终点型指标，表示仅对终点状态终点型指标，表示仅对终点状态的要求的要求 10/29/20229 最优控制理论与应用最优控制理论与应用最优控制的应用类型n积分型1）最小时间控制2）最小燃耗控制3）最小能量控制10/29/202210 最优控制理论与应用最优控制理论与应用n末值型n复合型1）状态调节器2）输出跟踪系统10/29/202211 最优控制理论与应用最优控制理论与应用最优控制的研究方法n解析法：适用于性能指标及约束条件有明显解析式n数值计算方法：性能指标比较复杂1）一维搜索法：适合单变量求极值2）多维搜索法：适合单变量求极值n梯度法：解析与数值方法相结合1)

7、无约束梯度法2)有约束梯度法10/29/202212 最优控制理论与应用最优控制理论与应用第二章第二章 最优控制中的变分法最优控制中的变分法 2.1 2.1 泛函与变分法基础泛函与变分法基础平面上两点连线的长度问题平面上两点连线的长度问题 其弧长为其弧长为10/29/202213 最优控制理论与应用最优控制理论与应用一般来说，曲线不同，弧长就不同，即弧长依赖一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为于曲线，记为 。，称为泛函。，称为泛函。，称泛函的宗量，称泛函的宗量 泛函定义泛函定义：x(t)x(t)是自变量是自变量t t的函数，若对的函数，若对每个函数每个函数x(t)x(t)，有

8、一个，有一个J J值与之对应，则变值与之对应，则变量量J J称为依赖于称为依赖于x(t)x(t)的泛函，记的泛函，记J(x(t)J(x(t)例举：例举：10/29/202214 最优控制理论与应用最优控制理论与应用线性泛函与连续泛函：线性泛函与连续泛函：线性泛函线性泛函 泛函对宗量是线性的泛函对宗量是线性的连续泛函连续泛函 若定义在线性赋范空间上的泛函又满足连续条件，称J(x)为连续线性泛函 10/29/202215 最优控制理论与应用最优控制理论与应用泛函与函数的几何解释泛函与函数的几何解释 宗量的变分宗量的变分 泛函的增量泛函的增量 泛函的变分泛函的变分 Jd=10/29/202216 最

9、优控制理论与应用最优控制理论与应用定理定理 2.1 2.1 泛函的变分为泛函的变分为 10/29/202217 最优控制理论与应用最优控制理论与应用例例 2.1 2.1 求泛函的变分求泛函的变分 10/29/202218 最优控制理论与应用最优控制理论与应用泛函的极值定理定理 2.2 2.2 若泛函若泛函 有极值，则必有有极值，则必有10/29/202219 最优控制理论与应用最优控制理论与应用变分学预备定理10/29/202220 最优控制理论与应用最优控制理论与应用2.2 2.2 欧拉方程欧拉方程(1)(1)无约束泛函极值的必要条件无约束泛函极值的必要条件定理定理2.3 2.3 设有如下泛

10、函极值问题设有如下泛函极值问题：及横截条件及横截条件10/29/202221 最优控制理论与应用最优控制理论与应用 2.2 2.2 欧拉方程欧拉方程 变分变分 分部积分分部积分 证明：证明：10/29/202222 最优控制理论与应用最优控制理论与应用例例 2.2 2.2 求平面上两固定点间连线最短的曲线求平面上两固定点间连线最短的曲线 ，直线直线 10/29/202223 最优控制理论与应用最优控制理论与应用例：例：已知边界条件为已知边界条件为 求使泛函达到极值的轨线求使泛函达到极值的轨线解：解：10/29/202224 最优控制理论与应用最优控制理论与应用2.2 2.2 欧拉方程欧拉方程(

11、2)(2)有等式约束泛函极值的必要条件有等式约束泛函极值的必要条件定理定理2.4 2.4 设有如下泛函极值问题设有如下泛函极值问题：及横截条件及横截条件10/29/202225 最优控制理论与应用最优控制理论与应用例：设人造地球卫星姿态控制系统的状态方程为例：设人造地球卫星姿态控制系统的状态方程为10/29/202226 最优控制理论与应用最优控制理论与应用 2.3 2.3 2.3 2.3 横截条件横截条件横截条件横截条件 讨论：讨论：讨论：讨论：A.A.A.A.B.B.B.B.C.C.C.C.D.D.D.D.10/29/202227 最优控制理论与应用最优控制理论与应用左端固定右端沿曲线变动

12、左端固定右端沿曲线变动 横截条件横截条件C的推导的推导10/29/202228 最优控制理论与应用最优控制理论与应用 10/29/202229 最优控制理论与应用最优控制理论与应用例例 2.5 2.5 设性能指标泛函 末值时刻 未定，已知 ，解：由欧拉方程得解：由欧拉方程得由由x(0)=1x(0)=1求出求出b=1b=1；由横截条件知；由横截条件知10/29/202230 最优控制理论与应用最优控制理论与应用10/29/202231 最优控制理论与应用最优控制理论与应用 2.4 2.4 含有多个未知函数泛函的极值含有多个未知函数泛函的极值 泛函泛函 欧拉方程欧拉方程 边界值边界值 横截条件横截

13、条件 10/29/202232 最优控制理论与应用最优控制理论与应用 2.5 2.5 条件极值条件极值状态方程状态方程 泛函泛函 引进乘子引进乘子 构造新的函构造新的函数和泛函数和泛函 欧拉方程欧拉方程 约束方程约束方程 10/29/202233 最优控制理论与应用最优控制理论与应用例例 2.6 2.6 泛函泛函约束方程约束方程 边界条件边界条件 试求试求使泛函使泛函有极值。有极值。解：化为标准形式解：化为标准形式 把问题化为标准形式，令把问题化为标准形式，令10/29/202234 最优控制理论与应用最优控制理论与应用约束方程可定为约束方程可定为边界条件为边界条件为10/29/202235

14、最优控制理论与应用最优控制理论与应用引进乘子引进乘子构造函数构造函数欧拉方程欧拉方程 10/29/202236 最优控制理论与应用最优控制理论与应用解出解出 其中，其中，和和为任意常数。为任意常数。代入约束方程，并求解可得代入约束方程，并求解可得将将利用边界条件，可得：利用边界条件，可得：10/29/202237 最优控制理论与应用最优控制理论与应用于是，极值曲线和于是，极值曲线和为：为：10/29/202238 最优控制理论与应用最优控制理论与应用问题：确定最优控制问题：确定最优控制 和最优轨线和最优轨线 ，使系统，使系统 由已知初态转移到要求的目标集由已知初态转移到要求的目标集 变分法解最

15、优控制问题变分法解最优控制问题并使指定的目标泛函并使指定的目标泛函达到极值达到极值10/29/202239 最优控制理论与应用最优控制理论与应用 末端时刻固定时最优解的必要条件末端时刻固定时最优解的必要条件（1 1）末端受约束的情况）末端受约束的情况引入拉格朗日乘子构造引入拉格朗日乘子构造广义泛函广义泛函 有有构造构造哈米顿函数哈米顿函数 10/29/202240 最优控制理论与应用最优控制理论与应用变分变分10/29/202241 最优控制理论与应用最优控制理论与应用定理：对于如下最优控制问题：定理：对于如下最优控制问题：u(t)u(t)无约束，无约束，t tf f固定固定.最优解的必要条件

16、最优解的必要条件10/29/202242 最优控制理论与应用最优控制理论与应用定理：对于如下最优控制问题：定理：对于如下最优控制问题：u(t)u(t)无约束，无约束，t tf f固定，固定，x x(t(tf)自由自由.最优解的必要条件最优解的必要条件（2 2）末端自由的情况）末端自由的情况10/29/202243 最优控制理论与应用最优控制理论与应用定理：对于如下最优控制问题：定理：对于如下最优控制问题：u(t)u(t)无约束，无约束，t tf f固定，固定，x x(t(tf)固定固定.最优解的必要条件最优解的必要条件（3 3）末端固定的情况）末端固定的情况10/29/202244 最优控制理

17、论与应用最优控制理论与应用例例 2.7 2.7 考虑状态方程和初始条件为考虑状态方程和初始条件为的简单一阶系统，其指标泛函为的简单一阶系统，其指标泛函为，使，使其中其中，给定，试求最优控制给定，试求最优控制有极小值。有极小值。0t，10/29/202245 最优控制理论与应用最优控制理论与应用，伴随方程伴随方程 边界条件边界条件 由必要条件由必要条件 解解:引进伴随变量引进伴随变量，构造哈米顿函数，构造哈米顿函数10/29/202246 最优控制理论与应用最优控制理论与应用则最优控制为则最优控制为 得得代入状态方程求解得代入状态方程求解得令令，则有，则有10/29/202247 最优控制理论与

18、应用最优控制理论与应用边界条件边界条件 指标泛函指标泛函 哈米顿函数哈米顿函数 伴随方程伴随方程 ，例例 2.8 2.8 重解例重解例 2.4 2.4 其解为其解为 10/29/202248 最优控制理论与应用最优控制理论与应用 10/29/202249 最优控制理论与应用最优控制理论与应用习题1：设一阶系统方程为性能指标取为式中常数试求使J取极小值的最优控制和相应的性能指标习题2：设二阶系统方程为性能指标取为求系统由已知初态 在 转移到目标集 且使J取极小的最优控制和最优轨迹10/29/202250 最优控制理论与应用最优控制理论与应用 2.6.2 2.6.2 末端时刻自由的最优解问题末端时

19、刻自由的最优解问题tf有时是可变的，是指标泛函，选控制使有tf极小值 变分变分 10/29/202251 最优控制理论与应用最优控制理论与应用 ，必要条件必要条件10/29/202252 最优控制理论与应用最优控制理论与应用例例 2.7 2.7 指标泛函指标泛函 哈米顿函数哈米顿函数 伴随方程伴随方程 必要条件必要条件 10/29/202253 最优控制理论与应用最优控制理论与应用 第三章第三章 最大值原理最大值原理 3.1 3.1 古典变分法的局限性古典变分法的局限性u u(t t)受限的例子受限的例子 矛盾矛盾!例例 3.1 3.1伴随方程伴随方程 极值必要条件极值必要条件 10/29/2

20、02254 最优控制理论与应用最优控制理论与应用 3.2 3.2 最大值原理最大值原理且且 定理定理 3.1(最小值原理最小值原理)设为设为容许控制，容许控制，为对应的积分轨线，为使为对应的积分轨线，为使为最优控制，为最优控制，为最优轨线，必存在一向量函数为最优轨线，必存在一向量函数，使得，使得和和满足正则方程满足正则方程 10/29/202255 最优控制理论与应用最优控制理论与应用最最小小值值原原理理只只是是最最优优控控制制所所满满足足的的必必要要条条件件。但但对于线性系统对于线性系统 ，最小值原理也是使泛函取最小值得充分条件。最小值原理也是使泛函取最小值得充分条件。10/29/20225

21、6 最优控制理论与应用最优控制理论与应用例例 3.2 3.2 重解例重解例 ，哈密顿函数哈密顿函数 伴随方程伴随方程 由极值必要条件，知由极值必要条件，知 ，又又于是有于是有10/29/202257 最优控制理论与应用最优控制理论与应用，协协态态变变量量与与控控制制变变量量的的关关系系图图 10/29/202258 最优控制理论与应用最优控制理论与应用,，例例 3.3 3.3 性能指标泛函性能指标泛函 哈密顿函数哈密顿函数 伴随方程伴随方程 ，10/29/202259 最优控制理论与应用最优控制理论与应用上有上有 10/29/202260 最优控制理论与应用最优控制理论与应用协态变量与控制变量

22、的关系图协态变量与控制变量的关系图 整个最优轨线整个最优轨线 10/29/202261 最优控制理论与应用最优控制理论与应用例例 把系统状态在终点时刻转移到把系统状态在终点时刻转移到 性能指标泛函性能指标泛函 终点时刻是不固定的终点时刻是不固定的 哈米顿函数哈米顿函数 伴随方程伴随方程，10/29/202262 最优控制理论与应用最优控制理论与应用H H是是u u的的二二次次抛抛物物线线函函数数，u u在在 上上一一定定使使H H有最小值，可能在内部，也可能在边界上。有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值最优控制可能且只能取三个值 此二者都不能使状态变量同此二者都不能

23、使状态变量同时满足初始条件和终点条件时满足初始条件和终点条件 10/29/202263 最优控制理论与应用最优控制理论与应用，最优控制最优控制 最优轨线最优轨线 最优性能指标最优性能指标 10/29/202264 最优控制理论与应用最优控制理论与应用例例 3.5 3.5 使系统以最短时间从给定初态转移到零态使系统以最短时间从给定初态转移到零态 哈米顿函数哈米顿函数 伴随方程伴随方程 10/29/202265 最优控制理论与应用最优控制理论与应用最优控制切换及最优轨线示意图最优控制切换及最优轨线示意图 10/29/202266 最优控制理论与应用最优控制理论与应用 3.3 3.3 古典变分法与最

24、小值原理古典变分法与最小值原理古古典典变变分分法法适适用用的的范范围围是是对对u u无无约约束束，而而最最小小值值原原理一般都适用。特别当理一般都适用。特别当u u不受约束时，条件不受约束时，条件就等价于条件就等价于条件10/29/202267 最优控制理论与应用最优控制理论与应用 3.4 3.4 极大值原理的应用：极大值原理的应用：快速控制系统快速控制系统在实际问题中，经常发生以时间为性能指标的在实际问题中，经常发生以时间为性能指标的控制问题。控制问题。如，当被控对象受干扰后，偏离了平衡状态，如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。希望施加控制能以最短

25、时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称凡是以运动时间为性能指标的最优控制问题称为最小时间控制。为最小时间控制。10/29/202268 最优控制理论与应用最优控制理论与应用 3.4.1 3.4.1 快速控制问题快速控制问题性能指标性能指标 时间上限时间上限是可变的是可变的 从状态从状态转移平衡状态转移平衡状态所需时间最短所需时间最短 构造哈密顿函数构造哈密顿函数 最小值原理最小值原理 分段常值函数分段常值函数 10/29/202269 最优控制理论与应用最优控制理论与应用例例 3.4.1 3.4.1 有有一一单单位位质质点点，在在 处处以以初初速速度度2 2沿沿直直线线运

26、运动动。现现施施加加一一力力 ，使使质质点点尽尽快快返返回回原原点点，并并停停留留在在原原点点上上。力力 简简称为控制。若其它阻力不计，试求此控制力。称为控制。若其它阻力不计，试求此控制力。质点运动方程质点运动方程 状态方程状态方程 哈密顿函数哈密顿函数 伴随方程伴随方程 10/29/202270 最优控制理论与应用最优控制理论与应用最优控制最优控制 协态变量与控制函数协态变量与控制函数4种情况示意图种情况示意图 10/29/202271 最优控制理论与应用最优控制理论与应用相轨线族示意图相轨线族示意图 开开关曲线关曲线 10/29/202272 最优控制理论与应用最优控制理论与应用开关曲线开

27、关曲线 总时间总时间 初始状态初始状态 最优控制最优控制 状态方程状态方程 相轨线相轨线 最优控制最优控制 10/29/202273 最优控制理论与应用最优控制理论与应用 3.4.2 3.4.2 综合问题综合问题 综合是将最优控制函数表示为状态和时间的函数综合是将最优控制函数表示为状态和时间的函数即即上例之最优综合控制函数上例之最优综合控制函数 10/29/202274 最优控制理论与应用最优控制理论与应用例例 求快速返回原点的开关曲线和最优综合控制函数求快速返回原点的开关曲线和最优综合控制函数 构造哈密顿函数构造哈密顿函数 伴随方程伴随方程 最优控制最优控制 10/29/202275 最优控

28、制理论与应用最优控制理论与应用最优控制与协态变量的变化情况最优控制与协态变量的变化情况 控控制制是是“砰砰砰砰控控制制”，除除了了首首尾尾之之外外，在在和和上的停留时间均为上的停留时间均为 10/29/202276 最优控制理论与应用最优控制理论与应用备备选选最最优优轨轨线线族族 两族同心圆方程两族同心圆方程 10/29/202277 最优控制理论与应用最优控制理论与应用相点沿轨线顺时针方向运动，其速度为相点沿轨线顺时针方向运动，其速度为开关曲线开关曲线 10/29/202278 最优控制理论与应用最优控制理论与应用第二段开关曲线第二段开关曲线 10/29/202279 最优控制理论与应用最优

29、控制理论与应用整个开关曲线整个开关曲线 10/29/202280 最优控制理论与应用最优控制理论与应用最优综合控制函数最优综合控制函数 10/29/202281 最优控制理论与应用最优控制理论与应用 第四章第四章 线性二次型性能指标的最优控制线性二次型性能指标的最优控制 用最大值原理求最优控制，求出的最优控制用最大值原理求最优控制，求出的最优控制 通常是时间的函数，这样的控制为开环控制通常是时间的函数，这样的控制为开环控制 当用开环控制时，在控制过程中不允许有任当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不

30、可能没有，因此工程在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间上总希望应用闭环控制，即控制函数表示成时间和状态的函数。和状态的函数。求解这样的问题一般来说是很困难的。求解这样的问题一般来说是很困难的。10/29/202282 最优控制理论与应用最优控制理论与应用 但对一类线性的且指标是二次型的动态系统，但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。着广泛的应用。10/29/20

31、2283 最优控制理论与应用最优控制理论与应用 4.1 4.1 问题提法问题提法动态方程动态方程 指标泛函指标泛函 使使求求有最小值有最小值此问题称线性二次型性能指标的最优控制问题此问题称线性二次型性能指标的最优控制问题通常称通常称为综合控制函数为综合控制函数10/29/202284 最优控制理论与应用最优控制理论与应用指标泛函的物理意义指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。积分项，被积函数由两项组成，都是二次型。第第一一项项过过程程在在控控制制过过程程中中，实实际际上上是是要要求求每每个个分分量量越越小小越越好好，但但每每一一个个分分量量不不一一定定同同等等重重要要，所所

32、以用加权来调整，当权为零时，对该项无要求。以用加权来调整，当权为零时，对该项无要求。第第二二项项控控制制能能力力能能量量消消耗耗最最小小。对对每每个个分分量量要要求求不不一一样样，因因而而进进行行加加权权。要要求求正正定定，一一方方面面对对每每个个分分量量都都应应有有要要求求，否否则则会会出出现现很很大大幅幅值值，在在实实际际工工程程中中实实现现不不了了；另另一一方方面面，在在计计算算中中需需要要有有逆逆存存在。在。指指标标中中的的第第一一项项是是对对点点状状态态的的要要求求，由由于于对对每每个个分量要求不同，用加权阵来调整。分量要求不同，用加权阵来调整。10/29/202285 最优控制理论

33、与应用最优控制理论与应用 4.2.1 4.2.1 末端自由问题末端自由问题构造哈密顿函数构造哈密顿函数 伴随方程及边界条件伴随方程及边界条件 最优控制应满足最优控制应满足 4.2 4.2 状态调节器状态调节器10/29/202286 最优控制理论与应用最优控制理论与应用求导 10/29/202287 最优控制理论与应用最优控制理论与应用（矩阵黎卡提微分方程）（矩阵黎卡提微分方程）边界条件边界条件 令令最优控制是状态变量的线性函数最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制借助状态变量的线性反馈可实现闭环最优控制 最优控制最优控制 对称半正定阵对称半正定阵 10/29/2

34、02288 最优控制理论与应用最优控制理论与应用例例 4.1 4.1 性能指标泛函性能指标泛函 最优控制最优控制 黎卡提微分方程黎卡提微分方程 10/29/202289 最优控制理论与应用最优控制理论与应用最优轨线最优轨线 最优控制最优控制 最优轨线的微分方程最优轨线的微分方程 解解 10/29/202290 最优控制理论与应用最优控制理论与应用黎卡提方程的解黎卡提方程的解 随终点时间变化的随终点时间变化的黎卡提方程的解黎卡提方程的解 10/29/202291 最优控制理论与应用最优控制理论与应用 4.2.2 4.2.2 固定端问题固定端问题（设）（设）指标泛函指标泛函 采用采用“补偿函数补偿

35、函数”法法 补偿函数补偿函数 惩罚函数惩罚函数 边界条件边界条件 黎卡提方程黎卡提方程 逆黎卡提方程逆黎卡提方程 10/29/202292 最优控制理论与应用最优控制理论与应用求导求导 黎卡提方程黎卡提方程乘以乘以逆黎卡提方程逆黎卡提方程 解解 逆逆 10/29/202293 最优控制理论与应用最优控制理论与应用 4.2.3 4.2.3 的情况的情况性能指标性能指标 无限长时间调节器问题无限长时间调节器问题 黎卡提方程黎卡提方程 边界条件边界条件 最优控制最优控制 最优指标最优指标 10/29/202294 最优控制理论与应用最优控制理论与应用 4.2.4 4.2.4 定常系统定常系统完全可控

36、完全可控 指标泛函指标泛函 矩阵代数方程矩阵代数方程 最优控制最优控制 最优指标最优指标 10/29/202295 最优控制理论与应用最优控制理论与应用例例 黎卡提方程黎卡提方程 10/29/202296 最优控制理论与应用最优控制理论与应用 4.3 4.3 输出调节器输出调节器输出调节器问题输出调节器问题状态调节器问题状态调节器问题 指标泛函指标泛函 令令10/29/202297 最优控制理论与应用最优控制理论与应用 4.4 4.4 跟踪问题跟踪问题问题的提法问题的提法 已知的理想输出已知的理想输出 偏差量偏差量 指标泛函指标泛函 寻求控制规律使性能指标有极小值。寻求控制规律使性能指标有极小

37、值。物物理理意意义义 在在控控制制过过程程中中，使使系系统统输输出出尽尽量量趋趋近近理想输出，同时也使能量消耗最少。理想输出，同时也使能量消耗最少。10/29/202298 最优控制理论与应用最优控制理论与应用指标泛函指标泛函 哈密顿函数哈密顿函数 10/29/202299 最优控制理论与应用最优控制理论与应用设设并微分并微分10/29/2022100 最优控制理论与应用最优控制理论与应用的任意性的任意性 最优控制最优控制 10/29/2022101 最优控制理论与应用最优控制理论与应用最优轨线方程最优轨线方程 最优性能指标最优性能指标 10/29/2022102 最优控制理论与应用最优控制理

38、论与应用例例 ，性能指标性能指标 10/29/2022103 最优控制理论与应用最优控制理论与应用最优控制最优控制 10/29/2022104 最优控制理论与应用最优控制理论与应用，最优控制最优控制 极限解极限解 10/29/2022105 最优控制理论与应用最优控制理论与应用闭环控制系统结构闭环控制系统结构 10/29/2022106 最优控制理论与应用最优控制理论与应用两种方法两种方法 庞特里雅金庞特里雅金 前苏联学者前苏联学者 极大值原理极大值原理 贝尔曼贝尔曼 美国学者美国学者 动态规划动态规划 应用在过程控制、国防建设、经济规划、管理应用在过程控制、国防建设、经济规划、管理 多个分支

39、多个分支 分分布布参参数数的的最最优优控控制制、随随机机最最优优控控制制、大大系系统统最最优控制以及多方多层次的微分对策和主从对策等优控制以及多方多层次的微分对策和主从对策等 10/29/2022107 最优控制理论与应用最优控制理论与应用 第五章第五章 动态规划动态规划动态规划是求解最优控制的又一种方动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。称贝尔曼动态规划。10/29/

40、2022108 最优控制理论与应用最优控制理论与应用 5.1 5.1 多级决策过程与最优性原理多级决策过程与最优性原理作为例子，首先分析最优路径问题作为例子，首先分析最优路径问题(a)(b)(c)试试分分析析(a),(b)(a),(b)和和(c)(c)三三种种情情况况的的最最优优路路径径，即即从从 走走到到 所所需需时时间间最最少少。规规定定沿沿水水平平方方向向只能前进不能后退。只能前进不能后退。10/29/2022109 最优控制理论与应用最优控制理论与应用(a)(a)中中只只有有两两条条路路径径，从从起起点点开开始始，一一旦旦选选定定路路线线，就就直直达达终终点点，选选最最优优路路径径就就

41、是是从从两两条条中中选选一一条条，使使路路程程所所用用时时间间最最少少。这这很很容容易易办办到到，只只稍稍加计算，便可知道，上面一条所需时间最少。加计算，便可知道，上面一条所需时间最少。(b)(b)共共有有6 6条条路路径径可可到到达达终终点点，若若仍仍用用上上面面方方法法，需需计计算算6 6次次，将将每每条条路路线线所所需需时时间间求求出出，然然后后比比较，找出一条时间最短的路程。较，找出一条时间最短的路程。(c)(c)需需计计算算2020次次，因因为为这这时时有有2020条条路路径径，由由此此可可见，计算量显著增大了。见，计算量显著增大了。10/29/2022110 最优控制理论与应用最优

42、控制理论与应用逆向分级计算法逆向分级计算法 逆逆向向是是指指计计算算从从后后面面开开始始，分分级级是是指指逐逐级级计计算。逆向分级就是从后向前逐级计算。算。逆向分级就是从后向前逐级计算。以以(c)(c)为例为例 从倒数第一级开始，状态有两个，分别为从倒数第一级开始，状态有两个，分别为 和和 在在处，只有一条路到达终点，其时间是处，只有一条路到达终点，其时间是；在在 处，也只有一条，时间为处，也只有一条，时间为1。后一条时间最短，。后一条时间最短，将此时间相应地标在将此时间相应地标在 点上。点上。并将此点到终点的最优路径画上箭头。并将此点到终点的最优路径画上箭头。10/29/2022111 最优

43、控制理论与应用最优控制理论与应用然后再考虑第二级然后再考虑第二级 只有一种选择，到终点所需时间是只有一种选择，到终点所需时间是 有两条路，比较后选出时间最少的一条，即有两条路，比较后选出时间最少的一条，即4+1=54+1=5。用箭头标出。用箭头标出 也标出最优路径和时间也标出最优路径和时间 依此类推，最后计算初始位置依此类推，最后计算初始位置 求得最优路径求得最优路径 最短时间为最短时间为 13 1310/29/2022112 最优控制理论与应用最优控制理论与应用最优路径示意图最优路径示意图 10/29/2022113 最优控制理论与应用最优控制理论与应用多级过程多级过程 多级决策过程多级决策

44、过程 目标函数目标函数 控制目的控制目的 选择决策序列选择决策序列 使目标函数取最小值或最大值使目标函数取最小值或最大值 实际上就是离散状态的最优控制问题实际上就是离散状态的最优控制问题 10/29/2022114 最优控制理论与应用最优控制理论与应用最优性原理最优性原理 在在一一个个多多级级决决策策问问题题中中的的最最优优决决策策具具有有这这样样的的性性质质，不不管管初初始始级级、初初始始状状态态和和初初始始决决策策是是什什么么，当当把把其其中中任任何何一一级级和和状状态态做做为为初初始始级级和和初初始始状状态态时时，余下的决策对此仍是最优决策。余下的决策对此仍是最优决策。10/29/202

45、2115 最优控制理论与应用最优控制理论与应用指标函数多是各级指标之和，即具有可加性指标函数多是各级指标之和，即具有可加性 最优性原理的数学表达式最优性原理的数学表达式 10/29/2022116 最优控制理论与应用最优控制理论与应用 5.2 5.2 离散系统动态规划离散系统动态规划阶离散系统阶离散系统 性能指标性能指标 求决策向量求决策向量 使使 有最小值（或最大值），其终点可自由，有最小值（或最大值），其终点可自由，也可固定或受约束。也可固定或受约束。10/29/2022117 最优控制理论与应用最优控制理论与应用引进记号引进记号 应用最优性原理应用最优性原理 可建立如下递推公式可建立如下

46、递推公式 贝尔曼动态规划方程贝尔曼动态规划方程 10/29/2022118 最优控制理论与应用最优控制理论与应用例例 5.2 5.2 设一阶离散系统，状态方程和初始条件为设一阶离散系统，状态方程和初始条件为性能指标性能指标 求使求使 有最小值的最优决策序列和最优轨线序列有最小值的最优决策序列和最优轨线序列 指标可写为指标可写为 10/29/2022119 最优控制理论与应用最优控制理论与应用代入代入 上一级上一级10/29/2022120 最优控制理论与应用最优控制理论与应用代入状态方程代入状态方程 最优决策序列最优决策序列 最最优轨线优轨线 10/29/2022121 最优控制理论与应用最优

47、控制理论与应用 5.3 5.3 连续系统的动态规划连续系统的动态规划性能指标性能指标 目标集目标集 引进记号引进记号 根据最优性原理及根据最优性原理及10/29/2022122 最优控制理论与应用最优控制理论与应用10/29/2022123 最优控制理论与应用最优控制理论与应用由泰勒公式，得由泰勒公式，得 由中值定理，得由中值定理，得 10/29/2022124 最优控制理论与应用最优控制理论与应用连续型动态规划方程连续型动态规划方程 实实际际上上它它不不是是一一个个偏偏微微分分方方程程，而而是是一一个个函函数数方程和偏微分方程的混合方程方程和偏微分方程的混合方程 10/29/2022125

48、最优控制理论与应用最优控制理论与应用满足连续型动态规划方程，有满足连续型动态规划方程，有 设设边界条件边界条件 动动态态规规划划 动动态态规规划划方方程程是是最最优优控控制制函函数数满满足足的的充充分分条条件件；解解一一个个偏偏微微分分方方程程；可可直直接接得得出出综综合合函函数数 ；动动态态规规划划要要求求 有有连连续续偏导数偏导数最最大大值值原原理理 最最大大值值原原理理是是最最优优控控制制函函数数满满足足的的必必要要条条件件；解解一一个个常常微微分分方方程程组组；最最大大值值原原理理则则只求得只求得 。10/29/2022126 最优控制理论与应用最优控制理论与应用例例 5.3 5.3

49、一阶系统一阶系统，性能指标性能指标 动态规划方程动态规划方程 右端对右端对u u求导数，令其导数为零，则得求导数，令其导数为零，则得 10/29/2022127 最优控制理论与应用最优控制理论与应用 5.4 5.4 动态规划与最大值原理的关系动态规划与最大值原理的关系变变分分法法、最最大大值值原原理理和和动动态态规规划划都都是是研研究究最最优优控控制制问问题题的的求求解解方方法法，很很容容易易想想到到，若若用用三三者者研研究究同同一一个个问问题题，应应该该得得到到相相同同的的结结论论。因因此此三三者者应应该该存存在在着着内内在在联联系系。变变分分法法和和最最大大值值原原理理之之间间的的关关系系

50、前前面面已已说说明明，下下面面将将分分析析动动态态规规划划和和最最大大值值原原理理的的关关系系。可可以以证证明明，在在一一定定条条件件下下，从从动态规划方程能求最大值原理的方程。动态规划方程能求最大值原理的方程。10/29/2022128 最优控制理论与应用最优控制理论与应用最优控制理论最优控制理论 上世纪上世纪5050年代初年代初 问题比较简单问题比较简单 二阶定常系统二阶定常系统 方法比较特殊方法比较特殊 借助于几何图形借助于几何图形 动态系统的最优化问题乃是一个变分问题动态系统的最优化问题乃是一个变分问题 变变分法分法 开集开集 最优控制问题最优控制问题 闭集闭集 发展变分法发展变分法