最优控制理论及应用幻灯片.ppt

《最优控制理论及应用幻灯片.ppt》由会员分享，可在线阅读，更多相关《最优控制理论及应用幻灯片.ppt（130页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、最优控制理论及应用最优控制理论及应用2023/4/121第1页，共130页，编辑于2022年，星期六一一 基本概念基本概念最优控制理论中心问题：最优控制理论中心问题：给定一个控制系统（已建立给定一个控制系统（已建立的被控对象的数学模型），选择一个容许的控制律，使的被控对象的数学模型），选择一个容许的控制律，使被控对象按预定要求运行，并使给定的某一性能指标达被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值）到极小值（或极大值）第一章第一章 最优控制问题最优控制问题的一般概念的一般概念第2页，共130页，编辑于2022年，星期六二二 最优控制问题最优控制问题1 1 例子例子 飞船

2、软着陆问题飞船软着陆问题 宇宙飞船在月球表面着陆时速宇宙飞船在月球表面着陆时速度必须为零，即软着陆，这要靠发动机的推力变化度必须为零，即软着陆，这要靠发动机的推力变化来完成。问题是如何选择一个推力方案，使燃料消来完成。问题是如何选择一个推力方案，使燃料消耗最小。耗最小。m m 飞船的质量，飞船的质量，h h 高度，高度，v v 垂直速度，垂直速度，g g 月球重力加速度常数，月球重力加速度常数，M M 飞船自身质量飞船自身质量F F 燃料的质量燃料的质量第3页，共130页，编辑于2022年，星期六软着陆过程开始时刻软着陆过程开始时刻t t为零为零 K K为常数为常数 ，初始状态，初始状态 末端

3、条件末端条件 第4页，共130页，编辑于2022年，星期六性能指标性能指标控制约束控制约束 任务：满足控制约束条件下，求发动机推力的任务：满足控制约束条件下，求发动机推力的最优变化律，使登月舱由初始出发点到达目标处最优变化律，使登月舱由初始出发点到达目标处（末态），并使性能指标达到极值（燃耗量最小）（末态），并使性能指标达到极值（燃耗量最小）第5页，共130页，编辑于2022年，星期六例例2 2 火车快速运行问题火车快速运行问题 设火车从甲地出发，求设火车从甲地出发，求容许控制，使其到达乙地时间最短。容许控制，使其到达乙地时间最短。m m 火车质量；火车质量；火车加速度；火车加速度；u u（t

4、 t）产生加）产生加速度的推力且速度的推力且 火车运动方程火车运动方程 第6页，共130页，编辑于2022年，星期六2 2 问题描述问题描述(1)(1)状态方程状态方程 一般形式为一般形式为 为为n n维状态向量维状态向量 为为r r维控制向量维控制向量 为为n n维向量函数维向量函数 给定控制规律给定控制规律 满足一定条件时，方程有唯一解满足一定条件时，方程有唯一解 第7页，共130页，编辑于2022年，星期六(2)(2)容许控制容许控制 ：,(3)(3)目标集目标集 n维向量函数维向量函数 固定端问题固定端问题 自由端问题自由端问题 第8页，共130页，编辑于2022年，星期六(4)(4)

5、性能指标性能指标 对状态、控制以及终点状态的要求，复合型性能指标对状态、控制以及终点状态的要求，复合型性能指标 积分型性能指标，表示对整个状态积分型性能指标，表示对整个状态和控制过程的要求和控制过程的要求 终点型指标，表示仅对终点状态的要终点型指标，表示仅对终点状态的要求求 第9页，共130页，编辑于2022年，星期六最优控制的应用类型n积分型1）最小时间控制2）最小燃耗控制3）最小能量控制第10页，共130页，编辑于2022年，星期六n末值型n复合型1）状态调节器2）输出跟踪系统第11页，共130页，编辑于2022年，星期六最优控制的研究方法n解析法：适用于性能指标及约束条件有明显解析式n数

6、值计算方法：性能指标比较复杂1）一维搜索法：适合单变量求极值2）多维搜索法：适合单变量求极值n梯度法：解析与数值方法相结合1)无约束梯度法2)有约束梯度法第12页，共130页，编辑于2022年，星期六第二章第二章 最优控制中的变分法最优控制中的变分法 2.1 2.1 泛函与变分法基础泛函与变分法基础平面上两点连线的长度问题平面上两点连线的长度问题 其弧长为其弧长为第13页，共130页，编辑于2022年，星期六一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为记为 。，称为泛函。，称为泛函。，称泛函的宗量，称泛函的宗量 泛函定义泛函定义：x(

7、t)x(t)是自变量是自变量t t的函数，若对的函数，若对每个函数每个函数x(t)x(t)，有一个，有一个J J值与之对应，则变值与之对应，则变量量J J称为依赖于称为依赖于x(t)x(t)的泛函，记的泛函，记J(x(t)J(x(t)例举：例举：第14页，共130页，编辑于2022年，星期六线性泛函与连续泛函：线性泛函与连续泛函：线性泛函线性泛函 泛函对宗量是线性的泛函对宗量是线性的连续泛函连续泛函 若定义在线性赋范空间上的泛函又满足连续条件，称J(x)为连续线性泛函 第15页，共130页，编辑于2022年，星期六泛函与函数的几何解释泛函与函数的几何解释 宗量的变分宗量的变分 泛函的增量泛函的

8、增量 泛函的变分泛函的变分 Jd=第16页，共130页，编辑于2022年，星期六定理定理 2.1 2.1 泛函的变分为泛函的变分为 第17页，共130页，编辑于2022年，星期六例例 2.1 2.1 求泛函的变分求泛函的变分 第18页，共130页，编辑于2022年，星期六泛函的极值定理定理 2.2 2.2 若泛函若泛函 有极值，则必有有极值，则必有第19页，共130页，编辑于2022年，星期六变分学预备定理第20页，共130页，编辑于2022年，星期六2.2 2.2 欧拉方程欧拉方程(1)(1)无约束泛函极值的必要条件定理2.3 2.3 设有如下泛函极值问题设有如下泛函极值问题：及横截条件及横

9、截条件第21页，共130页，编辑于2022年，星期六 2.2 2.2 欧拉方程欧拉方程 变分变分 分部积分分部积分 证明：证明：第22页，共130页，编辑于2022年，星期六例例 2.2 2.2 求平面上两固定点间连线最短的曲线求平面上两固定点间连线最短的曲线 ，直线直线 第23页，共130页，编辑于2022年，星期六例例2.32.3：已知边界条件为已知边界条件为 求使泛函达到极值的轨线求使泛函达到极值的轨线解：解：第24页，共130页，编辑于2022年，星期六2.2 2.2 欧拉方程欧拉方程(2)有等式约束泛函极值的必要条件有等式约束泛函极值的必要条件定理定理2.4 设有如下泛函极值问题设有

10、如下泛函极值问题：及横截条件及横截条件第25页，共130页，编辑于2022年，星期六例2.42.4：设人造地球卫星姿态控制系统的状态方程为：设人造地球卫星姿态控制系统的状态方程为第26页，共130页，编辑于2022年，星期六 2.3 2.3 2.3 2.3 横截条件横截条件 讨论：讨论：A.A.B.B.C.C.D.D.第27页，共130页，编辑于2022年，星期六左端固定右端沿曲线变动左端固定右端沿曲线变动 横截条件横截条件C的推导的推导第28页，共130页，编辑于2022年，星期六 第29页，共130页，编辑于2022年，星期六例例 2.5 2.5 设性能指标泛函 末值时刻 未定，已知 ，解

11、：由欧拉方程得解：由欧拉方程得由由x(0)=1x(0)=1求出求出b=1b=1；由横截条件知；由横截条件知第30页，共130页，编辑于2022年，星期六第31页，共130页，编辑于2022年，星期六 2.4 2.4 含有多个未知函数泛函的极值含有多个未知函数泛函的极值 泛函泛函 欧拉方程欧拉方程 边界值边界值 横截条件横截条件 第32页，共130页，编辑于2022年，星期六 2.5 2.5 条件极值条件极值状态方程状态方程 泛函泛函 引进乘子引进乘子 构造新的函数构造新的函数和泛函和泛函 欧拉方程欧拉方程 约束方程约束方程 第33页，共130页，编辑于2022年，星期六例例 2.6 2.6 泛

12、函泛函约束方程约束方程 边界条件边界条件 试求试求使泛函使泛函有极值。有极值。解：化为标准形式解：化为标准形式 把问题化为标准形式，令把问题化为标准形式，令第34页，共130页，编辑于2022年，星期六约束方程可定为约束方程可定为边界条件为边界条件为第35页，共130页，编辑于2022年，星期六引进乘子引进乘子构造函数构造函数欧拉方程欧拉方程 第36页，共130页，编辑于2022年，星期六解出解出 其中，其中，和和为任意常数。为任意常数。代入约束方程，并求解可得代入约束方程，并求解可得将将利用边界条件，可得：利用边界条件，可得：第37页，共130页，编辑于2022年，星期六于是，极值曲线和于是

13、，极值曲线和为：为：第38页，共130页，编辑于2022年，星期六问题：确定最优控制问题：确定最优控制 和最优轨线和最优轨线 ，使系统，使系统 由已知初态转移到要求的目标集由已知初态转移到要求的目标集 2.6 2.6变分法解最优控制问题变分法解最优控制问题并使指定的目标泛函并使指定的目标泛函达到极值达到极值第39页，共130页，编辑于2022年，星期六 2.6.1 2.6.1末端时刻固定时最优解的必要条件末端时刻固定时最优解的必要条件（1 1）末端受约束的情况）末端受约束的情况引入拉格朗日乘子构造引入拉格朗日乘子构造广义泛函广义泛函 有有构造构造哈米顿函数哈米顿函数 第40页，共130页，编辑

14、于2022年，星期六变分变分第41页，共130页，编辑于2022年，星期六定理定理2.52.5：对于如下最优控制问题：对于如下最优控制问题：u(t)u(t)无约束，无约束，t tf f固定固定.最优解的必要条件最优解的必要条件第42页，共130页，编辑于2022年，星期六定理定理2.62.6：对于如下最优控制问题：对于如下最优控制问题：u(t)u(t)无约束，无约束，t tf f固定，固定，x x(t(tf)自由自由.最优解的必要条件最优解的必要条件（2 2）末端自由的情况）末端自由的情况第43页，共130页，编辑于2022年，星期六定理定理2.72.7：对于如下最优控制问题：对于如下最优控制

15、问题：u(t)u(t)无约束，无约束，t tf f固定，固定，x x(t(tf)固定固定.最优解的必要条件最优解的必要条件（3 3）末端固定的情况）末端固定的情况第44页，共130页，编辑于2022年，星期六例例 2.7 2.7 考虑状态方程和初始条件为考虑状态方程和初始条件为的简单一阶系统，其指标泛函为的简单一阶系统，其指标泛函为，使，使其中其中，给定，试求最优控制给定，试求最优控制有极小值。有极小值。0t，第45页，共130页，编辑于2022年，星期六，伴随方程伴随方程 边界条件边界条件 由必要条件由必要条件 解解:引进伴随变量引进伴随变量，构造哈米顿函数，构造哈米顿函数第46页，共130

16、页，编辑于2022年，星期六则最优控制为则最优控制为 得得代入状态方程求解得代入状态方程求解得令令，则有，则有第47页，共130页，编辑于2022年，星期六边界条件边界条件 指标泛函指标泛函 哈米顿函数哈米顿函数 伴随方程伴随方程 ，例例 2.8 2.8 重解例重解例 2.4 2.4 其解为其解为 第48页，共130页，编辑于2022年，星期六 第49页，共130页，编辑于2022年，星期六习题1：设一阶系统方程为性能指标取为式中常数试求使J取极小值的最优控制和相应的性能指标习题2：设二阶系统方程为性能指标取为求系统由已知初态 在 转移到目标集 且使J取极小的最优控制和最优轨迹第50页，共13

17、0页，编辑于2022年，星期六 2.6.2 2.6.2 末端时刻自由的最优解问题末端时刻自由的最优解问题tf有时是可变的，是指标泛函，选控制使有tf极小值 变分变分 第51页，共130页，编辑于2022年，星期六 ，必要条件必要条件第52页，共130页，编辑于2022年，星期六例例 2.7 2.7 指标泛函指标泛函 哈米顿函数哈米顿函数 伴随方程伴随方程 必要条件必要条件 第53页，共130页，编辑于2022年，星期六 第三章第三章 最大值原理最大值原理 3.1 3.1 古典变分法的局限性古典变分法的局限性u u(t t)受限的例子受限的例子 矛盾矛盾!例例 3.1 3.1伴随方程伴随方程 极

18、值必要条件极值必要条件 第54页，共130页，编辑于2022年，星期六 3.2 3.2 最大值原理最大值原理且且 定理定理 3.1(最小值原理最小值原理)设为设为容许控制，容许控制，为对应的积分轨线，为使为对应的积分轨线，为使为最优控制，为最优控制，为最优轨线，必存在一向量函数为最优轨线，必存在一向量函数，使得，使得和和满足正则方程满足正则方程 第55页，共130页，编辑于2022年，星期六最最小小值值原原理理只只是是最最优优控控制制所所满满足足的的必必要要条条件件。但但对对于于线性系统线性系统 ，最小值原理也是使泛函取最小值得充分条件。最小值原理也是使泛函取最小值得充分条件。第56页，共13

19、0页，编辑于2022年，星期六例例 3.2 3.2 重解例重解例 3.1 3.1，哈密顿函数哈密顿函数 伴随方程伴随方程 由极值必要条件，知由极值必要条件，知 ，又又于是有于是有第57页，共130页，编辑于2022年，星期六，协协态态变变量量与与控控制制变变量量的的关关系系图图 第58页，共130页，编辑于2022年，星期六,，例例 3.3 3.3 性能指标泛函性能指标泛函 哈密顿函数哈密顿函数 伴随方程伴随方程 ，第59页，共130页，编辑于2022年，星期六上有上有 第60页，共130页，编辑于2022年，星期六协态变量与控制变量的关系图协态变量与控制变量的关系图 整个最优轨线整个最优轨线

20、 第61页，共130页，编辑于2022年，星期六例例 3.4 3.4 把系统状态在终点时刻转移到把系统状态在终点时刻转移到 性能指标泛函性能指标泛函 终点时刻是不固定的终点时刻是不固定的 哈米顿函数哈米顿函数 伴随方程伴随方程，第62页，共130页，编辑于2022年，星期六H H是是u u的的二二次次抛抛物物线线函函数数，u u在在 上上一一定定使使H H有最小值，可能在内部，也可能在边界上。有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值最优控制可能且只能取三个值 此二者都不能使状态变量同时此二者都不能使状态变量同时满足初始条件和终点条件满足初始条件和终点条件 第63页，共1

21、30页，编辑于2022年，星期六，最优控制最优控制 最优轨线最优轨线 最优性能指标最优性能指标 第64页，共130页，编辑于2022年，星期六例例 3.5 3.5 使系统以最短时间从给定初态转移到零态使系统以最短时间从给定初态转移到零态 哈米顿函数哈米顿函数 伴随方程伴随方程 第65页，共130页，编辑于2022年，星期六最优控制切换及最优轨线示意图最优控制切换及最优轨线示意图 第66页，共130页，编辑于2022年，星期六 3.3 3.3 古典变分法与最小值原理古典变分法与最小值原理古古典典变变分分法法适适用用的的范范围围是是对对u u无无约约束束，而而最最小小值值原原理理一一般都适用。特别

22、当般都适用。特别当u u不受约束时，条件不受约束时，条件就等价于条件就等价于条件第67页，共130页，编辑于2022年，星期六 3.4 3.4 极大值原理的应用：极大值原理的应用：快速控制系统快速控制系统在实际问题中，经常发生以时间为性能指标的在实际问题中，经常发生以时间为性能指标的控制问题。控制问题。如，当被控对象受干扰后，偏离了平衡状态，如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称凡是以运动时间为性能指标的最优控制问题称为最小时间控制。为最小时间控制。第68页，共130页，编

23、辑于2022年，星期六 3.4.1 3.4.1 快速控制问题快速控制问题性能指标性能指标 时间上限时间上限是可变的是可变的 从状态从状态转移平衡状态转移平衡状态所需时间最短所需时间最短 构造哈密顿函数构造哈密顿函数 最小值原理最小值原理 分段常值函数分段常值函数 第69页，共130页，编辑于2022年，星期六例例 3.4.1 3.4.1 有有一一单单位位质质点点，在在 处处以以初初速速度度2 2沿沿直直线线运运动动。现现施施加加一一力力 ，使使质质点点尽尽快快返返回回原原点点，并并停停留留在在原原点点上上。力力 简简称为控制。若其它阻力不计，试求此控制力。称为控制。若其它阻力不计，试求此控制力

24、。质点运动方程质点运动方程 状态方程状态方程 哈密顿函数哈密顿函数 伴随方程伴随方程 第70页，共130页，编辑于2022年，星期六最优控制最优控制 协态变量与控制函数协态变量与控制函数4种情况示意图种情况示意图 第71页，共130页，编辑于2022年，星期六相轨线族示意图相轨线族示意图 开开关曲线关曲线 第72页，共130页，编辑于2022年，星期六开关曲线开关曲线 总时间总时间 初始状态初始状态 最优控制最优控制 状态方程状态方程 相轨线相轨线 最优控制最优控制 第73页，共130页，编辑于2022年，星期六 3.4.2 3.4.2 综合问题综合问题 综合是将最优控制函数表示为状态和时间的

25、函数综合是将最优控制函数表示为状态和时间的函数即即上例之最优综合控制函数上例之最优综合控制函数 第74页，共130页，编辑于2022年，星期六例例 3.4.2 3.4.2 求快速返回原点的开关曲线和最优综合控制函数求快速返回原点的开关曲线和最优综合控制函数 构造哈密顿函数构造哈密顿函数 伴随方程伴随方程 最优控制最优控制 第75页，共130页，编辑于2022年，星期六最优控制与协态变量的变化情况最优控制与协态变量的变化情况 控控制制是是“砰砰砰砰控控制制”，除除了了首首尾尾之之外外，在在和和上的停留时间均为上的停留时间均为 第76页，共130页，编辑于2022年，星期六备备选选最最优优轨轨线线

26、族族 两族同心圆方程两族同心圆方程 第77页，共130页，编辑于2022年，星期六相点沿轨线顺时针方向运动，其速度为相点沿轨线顺时针方向运动，其速度为开关曲线开关曲线 第78页，共130页，编辑于2022年，星期六第二段开关曲线第二段开关曲线 第79页，共130页，编辑于2022年，星期六整个开关曲线整个开关曲线 第80页，共130页，编辑于2022年，星期六最优综合控制函数最优综合控制函数 第81页，共130页，编辑于2022年，星期六 第四章第四章 线性二次型性能指标的最优控制线性二次型性能指标的最优控制 用最大值原理求最优控制，求出的最优控制用最大值原理求最优控制，求出的最优控制 通通常

27、是时间的函数，这样的控制为开环控制常是时间的函数，这样的控制为开环控制 当用开环控制时，在控制过程中不允许有任何干扰，当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的上总希望应用闭环控制，即控制函数表示成时间和状态的函数。函数。求解这样的问题一般来说是很困难的。求解这样的问题一般来说是很困难的。第82页，共130页，编辑于2022年，星期六 但对一类线性的且指标是二次型的动态系统，却得但对一类线性的且指标是二次型

28、的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。且在工际中又容易实现，因而在工程中有着广泛的应用。第83页，共130页，编辑于2022年，星期六 4.1 4.1 问题提法问题提法动态方程动态方程 指标泛函指标泛函 使使求求有最小值有最小值此问题称线性二次型性能指标的最优控制问题此问题称线性二次型性能指标的最优控制问题通常称通常称为综合控制函数为综合控制函数第84页，共130页，编辑于2022年，星期六指标泛函的物理意义指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。积分项

29、，被积函数由两项组成，都是二次型。第第一一项项过过程程在在控控制制过过程程中中，实实际际上上是是要要求求每每个个分分量量越越小小越越好好，但但每每一一个个分分量量不不一一定定同同等等重重要要，所所以以用用加权来调整，当权为零时，对该项无要求。加权来调整，当权为零时，对该项无要求。第第二二项项控控制制能能力力能能量量消消耗耗最最小小。对对每每个个分分量量要要求求不不一一样样，因因而而进进行行加加权权。要要求求正正定定，一一方方面面对对每每个个分分量量都都应应有有要要求求，否否则则会会出出现现很很大大幅幅值值，在在实实际际工工程程中中实实现现不了；另一方面，在计算中需要有逆存在。不了；另一方面，在

30、计算中需要有逆存在。指指标标中中的的第第一一项项是是对对点点状状态态的的要要求求，由由于于对对每每个个分分量要求不同，用加权阵来调整。量要求不同，用加权阵来调整。第85页，共130页，编辑于2022年，星期六 4.2.1 4.2.1 末端自由问题末端自由问题构造哈密顿函数构造哈密顿函数 伴随方程及边界条件伴随方程及边界条件 最优控制应满足最优控制应满足 4.2 4.2 状态调节器状态调节器第86页，共130页，编辑于2022年，星期六求导 第87页，共130页，编辑于2022年，星期六（矩阵黎卡提微分方程）（矩阵黎卡提微分方程）边界条件边界条件 令令最优控制是状态变量的线性函数最优控制是状态变

31、量的线性函数借助状态变量的线性反馈可实现闭环最优控制借助状态变量的线性反馈可实现闭环最优控制 最优控制最优控制 对称半正定阵对称半正定阵 第88页，共130页，编辑于2022年，星期六例例 4.1 4.1 性能指标泛函性能指标泛函 最优控制最优控制 黎卡提微分方程黎卡提微分方程 第89页，共130页，编辑于2022年，星期六最优轨线最优轨线 最优控制最优控制 最优轨线的微分方程最优轨线的微分方程 解解 第90页，共130页，编辑于2022年，星期六黎卡提方程的解黎卡提方程的解 随终点时间变化的黎随终点时间变化的黎卡提方程的解卡提方程的解 第91页，共130页，编辑于2022年，星期六 4.2.

32、2 4.2.2 固定端问题固定端问题（设）（设）指标泛函指标泛函 采用采用“补偿函数补偿函数”法法 补偿函数补偿函数 惩罚函数惩罚函数 边界条件边界条件 黎卡提方程黎卡提方程 逆黎卡提方程逆黎卡提方程 第92页，共130页，编辑于2022年，星期六求导求导 黎卡提方程黎卡提方程乘以乘以逆黎卡提方程逆黎卡提方程 解解 逆逆 第93页，共130页，编辑于2022年，星期六 4.2.3 4.2.3 的情况的情况性能指标性能指标 无限长时间调节器问题无限长时间调节器问题 黎卡提方程黎卡提方程 边界条件边界条件 最优控制最优控制 最优指标最优指标 第94页，共130页，编辑于2022年，星期六 4.2.

33、4 4.2.4 定常系统定常系统完全可控完全可控 指标泛函指标泛函 矩阵代数方程矩阵代数方程 最优控制最优控制 最优指标最优指标 第95页，共130页，编辑于2022年，星期六例例 4.2 4.2 黎卡提方程黎卡提方程 第96页，共130页，编辑于2022年，星期六 4.3 4.3 输出调节器输出调节器输出调节器问题输出调节器问题状态调节器问题状态调节器问题 指标泛函指标泛函 令令第97页，共130页，编辑于2022年，星期六 4.4 4.4 跟踪问题跟踪问题问题的提法问题的提法 已知的理想输出已知的理想输出 偏差量偏差量 指标泛函指标泛函 寻求控制规律使性能指标有极小值。寻求控制规律使性能指

34、标有极小值。物物理理意意义义 在在控控制制过过程程中中，使使系系统统输输出出尽尽量量趋趋近近理理想想输输出，同时也使能量消耗最少。出，同时也使能量消耗最少。第98页，共130页，编辑于2022年，星期六指标泛函指标泛函 哈密顿函数哈密顿函数 第99页，共130页，编辑于2022年，星期六设设并微分并微分第100页，共130页，编辑于2022年，星期六的任意性的任意性 最优控制最优控制 第101页，共130页，编辑于2022年，星期六最优轨线方程最优轨线方程 最优性能指标最优性能指标 第102页，共130页，编辑于2022年，星期六例例 4.3 4.3，性能指标性能指标 第103页，共130页，

35、编辑于2022年，星期六最优控制最优控制 第104页，共130页，编辑于2022年，星期六，最优控制最优控制 极限解极限解 第105页，共130页，编辑于2022年，星期六闭环控制系统结构闭环控制系统结构 第106页，共130页，编辑于2022年，星期六两种方法两种方法 庞特里雅金庞特里雅金 前苏联学者前苏联学者 极大值原理极大值原理 贝尔曼贝尔曼 美国学者美国学者 动态规划动态规划 应用在过程控制、国防建设、经济规划、管理应用在过程控制、国防建设、经济规划、管理 多个分支多个分支 分分布布参参数数的的最最优优控控制制、随随机机最最优优控控制制、大大系系统统最最优控制以及多方多层次的微分对策和

36、主从对策等优控制以及多方多层次的微分对策和主从对策等 第107页，共130页，编辑于2022年，星期六 第五章第五章 动态规划动态规划动态规划是求解最优控制的又一种方法，动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。并由贝尔曼首先提出，故称贝尔曼动态规划。第108页，共130页，编辑于2022年，星期六 5.1 5.1 多级决策过程与最优性原理多级决策过程与最优性原理作为例子，首先分析最优路径问题作为例

37、子，首先分析最优路径问题(a)(b)(c)试试分分析析(a),(b)(a),(b)和和(c)(c)三三种种情情况况的的最最优优路路径径，即即从从 走走到到 所所需需时时间间最最少少。规规定定沿沿水水平平方方向向只能前进不能后退。只能前进不能后退。第109页，共130页，编辑于2022年，星期六(a)(a)中中只只有有两两条条路路径径，从从起起点点开开始始，一一旦旦选选定定路路线线，就就直直达达终终点点，选选最最优优路路径径就就是是从从两两条条中中选选一一条条，使使路路程程所所用用时时间间最最少少。这这很很容容易易办办到到，只只稍稍加加计计算，便可知道，上面一条所需时间最少。算，便可知道，上面一

38、条所需时间最少。(b)(b)共共有有6 6条条路路径径可可到到达达终终点点，若若仍仍用用上上面面方方法法，需需计计算算6 6次次，将将每每条条路路线线所所需需时时间间求求出出，然然后后比比较较，找找出一条时间最短的路程。出一条时间最短的路程。(c)(c)需需计计算算2020次次，因因为为这这时时有有2020条条路路径径，由由此此可可见见，计算量显著增大了。计算量显著增大了。第110页，共130页，编辑于2022年，星期六逆向分级计算法逆向分级计算法 逆逆向向是是指指计计算算从从后后面面开开始始，分分级级是是指指逐逐级级计计算。逆向分级就是从后向前逐级计算。算。逆向分级就是从后向前逐级计算。以以

39、(c)(c)为例为例 从倒数第一级开始，状态有两个，分别为从倒数第一级开始，状态有两个，分别为 和和 在在处，只有一条路到达终点，其时间是处，只有一条路到达终点，其时间是；在在 处，也只有一条，时间为处，也只有一条，时间为1。后一条时间最短，。后一条时间最短，将此时间相应地标在将此时间相应地标在 点上。点上。并将此点到终点的最优路径画上箭头。并将此点到终点的最优路径画上箭头。第111页，共130页，编辑于2022年，星期六然后再考虑第二级然后再考虑第二级 只有一种选择，到终点所需时间是只有一种选择，到终点所需时间是 有两条路，比较后选出时间最少的一条，即有两条路，比较后选出时间最少的一条，即4

40、+1=54+1=5。用箭头标出。用箭头标出 也标出最优路径和时间也标出最优路径和时间 依此类推，最后计算初始位置依此类推，最后计算初始位置 求得最优路径求得最优路径 最短时间为最短时间为 13 13第112页，共130页，编辑于2022年，星期六最优路径示意图最优路径示意图 第113页，共130页，编辑于2022年，星期六多级过程多级过程 多级决策过程多级决策过程 目标函数目标函数 控制目的控制目的 选择决策序列选择决策序列 使目标函数取最小值或最大值使目标函数取最小值或最大值 实际上就是离散状态的最优控制问题实际上就是离散状态的最优控制问题 第114页，共130页，编辑于2022年，星期六最

41、优性原理最优性原理 在在一一个个多多级级决决策策问问题题中中的的最最优优决决策策具具有有这这样样的的性性质质，不不管管初初始始级级、初初始始状状态态和和初初始始决决策策是是什什么么，当当把把其其中中任任何何一一级级和和状状态态做做为为初初始始级级和和初初始始状状态态时时，余下的决策对此仍是最优决策。余下的决策对此仍是最优决策。第115页，共130页，编辑于2022年，星期六指标函数多是各级指标之和，即具有可加性指标函数多是各级指标之和，即具有可加性 最优性原理的数学表达式最优性原理的数学表达式 第116页，共130页，编辑于2022年，星期六 5.2 5.2 离散系统动态规划离散系统动态规划阶

42、离散系统阶离散系统 性能指标性能指标 求决策向量求决策向量 使使 有最小值（或最大值），其终点可自由，有最小值（或最大值），其终点可自由，也可固定或受约束。也可固定或受约束。第117页，共130页，编辑于2022年，星期六引进记号引进记号 应用最优性原理应用最优性原理 可建立如下递推公式可建立如下递推公式 贝尔曼动态规划方程贝尔曼动态规划方程 第118页，共130页，编辑于2022年，星期六例例 5.2 5.2 设一阶离散系统，状态方程和初始条件为设一阶离散系统，状态方程和初始条件为性能指标性能指标 求使求使 有最小值的最优决策序列和最优轨线序列有最小值的最优决策序列和最优轨线序列 指标可写为

43、指标可写为 第119页，共130页，编辑于2022年，星期六代入代入 上一级上一级第120页，共130页，编辑于2022年，星期六代入状态方程代入状态方程 最优决策序列最优决策序列 最最优轨线优轨线 第121页，共130页，编辑于2022年，星期六 5.3 5.3 连续系统的动态规划连续系统的动态规划性能指标性能指标 目标集目标集 引进记号引进记号 根据最优性原理及根据最优性原理及第122页，共130页，编辑于2022年，星期六第123页，共130页，编辑于2022年，星期六由泰勒公式，得由泰勒公式，得 由中值定理，得由中值定理，得 第124页，共130页，编辑于2022年，星期六连续型动态规

44、划方程连续型动态规划方程 实实际际上上它它不不是是一一个个偏偏微微分分方方程程，而而是是一一个个函函数数方方程程和偏微分方程的混合方程和偏微分方程的混合方程 第125页，共130页，编辑于2022年，星期六满足连续型动态规划方程，有满足连续型动态规划方程，有 设设边界条件边界条件 动动态态规规划划 动动态态规规划划方方程程是是最最优优控控制制函函数数满满足足的的充充分分条条件件；解解一一个个偏偏微微分分方方程程；可可直直接接得得出出综综合合函函数数 ；动动态态规规划划要要求求 有有连连续续偏导数偏导数最最大大值值原原理理 最最大大值值原原理理是是最最优优控控制制函函数数满满足足的的必必要要条条

45、件件；解解一一个个常常微微分分方方程程组组；最最大大值值原原理理则则只求得只求得 。第126页，共130页，编辑于2022年，星期六例例 5.3 5.3 一阶系统一阶系统，性能指标性能指标 动态规划方程动态规划方程 右端对右端对u u求导数，令其导数为零，则得求导数，令其导数为零，则得 第127页，共130页，编辑于2022年，星期六 5.4 5.4 动态规划与最大值原理的关系动态规划与最大值原理的关系变变分分法法、最最大大值值原原理理和和动动态态规规划划都都是是研研究究最最优优控控制制问问题题的的求求解解方方法法，很很容容易易想想到到，若若用用三三者者研研究究同同一一个个问问题题，应应该该得

46、得到到相相同同的的结结论论。因因此此三三者者应应该该存存在在着着内内在在联联系系。变变分分法法和和最最大大值值原原理理之之间间的的关关系系前前面面已已说说明明，下下面面将将分分析析动动态态规规划划和和最最大大值值原原理理的的关关系系。可可以以证证明明，在在一一定定条条件件下下，从从动动态态规规划划方方程程能求最大值原理的方程。能求最大值原理的方程。第128页，共130页，编辑于2022年，星期六最优控制理论最优控制理论 上世纪上世纪5050年代初年代初 问题比较简单问题比较简单 二阶定常系统二阶定常系统 方法比较特殊方法比较特殊 借助于几何图形借助于几何图形 动态系统的最优化问题乃是一个变分问题动态系统的最优化问题乃是一个变分问题 变变分法分法 开集开集 最优控制问题最优控制问题 闭集闭集 发展变分法发展变分法 第129页，共130页，编辑于2022年，星期六动态规划方程动态规划方程 令令哈米顿函数哈米顿函数 最大值原理的必要条件最大值原理的必要条件 第130页，共130页，编辑于2022年，星期六