第八章动态规划原理与最优控制PPT讲稿.ppt

《第八章动态规划原理与最优控制PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第八章动态规划原理与最优控制PPT讲稿.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第八章动态规划原理与最优控制1第1页，共52页，编辑于2022年，星期三动态规划动态规划求解最优控制问题的有效方法之一求解最优控制问题的有效方法之一二十世纪五十年代由二十世纪五十年代由 Bellman Bellman 提出提出动态规划与极小值原理在数学上是等效的动态规划与极小值原理在数学上是等效的从不同的角度发展了古典变分学从不同的角度发展了古典变分学第2页，共52页，编辑于2022年，星期三最优性原理 多级决策过程的最优策略具有这种性质。不论初始状态和初始决策为何，其余的决策对于由初始决策所形成的状态来说，必定也是一个最优策略。第3页，共52页，编辑于2022年，星期三主要内容主要内容n离散

2、动态规划离散动态规划 n离散动态规划在离散系统最优控制中的应用离散动态规划在离散系统最优控制中的应用 n连续动态规划在连续系统最优控制中的应用连续动态规划在连续系统最优控制中的应用 第4页，共52页，编辑于2022年，星期三7.1 7.1 离散动态规划离散动态规划n最优性原理最优性原理动态规划的基础动态规划的基础n若一个若一个 N N 级决策系统是最优的级决策系统是最优的,则以第则以第 k k 级（级（）决策所形成的状态作为初态的任何一个）决策所形成的状态作为初态的任何一个 N-K N-K 级子级子决策也必然是最优的。决策也必然是最优的。第5页，共52页，编辑于2022年，星期三n根据最优性原

3、理根据最优性原理n确定了一个从后向前的递推过程确定了一个从后向前的递推过程n基于最优性原理的动态规划方法基于最优性原理的动态规划方法成为成为解决最优控制问题的有力工具解决最优控制问题的有力工具第6页，共52页，编辑于2022年，星期三动态规划原理求从S F 点路程最短的方法第7页，共52页，编辑于2022年，星期三枚举法S X1(1)X1(2)X1(3)F 4+6+1+4=15S X1(1)X2(2)X1(3)F 4+6+2+4=16S X1(1)X2(2)X2(3)F 4+6+2+3=15S X1(1)X1(2)X2(3)F 4+6+1+3=14S X2(1)X1(2)X1(3)F 5+4+

4、1+4=14S X2(1)X1(2)X2(3)F 5+4+1+3=13S X2(1)X2(2)X1(3)F 5+7+2+4=18S X2(1)X2(2)X2(3)F 5+7+2+3=17第8页，共52页，编辑于2022年，星期三可能解数量为 2(n-1)n=4,为 23=8 种.加法次数为：(n-1)*2(n-1)n=4,为 (4-1)*23 =24 次.若n=10,则可能解数为：2(10-1)=29 =512 种.加法(10-1)*29=9*29=9*512=4608 次.第9页，共52页，编辑于2022年，星期三 动态规划法从最后一级开始：J X1(3)=4 J X2(3)=3,J*X1(

5、3)=4,J*X2(3)=3倒数第二级：路线 X1(2)X1(3)F J=1+J*X1(3)=5 X1(2)X2(3)F J*=1+J*X2(3)=4 X2(2)X1(3)F J=2+J*X1(3)=6 X2(2)X2(3)F J*=2+J*X2(3)=5 J*X1(2)=4,J*X2(2)=5第10页，共52页，编辑于2022年，星期三倒数第三级路线 X1(1)X1(2)F J*=6+4=10 X1(1)X2(2)F J=6+5=11 X2(1)X1(2)F J*=4+4=8 X2(1)X2(2)F J=7+5=12 J*X1(1)=10,J*X2(1)=8第11页，共52页，编辑于2022

6、年，星期三第一级路线 S X1(1)F J=4+10=14 S X2(1)F J*=5+8=13 即 J*S=13第12页，共52页，编辑于2022年，星期三最优决策为 S X2(1)X1(2)X2(3)F J*S=13加法次数:4*(n-2)+2 次 n=4时，4*(4-2)+2=10 次 第13页，共52页，编辑于2022年，星期三各个状态到终点的最短距离各个状态到终点的最短距离J*S=13J*X1(1)=10 J*X2(1)=8J*X1(2)=4J*X2(2)=5J*X1(3)=4J*X2(3)=3第14页，共52页，编辑于2022年，星期三第15页，共52页，编辑于2022年，星期三n

7、设离散系统的状态方程为设离散系统的状态方程为 nx x n n 维状态向量，维状态向量，u u m m 维控制向量维控制向量n始端始端 和终端和终端 固定固定7.2 7.2 离散动态规划在离散系统最优控制中的应用离散动态规划在离散系统最优控制中的应用 第16页，共52页，编辑于2022年，星期三n求最优控制序列求最优控制序列n使目标泛函使目标泛函n取极小值取极小值第17页，共52页，编辑于2022年，星期三n动态规划的目的动态规划的目的n使使 J J 最小最小n即即 n将以将以 为初态的为初态的 N-j(=k)N-j(=k)级最优决策级最优决策 第18页，共52页，编辑于2022年，星期三n根

8、据最优性定理根据最优性定理n如果如果 N N 级决策是最优的级决策是最优的n则以在前则以在前 j 1 j 1 决策上形成的决策上形成的 为初态的为初态的 N N j j 级决策是最优决策级决策是最优决策n从这点出发，形成了逆向递推的最优化方法，这种方法从这点出发，形成了逆向递推的最优化方法，这种方法被称为被称为动态规划动态规划第19页，共52页，编辑于2022年，星期三n根据最优性定理根据最优性定理n利用动态规划方法形成递推公式利用动态规划方法形成递推公式 n当终端固定时当终端固定时n直接利用递推公式求解最优控制问题直接利用递推公式求解最优控制问题 第20页，共52页，编辑于2022年，星期三

9、第21页，共52页，编辑于2022年，星期三令：令：第22页，共52页，编辑于2022年，星期三第23页，共52页，编辑于2022年，星期三n例例 1 1n设离散系统的状态方程为设离散系统的状态方程为n已知已知n求最优控制求最优控制 u u 使目标泛函为使目标泛函为n最小最小第24页，共52页，编辑于2022年，星期三n解：解：由递推公式由递推公式 K=3时时第25页，共52页，编辑于2022年，星期三上述最优化问题的解为上述最优化问题的解为最优目标函数为最优目标函数为K=2时时第26页，共52页，编辑于2022年，星期三K=1时求解可得求解可得最优目标函数为最优目标函数为第27页，共52页，

10、编辑于2022年，星期三K=0时时求解可得求解可得最优目标函数为最优目标函数为第28页，共52页，编辑于2022年，星期三求解的结果求解的结果第29页，共52页，编辑于2022年，星期三第30页，共52页，编辑于2022年，星期三7.3 7.3 连续动态规划连续动态规划在连续系统最优控制中的应用在连续系统最优控制中的应用 n动态规划动态规划n可用于连续系统的优化问题可用于连续系统的优化问题n对于连续系统对于连续系统n根据最优性原理根据最优性原理n可得到可得到 Hamilton-Jacobi Hamilton-Jacobi 方程方程第31页，共52页，编辑于2022年，星期三n对于连续系统对于连

11、续系统nx n x n 维状态向量，维状态向量，u u m m 维控制向量维控制向量n且容许控制且容许控制 u u 在在 m m 维欧氏空间维欧氏空间 的某一给定域的某一给定域 中取值即中取值即 第32页，共52页，编辑于2022年，星期三n已知始端固定已知始端固定n即即n求最优控制求最优控制n使目标泛函使目标泛函 n取极小值取极小值（3）第33页，共52页，编辑于2022年，星期三由最优性原理推导出极大值原理由最优性原理推导出极大值原理定义定义式中式中而而x(s)是在区间是在区间 上和最优控制函数有关的轨线，其中上和最优控制函数有关的轨线，其中 ，且，且 给定。给定。（4）（5）第34页，共

12、52页，编辑于2022年，星期三n显然显然n所有所有 都满足都满足n假设假设 V V 存在，连续存在，连续n并且具有连续的一阶和二阶偏导数并且具有连续的一阶和二阶偏导数（6）第35页，共52页，编辑于2022年，星期三推导动态规划的推导动态规划的Hamilton-Jacobi方程方程（7）第36页，共52页，编辑于2022年，星期三（8）第37页，共52页，编辑于2022年，星期三等式两边消去等式两边消去 ，得，得 上式称为上式称为Hamilton-Jacobi方程方程或者称为或者称为 Hamilton-Jacobi-Bellman方程方程（9）第38页，共52页，编辑于2022年，星期三对于

13、所给最优控制问题，重复以上讨论，导致对于所给最优控制问题，重复以上讨论，导致由此，对于所有由此，对于所有 ，u必须满足必须满足（10）（11）（12）第39页，共52页，编辑于2022年，星期三 上式说明，上式说明，Lagrange乘子向量（或协态向量）是最乘子向量（或协态向量）是最小目标函数在最优轨线上的梯度。小目标函数在最优轨线上的梯度。从（从（9）、（）、（10）式可以看出）式可以看出即在最优轨线上应使即在最优轨线上应使Hamilton函数函数H为全局最小，为全局最小，这正是庞特里亚金的极大值原理。这正是庞特里亚金的极大值原理。第40页，共52页，编辑于2022年，星期三n例例 1 1n

14、考虑线性定常系统考虑线性定常系统n式中式中n假定任何的假定任何的 都是容许控制都是容许控制n要求找到作为要求找到作为 的函数的函数 ，使得，使得 第41页，共52页，编辑于2022年，星期三n解：解：n即即 第42页，共52页，编辑于2022年，星期三n这样这样第43页，共52页，编辑于2022年，星期三n因为因为n 时不变时不变n且最优化是针对一个无限持续的过程且最优化是针对一个无限持续的过程n 只依赖于初始状态只依赖于初始状态n即即第44页，共52页，编辑于2022年，星期三n由于由于n故故 Hamilton Jacobi Hamilton Jacobi 方程变成方程变成第45页，共52页

15、，编辑于2022年，星期三n假设一个解假设一个解n则则n -对称矩阵对称矩阵第46页，共52页，编辑于2022年，星期三 则则Hamilton-Jacobi方程变成方程变成P必须满足的代数方程必须满足的代数方程第47页，共52页，编辑于2022年，星期三例例2 考虑如下系统考虑如下系统目标函数为目标函数为第48页，共52页，编辑于2022年，星期三Hamilton 函数为函数为令令第49页，共52页，编辑于2022年，星期三Hamilton-Jacobi方程为方程为若优化区间为无穷大，则若优化区间为无穷大，则我们求解如下微分方程我们求解如下微分方程第50页，共52页，编辑于2022年，星期三为了求解上述非线性微分方程，将为了求解上述非线性微分方程，将V(x)展展开成如下级数形式：开成如下级数形式：令令n=4，则得，则得第51页，共52页，编辑于2022年，星期三所以最优控制作用为所以最优控制作用为闭环系统为闭环系统为第52页，共52页，编辑于2022年，星期三