第八章动态规划原理与最优控制优秀PPT.ppt

《第八章动态规划原理与最优控制优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第八章动态规划原理与最优控制优秀PPT.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第八章动态规划原理与最优控制1第一页，本课件共有52页动态规划动态规划求解最优控制问题的有效方法之一求解最优控制问题的有效方法之一二十世纪五十年代由二十世纪五十年代由 Bellman Bellman 提出提出动态规划与极小值原理在数学上是等效的动态规划与极小值原理在数学上是等效的从不同的角度发展了古典变分学从不同的角度发展了古典变分学第二页，本课件共有52页最优性原理 多级决策过程的最优策略具有这种性质。不论初始状态和初始决策为何，其余的决策对于由初始决策所形成的状态来说，必定也是一个最优策略。第三页，本课件共有52页主要内容主要内容n离散动态规划离散动态规划 n离散动态规划在离散系统最优控制

2、中的应用离散动态规划在离散系统最优控制中的应用 n连续动态规划在连续系统最优控制中的应用连续动态规划在连续系统最优控制中的应用 第四页，本课件共有52页7.1 7.1 离散动态规划离散动态规划n最优性原理最优性原理动态规划的基础动态规划的基础n若一个若一个 N N 级决策系统是最优的级决策系统是最优的,则以第则以第 k k 级（级（）决策所形成的状态作为初态的任何一个）决策所形成的状态作为初态的任何一个 N-K N-K 级级子决策也必然是最优的。子决策也必然是最优的。第五页，本课件共有52页n根据最优性原理根据最优性原理n确定了一个从后向前的递推过程确定了一个从后向前的递推过程n基于最优性原理

3、的动态规划方法基于最优性原理的动态规划方法成为成为解决最优控制问题的有力工具解决最优控制问题的有力工具第六页，本课件共有52页动态规划原理求从S F 点路程最短的方法第七页，本课件共有52页枚举法S X1(1)X1(2)X1(3)F 4+6+1+4=15S X1(1)X2(2)X1(3)F 4+6+2+4=16S X1(1)X2(2)X2(3)F 4+6+2+3=15S X1(1)X1(2)X2(3)F 4+6+1+3=14S X2(1)X1(2)X1(3)F 5+4+1+4=14S X2(1)X1(2)X2(3)F 5+4+1+3=13S X2(1)X2(2)X1(3)F 5+7+2+4=1

4、8S X2(1)X2(2)X2(3)F 5+7+2+3=17第八页，本课件共有52页可能解数量为 2(n-1)n=4,为 23=8 种.加法次数为：(n-1)*2(n-1)n=4,为 (4-1)*23 =24 次.若n=10,则可能解数为：2(10-1)=29 =512 种.加法(10-1)*29=9*29=9*512=4608 次.第九页，本课件共有52页 动态规划法从最后一级开始：J X1(3)=4 J X2(3)=3,J*X1(3)=4,J*X2(3)=3倒数第二级：路线 X1(2)X1(3)F J=1+J*X1(3)=5 X1(2)X2(3)F J*=1+J*X2(3)=4 X2(2)

5、X1(3)F J=2+J*X1(3)=6 X2(2)X2(3)F J*=2+J*X2(3)=5 J*X1(2)=4,J*X2(2)=5第十页，本课件共有52页倒数第三级路线 X1(1)X1(2)F J*=6+4=10 X1(1)X2(2)F J=6+5=11 X2(1)X1(2)F J*=4+4=8 X2(1)X2(2)F J=7+5=12 J*X1(1)=10,J*X2(1)=8第十一页，本课件共有52页第一级路线 S X1(1)F J=4+10=14 S X2(1)F J*=5+8=13 即 J*S=13第十二页，本课件共有52页最优决策为 S X2(1)X1(2)X2(3)F J*S=1

6、3加法次数:4*(n-2)+2 次 n=4时，4*(4-2)+2=10 次 第十三页，本课件共有52页各个状态到终点的最短距离各个状态到终点的最短距离J*S=13J*X1(1)=10 J*X2(1)=8J*X1(2)=4J*X2(2)=5J*X1(3)=4J*X2(3)=3第十四页，本课件共有52页第十五页，本课件共有52页n设离散系统的状态方程为设离散系统的状态方程为 nx x n n 维状态向量，维状态向量，u u m m 维控制向量维控制向量n始端始端 和终端和终端 固定固定7.2 7.2 离散动态规划在离散系统最优控制中的应用离散动态规划在离散系统最优控制中的应用 第十六页，本课件共有

7、52页n求最优控制序列求最优控制序列n使目标泛函使目标泛函n取极小值取极小值第十七页，本课件共有52页n动态规划的目的动态规划的目的n使使 J J 最小最小n即即 n将以将以 为初态的为初态的 N-j(=k)N-j(=k)级最优决策级最优决策 第十八页，本课件共有52页n根据最优性定理根据最优性定理n如果如果 N N 级决策是最优的级决策是最优的n则以在前则以在前 j 1 j 1 决策上形成的决策上形成的 为初态的为初态的 N j N j 级决策是最优决策级决策是最优决策n从这点出发，形成了逆向递推的最优化方法，这种方法从这点出发，形成了逆向递推的最优化方法，这种方法被称为被称为动态规划动态规

8、划第十九页，本课件共有52页n根据最优性定理根据最优性定理n利用动态规划方法形成递推公式利用动态规划方法形成递推公式 n当终端固定时当终端固定时n直接利用递推公式求解最优控制问题直接利用递推公式求解最优控制问题 第二十页，本课件共有52页第二十一页，本课件共有52页令：令：第二十二页，本课件共有52页第二十三页，本课件共有52页n例例 1 1n设离散系统的状态方程为设离散系统的状态方程为n已知已知n求最优控制求最优控制 u u 使目标泛函为使目标泛函为n最小最小第二十四页，本课件共有52页n解：解：由递推公式由递推公式 K=3时时第二十五页，本课件共有52页上述最优化问题的解为上述最优化问题的

9、解为最优目标函数为最优目标函数为K=2时时第二十六页，本课件共有52页K=1时求解可得求解可得最优目标函数为最优目标函数为第二十七页，本课件共有52页K=0时时求解可得求解可得最优目标函数为最优目标函数为第二十八页，本课件共有52页求解的结果求解的结果第二十九页，本课件共有52页第三十页，本课件共有52页7.3 7.3 连续动态规划连续动态规划在连续系统最优控制中的应用在连续系统最优控制中的应用 n动态规划动态规划n可用于连续系统的优化问题可用于连续系统的优化问题n对于连续系统对于连续系统n根据最优性原理根据最优性原理n可得到可得到 Hamilton-Jacobi Hamilton-Jacob

10、i 方程方程第三十一页，本课件共有52页n对于连续系统对于连续系统nx n x n 维状态向量，维状态向量，u u m m 维控制向量维控制向量n且容许控制且容许控制 u u 在在 m m 维欧氏空间维欧氏空间 的某一给定域的某一给定域 中取值即中取值即 第三十二页，本课件共有52页n已知始端固定已知始端固定n即即n求最优控制求最优控制n使目标泛函使目标泛函 n取极小值取极小值（3）第三十三页，本课件共有52页由最优性原理推导出极大值原理由最优性原理推导出极大值原理定义定义式中式中而而x(s)是在区间是在区间 上和最优控制函数有关的轨线，上和最优控制函数有关的轨线，其中其中 ，且，且 给定。给

11、定。（4）（5）第三十四页，本课件共有52页n显然显然n所有所有 都满足都满足n假设假设 V V 存在，连续存在，连续n并且具有连续的一阶和二阶偏导数并且具有连续的一阶和二阶偏导数（6）第三十五页，本课件共有52页推导动态规划的推导动态规划的Hamilton-Jacobi方程方程（7）第三十六页，本课件共有52页（8）第三十七页，本课件共有52页等式两边消去等式两边消去 ，得，得 上式称为上式称为Hamilton-Jacobi方程方程或者称为或者称为 Hamilton-Jacobi-Bellman方程方程（9）第三十八页，本课件共有52页对于所给最优控制问题，重复以上讨论，导致对于所给最优控制

12、问题，重复以上讨论，导致由此，对于所有由此，对于所有 ，u必须满足必须满足（10）（11）（12）第三十九页，本课件共有52页 上式说明，上式说明，Lagrange乘子向量（或协态向量）是乘子向量（或协态向量）是最小目标函数在最优轨线上的梯度。最小目标函数在最优轨线上的梯度。从（从（9）、（）、（10）式可以看出）式可以看出即在最优轨线上应使即在最优轨线上应使Hamilton函数函数H为全局最小，为全局最小，这正是庞特里亚金的极大值原理。这正是庞特里亚金的极大值原理。第四十页，本课件共有52页n例例 1 1n考虑线性定常系统考虑线性定常系统n式中式中n假定任何的假定任何的 都是容许控制都是容许

13、控制n要求找到作为要求找到作为 的函数的函数 ，使得，使得 第四十一页，本课件共有52页n解：解：n即即 第四十二页，本课件共有52页n这样这样第四十三页，本课件共有52页n因为因为n 时不变时不变n且最优化是针对一个无限持续的过程且最优化是针对一个无限持续的过程n 只依赖于初始状态只依赖于初始状态n即即第四十四页，本课件共有52页n由于由于n故故 Hamilton Jacobi Hamilton Jacobi 方程变成方程变成第四十五页，本课件共有52页n假设一个解假设一个解n则则n -对称矩阵对称矩阵第四十六页，本课件共有52页 则则Hamilton-Jacobi方程变成方程变成P必须满足的代数方程必须满足的代数方程第四十七页，本课件共有52页例例2 考虑如下系统考虑如下系统目标函数为目标函数为第四十八页，本课件共有52页Hamilton 函数为函数为令令第四十九页，本课件共有52页Hamilton-Jacobi方程为方程为若优化区间为无穷大，则若优化区间为无穷大，则我们求解如下微分方程我们求解如下微分方程第五十页，本课件共有52页为了求解上述非线性微分方程，将为了求解上述非线性微分方程，将V(x)展展开成如下级数形式：开成如下级数形式：令令n=4，则得，则得第五十一页，本课件共有52页所以最优控制作用为所以最优控制作用为闭环系统为闭环系统为第五十二页，本课件共有52页