最新2019-第六章动态规划-PPT课件.ppt
《最新2019-第六章动态规划-PPT课件.ppt》由会员分享,可在线阅读,更多相关《最新2019-第六章动态规划-PPT课件.ppt(41页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第五章第五章 动态规划动态规划1 1 多阶段决策过程及实例多阶段决策过程及实例2 2 动态规划的基本概念和基本方程动态规划的基本概念和基本方程3 3 动态规划的最优性原理和最优性定理动态规划的最优性原理和最优性定理4 4 动态规划与静态规划的关系动态规划与静态规划的关系1 多阶段决策过程及实例多阶段决策过程及实例 在实际中,有一类问题可以看作是一活动的在实际中,有一类问题可以看作是一活动的过程,由于它的特殊性,可将过程分为若干个相过程,由于它的特殊性,可将过程分为若干个相互联系阶段,在每个阶段都要依据该阶段所处的互联系阶段,在每个阶段都要依据该阶段所处的状态作出相应的决策,该决策又引起该阶段状
2、态状态作出相应的决策,该决策又引起该阶段状态的转移,决定了下一阶段的状态,当每个阶段的的转移,决定了下一阶段的状态,当每个阶段的决策确定后,由这些决策组成一个决策序列,即决策确定后,由这些决策组成一个决策序列,即整个过程的一条活动路线。这类活动过程称为多整个过程的一条活动路线。这类活动过程称为多阶段决策过程。这类问题称为多阶段决策问题。阶段决策过程。这类问题称为多阶段决策问题。12n状态状态状态状态状态状态状态状态状态状态决策决策决策决策决策决策 例例1 最短路线问题最短路线问题 如下图,是一线路网络,两点之间连线上的数字表如下图,是一线路网络,两点之间连线上的数字表示两点之间的距离(或费用)
3、试求一条由示两点之间的距离(或费用)试求一条由A到到G的铺管线的铺管线路,使总距离为最短(或总费用最小)。路,使总距离为最短(或总费用最小)。1状态状态状态状态状态状态状态状态状态状态决策决策决策决策决策决策23456状态状态状态状态决策决策决策决策决策决策 B2 C3 D2 E3 F2 G B2 C3 D2 E3 F2 G AV6,6=3AB1B2C1C2C3C4D1D2D3E1E2E3F1F2G531368766835338422133355266432V1,6=24V5,6=9V4,6=11V3,6=14V2,6=21V1,6=24 例例2 机器负荷分配问题机器负荷分配问题 某种机器可以
4、在高低两种不同负荷下进行生产。某种机器可以在高低两种不同负荷下进行生产。 在高负荷下进行生产时,产品的年产量在高负荷下进行生产时,产品的年产量g和投入生和投入生产的机器数产的机器数u的关系为的关系为)(ugg 。,为为到到年年终终时时完完好好的的机机器器数数,器器数数为为,即即如如果果年年初初完完好好的的机机这这时时机机器器的的完完好好率率为为10uu aaa 在低负荷下进行生产时,产品的年产量在低负荷下进行生产时,产品的年产量h和投入生产和投入生产的机器数的机器数u的关系为的关系为)(uhh 。,这时机器的完好率为这时机器的完好率为10 bb达到最高。达到最高。在五年内产品的总产量在五年内产
5、品的总产量负荷下生产的数量,使负荷下生产的数量,使在两种不同在两种不同定如何分配完好的机器定如何分配完好的机器划,在每年开始时,决划,在每年开始时,决,要制定一个五年计,要制定一个五年计机器数为机器数为假定开始生产时完好的假定开始生产时完好的1saugg机机器器的的完完好好率率高高负负荷荷下下:)( buhh机机器器的的完完好好率率低低负负荷荷下下:)( 54321,为为年年开开始始时时完完好好的的机机器器数数第第 isii1状态状态状态状态状态状态状态状态状态状态决策决策决策决策决策决策2345状态状态决策决策决策决策 u1 u2 u3 u4 u5 s2 s3 s4 s5 s6 s1)(11
6、12usbaus )(2223usbaus )(3334usbaus )(4445usbaus )()(5555, 5ushugV 54321,机器数为机器数为年初分配到高负荷下的年初分配到高负荷下的第第 iuii)()(4445 ,55 ,4ushugVV )()(3335 ,45 ,3ushugVV )()(2225 ,35 ,2ushugVV )()(1115, 25, 1ushugVV 1s)(5556usbaus 5 ,4V5 ,5V5 ,3V5 ,2V5, 1V设:设:2 动态规划的基本概念和基本方程动态规划的基本概念和基本方程 2.1 动态规划的基本概念动态规划的基本概念 1.
7、阶段阶段 把过程依据一定的时间和空间特征恰当地划分为若把过程依据一定的时间和空间特征恰当地划分为若干个相互联系的阶段,以便利用动态规划的方法求解。干个相互联系的阶段,以便利用动态规划的方法求解。 描述阶段的变量称为阶段变量,用描述阶段的变量称为阶段变量,用k表示。表示。k=1,2,n 2. 状态状态 每个阶段开始所处的自然状况或客观条件,称为状每个阶段开始所处的自然状况或客观条件,称为状态。状态是不可控的,是客观存在的。态。状态是不可控的,是客观存在的。 描述状态的变量称为状态变量,用描述状态的变量称为状态变量,用sk表示。状态变表示。状态变量可以是一个数或一个向量。状态变量量可以是一个数或一
8、个向量。状态变量sk的取值范围称的取值范围称为可达状态集合,用为可达状态集合,用Sk表示。例表示。例1中,中,S3=C1,C2,C3,C4。 状态变量的性质(无后效性)状态变量的性质(无后效性) 如果某阶段的状态给定后,则该阶段以后的过程的如果某阶段的状态给定后,则该阶段以后的过程的发展不受该阶段以前各阶段状态的影响。即过程的过去发展不受该阶段以前各阶段状态的影响。即过程的过去历史只能通过当前的状态去影响未来的发展,当前的状历史只能通过当前的状态去影响未来的发展,当前的状态是以往历史的总结,以后发展的依据。这个性质称为态是以往历史的总结,以后发展的依据。这个性质称为无后效性(即马尔科夫性)。无
9、后效性(即马尔科夫性)。 无后效性的特征:在每个阶段所作的决策只依据当无后效性的特征:在每个阶段所作的决策只依据当前的状态,和以往的状态无关。前的状态,和以往的状态无关。 在选取状态变量时,一定要保证状态变量具有无后在选取状态变量时,一定要保证状态变量具有无后效性,否则不能利用动态规划的方法求解。效性,否则不能利用动态规划的方法求解。 3. 决策决策 在每个阶段所作的决定或选择称为决策或控制。决在每个阶段所作的决定或选择称为决策或控制。决策依据与当前状态,又决定下一阶段的状态。策依据与当前状态,又决定下一阶段的状态。 描述决策的变量称为决策变量,用描述决策的变量称为决策变量,用uk(sk)表示
10、。他表示。他是状态变量是状态变量sk的函数。决策变量的取值范围称为容许决的函数。决策变量的取值范围称为容许决策集合,用策集合,用Dk(sk)表示。表示。 在例在例1中中 D1(A)=B1,B2 D2(B1)=C1,C2,C3,D2(B2)=C2,C3 ,C4 D4(D1)=E2,E3 在例在例2中中 D1(s1)=u1(s1) | 0u1(s1)s1 D2(s2)=u2(s2) | 0u2(s2) s2 Dk(sk)=uk(sk) | 0uk(sk) sk 4. 策略策略 按一定顺序排列的决策序列集合称为策略。按一定顺序排列的决策序列集合称为策略。 由过程的第由过程的第k阶段开始到终止状态为止
11、的过程,称阶段开始到终止状态为止的过程,称为问题的后部子过程(或称为为问题的后部子过程(或称为k子过程)。子过程)。 由由k子过程的每个阶段的决策函数组成的决策函数子过程的每个阶段的决策函数组成的决策函数序列集合序列集合uk(sk), uk+1(sk+1), un(sn)称为称为k子过程策略,子过程策略,简称为子策略,记为简称为子策略,记为pk,n(sk),即,即 pk,n(sk)= uk(sk), uk+1(sk+1), un(sn) 当当k=1时时,此决策函数序列称为全过程的一个策略,此决策函数序列称为全过程的一个策略,简称为策略,记为简称为策略,记为p1,n(s1)。即。即 p1,n(s
12、k)= u1(s1), u2(s2), un(sn) 策略的取值范围称为容许策略集合,用策略的取值范围称为容许策略集合,用P表示。表示。 在在P中中,使指标函数达到最优的策略称为最优策略。使指标函数达到最优的策略称为最优策略。 例例1中,每一条线路就是一个策略,容许策略集合中,每一条线路就是一个策略,容许策略集合中有中有48个策略。个策略。A到到G的最短线路就是最优策略。的最短线路就是最优策略。 5. 状态转移方程状态转移方程 若给定第若给定第k个阶段状态变量个阶段状态变量sk的值,该阶段的决策变的值,该阶段的决策变量量uk的值一经确定,第的值一经确定,第k+1个阶段的状态变量个阶段的状态变量
13、sk+1的值也的值也就完全确定了,即就完全确定了,即sk+1是是sk和和 uk的函数,记为的函数,记为 sk+1 =Tk(sk, uk) 该函数描述由第该函数描述由第k个阶段到第个阶段到第k+1个阶段的状态转移个阶段的状态转移规律规律,称为状态转移方程。称为状态转移方程。 )(1kkkkusbaus 例例1中,状态转移方程为中,状态转移方程为 例例2 中,状态转移方程为中,状态转移方程为 kkus 1 6. 指标函数和最优值函数指标函数和最优值函数 用来衡量过程和子过程(策略和子策略)优劣的一用来衡量过程和子过程(策略和子策略)优劣的一种数量指标,称为指标函数。它是定义在全过程和后部种数量指标
14、,称为指标函数。它是定义在全过程和后部子过程上的数量函数,用子过程上的数量函数,用Vk,n表示。即表示。即 nkspVssusVVknknknkkknknk, 2 , 1)(),(,11, 指标函数的性质:指标函数的性质: 动态规划中的指标函数应具有可分离性,并满足地动态规划中的指标函数应具有可分离性,并满足地推关系,推关系,的的函函数数。,可可表表示示为为即即nkkknkVusV,1, ),),211,11,nkkknkkknkkknkssusVusssusV (即即 常见指标函数的形式常见指标函数的形式 (1)过程和子过程的指标函数可分解为它所包含)过程和子过程的指标函数可分解为它所包含的
15、阶段的指标的和,即的阶段的指标的和,即),(),1, njjjnkkknkusvssusV(阶阶段段的的阶阶段段指指标标。是是第第其其中中j),(jjusv),),(),211, 11,nkkknkkknkkknkssusVusvssusV ( (2)过程和子过程的指标函数可分解为它所包含)过程和子过程的指标函数可分解为它所包含的阶段的指标的积,即的阶段的指标的积,即 njjjnkkknkusvssusV),(),1,(),),(),211,11,nkkknkkknkkknkssusVusvssusV (指标函数的最优值称为最优值函数,记为指标函数的最优值称为最优值函数,记为)kksf(),)
16、(1,1nkkknkuuukkssusVsfoptnkk (它表示最优的它表示最优的k子策略子策略p*k,n(sk)对应的指标函数值。对应的指标函数值。9)(5)(7)(3)(4)(13525152616 EfEfEfFfFf中中,在在例例年年的的总总产产量量的的最最高高值值。年年到到第第从从第第时时,年年初初完完好好的的机机器器数数为为表表示示第第中中,在在例例5)(2ksksfkkk 2.1 动态规划的基本思想和基本方程动态规划的基本思想和基本方程 最短路线的特征:如果由起点最短路线的特征:如果由起点A经过经过P和和H到达到达G是是一条由一条由A到到G的最短路线,则由的最短路线,则由P到到
17、G的最短路线是的最短路线是 P H G即最短路线的子线路是最短路线。即最短路线的子线路是最短路线。 根据最短路线的特征,求根据最短路线的特征,求A到到G的最短路线,可以采的最短路线,可以采用由后向前逐步递推的方法,从最后一个阶段开始,求用由后向前逐步递推的方法,从最后一个阶段开始,求出每个点到出每个点到G的最短路线,最后出的最短路线,最后出A到到G的最短路线。的最短路线。P1 H1 GP2 H2 GA1215831818315812min)(1 Af12)(12 Pf15)(22 PfAB1B2C1C2C3C4D1D2D3E1E2E3F1F2G5313687668353384221333552
18、664323)(4)(62616 FfFfk时,时, )(5)(3min)(5261615FfFfEfk时时, )(2)(5min)(261625FfFfEf )(6)(6min)(261635FfFfEf115)(FEu GFuFu )()(2616225)(FEu 235)(FEu 73543min 53245min 93646min 437590 )(2)(2min)(4251514EfEfDfk时,时, )(2)(1min)(352524EfEfDf )(3)(3min)(352534EfEfDf214)(EDu 224)(EDu 234)(EDu 75272min 69251min
19、89353min AB1B2C1C2C3C4D1D2D3E1E2E3F1F2G531368766835338422133355266432437597680 )(8)(6min)(3241413DfDfCfk时,时, )(5)(3min)(241423DfDfCf )(3)(3min)(342433DfDfCf113)(DCu 123)(DCu 233)(DCu 136876min 106573min 98363min AB1B2C1C2C3C4D1D2D3E1E2E3F1F2G53136876683533842213335526643243759768 )(4)(8min)(342443Df
20、DfCf343)(DCu 128468min 13109120 )(6)(3)(1min)(233231312CfCfCfBfk时,时,212)(CBu AB1B2C1C2C3C4D1D2D3E1E2E3F1F2G5313687668353384221333552664324375976813109121396)103131min )(6)(7)(8min)(43332322CfCfCfBf322)(CBu 1612697108min 13160 )(3)(5min)(122121BfBfAfk时时,11)(BAu AB1B2C1C2C3C4D1D2D3E1E2E3F1F2G531368766
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最新 2019 第六 章动 规划 PPT 课件
限制150内