运筹学动态规划ppt课件.ppt

1变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分动态规划2变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分引引 言言动态规划是解决动态规划是解决多阶段决策过程多阶段决策过程最优化的一种方法。最优化的一种方法。该方法是由美国数学家该方法是由美国数学家贝尔曼贝尔曼（R. E. Bellman）等人在）等人在20世世纪纪50年代初提出的。并成功地解决了生产管理、工程技术等方年代初提出的。并成功地解决了生产管理、工程技术等方面的许多问题，从而建立了运筹学的一个新的分支，即动态规面的许多问题，从而建立了运筹学的一个新的分支，即动态规划。划。Bellman在在1957年出版了年出版了Dynamic Programming一一书，是动态规划领域中的第一本著作。书，是动态规划领域中的第一本著作。3变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分动态规划与其他规划方法的不同之处在于：动态规划与其他规划方法的不同之处在于： 动态规划是求解某类问题（动态规划是求解某类问题（多阶段决策问题多阶段决策问题）的一种方法，）的一种方法，是考察问题的一种途径，而不是一种特定算法。是考察问题的一种途径，而不是一种特定算法。 因此，它不像线性规划那样有一个标准的数学表达式和明确因此，它不像线性规划那样有一个标准的数学表达式和明确定义的一组（算法）规则，而必须对具体问题进行具体分析处定义的一组（算法）规则，而必须对具体问题进行具体分析处理。因此，学习动态规划时，除对基本概念和基本方法正确理解理。因此，学习动态规划时，除对基本概念和基本方法正确理解外，还应在一定经验积累基础上，以丰富的想像力去建立模型，外，还应在一定经验积累基础上，以丰富的想像力去建立模型，用创造性的技巧去求解。用创造性的技巧去求解。4变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分1 动态规划实例动态规划实例2 动态规划的基本概念动态规划的基本概念3 动态规划的基本思想与基本原理动态规划的基本思想与基本原理4 逆序解法与顺序解法逆序解法与顺序解法5变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分学习目标：学习目标：1 明确什么是明确什么是多阶段的决策问题多阶段的决策问题，特别要注意没有明显，特别要注意没有明显 的时段背景的问题如何化归为多阶段的决策问题。的时段背景的问题如何化归为多阶段的决策问题。1 动态规划实例动态规划实例6变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分 例例 机器负荷分配问题（时间阶段问题）机器负荷分配问题（时间阶段问题）设有某种机器设备，用于完成两类工作设有某种机器设备，用于完成两类工作A和和B。若。若第第k年初完好年初完好机器的数量为机器的数量为 xk ，若以数量，若以数量 uk 用于用于A，余下的（，余下的（xkuk）用于）用于工作工作B，则该年的预期收入为，则该年的预期收入为 g( uk ) + h( xkuk )。这里。这里g( uk )和和 h( xkuk )是已知函数，且是已知函数，且 g( 0 ) = h( 0 ) = 0。又机器设备在使用中会有损坏，设机器用于工作又机器设备在使用中会有损坏，设机器用于工作A时，一年后时，一年后能继续使用的完好机器数占年初投入量的能继续使用的完好机器数占年初投入量的70%；若用于工作；若用于工作B时，一年后能继续使用的完好机器数占年初投入量的时，一年后能继续使用的完好机器数占年初投入量的90%。则在。则在下一年初下一年初能继续用于能继续用于A、B工作的设备数为工作的设备数为 xk+1=0.7uk+0.9(xkuk)。设第设第1年初完好的机器总数为年初完好的机器总数为1000台，问在连续台，问在连续5年内每年应如年内每年应如何分配用于何分配用于A、B两项工作的机器数，使两项工作的机器数，使5年的总收益为最大。年的总收益为最大。1 动态规划实例动态规划实例7变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分相应的问题称为相应的问题称为多阶段决策问题多阶段决策问题。这是一个这是一个多阶段决策过程多阶段决策过程。该过程可以分为相互联系的若干阶段，每一阶段都需作出决该过程可以分为相互联系的若干阶段，每一阶段都需作出决 策，从而形成全过程的决策。策，从而形成全过程的决策。第第1年年x1=1000u1第第2年年x2=0.7u1+ 0.9(x1-u1)u2第第3年年x3=0.7u2+ 0.9(x2-u2)u3第第4年年u4第第5年年x5=0.7u4+ 0.9(x4-u4)u5x4=0.7u3+ 0.9(x3-u3)x6 例例 最短路线问题（空间阶段的例子）最短路线问题（空间阶段的例子） 设有一个旅行者从下图中的设有一个旅行者从下图中的A点出发，途中要经过点出发，途中要经过B、C、D等等处，最后到达终点处，最后到达终点E。从从A到到E有很多条路线可以选择有很多条路线可以选择，各点之间的距，各点之间的距离如图所示，问该旅行者应选择哪一条路线，使从离如图所示，问该旅行者应选择哪一条路线，使从A到达到达E的总的路程的总的路程为最短。为最短。25375632455114633334C1C3D1AB1B3B2D2EC21234状态状态1决策决策1状态状态2状态状态3状态状态4状态状态5决策决策2决策决策3决策决策4可看成可看成 4阶段阶段 的决策的决策 问题。问题。9变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分从以上两个例子，可以知道从以上两个例子，可以知道 所谓所谓多阶段多阶段决策问题决策问题是指这样的决策问题：其过程可分为若是指这样的决策问题：其过程可分为若干个相互联系的阶段，每一阶段都对应着一组可供选择的决策，干个相互联系的阶段，每一阶段都对应着一组可供选择的决策，每一决策的选定既依赖于当前面临的状态，又影响以后总体的效每一决策的选定既依赖于当前面临的状态，又影响以后总体的效果。果。 当每一阶段的决策选定以后，就构成一个决策序列，称为一当每一阶段的决策选定以后，就构成一个决策序列，称为一个个策略策略，它对应着一个确定的效果。它对应着一个确定的效果。多阶段决策问题就是寻找使多阶段决策问题就是寻找使此效果最好的策略。此效果最好的策略。10变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分多阶段决策过程的特点多阶段决策过程的特点1.各阶段的决策相互关联各阶段的决策相互关联多阶段决策过程最优化的目的多阶段决策过程最优化的目的，是要达到整个活动过程的总体，是要达到整个活动过程的总体效果最优，而不是某个阶段效果最优，而不是某个阶段“局部局部”的效果最优。因此，的效果最优。因此，各个阶各个阶段段决策的选取不是任意确定的决策的选取不是任意确定的。前一个决策的选取决定了当前状态，当前状态进行决策后又影前一个决策的选取决定了当前状态，当前状态进行决策后又影响到下一阶段的状态和决策，以至于影响总体效果。所以决策者响到下一阶段的状态和决策，以至于影响总体效果。所以决策者在每个阶段决策时，不应仅考虑本阶段最优，还应考虑对最终目在每个阶段决策时，不应仅考虑本阶段最优，还应考虑对最终目标的影响，从而做出对全局而言是最优的决策。标的影响，从而做出对全局而言是最优的决策。动态规划就是符合这一要求的一种最优化方法。动态规划就是符合这一要求的一种最优化方法。11变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分2.各个阶段的决策一般与各个阶段的决策一般与“时间时间”有关有关动态规划方法与动态规划方法与“时间时间”关系很密切，随着时间过程的发展而关系很密切，随着时间过程的发展而决决定各阶段的决策，从而产生一个决策序列，这就是定各阶段的决策，从而产生一个决策序列，这就是“动态动态”的意的意思。思。但是，一些与时间无关的静态问题，只要在问题中但是，一些与时间无关的静态问题，只要在问题中人为引人为引入入“时间时间”因素因素，也可将其看成是多阶段的决策问题，用动态规，也可将其看成是多阶段的决策问题，用动态规划划方法去处理。方法去处理。12变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分学习目标：学习目标：1 准确、熟练地掌握动态规划的基本概念、特别是状态准确、熟练地掌握动态规划的基本概念、特别是状态 变量、决策变量、状态转移律、指标函数、基本方程变量、决策变量、状态转移律、指标函数、基本方程 等。等。2 动态规划的基本概念动态规划的基本概念为了便于求解和表示决策及过程的发展顺序，而把所给问题恰为了便于求解和表示决策及过程的发展顺序，而把所给问题恰当地划分为若干个相互联系又有区别的子问题，称之为多段决策当地划分为若干个相互联系又有区别的子问题，称之为多段决策问题的问题的阶段阶段。一个阶段，就是需要作出一个决策的子问题一个阶段，就是需要作出一个决策的子问题。 通常，通常，阶段是按决策进行的阶段是按决策进行的时间或空间时间或空间上先后顺序划分的上先后顺序划分的。描述阶段的变量称为描述阶段的变量称为阶段变量阶段变量，常记为，常记为k，k=1,2, ,n。如本例可按空间分为如本例可按空间分为4个个 阶段来求解，阶段来求解， k=1, 2, 3, 4。（1）阶段（）阶段（stage）14变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分状态状态：每阶段初每阶段初的客观条件。描述各阶段状态的变量称为的客观条件。描述各阶段状态的变量称为状态状态变量变量，常用，常用xk表示第表示第k阶段的状态。阶段的状态。（2）状态（）状态（state）例例1中，中，状态状态就是某就是某阶段的出发位置。阶段的出发位置。x1x2x3x4x5按状态变量的取值是连续还是离散，可将动态规划问题分为按状态变量的取值是连续还是离散，可将动态规划问题分为离离 散型散型和和连续型连续型。15变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分动态规划中的动态规划中的状态应满足状态应满足无后效性（马尔科夫性）无后效性（马尔科夫性）： 所谓所谓无后效性无后效性指系统到达某个状态前的过程的决策将不影响指系统到达某个状态前的过程的决策将不影响到该状态以后的决策。到该状态以后的决策。指系统从某个阶段往后的发展，仅由本指系统从某个阶段往后的发展，仅由本阶段所处的状态及其往后的决策所决定，与系统以前经历的状态阶段所处的状态及其往后的决策所决定，与系统以前经历的状态和决策（历史）无关。和决策（历史）无关。过程的过去历史只能通过当前的状态去影过程的过去历史只能通过当前的状态去影响它未来的发展响它未来的发展例例1中，当某阶段的状态已选定某个点时，从这个点以后的路中，当某阶段的状态已选定某个点时，从这个点以后的路线只与该点有关，不受该点以前的路线的影响，所以满足状态的线只与该点有关，不受该点以前的路线的影响，所以满足状态的无后效性。无后效性。16变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分状态集合状态集合：状态变量：状态变量 xk 的取值集合称为的取值集合称为状态集合状态集合，状态集合状态集合实际上是关于状态的约束条件。实际上是关于状态的约束条件。通常用通常用Sk表示状态集合表示状态集合，xk Sk。第第1阶段阶段 S1=A；第第2阶段具有阶段具有3个状个状态态B1、B2和和B3，故，故 S2=B1, B2, B3。x1x2x3x4x5（3）决策（）决策（decision）当过程处于某一阶段的某状态时，可以做出不同的决定，从而当过程处于某一阶段的某状态时，可以做出不同的决定，从而确定下一阶段的状态确定下一阶段的状态，这种决定称为，这种决定称为决策决策。 描述决策的变量称为描述决策的变量称为决策变量决策变量，常用，常用uk( xk )表示第表示第k阶段当状阶段当状态处于态处于xk时的时的决策变量，它是状态变量的函数。决策变量，它是状态变量的函数。例例1中，从第中，从第2阶段的阶段的状态状态B1出发，可以选择出发，可以选择下一阶段的下一阶段的C1、C2、C3。如我们决定选择如我们决定选择C1，则可表示为：则可表示为：u2( B1 ) = C1。B1C1C2C3x218变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分决策集合决策集合：第第k阶段当状态处于阶段当状态处于xk时决策变量时决策变量uk( xk )的取值范的取值范称为称为决策集合决策集合，常用，常用Dk( xk ) 表示。表示。例例1中，从第中，从第2阶段的阶段的状态状态B1出发，可以选择出发，可以选择下一阶段的下一阶段的C1、C2、C3。即即 D2( B1 ) = C1、C2、C3 ；B1C1C2C3决策集合实际上是决策的约束条件，决策集合实际上是决策的约束条件，uk( xk ) Dk( xk ) 。19变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分小结小结 阶段阶段 k、 状态状态 xk、 状态集合状态集合 Sk、 决策决策 uk( xk )、 决策集合决策集合 Dk( xk )。x1x2x3x4x520变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分（4）状态转移律（方程）状态转移律（方程）状态转移律状态转移律：从：从xk的某一状态值出发，当决策变量的某一状态值出发，当决策变量uk(xk) 的的取值决定后，下一阶段状态变量取值决定后，下一阶段状态变量xk+1的取值也随之确定。描述的取值也随之确定。描述从从 xk 转变为转变为 xk+1 的规律称为的规律称为状态转移规律（方程）状态转移规律（方程）。从第从第2阶段的状态阶段的状态B1出发，如我们决出发，如我们决定选择定选择C2（也即确（也即确定了下一阶段的状定了下一阶段的状态）。态）。B1C2B1C2上例中，上例中， u2( B1 ) = C2状态转移律为：状态转移律为： xk+1 = uk( xk )一般来说，下一阶段状态变量一般来说，下一阶段状态变量xk+1的取值是上阶段的某一状态的取值是上阶段的某一状态变量变量xk和上阶段决策变量和上阶段决策变量uk(xk)的函数，记为的函数，记为 xk+1=Tk( xk, uk(xk) )12nx1u1x2u2x3xnunxn+1（5）策略（）策略（policy）和子策略（）和子策略（subpolicy）策略策略：由依次进行的由依次进行的n个阶段决策构成的个阶段决策构成的决策序列决策序列就构成一个就构成一个 策略策略，用，用 p1n u1(x1), u2(x2), , un(xn) 表示。表示。25375632455114633334C1C3D1AB1B3B2D2EC2本例中，如本例中，如p14 u1(A)=B1, u2(B1) = C2, u3(C2) = D1, u4(D1) = E 表示其中一个表示其中一个策略，其总距离为策略，其总距离为2+5+6+3=16。23变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分策略集合：策略集合：在实际问题中，由于在各个阶段可供选择的决策有在实际问题中，由于在各个阶段可供选择的决策有许多个，因此，它们的不同组合就构成了许多可供选择的决策序许多个，因此，它们的不同组合就构成了许多可供选择的决策序列（策略），由它们组成的集合，称为列（策略），由它们组成的集合，称为策略集合策略集合，记作，记作 P1n。从策略集合中，找出具有最优效果的策略称为从策略集合中，找出具有最优效果的策略称为最优策略最优策略。24变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分子策略：子策略：从从k阶段到第阶段到第n阶段，依次进行的阶段决策构成的阶段，依次进行的阶段决策构成的决策序列称为决策序列称为k部子策略，表示为部子策略，表示为 pkn = uk(xk), uk+1(xk+1), , un(xn) 如从第如从第3阶段的阶段的C2状态开始的一个子策状态开始的一个子策略可表示：略可表示： p34=u3(C2) = D1, u4(D1) = E C225变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分（6）指标函数）指标函数用来衡量策略或子策略或决策的效果的某种用来衡量策略或子策略或决策的效果的某种数量指标数量指标，就称，就称为为指标函数指标函数。 它是定义在全过程或各子过程或各阶段上的确定数量函数。它是定义在全过程或各子过程或各阶段上的确定数量函数。对不同问题，指标函数可以是诸如费用、成本、产值、利润、对不同问题，指标函数可以是诸如费用、成本、产值、利润、产量、耗量、距离、时间、效用，等等。产量、耗量、距离、时间、效用，等等。阶段阶段指标函数指标函数过程过程指标函数指标函数26变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分阶段指标函数阶段指标函数：是指第：是指第 k 阶段从状态阶段从状态 xk 出发，采取决策出发，采取决策 uk 时产生的效益，用时产生的效益，用 vk(xk, uk) 表示。表示。例例1中，指标函数是中，指标函数是距离距离。如如 v2(B1, C2) 表示表示由由B1 出发，采用决策出发，采用决策到到C2 点的两点间距点的两点间距离，即离，即 v2( B1, C2) = 5。B1C227变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分过程指标函数过程指标函数：是指从第：是指从第 k 阶段的某状态阶段的某状态 xk 出发，采取子策出发，采取子策略略 pkn 时所得到的时所得到的效益效益，记作，记作 Vkn( xk, uk, xk+1, uk+1, , xn )例例1中，如中，如V34( C2, u3(C2)=D1, D1, u4(D1)= E, E ) = 6+3 =9C228变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分过程指标函数过程指标函数Vkn通常是描述所实现的全过程或通常是描述所实现的全过程或k后部子过程效后部子过程效果优劣的数量指标，它是果优劣的数量指标，它是由各阶段的阶段指标函数由各阶段的阶段指标函数vk(xk,uk)累积形累积形成的成的。（1）可分性：可分性：适于用动态规划求解的问题的过程指标函数（即目适于用动态规划求解的问题的过程指标函数（即目标函数），必须具有关于阶段指标的可分离形式，即对于后部子标函数），必须具有关于阶段指标的可分离形式，即对于后部子过程的指标函数可以表示为：过程的指标函数可以表示为： Vkn( xk, uk, xk+1, uk+1, , xn ) = vk(xk, uk) vk+1(xk+1, uk+1) vn(xn, un) 式中，式中， 表示某种运算，可以是加、减、乘、除、开方等。表示某种运算，可以是加、减、乘、除、开方等。29变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分多阶段决策问题中，常见的目标函数形式之一是取多阶段决策问题中，常见的目标函数形式之一是取各阶段效应各阶段效应 之和之和的形式，即的形式，即: 有些问题，如系统可靠性问题，其目标函数是取有些问题，如系统可靠性问题，其目标函数是取各阶段效应的各阶段效应的 连乘积连乘积形式，如：形式，如： 总之，具体问题的目标函数表达形式需要视具体问题而定。总之，具体问题的目标函数表达形式需要视具体问题而定。Vkn = vi（xi, ui）i=kn (8.3a) Vkn = vi（xi, ui）i=kn (8.3b) 30变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分（2）可递推：可递推：过程指标函数过程指标函数Vkn要要满足递推关系满足递推关系，即，即可递推可递推Vkn( xk, uk, xk+1, uk+1, , xn )k xk, uk, V(k+1)n(xk+1, uk+1, , xn ) vk(xk,uk) vk+1(xk+1, uk+1) vn(xn,un) vk(xk,uk) V(k+1)n( xk+1, uk+1, , xn )31变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分最优指标函数最优指标函数：表示从第表示从第 k 阶段状态为阶段状态为 xk 时采用时采用最优策略最优策略 pkn*到过程终止时的最佳效益值。记为到过程终止时的最佳效益值。记为 fk( xk )。 fk( xk ) = Vkn( xk , pkn*) = opt Vkn( xk , pkn )例例1中，如中，如 f3( C2 ) = 3+4 = 7。其中其中 opt 可根据具体情况取可根据具体情况取max 或或min。C2动态规划的目标？动态规划的目标？最优解：最优解：最优策略最优策略 p1n最优值：最优值：最优指标最优指标 f1(A)32变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分多阶段决策问题的数学模型多阶段决策问题的数学模型 综上所述，适于应用动态规划方综上所述，适于应用动态规划方法求解的一类多阶段决策问题的数学模型呈以下形式法求解的一类多阶段决策问题的数学模型呈以下形式: f1 = opt V1n( x1 , p1n ) 最优指标函数最优指标函数 xk+1=Tk( xk, uk(xk) ) 状态转移方程状态转移方程 ukDk 决策变量决策变量 xkSk 状态变量状态变量 k=1,2,n 阶段变量阶段变量st.上述数学模型说明了对于给上述数学模型说明了对于给定的多阶段决策过程，求取一定的多阶段决策过程，求取一个个(或多个或多个)最优策略或最优决策最优策略或最优决策序列序列 u1, u2, , un ，使之既满，使之既满足左式给出的全部约束条件，足左式给出的全部约束条件，又使左式所示的目标函数取得又使左式所示的目标函数取得极值，并且同时指出执行该最极值，并且同时指出执行该最优策略时，过程状态演变序列优策略时，过程状态演变序列即是最优路线。即是最优路线。小结小结: :概念概念 : :阶段变量阶段变量k状态变量状态变量xk决策变量决策变量uk; ;动态规划本质上是多阶段决策过程动态规划本质上是多阶段决策过程; ; 效益效益指标函数形式指标函数形式: :和、积和、积无后效性无后效性可递推可递推方程方程 : :状态转移方程状态转移方程xk+1=Tk( xk, uk(xk) )指标指标 : : Vkn( xk, uk, xk+1, uk+1, , xn )fk( xk ) = Vkn( xk , pkn*) = opt Vkn( xk , pkn )Vkn( xk, uk, xk+1, uk+1, , xn )k xk, uk, V(k+1)n(xk+1, uk+1, , xn ) 34变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分解多阶段决策过程问题，求出解多阶段决策过程问题，求出 最优策略最优策略，即最优，即最优决策序列决策序列 最优轨线最优轨线，即执行最优策略时的即执行最优策略时的状态序列状态序列 u1*, u2*, , un* x1*, x2*, , xn* 最优目标函数值最优目标函数值p1nP1nf1( x1 ) = V1n( x1 , p1n*) = opt V1n( x1 , p1n )1.划分阶段划分阶段2.正确选择状态变量正确选择状态变量 3.确定决策变量及确定决策变量及允许决策集合允许决策集合4.确定状态转移方程确定状态转移方程 5.确定阶段指标函确定阶段指标函数和最优指标函数和最优指标函数，建立动态规划数，建立动态规划基本方程基本方程划分阶段是运用动态规划求解多阶段决策问题的第一划分阶段是运用动态规划求解多阶段决策问题的第一步，在确定多阶段特性后，按时间或空间先后顺序，步，在确定多阶段特性后，按时间或空间先后顺序，将过程划分为若干相互联系的阶段。对于静态问题要将过程划分为若干相互联系的阶段。对于静态问题要人为地赋予人为地赋予“时间时间”概念，以便划分阶段。概念，以便划分阶段。建立动态规划模型的步骤建立动态规划模型的步骤 选择状态变量既要能确切描述过程演变又要满足无后选择状态变量既要能确切描述过程演变又要满足无后效性，而且各阶段状态变量的取值能够确定。效性，而且各阶段状态变量的取值能够确定。通常选择所求解问题的关键变量作为决策变量，同时通常选择所求解问题的关键变量作为决策变量，同时要给出决策变量的取值范围，即确定允许决策集合。要给出决策变量的取值范围，即确定允许决策集合。根据根据k 阶段状态变量和决策变量，写出阶段状态变量和决策变量，写出k+1阶段状态阶段状态变量，状态转移方程应当具有递推关系。变量，状态转移方程应当具有递推关系。阶段指标函数是指第阶段指标函数是指第k 阶段的收益，最优指标函数是阶段的收益，最优指标函数是指从第指从第k 阶段状态出发到第阶段状态出发到第n 阶段末所获得收益的最阶段末所获得收益的最优值，最后写出动态规划基本方程。优值，最后写出动态规划基本方程。36变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分 以上五步是建立动态规划数学模型的一般步骤。以上五步是建立动态规划数学模型的一般步骤。由于动态规划模型与线性规划模型不同，动态规划模由于动态规划模型与线性规划模型不同，动态规划模型没有统一的模式，建模时必须根据具体问题具体分型没有统一的模式，建模时必须根据具体问题具体分析，只有通过不断实践总结，才能较好掌握建模方法析，只有通过不断实践总结，才能较好掌握建模方法与技巧。与技巧。 下面我们看一个具体的例子下面我们看一个具体的例子 P156 例例2 机器负荷分配问题（时间阶段问题）机器负荷分配问题（时间阶段问题）37变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分P156 例例2 机器负荷分配问题（时间阶段问题）机器负荷分配问题（时间阶段问题）设有某种机器设备，用于完成两类工作设有某种机器设备，用于完成两类工作A和和B。若。若第第k年初完好年初完好机器的数量为机器的数量为 xk ，若以数量，若以数量 uk 用于用于A，余下的（，余下的（xkuk）用于）用于工作工作B，则该年的预期收入为，则该年的预期收入为 g( uk ) + h( xkuk )。其中其中g( uk ) 8uk ， h( xkuk ) = 5（xkuk）。又机器设备在使用中会有损坏，设机器用于工作又机器设备在使用中会有损坏，设机器用于工作A时，一年后时，一年后能继续使用的完好机器数占年初投入量的能继续使用的完好机器数占年初投入量的70%；若用于工作；若用于工作B时，一年后能继续使用的完好机器数占年初投入量的时，一年后能继续使用的完好机器数占年初投入量的90%。则在。则在下一年初下一年初能继续用于能继续用于A、B工作的设备数为工作的设备数为 xk+1=0.7uk+0.9(xkuk)。设第设第1年初完好的机器总数为年初完好的机器总数为1000台，问在连续台，问在连续5年内每年应如年内每年应如何分配用于何分配用于A、B两项工作的机器数，使两项工作的机器数，使5年的总收益为最大。年的总收益为最大。1.划分阶段划分阶段按年度来划分阶段，按年度来划分阶段，k=1,2,3,4,52.正确选择状态变量正确选择状态变量状态变量状态变量xk为第为第k年度初拥有的完好机器数量年度初拥有的完好机器数量 3.确定决策变量及允许决策集合确定决策变量及允许决策集合决策变量决策变量uk为第为第k年度中分配于年度中分配于A工作的机器数量，则工作的机器数量，则xkuk为为用于用于B工作的机器数量。工作的机器数量。第第k阶段阶段决策集合决策集合Dk( xk ) = uk | 0ukxk 这里这里xk和和uk均取连续变量，它们的非整数值可以这样理均取连续变量，它们的非整数值可以这样理解，如解，如xk=0.6，就表示一台机器在第，就表示一台机器在第k年度中正常工作时间只年度中正常工作时间只占占6/10；uk=0.3，就表示一台机器在该年度只有，就表示一台机器在该年度只有3/10的时间能的时间能正常用于正常用于A工作。工作。39变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分4.确定状态转移方程确定状态转移方程状态转移方程为状态转移方程为 xk+1=0.7uk+0.9(xkuk) 5.确定阶段指标函数和最优指标函数，建立动态规划基本方程确定阶段指标函数和最优指标函数，建立动态规划基本方程指标函数为指标函数为V1,5 = vi（xi, ui）i=15 = g( ui ) + h( xiui )i=15令最优指标函数令最优指标函数fk( xk ) 表示由资源量表示由资源量xk出发，从第出发，从第k年开始到年开始到第第5年结束时所取得的最大预期收入。因而有：年结束时所取得的最大预期收入。因而有： fk( xk ) = max Vk,5 = vi（xi, ui）i=k5 = 8ui + 5( xiui )i=k5 = 8ui +5(xiui)i=1540变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分学习目标：学习目标：1 掌握最优化原理的内容掌握最优化原理的内容2 掌握逆序解法掌握逆序解法3 动态规划的基本思想与基本原理动态规划的基本思想与基本原理多阶段决策过程的最优化一般有三种思路求解多阶段决策过程的最优化一般有三种思路求解1.全枚举法或穷举法：全枚举法或穷举法：它的基本思想是列举出所有可能发生的它的基本思想是列举出所有可能发生的方案和结果，再对它们一一进行比较，求出最优方案。方案和结果，再对它们一一进行比较，求出最优方案。 可以计算：从可以计算：从A到到E的路程可分为的路程可分为4个阶段。第一段走法有个阶段。第一段走法有3种，第二段走法有种，第二段走法有3种，第三段走法有种，第三段走法有2种，第四段走法仅种，第四段走法仅1种，种，共有共有332118条可能的路线，分别算出各条路线的距离，条可能的路线，分别算出各条路线的距离，最后进行比较，可知最优路线是最后进行比较，可知最优路线是AB3C2 D2E，最短距离，最短距离是是11。 用穷举法求最优路线的计算用穷举法求最优路线的计算 工作量将会十分庞大，而且工作量将会十分庞大，而且 其中包含着许多重复计算。其中包含着许多重复计算。2.局部最优路径法：局部最优路径法：某人从某人从k点出发，并不顾及全线是否最短，点出发，并不顾及全线是否最短，只是选择当前最短途径，只是选择当前最短途径，“逢近便走逢近便走”，错误地以为局部最优错误地以为局部最优会会致整体最优致整体最优，在这种想法指导下，所取决策必是，在这种想法指导下，所取决策必是AB1C2D2E，全程长度是，全程长度是14；显然，这种方法的结果常；显然，这种方法的结果常是错误的。是错误的。43变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分小结：小结： 全枚举法全枚举法虽可找出最优方案，但不是个好算法，虽可找出最优方案，但不是个好算法， 局部最优法局部最优法则完全是个错误方法，则完全是个错误方法， 只有只有动态规划方法动态规划方法属较科学有效的算法属较科学有效的算法作为一个全过程的最优策略具有这样的性质：作为一个全过程的最优策略具有这样的性质：对于最优策略对于最优策略过程中的任意状态而言，无论其过去的状态和决策如何，余下过程中的任意状态而言，无论其过去的状态和决策如何，余下的诸决策必构成一个最优子策略。的诸决策必构成一个最优子策略。（一个最优策略的子策略总一个最优策略的子策略总是最优的是最优的）3. 贝尔曼最优化原理（动态规划方法）贝尔曼最优化原理（动态规划方法）作该原理的具体解释是，若某一作该原理的具体解释是，若某一全过程最优策略全过程最优策略为：为： p1n*( x1 )= u1*(x1), , uk*(xk), uk+1*(xk+1), , un*(xn) 则对上述策略中所隐含的任一状态（则对上述策略中所隐含的任一状态（xk）而言，第）而言，第k子过程上子过程上对应于对应于 xk 的最优策略必然包含在上述全过程最优策略的最优策略必然包含在上述全过程最优策略p1n*中，中，即为即为 pkn*( xk )= uk*(xk), uk+1*(xk+1), , un*(xn) 45变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分C1D1AB3D2EC2最优性原理在最短路线中的应用最优性原理在最短路线中的应用 在最短路线中，若找到了在最短路线中，若找到了AB3C2D2E是由是由A到到E的最的最短路线，则短路线，则B3C2D2E必是由必是由B3出发到出发到E点的所有可能选择的点的所有可能选择的不同路线中的最短路线。（不同路线中的最短路线。（一个最优策略的子策略总是最优的一个最优策略的子策略总是最优的）46变电站电气主接线是指变电站的变压器、输电线路怎样与电力系统相连接，从而完成输配电任务。变电站的主接线是电力系统接线组成中一个重要组成部分4.函数基本方程函数基本方程 基于这个原理，提出了一种基于这个原理，提出了一种逆序递推法逆序递推法；该法的关键在于给；该法的关键在于给出一种递推关系。一般把这种递推关系称为出一种递推关系。一般把这种递推关系称为动态规划的函数基本动态规划的函数基本方程方程。对于求最小的加法的基本方程为（如例对于求最小的加