《动态规划》PPT课件.pptx

《《动态规划》PPT课件.pptx》由会员分享，可在线阅读，更多相关《《动态规划》PPT课件.pptx（48页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 Copyright Li Yuxin.All Rights Reserved第十章第十章 动态规划动态规划1 1 多阶段决策过程最优化问题举例多阶段决策过程最优化问题举例2 2 基本概念、基本方程与最优化原理基本概念、基本方程与最优化原理3 3 动态规划的应用动态规划的应用(1)(1)4 4 动态规划的应用动态规划的应用(2)(2)1 Copyright Li Yuxin.All Rights Reserved2动态规划是用来解决多阶段决策过程最优化的一种数量方法。其特点在于，它可以把一个n 维决策问题变换为几个一维最优化问题，从而一个一个地去解决。动态规划 Copyright Li Yux

2、in.All Rights Reserved动态决策问题的特点动态决策问题的特点 系统所处的状态和时刻是进行决策的重要因素系统所处的状态和时刻是进行决策的重要因素系统所处的状态和时刻是进行决策的重要因素系统所处的状态和时刻是进行决策的重要因素 即在系统发展的不同时刻（或阶段）根据系统所处的即在系统发展的不同时刻（或阶段）根据系统所处的即在系统发展的不同时刻（或阶段）根据系统所处的即在系统发展的不同时刻（或阶段）根据系统所处的状态，不断地做出决策状态，不断地做出决策状态，不断地做出决策状态，不断地做出决策 找到不同时刻的最优决策以及整个过程的最优策略找到不同时刻的最优决策以及整个过程的最优策略找

3、到不同时刻的最优决策以及整个过程的最优策略找到不同时刻的最优决策以及整个过程的最优策略 需指出：动态规划是求解某类问题的一种方法，是需指出：动态规划是求解某类问题的一种方法，是需指出：动态规划是求解某类问题的一种方法，是需指出：动态规划是求解某类问题的一种方法，是考察问题的一种途径，而不是一种算法。必须对具考察问题的一种途径，而不是一种算法。必须对具考察问题的一种途径，而不是一种算法。必须对具考察问题的一种途径，而不是一种算法。必须对具体问题进行具体分析，运用动态规划的原理和方法，体问题进行具体分析，运用动态规划的原理和方法，体问题进行具体分析，运用动态规划的原理和方法，体问题进行具体分析，运

4、用动态规划的原理和方法，建立相应的模型，然后再用动态规划方法去求解。建立相应的模型，然后再用动态规划方法去求解。建立相应的模型，然后再用动态规划方法去求解。建立相应的模型，然后再用动态规划方法去求解。Copyright Li Yuxin.All Rights Reserved多阶段决策问题多阶段决策问题是动态决策问题的一种特殊形式是动态决策问题的一种特殊形式在多阶段决策过程中在多阶段决策过程中,系统的动态过程可以按系统的动态过程可以按照时间进程分为状态相互联系而又相互区别的照时间进程分为状态相互联系而又相互区别的各个阶段各个阶段每个阶段都要进行决策每个阶段都要进行决策,目的是使整个过程的目的是

5、使整个过程的决策达到最优效果决策达到最优效果1 12 2n n状态状态决策决策状态状态决策决策状态状态状态状态决策决策 Copyright Li Yuxin.All Rights Reserved一、动态规划的基本概念一、动态规划的基本概念51 1、阶段：、阶段：、阶段：、阶段：把一个问题的过程，恰当地分为若干个相互联系的把一个问题的过程，恰当地分为若干个相互联系的把一个问题的过程，恰当地分为若干个相互联系的把一个问题的过程，恰当地分为若干个相互联系的阶段阶段阶段阶段，以便于按一定的次序去求解。，以便于按一定的次序去求解。，以便于按一定的次序去求解。，以便于按一定的次序去求解。描述阶段的变量称

6、为描述阶段的变量称为描述阶段的变量称为描述阶段的变量称为阶段变量阶段变量阶段变量阶段变量。阶段的划分，一般。阶段的划分，一般。阶段的划分，一般。阶段的划分，一般是根据时间和空间的自然特征来进行的，但要便于问题是根据时间和空间的自然特征来进行的，但要便于问题是根据时间和空间的自然特征来进行的，但要便于问题是根据时间和空间的自然特征来进行的，但要便于问题转化为多阶段决策。转化为多阶段决策。转化为多阶段决策。转化为多阶段决策。2 2、状态：表示每个阶段开始所处的、状态：表示每个阶段开始所处的、状态：表示每个阶段开始所处的、状态：表示每个阶段开始所处的自然状况或客观条自然状况或客观条自然状况或客观条自

7、然状况或客观条件件件件。通常一个阶段有若干个状态，描述过程状态的变量。通常一个阶段有若干个状态，描述过程状态的变量。通常一个阶段有若干个状态，描述过程状态的变量。通常一个阶段有若干个状态，描述过程状态的变量称为称为称为称为状态变量状态变量状态变量状态变量。年、月、年、月、路段路段一个数、一个数、一组数、一组数、一个向量一个向量 状态变量的取值有一定的允许集合或范围，此集合状态变量的取值有一定的允许集合或范围，此集合状态变量的取值有一定的允许集合或范围，此集合状态变量的取值有一定的允许集合或范围，此集合称为称为称为称为状态允许集合状态允许集合状态允许集合状态允许集合。Copyright Li Y

8、uxin.All Rights Reserved63、决策：表示当过程处于某一阶段的某个状态时，可、决策：表示当过程处于某一阶段的某个状态时，可以作出不同的决定，从而确定下一阶段的状态以作出不同的决定，从而确定下一阶段的状态，这种这种决定称为决定称为决策决策。描述决策的变量，称为描述决策的变量，称为决策变量决策变量。决策变量是状态。决策变量是状态变量的函数。可用一个数、一组数或一向量（多维情变量的函数。可用一个数、一组数或一向量（多维情形）来描述。形）来描述。在实际问题中决策变量的取值往往在某一范围之内，在实际问题中决策变量的取值往往在某一范围之内，此范围称为此范围称为允许决策集合允许决策集合

9、。系统在某一阶段的状态转移不但与系统的当前的状态系统在某一阶段的状态转移不但与系统的当前的状态和决策有关，而且还与系统过去的历史状态和决策有关。和决策有关，而且还与系统过去的历史状态和决策有关。4、多阶段决策过程多阶段决策过程 可以在各个阶段进行决策，去控制过程发展的多段过可以在各个阶段进行决策，去控制过程发展的多段过程；程；其发展是通过一系列的状态转移来实现的；其发展是通过一系列的状态转移来实现的；Copyright Li Yuxin.All Rights Reserved7图示如下：图示如下：状态转移方程是状态转移方程是确定确定由由一个状态到另一个一个状态到另一个状态的演变过程。如状态的演

10、变过程。如果第果第k阶段状态变量阶段状态变量sk的值、该阶段的决策的值、该阶段的决策变量一经确定，第变量一经确定，第k+1阶段状态变量阶段状态变量sk+1的值的值也就确定。也就确定。其状态转移方程如下（一般形式）其状态转移方程如下（一般形式）12ks1u1s2u2s3skuksk+1 能用动态规划方法求解的多阶段决策过程是一类能用动态规划方法求解的多阶段决策过程是一类特殊的多阶段决策过程，即特殊的多阶段决策过程，即具有无后效性具有无后效性的多阶段的多阶段决策过程。决策过程。Copyright Li Yuxin.All Rights Reserved8如果如果如果如果状态变量不能满足无后效性的要

11、求，应适当地改状态变量不能满足无后效性的要求，应适当地改状态变量不能满足无后效性的要求，应适当地改状态变量不能满足无后效性的要求，应适当地改变状态的定义或规定方法。变状态的定义或规定方法。变状态的定义或规定方法。变状态的定义或规定方法。动态规划中能动态规划中能动态规划中能动态规划中能处理的状态转移处理的状态转移处理的状态转移处理的状态转移方程的形式。方程的形式。方程的形式。方程的形式。状态状态状态状态具有无后效性的多阶段决策过程的状态转移方具有无后效性的多阶段决策过程的状态转移方具有无后效性的多阶段决策过程的状态转移方具有无后效性的多阶段决策过程的状态转移方程如下程如下程如下程如下无后效性无后

12、效性无后效性无后效性(马尔可夫性马尔可夫性马尔可夫性马尔可夫性)如果如果如果如果某阶段状态给定后，则在这个阶段以后过程某阶段状态给定后，则在这个阶段以后过程某阶段状态给定后，则在这个阶段以后过程某阶段状态给定后，则在这个阶段以后过程的发展不受这个阶段以前各段状态的影响的发展不受这个阶段以前各段状态的影响的发展不受这个阶段以前各段状态的影响的发展不受这个阶段以前各段状态的影响；过程的过过程的过过程的过过程的过去历史只能通过当前的状态去影响它未来的发展去历史只能通过当前的状态去影响它未来的发展去历史只能通过当前的状态去影响它未来的发展去历史只能通过当前的状态去影响它未来的发展构造构造构造构造动态规

13、划模型时，要充分注意是否满足无后效性的动态规划模型时，要充分注意是否满足无后效性的动态规划模型时，要充分注意是否满足无后效性的动态规划模型时，要充分注意是否满足无后效性的要求；要求；要求；要求；状态变量要满足无后效性的要求；Copyright Li Yuxin.All Rights Reserved9 9 9 95 5 5 5、策略：是一个按顺序排列的决策组成的集合。在实、策略：是一个按顺序排列的决策组成的集合。在实、策略：是一个按顺序排列的决策组成的集合。在实、策略：是一个按顺序排列的决策组成的集合。在实际问题中，可供选择的策略有一定的范围，称为际问题中，可供选择的策略有一定的范围，称为际问

14、题中，可供选择的策略有一定的范围，称为际问题中，可供选择的策略有一定的范围，称为允许允许允许允许策略集合策略集合策略集合策略集合。从允许策略集合中找出达到最优效果的策。从允许策略集合中找出达到最优效果的策。从允许策略集合中找出达到最优效果的策。从允许策略集合中找出达到最优效果的策略称为略称为略称为略称为最优策略最优策略最优策略最优策略。6 6 6 6、状态转移方程：是确定过程由一个状态到另一个、状态转移方程：是确定过程由一个状态到另一个、状态转移方程：是确定过程由一个状态到另一个、状态转移方程：是确定过程由一个状态到另一个状态的演变过程，描述了状态转移规律。状态的演变过程，描述了状态转移规律。

15、状态的演变过程，描述了状态转移规律。状态的演变过程，描述了状态转移规律。7 7 7 7、指标函数和最优值函数：用来衡量所实现过程优劣、指标函数和最优值函数：用来衡量所实现过程优劣、指标函数和最优值函数：用来衡量所实现过程优劣、指标函数和最优值函数：用来衡量所实现过程优劣的一种数量指标的一种数量指标的一种数量指标的一种数量指标，称为，称为，称为，称为指标函数指标函数指标函数指标函数。指标函数的最优值，。指标函数的最优值，。指标函数的最优值，。指标函数的最优值，称为称为称为称为最优值函数最优值函数最优值函数最优值函数。在不同的问题中，指标函数的含义。在不同的问题中，指标函数的含义。在不同的问题中，

16、指标函数的含义。在不同的问题中，指标函数的含义是不同的，它可能是距离、利润、成本、产量或资源是不同的，它可能是距离、利润、成本、产量或资源是不同的，它可能是距离、利润、成本、产量或资源是不同的，它可能是距离、利润、成本、产量或资源消耗等。消耗等。消耗等。消耗等。动态规划模型的指标函数，应具有可分离性，并满动态规划模型的指标函数，应具有可分离性，并满动态规划模型的指标函数，应具有可分离性，并满动态规划模型的指标函数，应具有可分离性，并满足足足足递推递推递推递推关系。关系。关系。关系。Copyright Li Yuxin.All Rights Reserved10101010小结小结小结小结:方程

17、方程方程方程 :状态转移方程状态转移方程状态转移方程状态转移方程概念概念概念概念 :阶段变量阶段变量阶段变量阶段变量k k k k状态变量状态变量状态变量状态变量s s s sk k k k决策变量决策变量决策变量决策变量u u u uk k k k;指标指标指标指标:动态规划本质上动态规划本质上动态规划本质上动态规划本质上是一种多决策过程是一种多决策过程是一种多决策过程是一种多决策过程;效益效益效益效益指标函数形式指标函数形式指标函数形式指标函数形式:和、和、和、和、积积积积无后效性无后效性无后效性无后效性可递推可递推可递推可递推 Copyright Li Yuxin.All Rights

18、Reserved11解多阶段决策过程问题，求出解多阶段决策过程问题，求出 最优策略最优策略，即最优，即最优决策序列决策序列f1(s1)最优轨线最优轨线，即执行最优策略时的即执行最优策略时的状态序列状态序列 最优目标函数值最优目标函数值从从 k k 到终点最优策略到终点最优策略子策略的最优目标函数值子策略的最优目标函数值 Copyright Li Yuxin.All Rights Reserved12 1 1 1 1、动态规划方法的关键在于、动态规划方法的关键在于、动态规划方法的关键在于、动态规划方法的关键在于正确地写出基本的递正确地写出基本的递正确地写出基本的递正确地写出基本的递推关系式和恰当

19、的边界条件（简称基本方程）推关系式和恰当的边界条件（简称基本方程）推关系式和恰当的边界条件（简称基本方程）推关系式和恰当的边界条件（简称基本方程）。要要要要做到这一点，就必须将问题的过程分成几个相做到这一点，就必须将问题的过程分成几个相做到这一点，就必须将问题的过程分成几个相做到这一点，就必须将问题的过程分成几个相互联系的阶段，恰当的选取状态变量和决策变量互联系的阶段，恰当的选取状态变量和决策变量互联系的阶段，恰当的选取状态变量和决策变量互联系的阶段，恰当的选取状态变量和决策变量及定义最优值函数，从而把一个大问题转化成一及定义最优值函数，从而把一个大问题转化成一及定义最优值函数，从而把一个大问

20、题转化成一及定义最优值函数，从而把一个大问题转化成一组同类型的子问题，然后逐个求解组同类型的子问题，然后逐个求解组同类型的子问题，然后逐个求解组同类型的子问题，然后逐个求解。即即即即从边界条件开始，逐段递推寻优，在每一个子从边界条件开始，逐段递推寻优，在每一个子从边界条件开始，逐段递推寻优，在每一个子从边界条件开始，逐段递推寻优，在每一个子问题的求解中，均利用了它前面的子问题的最优问题的求解中，均利用了它前面的子问题的最优问题的求解中，均利用了它前面的子问题的最优问题的求解中，均利用了它前面的子问题的最优化结果，依次进行，最后一个子问题所得的最优化结果，依次进行，最后一个子问题所得的最优化结果

21、，依次进行，最后一个子问题所得的最优化结果，依次进行，最后一个子问题所得的最优解，就是整个问题的最优解。解，就是整个问题的最优解。解，就是整个问题的最优解。解，就是整个问题的最优解。二、动态规划的基本思想二、动态规划的基本思想 Copyright Li Yuxin.All Rights Reserved132 2 2 2、在多阶段决策过程中，动态规划方法是既把当、在多阶段决策过程中，动态规划方法是既把当、在多阶段决策过程中，动态规划方法是既把当、在多阶段决策过程中，动态规划方法是既把当前一段和未来一段分开，又把当前效益和未来效益结前一段和未来一段分开，又把当前效益和未来效益结前一段和未来一段分

22、开，又把当前效益和未来效益结前一段和未来一段分开，又把当前效益和未来效益结合起来考虑的一种最优化方法。因此，每段决策的选合起来考虑的一种最优化方法。因此，每段决策的选合起来考虑的一种最优化方法。因此，每段决策的选合起来考虑的一种最优化方法。因此，每段决策的选取是从全局来考虑的，与该段的最优选择答案一般是取是从全局来考虑的，与该段的最优选择答案一般是取是从全局来考虑的，与该段的最优选择答案一般是取是从全局来考虑的，与该段的最优选择答案一般是不同的不同的不同的不同的 最优化原理最优化原理最优化原理最优化原理：作为整个过程的最优策略具有这样：作为整个过程的最优策略具有这样：作为整个过程的最优策略具有

23、这样：作为整个过程的最优策略具有这样的性质：无论过去的状态和决策如何，相对于前面的的性质：无论过去的状态和决策如何，相对于前面的的性质：无论过去的状态和决策如何，相对于前面的的性质：无论过去的状态和决策如何，相对于前面的决策所形成的状态而言，余下的决策序列必然构成最决策所形成的状态而言，余下的决策序列必然构成最决策所形成的状态而言，余下的决策序列必然构成最决策所形成的状态而言，余下的决策序列必然构成最优子策略。优子策略。优子策略。优子策略。”也就是说，一个最优策略的子策略也是也就是说，一个最优策略的子策略也是也就是说，一个最优策略的子策略也是也就是说，一个最优策略的子策略也是最优的。最优的。最

24、优的。最优的。3 3 3 3、在求整个问题的最优策略时，由于初始状态、在求整个问题的最优策略时，由于初始状态、在求整个问题的最优策略时，由于初始状态、在求整个问题的最优策略时，由于初始状态是已知的，而每段的决策都是该段状态的函数，故最是已知的，而每段的决策都是该段状态的函数，故最是已知的，而每段的决策都是该段状态的函数，故最是已知的，而每段的决策都是该段状态的函数，故最优策略所经过的各段状态便可逐段变换得到，从而优策略所经过的各段状态便可逐段变换得到，从而优策略所经过的各段状态便可逐段变换得到，从而优策略所经过的各段状态便可逐段变换得到，从而确确确确定最定最定最定最优优优优路线路线路线路线 C

25、opyright Li Yuxin.All Rights Reserved14三、三、建立动态规划模型的步骤建立动态规划模型的步骤 1 1 1 1、划分阶段、划分阶段、划分阶段、划分阶段划划划划分分分分阶阶阶阶段段段段是是是是运运运运用用用用动动动动态态态态规规规规划划划划求求求求解解解解多多多多阶阶阶阶段段段段决决决决策策策策问问问问题题题题的的的的第第第第一一一一步步步步，在在在在确确确确定定定定多多多多阶阶阶阶段段段段特特特特性性性性后后后后，按按按按时时时时间间间间或或或或空空空空间间间间先先先先后后后后顺顺顺顺序序序序，将将将将过过过过程程程程划划划划分分分分为为为为若若若若干干干干

26、相相相相互互互互联联联联系系系系的的的的阶阶阶阶段段段段。对对对对于于于于静静静静态态态态问问问问题题题题要要要要人为地赋予人为地赋予人为地赋予人为地赋予“时间时间时间时间”概念，以便划分阶段。概念，以便划分阶段。概念，以便划分阶段。概念，以便划分阶段。2 2 2 2、正确选择状态变量、正确选择状态变量、正确选择状态变量、正确选择状态变量选选选选择择择择变变变变量量量量既既既既要要要要能能能能确确确确切切切切描描描描述述述述过过过过程程程程演演演演变变变变又又又又要要要要满满满满足足足足无无无无后后后后效效效效性性性性，而而而而且且且且各各各各阶阶阶阶段段段段状状状状态态态态变变变变量量量量的

27、的的的取取取取值值值值能能能能够够够够确确确确定定定定。一一一一般般般般地地地地，状状状状态态态态变量的选择是从过程演变的特点中寻找。变量的选择是从过程演变的特点中寻找。变量的选择是从过程演变的特点中寻找。变量的选择是从过程演变的特点中寻找。3 3 3 3、确定决策变量及允许决策集合、确定决策变量及允许决策集合、确定决策变量及允许决策集合、确定决策变量及允许决策集合通通通通常常常常选选选选择择择择所所所所求求求求解解解解问问问问题题题题的的的的关关关关键键键键变变变变量量量量作作作作为为为为决决决决策策策策变变变变量量量量，同同同同时时时时要给出决策变量的取值范围，即确定允许决策集合。要给出决

28、策变量的取值范围，即确定允许决策集合。要给出决策变量的取值范围，即确定允许决策集合。要给出决策变量的取值范围，即确定允许决策集合。Copyright Li Yuxin.All Rights Reserved15 4 4 4 4、确定状态转移方程、确定状态转移方程、确定状态转移方程、确定状态转移方程根据根据根据根据k k k k 阶段状态变量和决策变量，写出阶段状态变量和决策变量，写出阶段状态变量和决策变量，写出阶段状态变量和决策变量，写出k k k k+1+1+1+1阶段状态变阶段状态变阶段状态变阶段状态变量，状态转移方程应当具有递推关系。量，状态转移方程应当具有递推关系。量，状态转移方程应当

29、具有递推关系。量，状态转移方程应当具有递推关系。5 5 5 5、确定阶段指标函数和最优指标函数，建立动态规、确定阶段指标函数和最优指标函数，建立动态规、确定阶段指标函数和最优指标函数，建立动态规、确定阶段指标函数和最优指标函数，建立动态规划基本方程划基本方程划基本方程划基本方程 阶段指标函数是指第阶段指标函数是指第阶段指标函数是指第阶段指标函数是指第k k k k 阶段的收益，最优指标函数阶段的收益，最优指标函数阶段的收益，最优指标函数阶段的收益，最优指标函数是指从第是指从第是指从第是指从第k k k k 阶段状态出发到第阶段状态出发到第阶段状态出发到第阶段状态出发到第n n n n 阶段末所

30、获得收益的阶段末所获得收益的阶段末所获得收益的阶段末所获得收益的最优值，最后写出动态规划基本方程。最优值，最后写出动态规划基本方程。最优值，最后写出动态规划基本方程。最优值，最后写出动态规划基本方程。以上五步是建立动态规划数学模型的一般步骤。由于以上五步是建立动态规划数学模型的一般步骤。由于以上五步是建立动态规划数学模型的一般步骤。由于以上五步是建立动态规划数学模型的一般步骤。由于动态规划模型与线性规划模型不同，动态规划模型与线性规划模型不同，动态规划模型与线性规划模型不同，动态规划模型与线性规划模型不同，动态规划模型没有统动态规划模型没有统动态规划模型没有统动态规划模型没有统一的模式，建模时

31、必须根据具体问题具体分析一的模式，建模时必须根据具体问题具体分析一的模式，建模时必须根据具体问题具体分析一的模式，建模时必须根据具体问题具体分析，只有通过，只有通过，只有通过，只有通过不断实践总结，才能较好掌握建模方法与技巧。不断实践总结，才能较好掌握建模方法与技巧。不断实践总结，才能较好掌握建模方法与技巧。不断实践总结，才能较好掌握建模方法与技巧。Copyright Li Yuxin.All Rights Reserved四、动态规划问题典型应用四、动态规划问题典型应用16例例例例1 1 1 1、从从从从A A A A 地到地到地到地到D D D D 地要铺设一条煤气管道地要铺设一条煤气管道

32、地要铺设一条煤气管道地要铺设一条煤气管道,其中需其中需其中需其中需经过两级中间站，两点之间的连线上的数字表示经过两级中间站，两点之间的连线上的数字表示经过两级中间站，两点之间的连线上的数字表示经过两级中间站，两点之间的连线上的数字表示距离，如图所示。问应该选择什么路线，使总距距离，如图所示。问应该选择什么路线，使总距距离，如图所示。问应该选择什么路线，使总距距离，如图所示。问应该选择什么路线，使总距离最短？离最短？离最短？离最短？AB1B2C1C2C3D243333211141、最最短短路路径径问问题题 Copyright Li Yuxin.All Rights Reserved17 解：整个

33、计算过程分三个阶段，从最后一个阶段开始。解：整个计算过程分三个阶段，从最后一个阶段开始。第一阶段（第一阶段（C D）：）：C 有三条路线到终点有三条路线到终点D。AB1B2C1C2C3D24333321114DC1C2C3显然有显然有 f1(C1)=1 ；f1(C2)=3 ；f1(C3)=4 Copyright Li Yuxin.All Rights Reserved18 d(B1,C1)+f1(C1)3+1 f2(B1)=min d(B1,C2)+f1(C2)=min 3+3 d(B1,C3)+f1(C3)1+4 4 =min 6 =4 5第二阶段（第二阶段（B C）：）：B 到到C 有六条

34、路线。有六条路线。AB1B2C1C2C3D24333321114DC1C2C3B1B2(最短路线为最短路线为B1C1 D)Copyright Li Yuxin.All Rights Reserved19 d(B2,C1)+f1(C1)2+1 f2(B2)=min d(B2,C2)+f1(C2)=min 3+3 d(B2,C3)+f1(C3)1+4 3 =min 6 =3 5AB1B2C1C2C3D24333321114DC1C2C3B1B2(最短路线为最短路线为B2C1 D)Copyright Li Yuxin.All Rights Reserved20第三阶段（第三阶段（A B）：）：A 到

35、到B 有二条路线。有二条路线。f3(A)1=d(A,B1)f2(B1)246 f3(A)2=d(A,B2)f2(B2)437 f3(A)=min =min6,7=6d(A,B1)f2(B1)d(A,B2)f2(B2)(最短路线为最短路线为AB1C1 D)AB1B2C1C2C3D24333321114DC1C2C3B1B2A Copyright Li Yuxin.All Rights Reserved21AB1B2C1C2C3D24333321114DC1C2C3B1B2A最短路线为最短路线为 ABAB1 1C C1 1 D D 路路长为长为 6 6 Copyright Li Yuxin.All

36、 Rights Reserved四、动态规划问题典型应用四、动态规划问题典型应用22现有现有现有现有数量为数量为数量为数量为a a a a（万元）的资金，计划分配给（万元）的资金，计划分配给（万元）的资金，计划分配给（万元）的资金，计划分配给n n n n 个工厂个工厂个工厂个工厂,用于用于用于用于扩大再生产。扩大再生产。扩大再生产。扩大再生产。假设假设假设假设：x x x xi i i i 为分配给第为分配给第为分配给第为分配给第i i i i 个工厂的资金数量（万元）个工厂的资金数量（万元）个工厂的资金数量（万元）个工厂的资金数量（万元）；g g g gi i i i(x x x xi i

37、 i i)为第为第为第为第i i i i 个工厂得到资金后提供的利润值（万元）。个工厂得到资金后提供的利润值（万元）。个工厂得到资金后提供的利润值（万元）。个工厂得到资金后提供的利润值（万元）。问题问题问题问题是如何确定各工厂的资金数，使得总的利润为最大。是如何确定各工厂的资金数，使得总的利润为最大。是如何确定各工厂的资金数，使得总的利润为最大。是如何确定各工厂的资金数，使得总的利润为最大。据此，有下式：据此，有下式：据此，有下式：据此，有下式：2、投投资资分分配配问问题题 Copyright Li Yuxin.All Rights Reserved23232323 令：令：令：令：f f f

38、 fk k k k(x x x x)=)=)=)=以数量为以数量为以数量为以数量为x x x x 的资金分配给前的资金分配给前的资金分配给前的资金分配给前k k k k 个工厂，个工厂，个工厂，个工厂，所得到的最大利润值。所得到的最大利润值。所得到的最大利润值。所得到的最大利润值。用动态规划求解，就是求用动态规划求解，就是求用动态规划求解，就是求用动态规划求解，就是求 f f f fn n n n(a a a a)的问题。的问题。的问题。的问题。当当当当 k k k k=1=1=1=1 时，时，时，时，f f f f1 1 1 1(x x x x)=)=)=)=g g g g1 1 1 1(x

39、 x x x)（因为只给一个工厂）因为只给一个工厂）因为只给一个工厂）因为只给一个工厂）当当当当1 1 1 1k k k kn n n n 时，其递推关系如下：时，其递推关系如下：时，其递推关系如下：时，其递推关系如下：设：设：设：设：y y y y 为分给第为分给第为分给第为分给第k k k k 个工厂的资金（其中个工厂的资金（其中个工厂的资金（其中个工厂的资金（其中 0000y y y y x x x x），），），），此时还剩此时还剩此时还剩此时还剩 x x x x y y y y（万元）的资金需要分配给前（万元）的资金需要分配给前（万元）的资金需要分配给前（万元）的资金需要分配给前 k

40、 k k k-1-1-1-1 个个个个工厂工厂工厂工厂,如果采取最优策略，则得到的最大利润为如果采取最优策略，则得到的最大利润为如果采取最优策略，则得到的最大利润为如果采取最优策略，则得到的最大利润为f f f fk k k k1 1 1 1(x x x xy y y y),),),),因此总的利润为：因此总的利润为：因此总的利润为：因此总的利润为：g gk k(y y)f fk k1 1(x xy y)Copyright Li Yuxin.All Rights Reserved24242424 如果如果如果如果a a a a 是以万元为资金分配单位，则式中的是以万元为资金分配单位，则式中的是

41、以万元为资金分配单位，则式中的是以万元为资金分配单位，则式中的y y 只取非负整数只取非负整数只取非负整数只取非负整数0 0 0 0，1 1 1 1，2 2 2 2，x x x x。上式可变为：。上式可变为：。上式可变为：。上式可变为：所以，根据动态规划的最优化原理，有下式：所以，根据动态规划的最优化原理，有下式：所以，根据动态规划的最优化原理，有下式：所以，根据动态规划的最优化原理，有下式：Copyright Li Yuxin.All Rights Reserved25例题例题：设设设设国家拨给国家拨给国家拨给国家拨给60606060万元投资，供四个工厂扩建使用，每个万元投资，供四个工厂扩建

42、使用，每个万元投资，供四个工厂扩建使用，每个万元投资，供四个工厂扩建使用，每个工厂扩建后的利润与投资额的大小有关，投资后的利工厂扩建后的利润与投资额的大小有关，投资后的利工厂扩建后的利润与投资额的大小有关，投资后的利工厂扩建后的利润与投资额的大小有关，投资后的利润函数如下表所示。润函数如下表所示。润函数如下表所示。润函数如下表所示。投投资资利润利润0102030405060g1(x)0205065808585g2(x)0204050556065g3(x)0256085100110115g4(x)0254050606570解：依据题意，是要求解：依据题意，是要求解：依据题意，是要求解：依据题意，

43、是要求 f f f f4 4 4 4(60606060)。Copyright Li Yuxin.All Rights Reserved26按顺序解法计算。按顺序解法计算。按顺序解法计算。按顺序解法计算。第一阶段：求第一阶段：求第一阶段：求第一阶段：求 f f f f1 1 1 1(x x x x)。显然有。显然有。显然有。显然有 f f f f1 1 1 1(x x x x)g g g g1 1 1 1(x x x x)，得到，得到，得到，得到下表下表下表下表 投资投资利润利润0102030405060f1(x)g1(x)0205065808585最优策略最优策略0102030405060第二

44、阶段：求第二阶段：求第二阶段：求第二阶段：求 f f f f2 2 2 2(x x x x)。此时需考虑第一、第二个工厂如。此时需考虑第一、第二个工厂如。此时需考虑第一、第二个工厂如。此时需考虑第一、第二个工厂如何进行投资分配，以取得最大的总利润。何进行投资分配，以取得最大的总利润。何进行投资分配，以取得最大的总利润。何进行投资分配，以取得最大的总利润。Copyright Li Yuxin.All Rights Reserved27最优策略为（最优策略为（40，20），此时最大利润为），此时最大利润为120万元。万元。同理可求得其它同理可求得其它 f2(x)的值。的值。Copyright Li

45、 Yuxin.All Rights Reserved28最优策略为（最优策略为（30，20），此时最大利润为），此时最大利润为105万元。万元。Copyright Li Yuxin.All Rights Reserved29最优策略为（最优策略为（20，20），此时最大利润为），此时最大利润为90万元。万元。最优策略为（最优策略为（20，10），此时最大利润为），此时最大利润为70万元。万元。Copyright Li Yuxin.All Rights Reserved30最优策略为（最优策略为（10，0）或（）或（0，10），此时最大利润，此时最大利润为为20万元。万元。f2(0)0。最优策略

46、为（最优策略为（0，0），最大利润为），最大利润为0万元。万元。得到下表得到下表最优策略为（最优策略为（20，0），此时最大利润为），此时最大利润为50万元。万元。Copyright Li Yuxin.All Rights Reserved31 投投资资利润利润0102030405060f2(x)020507090105120最优策略最优策略(0,0)(10,0)(0,10)(20,0)(20,10)(20,20)(30,20)(40,20)第三阶段：求第三阶段：求 f3(x)。此时需考虑第一、第二及第三个。此时需考虑第一、第二及第三个工厂如何进行投资分配，以取得最大的总利润。工厂如何进行投资

47、分配，以取得最大的总利润。Copyright Li Yuxin.All Rights Reserved32最优策略为（最优策略为（20，10，30），最大利润为），最大利润为155万元。万元。同理可求得其它同理可求得其它 f3(x)的值。得到下表的值。得到下表 Copyright Li Yuxin.All Rights Reserved33 投投资资利润利润0102030405060f3(x)0256085110135155最优最优策略策略(0,0,0)(0,0,10)(0,0,20)(0,0,30)(20,0,20)(20,0,30)(20,10,30)第四阶段：求第四阶段：求 f4(60)

48、。即问题的最优策略。即问题的最优策略。Copyright Li Yuxin.All Rights Reserved34最优策略为（最优策略为（20，0，30，10），最大利润为），最大利润为160万元。万元。Copyright Li Yuxin.All Rights Reserved35 有一个徒步旅行者，其可携带物品重量的限度为有一个徒步旅行者，其可携带物品重量的限度为有一个徒步旅行者，其可携带物品重量的限度为有一个徒步旅行者，其可携带物品重量的限度为a a a a 公斤，公斤，公斤，公斤，设有设有设有设有n n n n 种物品可供他选择装入包中。已知每种物品的重量及种物品可供他选择装入包中

49、。已知每种物品的重量及种物品可供他选择装入包中。已知每种物品的重量及种物品可供他选择装入包中。已知每种物品的重量及使用价值（作用），问此人应如何选择携带的物品（各几件）使用价值（作用），问此人应如何选择携带的物品（各几件）使用价值（作用），问此人应如何选择携带的物品（各几件）使用价值（作用），问此人应如何选择携带的物品（各几件），使所起作用（使用价值）最大？，使所起作用（使用价值）最大？，使所起作用（使用价值）最大？，使所起作用（使用价值）最大？物品物品物品物品 1 21 2 j j n n重量（公斤重量（公斤重量（公斤重量（公斤/件）件）件）件）a a1 1 a a2 2 a aj j a

50、an n每件使用价值每件使用价值每件使用价值每件使用价值 c c1 1 c c2 2 c cj j c cn n 这就是背包问题。类似的还有工厂里的下料问题、运输中的这就是背包问题。类似的还有工厂里的下料问题、运输中的这就是背包问题。类似的还有工厂里的下料问题、运输中的这就是背包问题。类似的还有工厂里的下料问题、运输中的货物装载问题、人造卫星内的物品装载问题等。货物装载问题、人造卫星内的物品装载问题等。货物装载问题、人造卫星内的物品装载问题等。货物装载问题、人造卫星内的物品装载问题等。四、动态规划问题典型应用四、动态规划问题典型应用3、背背包包问问题题 Copyright Li Yuxin.A