(7.1.1)--第七章马尔可夫决策.ppt

《(7.1.1)--第七章马尔可夫决策.ppt》由会员分享，可在线阅读，更多相关《(7.1.1)--第七章马尔可夫决策.ppt（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第七章马尔可夫决策第一节马尔可夫决策问题有一类决策问题，虽然采取的行动已经确定，但将这个行动付诸实践的过程又分为几个时期。在不同的时期，系统可以处在不同的状态，而这些状态发生的概率又可受前面时期实际所处状态的影响。这类问题情况复杂，有的只需要一开始做出一次决策，有的则需要在过程中做出多次决策。因此这类问题可能是一阶决策问题，也可能是多阶决策问题，甚至是序列决策问题。其中一种最简单、最基本的情形，是每时期状态参数的概率分布只与这一时期的前一时期实际所处的状态有关，而与更早的状态无关，这就是所谓的马尔可夫链（Markov chain），或叫马氏链。利用马氏链分析系统当前状态并预测未来状态的决策方法

2、，称为马尔可夫决策，简称马氏决策。第二节马尔可夫链与转移概率矩阵多步转移概率平稳分布与极限分布第三节马尔可夫决策应用实例措施措施市市场占有率占有率毛利期望毛利期望值措施成本措施成本费用用纯利利润期望期望值10.5444544.4150394.420.55004046030.660030570例2 我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销时每年可获利100万元，滞销时每年仅获利30万元。以一年为一个时期，如果不采用或者采取广告推销措施的下一年的状态转移概率矩阵分别如下两表所示。不采取广告推销措施采取广告推销措施假定上一年处于畅销状态，每年的广告费为15万元。现在需要一次性决定今后三年的持续性措施。为了保证今后三年的利润最大化，是否应该采取广告推销措施？畅销滞滞销畅销0.80.2滞销0.40.6当年次年 当年次年畅销滞滞销畅销0.90.1滞销0.70.3