2022年马尔可夫链模型讲解 .pdf

《2022年马尔可夫链模型讲解 .pdf》由会员分享，可在线阅读，更多相关《2022年马尔可夫链模型讲解 .pdf（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、马尔可夫链模型（ Markov Chain Model ）目录 隐藏 1 马尔可夫链模型概述2 马尔可夫链模型的性质3 离散状态空间中的马尔可夫链模型4 马尔可夫链模型的应用o4.1 科学中的应用o4.2 人力资源中的应用5 马尔可夫模型案例分析 1o5.1 马尔可夫模型的建立o5.2 马尔可夫模型的应用6 参考文献 编辑 马尔可夫链模型概述马尔可夫链 因安德烈马尔可夫 （Andrey Markov，18561922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。时间和状态都是

2、离散的 马尔可夫过程 称为马尔可夫链 , 简记为。马尔可夫链是 随机变量的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间 n 的状态。如果 Xn + 1 对于过去状态的 条件概率 分布仅是 Xn的一个函数，则这里 x 为过程中的某个状态。 上面这个恒等式可以被看作是马尔可夫性质。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 13 页 - - - - - - - - - 马尔可夫 在 1906 年首先做出了这类过程。 而将此一

3、般化到可数无限状态空间是由柯尔莫果洛夫在1936 年给出的。马尔可夫链与 布朗运动 以及遍历假说这两个二十世纪初期物理学重要课题是相联系的， 但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则 的扩张。马尔可夫链是满足下面两个假设的一种随机过程：1、t+l 时刻系统状态的概率分布只与t 时刻的状态有关，与t 时刻以前的状态无关；2、从 t 时刻到 t+l时刻的状态转移与 t 的值无关。一个马尔可夫链模型可表示为 =(S，P，Q)，其中各元的含义如下：1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间， 它可以是有限的、 可列的集合或任意非空集。 本文中假定

4、 S是可数集( 即有限或可列 ) 。用小写字母 i,j(或 Si, Sj) 等来表示状态。2）是系统的状态 转移概率矩阵 ，其中 Pij表示系统在时刻 t 处于状态 i ，在下一时刻 t+l处于状态 i 的概率， N是系统所有可能的状态的个数。对于任意i s，有。3）是系统的初始概率分布， qi是系统在初始时刻处于状态 i 的概率，满足。 编辑 马尔可夫链模型的性质马尔可夫链是由一个条件分布来表示的P( Xn+ 1| Xn) 这被称为是随机过程中的“ 转移概率 ”。这有时也被称作是“一步转移概率”。二、三，以及更多步的 转移概率 可以导自一步转移概率和马尔可夫性质：名师资料总结 - - -精品

5、资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 13 页 - - - - - - - - - 同样：这些式子可以通过乘以转移概率并求k-1 次积分来一般化到任意的将来时间 n+k。边际分布P(Xn) 是在时间为 n 时的状态的分布。 初始分布为P(X0) 。该过程的变化可以用以下的一个时间步幅来描述：这是 Frobenius-Perron equation 的一个版本。 这时可能存在一个或多个状态分布 满足：其中 Y 只是为了便于对变量积分的一个名义。这样的分布被称作是“平稳分布”（ Station

6、ary Distribution）或者“稳态分布”（ Steady-state Distribution）。一个平稳分布是一个对应于特征根为1 的条件分布函数的特征方程。平稳分布是否存在， 以及如果存在是否唯一， 这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。 编辑 离散状态空间中的马尔可夫链模型如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”：Pij= P(Xn+ 1= i| Xn= j ) 对于一个离散状态空间， k 步转移概率的积分即

7、为求和，可以对转移矩阵求 k 次幂来求得。就是说，如果是一步转移矩阵，就是 k 步转移后的转移矩阵。平稳分布是一个满足以下方程的向量：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 13 页 - - - - - - - - - 在此情况下，稳态分布 * 是一个对应于特征根为1 的、该转移矩阵的特征向量。如果转移矩阵不可约，并且是非周期的，则收敛到一个每一列都是不同的平稳分布 * ，并且，独立于初始分布 。这是由 Perron-Frobenius theorem所指出的。正

8、的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。注意：在上面的定式化中，元素(i,j)是由 j 转移到 i 的概率。有时候一个由元素 (i,j)给出的等价的定式化等于由i 转移到 j 的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的 Bernoulli scheme被熟知为贝努利过程马尔可夫链模型的应用科学中的应用马尔可夫链通常用来建模 排队

9、理论 和统计学中的建模，还可作为信号模型用于熵编码技术， 如算法编码。 马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量 的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。 编辑 人力资源 中的应用马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可

10、能性， 即调动的概率。 该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 13 页 - - - - - - - - - 部人力资源的流动 趋势和概率，如升迁、转职、调配或 离职等方面的情况，以便为内部的人力资源的调配提供依据。它的基本思想是： 通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。 马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，

11、用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。具体做法是：将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘， 然后纵向相加， 即得到组织内部未来劳动力的净供给量 。其基本表达式为：Ni( t ) ：t 时间内 I 类人员数量；Pji：人员从 j 类向 I 类转移的转移率；Vi( t ) ：在时间（ t-1,t）I 类所补充的人员数。企业人员的变动有调出、调入、平调、晋升与降级五种。表 3 假设一家零售公司在 1999 至 2000 年间各类人员的变动情况。年初商店经理有12 人，在当年期间平均 90的商店经理仍在商店内，10的商店经理离职，期初36 位经理助理有

12、 11 晋升到经理， 83留在原来的职务， 6离职； 如果人员的变动频率是相对稳定的， 那么在 2000 年留在经理职位上有11 人（1290），另外，经理助理中有 4 人（3683）晋升到经理职位，最后经理的总数是15 人（114）。可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时期的预测结果。假设的零售公司的马尔可夫分析，见下表：19992000 商店经理经理助理区域经理部门经理销售员离职商店经理(n=12) 90% 11 10% 1 经理助理(n=36) 11% 4 83% 30 6% 2 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - -

13、 - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 13 页 - - - - - - - - - 区域经理(n=96) 11% 11 66% 63 8% 8 15% 14 部门经理(=288) 10% 29 72% 207 2% 6 16% 46 销售员(=1440) 6% 86 74% 1066 25% 228 供给预测15 41 92 301 1072 351 编辑 马尔可夫模型案例分析1案例：在信用卡账户行为变化预测中的应用信用卡业务是 商业银行 的零售业务 , 信用卡的消费金额是银行的应收账款. 在此, 我们可以借鉴零售行业应收账款状态变化的预测方法

14、对信用卡账户的行为变化进行描述和预测。对信用卡账户的马尔可夫过程进行研究, 主要解决新增贷款发生周期性变化的情况下利用马尔可夫过程预测不同时刻的信用卡账户各状态下的金额、已偿付态和坏帐态的金额、全部应收款的现值及它们的方差计算等内容, 以为商业银行信用卡账户的行为风险管理提供方法依据。 编辑 马尔可夫模型的建立马尔可夫状态转移模型是在满足“马氏性”和“平稳性”的基础上建立的. 假定银行的信用卡账户中每期处于不同期限的逾期贷款数量只与上期逾期贷款的数量与结构有关 , 而与前期的状态无关 , 这就满足了“马氏性”。同时, 在外部经济 环境稳定、人口特征比较稳定、 银行的信用卡管理技术和方法没有发生

15、重大变化的情况下 , 可以认为 逾期贷款 由一种状态转移到另一种状态的概率在各期是保持不变的 , 即每年的转移概率矩阵基本保持稳定, 满足了马氏链的“平稳性”要求. 这样, 银行就可以通过往年的数据资料模拟出比较精确的转移概率矩阵, 对信用卡账户的行为状态做出预测和评估, 下面给出具体分析。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 13 页 - - - - - - - - - 假设某一银行在时间i 有一定的信用卡应收账款 , 当前或者随后的时间内这些余额都可以划分为

16、n 个时间段 ( 即状态。对于这批在时间i 的应收账款而言, 有: B0=逾期为 0 期的应收账款余额 ( 也就是当前期 ); B1= 逾期为 1 期的应收账款余额 ; Bj= 逾期为 j 期的应收账款余额 ; Bn- 1= 逾期为 n-1 期的应收账款余额 ; Bn= 逾期为 n 期的应收账款余额。实践中 , 时间段的数目将视情况而定, 最后一个时间段主要依赖于银行应收账款的“ 冲销”原则 , 美国的 信用卡贷款 一般拖欠 180 天以上即成为呆账予以“冲销”. 虽然拖欠账款最终也可能得到偿还, 但是将超过规定还款期限的应收账款归入坏帐种类中是很自然的会计程序 。一般而言 , 我们可以让 B

17、jk 表示从 i 时刻处于 j 状态转移到 i+1 时刻处于 k 状态的账户的金额 . 用这种方法 , 我们可以对处于 i 时刻的所有应收账款做出在 i+1 时刻的一步转移账户 . 需要注意的是 , 还应该有一个 “时间”状态应该加入到先前所描述的分类中 , 这一状态就是已付款状态, 用 表示. 在 i 时刻任何一种分类状态从 0 到 n 的账户在 i+1 时刻都可以转移到状态. 这样,i时刻的应收账款账户可以用一个n+2维矩阵来表示 , 矩阵中的每一项 Bjk 表示 i 时刻 j 状态转移为 i+1 时刻 k 状态的金额 , 如下所示 : 对信用卡账户而言 , 需要注意的是 , 当状态Bjk

18、中的 ji时, 应理解为 i 时刻处于状态 j 的账户 , 在随后的 i+1 时刻( 一般为 30 天后) 偿还了部分的利息 , 使得应收账款 ( 贷款) 又转变为 k 状态。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 13 页 - - - - - - - - - 从 n+2 维应收账款矩阵 B可以导出 n+2维转移概率矩阵 P.转移概率矩阵 P中的每一项目表示在特定时间内某一账户由一种状态转移到另一状态的可能性. 这样的话 , 一个隐含假设是 , 转移概率矩阵的考察

19、周期和应收账款分类的考察周期是相同的 . 一般情况下 , 转移概率 Pjk表示的是 i 时刻 j 状态的账款转移到i+1 时刻 k 状态账款的可能性 . 根据应收账款矩阵B及 Bjk, 转移概率 Pjk可被定义为: (1) 在应用转移概率矩阵时需要注意两点。一是状态的账款不可能转移到其它的状态 , 它只能停留在已付款状态 ,状态账户的转移概率依次为:, , ,。二是呆账类账户的状态 , 虽然有时候坏呆账类账款仍能收回现金, 但在我们的模型里边假设呆账类账款只能停留在呆账类的状态, 即:, pn0= 0, pn1= 0, , pnn= 1.00 。上面描述的模型可以被看作一个有n+2个状态的马尔

20、可夫链过程 , 其转移概率矩阵为 P.而且, 它有两个吸收态 ( 偿付态 0和呆账态 n), 从其他任何一个暂态(非吸收态 )都可以到达这两个吸收态, 因此它是一个具有两个吸收态的马尔可夫链. 我们将在充分利用马尔可夫理论和已有研究的基础上, 研究如何利用马尔可夫链方法预测和估计信用卡账户行为的变化。 编辑 马尔可夫模型的应用在此, 采用 Kemeny 和 Snell 的部分研究成果 . 为便于计算 , 将 n+2维转移概率方阵重新排列 , 将吸收态的偿付态和呆账态放在一起, 将另外的暂态0,1,2, ,n-1 放在一起 . 这样矩阵 P就可以被分割为 : 其中 I 是一个 22 阶单位矩阵

21、,O 是一个 2n 阶 0 矩阵,R 是一个 n2阶矩阵 ,Q 是一个 nn 阶矩阵 . 其中, 我们定义矩阵 : 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 13 页 - - - - - - - - - 一定存在 , 并将其称为吸收态马尔可夫链的基本矩阵对于 n2 阶矩阵的所有分项 ,N R 给出了每一状态转移到吸收态和 n的吸收概率 .NR中的第一列给出了每一个状态转移到已偿付状态的概率, 第二列给出了每一个状态下转移到呆账的概率。1. 无新增贷款的情况假设在时刻

22、 i, 具有 n 个分项向量的给出来每一状态下应收账款的余额. 让 b 等于所有这些余额之和 , 则向量是一个没有非负分量且全部之和为1 的概率向量 , 向量的分量代表了每一状态下应收账款的比例 . 如果我们假设上述状态中的余额的移动是独立的, 那么我们就可以认定向量 为马尔可夫链的初始向量 . 另外, 还假定 : 如果 A是任一矩阵 , 那么我们让 Asq表示 A中每一项平方后的结果 ; 让 Art表示 A中每一项取平方根后的结果. 则有如下结论 : 结论 1 二维向量 BNR 中的分量可以给出来自应收账款向量B的期望还款和坏帐金额; 分量给出来偿还态和呆帐态的方差, Art给出了这两种状态

23、的标准差。（2）证明如上所述 , 矩阵 NR中第一列的分量给出来应收账款从每一暂态转移到吸收态 ( 偿付态 )的概率 . 向量的分量给出了每次过程开始时账款转移到每一暂态的初始概率. 因此, 账款在最终时偿付态的概率可以由向量NR的第一列分量给出 . 如果这一过程开始了b次, 那么在最终时偿付态的平均数就是向量 bNR = BNR 的第一列分量 . 向量 NR的第一分量是函数f 的平均值, 其中 f 表示在最终结束时偿付态的价值为全部价值, 其它状态的价值为零 . 这一函数的方差可以由下式的第一分量给出: 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - -

24、 - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 13 页 - - - - - - - - - 因为 f2= f , 所以 M (f2) = M ( f ), 因此 f 的方差可以由 NR - ( NR )sq的第一分量给出 . 如果过程开始了 b 次, 那么偿付态的全部金额的方差可以由的第一分量给出 . 有关呆帐态的分析与偿付态的分析类似。此外，还可以对应收账款现值的计算进行了研究. 如果 r 是利率 , 则就表示了 贴现率 , 应收账款现值的计算就可以由下面的计算给出。假定 B 是应收账款向量 , R1是矩阵 R的第一列分量 , 则 BR1表示当前时期的收

25、现额 ; 从下一期的 BQR1的价值就只有 BBQR1; 依此类推 , 在(k+1) 周期时 BQkR1的价值就只有 kBQkR1. 将这些折现价值加在一起就可以得到应收账款的当前现值: , 其中的 N表示。在实践当中 , 银行一般都要对信用卡客户收取一定的年费, 假定银行对客户收取 b 的费率 , 则 = 1 + b, 那么完全可以利用上述公式来计算应收账款的现值 . 当然, 如果考虑利率和年费率两种因素的话, 将会有一个净 折扣率 或者一个费用率。2. 新增贷款固定不变的情况假设每期又发生了金额为c 的新应收款 , 这些新应收款被分不在不同的状态下 , 构成了向量 C的各分量组成 , 即:

26、. 定义向量, 则为概率向量并且被认为是马尔可夫链的初始向量. 假设, 马尔可夫过程每期以初始概率 开始了 c 次. 那么应收账款的稳定态分布会怎么样, 这些账户的方差又是多少 ?每期期望付款和呆账的数量以及它们的期望方差又怎么样? 结论 2 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 13 页 - - - - - - - - - 如果马尔可夫过程每期以初始概率开始了 c次, 则向量 CN 的分量给出来所有时刻下稳定的应收账款金额, 数值 CN 给出了稳定态的全部应

27、收账款金额, 其中是各项为 1的 n 维列向量 . 二维向量 CNR 给出来每期偿付款和呆账的稳定态的金额。证明如果上述马尔可夫过程进行了许多个周期, 则各状态的金额由当前一个月前的 Q 、二个月前的 Q2, 等等组成 . 那么这些数量之和为 : 如果这个过程每周期开始了c 次, 每一状态下的应收账款可以由向量cN= CN 表示. 如果是一个各项为 1的列向量 , 则 CN 是向量 CN的分量之和 ,代表了应收账款的全部账户余额. 如果上述过程进行了很多周期, 将会有 R的账款从第一期的新收款中转移到吸收态 , 将有QR 的账款从接下来的一期的新收款中转移到吸收态, 将有Q2R的账款从过期两个

28、月的新收款中转移到吸收态, 依此类推 , 那么所有这些之和为: 如果这一过程开始了c 次, 每期稳定态的偿付款和呆账将有cNR = CNR 给出。证明完毕。综合定理 1 和定理 2, 我们能够得出一下推论 . 让 t= CN,; 那么 CN2R和是偿付款和呆账的预测均值和方差 . 而且, 可以根据对应收款的利率和费率来计算应收账款的现值。3. 新增贷款发生周期性变化的情况上述讨论都没有考虑应收账款发生变化的情况, 然而, 在现实情况下 , 银行的信用卡消费呈现出一定的周期性, 例如在春节、国庆节和秋季开学的时候消费比较高 . 除此之外 , 商业银行每年的消费贷款也可能因为经济增长 或萧条等原因

29、而扩张或收缩 . 因此, 我们需要考虑这些因素对模型的一些影响. 具体来讲 , 让 Ci是给定月份 i 的新应收款的向量 ; ci是全部应收款的金额; = (1 / ci)Ci是第 i时刻的初始向量 , 假设: 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 13 页 - - - - - - - - - i-T= ( i) (3) Ci-T= Ci(4) 其中是增长系数的倒数 , 例如某一 贷款机构 的信用卡业务以 2% 的年增长率 扩张则 = 1 / (1 + 0.0

30、2) = 1 / 1.02T为循环周期的长度 , 一般情况下周期 T = 12. 从上面的两个式子里边我们可以推出ci-T= ci结论 3 让 N= ( I- QT)- 1, 那么下列式子 : (5) (6) (7) 给出了 i 时刻不同状态下的金额、全部应收账款、以及吸收态的金额. 证明让是第 i 月份及其之前 T-1 月的真实新收款. 在知道增长率的情况下 , 根据(4) 式能够推出以前月份的所有应收款, 其中第 i 月份不同状态的应收款是Ci; 第(i-1)月份的是 Ci- 1Q ; 第(i-2) 月份的是 Ci- 2Q2, 等等; 第(i-T+1) 月份的是Ci-T+ 1QT- 1;

31、第(i-T )月份的是 CiQT( Ci-T= Ci), 等等. 将这些向量加总后如下 : 这就是 Ai, i和 Di的证明与 Ai类似. 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 13 页 - - - - - - - - - 当然, 对于 i时刻的这些估计依赖于第 i月及其前 T - 1 月的新增应收款, 上面给出的估计结果比结论2 给出的结果更准确一些 . 当然, 如果 Qn快速趋于 0, 则用过去几个月的应收账款来估计一个合理的结果也是可以的. 根据结论 1 和结论 3 的结论 , 我们可以用 AiNR和, 其中i= Ai、i= (1 / alphai) Ai来估计 i时刻偿付款和呆帐的均值和方差, 而且也可以用AiNR1用来估计 i时刻应收账款的现值 . 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 13 页 - - - - - - - - -