第二章基本信息论马尔可夫信源精选文档.ppt

《第二章基本信息论马尔可夫信源精选文档.ppt》由会员分享，可在线阅读，更多相关《第二章基本信息论马尔可夫信源精选文档.ppt（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章基本信息论马尔可夫信源本讲稿第一页，共十六页一、马尔可夫链信源每一状态下可能输出的符号：设信源所处的状态为：每一时刻信源发出一个符号后，所处的状态发生转移信源输出的随机符号序列为：信源所处的状态序列为：设在第 t 时刻信源处于状态 ei 时，输出符号 xk 的概率给定，为：本讲稿第二页，共十六页设信源在 t 的前一时刻(t-1)时刻处于 ei 状态，而在时刻 t 转移到 ej 状态，转移概率为：上式的条件概率称为马尔可夫链在时刻 t 的状态一步转移概率本讲稿第三页，共十六页 若信源输出的符号和所处的状态满足以下两个条件，则称为马尔可夫信源。二、马尔可夫信源的定义1）某时刻信源输出哪个符号

2、只与此时刻信源所处的状态有关，而与以前的状态以及以前的输出符号均无关。本讲稿第四页，共十六页2）信源某时刻 t 所处的状态，由当前的输出符号和前一时刻(t-1)信源所处的状态唯一确定。本讲稿第五页，共十六页马尔可夫信源特征的描述方法：状态转移图条件概率状态的一步转移概率本讲稿第六页，共十六页三、马尔可夫信源熵若马尔可夫信源的状态数为m，则称为m阶马尔可夫信源m阶马尔可夫信源的熵：本讲稿第七页，共十六页eiej本讲稿第八页，共十六页有限齐次马尔可夫链的各态历经定理本讲稿第九页，共十六页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8本讲稿第十页，共

3、十六页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8本讲稿第十一页，共十六页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8根据状态转移图、条件概率矩阵或状态一步转移概率矩阵，可写出：解：本讲稿第十二页，共十六页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8本讲稿第十三页，共十六页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8本讲稿第十四页，共十六页本讲稿第十五页，共十六页表示马尔可夫信源稳定后，其极限熵=各状态的极限概率 各状态发出的符号形成 的无记忆信源熵离散无记忆信源熵：取决于信源符号的概率分布离散有记忆信源熵：取决于信源符号的概率分布 和信源符号间的条件概率稳定后的马尔可夫信源熵：取决于状态概率分布 和各状态下发出符号的概率本讲稿第十六页，共十六页