第二章基本信息论马尔可夫信源精选PPT.ppt

第二章基本信息论马尔可夫信源第1页，本讲稿共16页一、马尔可夫链信源每一状态下可能输出的符号：设信源所处的状态为：每一时刻信源发出一个符号后，所处的状态发生转移信源输出的随机符号序列为：信源所处的状态序列为：设在第 t 时刻信源处于状态 ei 时，输出符号 xk 的概率给定，为：第2页，本讲稿共16页设信源在 t 的前一时刻(t-1)时刻处于 ei 状态，而在时刻 t 转移到 ej 状态，转移概率为：上式的条件概率称为马尔可夫链在时刻 t 的状态一步转移概率第3页，本讲稿共16页 若信源输出的符号和所处的状态满足以下两个条件，则称为马尔可夫信源。二、马尔可夫信源的定义1）某时刻信源输出哪个符号只与此时刻信源所处的状态有关，而与以前的状态以及以前的输出符号均无关。第4页，本讲稿共16页2）信源某时刻 t 所处的状态，由当前的输出符号和前一时刻(t-1)信源所处的状态唯一确定。第5页，本讲稿共16页马尔可夫信源特征的描述方法：状态转移图条件概率状态的一步转移概率第6页，本讲稿共16页三、马尔可夫信源熵若马尔可夫信源的状态数为m，则称为m阶马尔可夫信源m阶马尔可夫信源的熵：第7页，本讲稿共16页eiej第8页，本讲稿共16页有限齐次马尔可夫链的各态历经定理第9页，本讲稿共16页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第10页，本讲稿共16页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第11页，本讲稿共16页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8根据状态转移图、条件概率矩阵或状态一步转移概率矩阵，可写出：解：第12页，本讲稿共16页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第13页，本讲稿共16页000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第14页，本讲稿共16页第15页，本讲稿共16页表示马尔可夫信源稳定后，其极限熵=各状态的极限概率 各状态发出的符号形成 的无记忆信源熵离散无记忆信源熵：取决于信源符号的概率分布离散有记忆信源熵：取决于信源符号的概率分布 和信源符号间的条件概率稳定后的马尔可夫信源熵：取决于状态概率分布 和各状态下发出符号的概率第16页，本讲稿共16页