第2章 信源与信息熵(1).ppt

《第2章 信源与信息熵(1).ppt》由会员分享，可在线阅读，更多相关《第2章 信源与信息熵(1).ppt（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、上节内容回顾1.信息的基本概念：信息是事物运动状态或存在方式的信息是事物运动状态或存在方式的不确定性不确定性描述。描述。2.通信系统的基本模型主要内容：上节内容回顾信道信源信源编码加密信道编码干 扰 源信宿信源解码解密信道解码加密密钥解密密钥上节内容回顾有效性可靠性安全性信源编码提高降低无影响（低）信道编码降低提高无影响（低）加密编码降低降低提高信源编码、信道编码和加密编码的对比信源编码、信道编码和加密编码的对比第2章 信源与信息熵1.信源的描述与分类2.离散信源熵和互信息3.离散序列信源熵（难点）4.连续信源熵和互信息5.冗余度主要内容：重点2.1 信源的描述与分类 信源指产生信息的人或机器

2、，本课程对信源的研究主要是其输出的信息，信息的数学描述和性质。信息的基本特性是不确定性，即随机性。一、信源的描述用随机变量、随机序列或随机过程描述信源输出。用概率论和数学统计的方法描述信源输出。用样本空间和概率分布来描述信源输出。2.1 信源的描述与分类二、信源的分类（1）按照信源发出的信息在时间和幅度上的分布情况：离散信源：时间和幅度上都离散连续信源：时间和幅度上都连续例子？例子？2.1 信源的描述与分类离散信源的统计特性1、组成离散消息的信息源符号是有限的。2、在形成消息时，各符号的概率不同。3、组成消息的基本符号之间有一定的统计特性。2.1 信源的描述与分类二、信源的分类按照信源发出的各

3、符号之间的关系：发出符号序列的有记忆信源发出符号序列的马尔可夫信源 信源无记忆信源有记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源2.1 信源的描述与分类三、无记忆信源定义：信源所发出的各个符号间相互独立各符号之间没有统计规律，各符号出现的概率 是自身的先验概率。抛硬币抛硬币扔骰子扔骰子黑箱摸球黑箱摸球分类：发出单个符号的信源：信源每次发出一个符号代表一个消息发出符号序列的信源：发出两个以上符号序列代表一个消息2.1 信源的描述与分类三、无记忆信源发出单个符号的信源 定义：信源每次发出一个符号代表一个消息描述方法：采用概率空间的方法进行描述例：抛硬币、扔骰子例：抛硬币、扔骰子2.1

4、信源的描述与分类例：例：抛硬币，用随机变量X表示其输出，则：样本空间：概率分布：概率空间：2.1 信源的描述与分类例：例：扔骰子，用随机变量X表示其输出，则：样本空间：概率分布：概率空间：2.1 信源的描述与分类一般情况一般情况样本空间：概率分布：概率空间：2.1 信源的描述与分类例：例：一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，则随机事件的概率空间为2.1 信源的描述与分类三、无记忆信源发出符号序列的信源 定义：信源每次两个以上的符号序列代表一个消息描述方法：采用概率空间的方法进行描述例：扔骰子例：扔骰子2.1 信源的描述与分类例：例：扔骰子，用

5、随机变量X表示其输出，则：样本空间：概率分布：概率空间：2.1 信源的描述与分类一般情况一般情况随机序列：其中：L表示序列长度 xl：有n中取值随机序列随机序列X的样的样值有多少个？值有多少个？联合概率：若各个符号间相互独立a1 a2 an2.1 信源的描述与分类随机序列：其中：L表示序列长度 xl：有n中取值若：（1）L=2 （2）xl有n中取值：a1 a2 an其概率空间为：2.1 信源的描述与分类四、有记忆信源发出符号序列的信源 定义：信源发出的各个符号间是有关联的。描述方法：采用概率空间的方法进行描述条件概率！条件概率！2.1 信源的描述与分类四、有记忆信源符号序列：符号序列：概率：概

6、率：表达的复杂度随着序列的增加而增加。表达的复杂度随着序列的增加而增加。2.1 信源的描述与分类四、有记忆信源 实际上，信源发出的符号往往只与前面若干个符号有较实际上，信源发出的符号往往只与前面若干个符号有较强的依赖关系，随着序列长度的增加依赖关系越来越弱，因强的依赖关系，随着序列长度的增加依赖关系越来越弱，因此可根据信源的特性和处理时的要求限制记忆长度，使分析此可根据信源的特性和处理时的要求限制记忆长度，使分析和处理简化。和处理简化。注意注意2.1 信源的描述与分类五、马尔可夫信源 定义：定义：信源在某一时刻发出的符号概率除了与该符号有信源在某一时刻发出的符号概率除了与该符号有关外，只与此前

7、的关外，只与此前的有限个有限个符号有关。符号有关。若把有限个符号记作一个若把有限个符号记作一个状态状态S S，则信源发出某一符号概，则信源发出某一符号概率除与该符号有关外，只与该时刻信源所处的状态有关。率除与该符号有关外，只与该时刻信源所处的状态有关。比如：比如：什么叫马尔可夫信源？什么叫马尔可夫信源？2.1 信源的描述与分类m阶马尔可夫信源 定义：定义：信源在某一时刻发出的符号概率除了与该符号有信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的关外，只与此前的m m个个符号有关。符号有关。什么叫什么叫m m阶马尔可夫信源？阶马尔可夫信源？如：如：m=3m=3时时2.1 信源的描述与分

8、类m阶马尔可夫信源 定义：定义：信源在某一时刻发出的符号概率除了与该符号有信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的关外，只与此前的m m个个符号有关。符号有关。条件概率：条件概率：联合概率：联合概率：2.1 信源的描述与分类一阶马尔可夫信源 定义：定义：信源在某一时刻发出的符号概率除了与该符号有信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的关外，只与此前的1 1个个符号有关。符号有关。条件概率：条件概率：联合概率：联合概率：2.1 信源的描述与分类一阶马尔可夫信源联合概率：2.1 信源的描述与分类马尔可夫信源的状态变量分析 对于对于m m阶的马尔可夫信源，某一时刻

9、阶的马尔可夫信源，某一时刻i i时刻以前出现的时刻以前出现的m m个个符号组成的序列：符号组成的序列：其中：其中：将将记作状态记作状态即即则：则：共有共有种可能取值。种可能取值。即：状态集即：状态集符号序列符号序列状态序列状态序列2.1 信源的描述与分类马尔可夫信源的状态变量分析 将符号序列转换成状态序列后，对符号的分析也就变成将符号序列转换成状态序列后，对符号的分析也就变成了对状态的分析，主要研究了对状态的分析，主要研究状态转移概率。状态转移概率。1 1、状态转移概率、状态转移概率 设信源设信源m m时刻处于时刻处于s si i状态，状态，n n时刻处于时刻处于s sj j状态，则由状态，则

10、由s si i状态状态转移到转移到s sj j状态的转移概率可表示为：状态的转移概率可表示为：可以理解为：可以理解为：m m时刻系统处于时刻系统处于s si i状态的条件下，状态的条件下，n n时刻系时刻系 统处于统处于s sj j状态的条件概率。状态的条件概率。2.1 信源的描述与分类马尔可夫信源的状态变量分析2 2、k k步状态转移概率步状态转移概率若若n-m=kn-m=k，此时的状态转移概率称为，此时的状态转移概率称为k k步转移概率。步转移概率。表示：表示：m m时刻系统处于时刻系统处于s si i状态，状态，m+km+k时刻系统处于时刻系统处于s sj j状态的状态的 条件概率。条件

11、概率。2.1 信源的描述与分类马尔可夫信源的状态变量分析3 3、一步状态转移概率、一步状态转移概率若若n-m=1n-m=1，此时的状态转移概率称为一步状态转移概率。，此时的状态转移概率称为一步状态转移概率。表示：表示：m m时刻系统处于时刻系统处于s si i状态，状态，m+1m+1时刻系统处于时刻系统处于s sj j状态的状态的 条件概率。条件概率。基本状态转移概率基本状态转移概率2.1 信源的描述与分类马尔可夫信源的状态变量分析状态转移概率状态转移概率 与与m m的取值无关，即：的取值无关，即：状态转移概率只与系统所处的状态有关，与时刻状态转移概率只与系统所处的状态有关，与时刻m m无关。

12、无关。齐次马尔可夫信源齐次马尔可夫信源表明：任意时刻只要从状态表明：任意时刻只要从状态s si i转移到状态转移到状态s sj j，转移概率相同。，转移概率相同。2.1 信源的描述与分类马尔可夫信源的状态变量分析4 4、转移矩阵、转移矩阵系统在任意时刻可处于状态空间系统在任意时刻可处于状态空间的任意一个状态，因此状态转移应该是一个矩阵。的任意一个状态，因此状态转移应该是一个矩阵。转移矩阵通常用一步转移概率来表示：转移矩阵通常用一步转移概率来表示：2.1 信源的描述与分类马尔可夫信源的状态变量分析4 4、转移矩阵、转移矩阵转移矩阵通常用一步转移概率来表示：转移矩阵通常用一步转移概率来表示：第第i

13、 i行表示从状态行表示从状态s si i转移到状态空间任意状态的概率，则：转移到状态空间任意状态的概率，则：每行的元素都是非负，且每行之和为每行的元素都是非负，且每行之和为1 1第第j j列表示从状态空间任意状态转移到状态列表示从状态空间任意状态转移到状态s sj j的概率，则：的概率，则：每列的元素都是非负，但每列之和不一定为每列的元素都是非负，但每列之和不一定为1.1.2.1 信源的描述与分类马尔可夫信源的状态变量分析5 5、状态转移图、状态转移图目的：为了更直观地描述状态之间的转移关系。目的：为了更直观地描述状态之间的转移关系。画法：画法：（1 1）每个圆圈代表一种状态。）每个圆圈代表一种状态。（2 2）状态之间用有向线代表某一状态向另一状态的转移。）状态之间用有向线代表某一状态向另一状态的转移。（3 3）有向线一侧的符号和数字分别代表信源发出的符号）有向线一侧的符号和数字分别代表信源发出的符号 和条件概率和条件概率马尔可夫链马尔可夫链2.1 信源的描述与分类马尔可夫链的不可约性和非周期性不可约性：不可约性：对任意一对对任意一对i i和和j j，则：，则：即：从状态即：从状态s si i开始总有可能到达状态开始总有可能到达状态s sj j周期性：周期性：中的所有中的所有k k是某一整数的整数倍。是某一整数的整数倍。例例例例