第三章离散信源及离散熵PPT讲稿.ppt
第三章离散信源及离散熵2022/9/24第1页，共26页，编辑于2022年，星期二将信源分为无记忆信源将信源分为无记忆信源(memoryless source)和有和有记忆信源记忆信源(memory source)。从一个离散信源的整体出发，它的信息量应从一个离散信源的整体出发，它的信息量应该如何度量？该如何度量？本章主要讨论离散无记忆信源。本章主要讨论离散无记忆信源。第2页，共26页，编辑于2022年，星期二从最简单的单符号离散信源开始讨论：从最简单的单符号离散信源开始讨论：1、单符号离散信源的数学模型、单符号离散信源的数学模型一、单符号离散信源的离散熵一、单符号离散信源的离散熵如果说自信息量反映的是一个随机事件出现如果说自信息量反映的是一个随机事件出现各种结果所包含着的信息量，那么各种结果所包含着的信息量，那么第3页，共26页，编辑于2022年，星期二自信息量的数学期望自信息量的数学期望(概率加权的统计平均值概率加权的统计平均值)所反映的是该随机事件出现所包含的平均自信所反映的是该随机事件出现所包含的平均自信息量。息量。如果将离散信源所有自信息量的数学期望如果将离散信源所有自信息量的数学期望用用H(X)来表示并称其为信源的离散熵，也来表示并称其为信源的离散熵，也叫香农熵，离散熵的定义为：叫香农熵，离散熵的定义为：离散熵的单位是比特离散熵的单位是比特/符号符号(bit/symbol)。2、单符号离散信源的离散熵、单符号离散信源的离散熵第4页，共26页，编辑于2022年，星期二离散熵是从整体出发对一个离散信源信息量的离散熵是从整体出发对一个离散信源信息量的度量。度量。需要注意，平均自信息量和离散熵虽然在需要注意，平均自信息量和离散熵虽然在数值上相同，但在含义上却有区别：数值上相同，但在含义上却有区别：平均自信息量所反映的仅仅是信源输出平均自信息量所反映的仅仅是信源输出X所包含的平均自信息量，是消除信源不确所包含的平均自信息量，是消除信源不确定度所需要的信息的度量；定度所需要的信息的度量；第5页，共26页，编辑于2022年，星期二换句话说，平均自信息量只有在信源输出时换句话说，平均自信息量只有在信源输出时才有意义，而离散熵则不管信源输出与否都才有意义，而离散熵则不管信源输出与否都有意义。有意义。离散熵则既反映了信源输出离散熵则既反映了信源输出X所包含的平所包含的平均自信息量，是消除信源不确定度所需要均自信息量，是消除信源不确定度所需要的信息的度量，同时又描述了信源的平均的信息的度量，同时又描述了信源的平均不确定度。不确定度。第6页，共26页，编辑于2022年，星期二3、离散熵的性质和定理、离散熵的性质和定理H(X)的非负性；的非负性；H(X)的上凸性；的上凸性；H(X)的上凸性不作证明。的上凸性不作证明。最大离散熵定理最大离散熵定理第7页，共26页，编辑于2022年，星期二第8页，共26页，编辑于2022年，星期二第9页，共26页，编辑于2022年，星期二例例1，求掷骰子这一信源的离散熵。，求掷骰子这一信源的离散熵。解：该信源的数学模型为解：该信源的数学模型为第10页，共26页，编辑于2022年，星期二解：解：该信源的数学模型为：该信源的数学模型为：例例2，求某一天简单的天气气象这一信源的，求某一天简单的天气气象这一信源的离散熵。离散熵。第11页，共26页，编辑于2022年，星期二例例3，已知信源，已知信源求离散熵并作出求离散熵并作出p-H(p)曲线。曲线。解：解：第12页，共26页，编辑于2022年，星期二00.51H(p)1p当当p=0时，时，H(p)=0p=0.25时，时，H(p)=0.811p=0.5时，时，H(p)=1p=0.75时，时，H(p)=0.811p=1时，时，H(p)=0第13页，共26页，编辑于2022年，星期二二、多符号离散信源及其离散熵二、多符号离散信源及其离散熵如果信源每次发出的消息都是有限或可数如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符有限或可数的集合，则称这种信源为多符号离散信源。号离散信源。实际上，信源每次发出的消息是符号序列的实际上，信源每次发出的消息是符号序列的情况更为普遍。情况更为普遍。多符号离散信源的例子有电报、文字等。多符号离散信源的例子有电报、文字等。第14页，共26页，编辑于2022年，星期二一般情况下，信源在不同时刻发出符号的概一般情况下，信源在不同时刻发出符号的概率分布是不同的，即率分布是不同的，即将多符号离散信源发出的符号序列记为将多符号离散信源发出的符号序列记为并设序列中任一符号都取值于集合并设序列中任一符号都取值于集合这种情况分析起来比较困难，不作讨论。这种情况分析起来比较困难，不作讨论。第15页，共26页，编辑于2022年，星期二对于多符号离散信源发出的符号序列对于多符号离散信源发出的符号序列1、离散平稳信源及其数学模型、离散平稳信源及其数学模型如果任意两个不同时刻如果任意两个不同时刻k和和l，k=1,2,，l=1,2,，其概率分布相同，即，其概率分布相同，即则称该多符号离散信源为一维离散平稳信源。则称该多符号离散信源为一维离散平稳信源。第16页，共26页，编辑于2022年，星期二如果不仅其概率分布相同，其二维联合概率如果不仅其概率分布相同，其二维联合概率分布也相同，即分布也相同，即则称该多符号离散信源为二维离散平稳信源。则称该多符号离散信源为二维离散平稳信源。同理，如果除概率分布相同外，直到同理，如果除概率分布相同外，直到N维维的各维联合概率分布也都与时间起点无关，的各维联合概率分布也都与时间起点无关，即即第17页，共26页，编辑于2022年，星期二则称该多符号离散信源为则称该多符号离散信源为N维离散平稳信维离散平稳信源。源。一般，可将一般，可将N维离散平稳信源发出的符号序维离散平稳信源发出的符号序列看成长度为列看成长度为N的一段段符号序列，即的一段段符号序列，即第18页，共26页，编辑于2022年，星期二N维离散平稳信源的数学模型：维离散平稳信源的数学模型：其联合概率分布为其联合概率分布为第19页，共26页，编辑于2022年，星期二2、离散平稳信源的离散熵、离散平稳信源的离散熵先讨论二维离散平稳信源的离散熵。先讨论二维离散平稳信源的离散熵。二维离散平稳信源的数学模型：二维离散平稳信源的数学模型：该信源的离散熵该信源的离散熵第20页，共26页，编辑于2022年，星期二第21页，共26页，编辑于2022年，星期二式中，式中，H(X2/X1)称为条件熵，是条件信息量称为条件熵，是条件信息量在联合概率上的数学期望。在联合概率上的数学期望。第22页，共26页，编辑于2022年，星期二与此相对应，将该信源的离散熵与此相对应，将该信源的离散熵H(X1X2)称为称为联合熵，信源符号的离散熵联合熵，信源符号的离散熵H(X1)、H(X2)称为无条件熵。称为无条件熵。第23页，共26页，编辑于2022年，星期二如果将该信源符号所提供的平均信息量记为如果将该信源符号所提供的平均信息量记为H2(X1X2)并称其为平均符号熵，则并称其为平均符号熵，则第24页，共26页，编辑于2022年，星期二x1x2x3x17/92/90 x21/83/41/8x302/119/11xi2xi1例例1，已知二维离散平稳信源的符号，已知二维离散平稳信源的符号，其概率分布，其概率分布，其条件概率，其条件概率分布分布P(X2/X1)第25页，共26页，编辑于2022年，星期二求该信源的联合熵和平均符号熵。求该信源的联合熵和平均符号熵。第26页，共26页，编辑于2022年，星期二
