第三章离散信源及离散熵精选PPT.ppt

第三章离散信源及离散熵2022/10/8第1页，本讲稿共26页将信源分为无记忆信源将信源分为无记忆信源(memoryless source)和有记忆信源和有记忆信源(memory source)。从一个离散信源的整体出发，它的信息从一个离散信源的整体出发，它的信息量应该如何度量？量应该如何度量？本章主要讨论离散无记忆信源。本章主要讨论离散无记忆信源。第2页，本讲稿共26页从最简单的单符号离散信源开始讨论：从最简单的单符号离散信源开始讨论：1、单符号离散信源的数学模型、单符号离散信源的数学模型一、单符号离散信源的离散熵一、单符号离散信源的离散熵如果说自信息量反映的是一个随机事件如果说自信息量反映的是一个随机事件出现各种结果所包含着的信息量，那么出现各种结果所包含着的信息量，那么第3页，本讲稿共26页自信息量的数学期望自信息量的数学期望(概率加权的统计平概率加权的统计平均值均值)所反映的是该随机事件出现所包含所反映的是该随机事件出现所包含的平均自信息量。的平均自信息量。如果将离散信源所有自信息量的数学期如果将离散信源所有自信息量的数学期望用望用H(X)来表示并称其为信源的离散熵，来表示并称其为信源的离散熵，也叫香农熵，离散熵的定义为：也叫香农熵，离散熵的定义为：离散熵的单位是比特离散熵的单位是比特/符号符号(bit/symbol)。2、单符号离散信源的离散熵、单符号离散信源的离散熵第4页，本讲稿共26页离散熵是从整体出发对一个离散信源信离散熵是从整体出发对一个离散信源信息量的度量。息量的度量。需要注意，平均自信息量和离散熵虽然需要注意，平均自信息量和离散熵虽然在数值上相同，但在含义上却有区别：在数值上相同，但在含义上却有区别：平均自信息量所反映的仅仅是信源输出平均自信息量所反映的仅仅是信源输出X所包含的平均自信息量，是消除信源不所包含的平均自信息量，是消除信源不确定度所需要的信息的度量；确定度所需要的信息的度量；第5页，本讲稿共26页换句话说，平均自信息量只有在信源输换句话说，平均自信息量只有在信源输出时才有意义，而离散熵则不管信源输出时才有意义，而离散熵则不管信源输出与否都有意义。出与否都有意义。离散熵则既反映了信源输出离散熵则既反映了信源输出X所包含的平所包含的平均自信息量，是消除信源不确定度所需均自信息量，是消除信源不确定度所需要的信息的度量，同时又描述了信源的要的信息的度量，同时又描述了信源的平均不确定度。平均不确定度。第6页，本讲稿共26页3、离散熵的性质和定理、离散熵的性质和定理H(X)的非负性；的非负性；H(X)的上凸性；的上凸性；H(X)的上凸性不作证明。的上凸性不作证明。最大离散熵定理最大离散熵定理第7页，本讲稿共26页第8页，本讲稿共26页第9页，本讲稿共26页例例1，求掷骰子这一信源的离散熵。，求掷骰子这一信源的离散熵。解：该信源的数学模型为解：该信源的数学模型为第10页，本讲稿共26页解：解：该信源的数学模型为：该信源的数学模型为：例例2，求某一天简单的天气气象这一信源，求某一天简单的天气气象这一信源的离散熵。的离散熵。第11页，本讲稿共26页例例3，已知信源，已知信源求离散熵并作出求离散熵并作出p-H(p)曲线。曲线。解：解：第12页，本讲稿共26页00.51H(p)1p当当p=0时，时，H(p)=0p=0.25时，时，H(p)=0.811p=0.5时，时，H(p)=1p=0.75时，时，H(p)=0.811p=1时，时，H(p)=0第13页，本讲稿共26页二、多符号离散信源及其离散熵二、多符号离散信源及其离散熵如果信源每次发出的消息都是有限或可如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源一个有限或可数的集合，则称这种信源为多符号离散信源。为多符号离散信源。实际上，信源每次发出的消息是符号序实际上，信源每次发出的消息是符号序列的情况更为普遍。列的情况更为普遍。多符号离散信源的例子有电报、文字等。多符号离散信源的例子有电报、文字等。第14页，本讲稿共26页一般情况下，信源在不同时刻发出符号一般情况下，信源在不同时刻发出符号的概率分布是不同的，即的概率分布是不同的，即将多符号离散信源发出的符号序列记为将多符号离散信源发出的符号序列记为并设序列中任一符号都取值于集合并设序列中任一符号都取值于集合这种情况分析起来比较困难，不作讨论。这种情况分析起来比较困难，不作讨论。第15页，本讲稿共26页对于多符号离散信源发出的符号序列对于多符号离散信源发出的符号序列1、离散平稳信源及其数学模型、离散平稳信源及其数学模型如果任意两个不同时刻如果任意两个不同时刻k和和l，k=1,2,，l=1,2,，其概率分布相同，即，其概率分布相同，即则称该多符号离散信源为一维离散平稳则称该多符号离散信源为一维离散平稳信源。信源。第16页，本讲稿共26页如果不仅其概率分布相同，其二维联合如果不仅其概率分布相同，其二维联合概率分布也相同，即概率分布也相同，即则称该多符号离散信源为二维离散平稳则称该多符号离散信源为二维离散平稳信源。信源。同理，如果除概率分布相同外，直到同理，如果除概率分布相同外，直到N维维的各维联合概率分布也都与时间起点无的各维联合概率分布也都与时间起点无关，即关，即第17页，本讲稿共26页则称该多符号离散信源为则称该多符号离散信源为N维离散平稳信维离散平稳信源。源。一般，可将一般，可将N维离散平稳信源发出的符号维离散平稳信源发出的符号序列看成长度为序列看成长度为N的一段段符号序列，即的一段段符号序列，即第18页，本讲稿共26页N维离散平稳信源的数学模型：维离散平稳信源的数学模型：其联合概率分布为其联合概率分布为第19页，本讲稿共26页2、离散平稳信源的离散熵、离散平稳信源的离散熵先讨论二维离散平稳信源的离散熵。先讨论二维离散平稳信源的离散熵。二维离散平稳信源的数学模型：二维离散平稳信源的数学模型：该信源的离散熵该信源的离散熵第20页，本讲稿共26页第21页，本讲稿共26页式中，式中，H(X2/X1)称为条件熵，是条件信息称为条件熵，是条件信息量在联合概率上的数学期望。量在联合概率上的数学期望。第22页，本讲稿共26页与此相对应，将该信源的离散熵与此相对应，将该信源的离散熵H(X1X2)称为联合熵，信源符号的离散熵称为联合熵，信源符号的离散熵H(X1)、H(X2)称为无条件熵。称为无条件熵。第23页，本讲稿共26页如果将该信源符号所提供的平均信息量如果将该信源符号所提供的平均信息量记为记为H2(X1X2)并称其为平均符号熵，则并称其为平均符号熵，则第24页，本讲稿共26页x1x2x3x17/92/90 x21/83/41/8x302/119/11xi2xi1例例1，已知二维离散平稳信源的符号，已知二维离散平稳信源的符号，其概率分布，其概率分布，其条件概率，其条件概率分布分布P(X2/X1)第25页，本讲稿共26页求该信源的联合熵和平均符号熵。求该信源的联合熵和平均符号熵。第26页，本讲稿共26页