第二章信源及信源熵精选PPT.ppt

第二章信源及信源熵第1页，本讲稿共134页第二章第二章 信源熵信源熵胡君红第2页，本讲稿共134页信源熵信源熵n信源的描述与分类（增加部分）n2.1 单符号离散信源n2.2 多符号离散平稳信源n2.3 连续信源n2.4 离散无失真信源编码定理第3页，本讲稿共134页信源信源信息论对信源研究的内容：信息论对信源研究的内容：信源的建模信源的建模：用恰当的随机过程来描述信号关心角度：信号中携带的信息信源输出信号中携带信息的效率的计算信源输出信号中携带信息的效率的计算熵率、冗余度信源输出信息的有效表示信源输出信息的有效表示信源编码信源的描述与分类第4页，本讲稿共134页信源信源信源的特性与分类实际信源举例信源的描述与分类第5页，本讲稿共134页信源特性与分类信源特性与分类信源的统计特性信源的统计特性1）什么是信源？信源是信息的来源，实际通信中常见的信源有：语音、文字、图像、数据。在信息论中，信源是产生消息（符号）、消息（符号）序列以及连续消息的来源，数学上，信源是产生随随机机变变量量U，随随机机序序列列U和随随机机过过程程U(t,)的源。2）信源的主要特性信源的最基本的特性是具有统计不确定性，它可用概率统计特性来描述。信源的描述与分类第6页，本讲稿共134页信源特性与分类信源特性与分类n信源的描述与分类信源的描述与分类n单消息（符号）信源：n离散信源n连续变量信源n平稳信源n无/有记忆信源n马尔可夫信源n随机波形信源n实际信源实际信源信源的描述与分类第7页，本讲稿共134页单消息（符号）信源单消息（符号）信源n单消息（符号）信源n是最简单、最基本的信源，是组成实际信源的基本单元。用信源取值随机变量的范围U和对应概率分布P(u)组成的二元序对U，P(u)来表示。n当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以，概率空间能表征这离散信源的统计特性，有时也称概率空间为信源空间。信源的描述与分类第8页，本讲稿共134页单消息（符号）信源单消息（符号）信源离散信源离散信源n信源可能输出的消息数是有限的或可数的，且每次只输出其中一个消息。用离散型随机变量X来描述这个信源输出的消息。随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集完备集。n在实际情况中，存在着很多这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。可用一维离散型随机变量离散型随机变量X来描述这些信源的输出。它的数学模型就是离散型的概率空间：信源的描述与分类第9页，本讲稿共134页单消息（符号）信源单消息（符号）信源离散信源离散信源n对离散信源例：对于二进制数据、数字信源：U=0，1，则有信源的描述与分类第10页，本讲稿共134页单消息（符号）信源单消息（符号）信源连续变量信源连续变量信源n信源输出单个符号(代码)的消息，但其可能出现的消息数是不可数的无限值，即输出消息的符号集A的取值是连续的，或取值是实数集(-，)。例如，语音信号、热噪声信号某时间的连续取值数据，遥控系统中有关电压、温度、压力等测得的连续数据。用一维的连续型随机变量连续型随机变量X来描述这些消息。这种信源称为连续信源，其数学模型是连续型的概率空间：信源的描述与分类第11页，本讲稿共134页单消息（符号）信源单消息（符号）信源连续变量信源连续变量信源其中：对于连续变量信源信源的描述与分类第12页，本讲稿共134页平稳信源平稳信源n信源输出的消息由一系列符号序列组成。该信源输出的消息可看做时间上或空间上离散的一系列随机变量，即随机矢量。用N维随机矢量随机矢量X=(X，X，XN)来描述，其中N可为有限正整数或可数的无限值。N维随机矢量X也称为随机序列。n为了便于分析，假设信源输出的是平稳的随机序列，即序列的统计性质与时间的推移无关。很多实际信源也满足这个假设。n若信源输出的随机序列X=(X，X，XN)中，每个随机变量Xi(i=1,2,，N)都是离散型随机变量，而且随机矢量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为离散平稳信源离散平稳信源。如中文自然语言文字，离散化平面灰度图像都是这种离散型平稳信源。信源的描述与分类第13页，本讲稿共134页无记忆信源无记忆信源n在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的。也就是说信源输出的随机矢量X=(XXX）中，各随机变量Xi(i=1,2,N)之间是无依赖的、统计独立的，则N维随机矢量的联合概率分布满足P(X)=P（）P（）P（）n称由上述信源空间X，P(x)描述的信源X为离散无记忆信源。该信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。信源的描述与分类第14页，本讲稿共134页离散无记忆信源离散无记忆信源X X的的N N次扩展信源次扩展信源n无记忆信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。N次扩展信源是由离散无记忆信源输出N长的随机序列构成的信源。n离散无记忆信源的N次扩展信源的数学模型是信源空间X的N重空间。信源的描述与分类第15页，本讲稿共134页有记忆信源有记忆信源n一般情况下，信源在不同时刻发出的符号之间是相互依赖的。即信源输出的平稳随机序列X中，各随机变量Xi之间是有依赖的。如：在汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。这种信源称为有记忆信源有记忆信源。n在N维随机矢量的联合概率分布中，引入条件概率分布条件概率分布来说明它们之间的关联。信源的描述与分类第16页，本讲稿共134页马尔可夫信源马尔可夫信源n表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度。n当记忆长度为记忆长度为m+1时，称这种有记忆信源为m阶阶马尔可夫信源马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无关。信源的描述与分类第17页，本讲稿共134页时齐马尔可夫信源时齐马尔可夫信源n设马尔可夫信源各时刻随机变量的取值为xk，xkXk，k=1,2,，i-1,i,i+1,N，则描述随机序列中各随机变量之间依赖关系的条件概率为P(xi/xi+2xi+1xi-1xi-2xi-3xi-mx1）=（xi/xi-1xi-2xi-3xi-m）（i=1,2,N）n如果上述条件概率与时间起点i无关，即信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可信源。信源的描述与分类第18页，本讲稿共134页离散序列信源总结离散序列信源总结信源的描述与分类第19页，本讲稿共134页随机波形信源随机波形信源n更一般地说，实际信源输出的消息常常是时间和取值都是连续的。例如，语音信号X(t)、热噪声信号n(t)、电视图像信号X(x0,y0,t)等时间连续函数。同时，在某一固定时间t，它们的可能取值又是连续的和随机的。对于这种信源输出的消息，可用随机过程随机过程来描述。称这类信源为随机波形信源随机波形信源。信源的描述与分类第20页，本讲稿共134页实际信源实际信源n实际信源在离离散散情况下是消消息息序序列列信信源源，在连连续续情况下是随随机机过过程程信信源源，它们分别代表数字与模拟信源数字与模拟信源。信源的描述与分类第21页，本讲稿共134页离散序列信源离散序列信源其中:i=1,2,n为每个消息（符号）取值的种类数 l=1,2,L为消息（符号）序列的长度应注意的是i和l是代表两个不同范畴的变量，表示不同的概念，切勿混淆。i=1,2,nl=1,2,L信源的描述与分类第22页，本讲稿共134页离散序列信源离散序列信源信源输出是一组随机序列（矢量）：其样值为：对应概率为：由于每个随机变量 有n种取值，则 有 种可能取值。信源的描述与分类第23页，本讲稿共134页离散序列信源离散序列信源n例：最简单L=3的三位PCM信源：这时L=3,n=2,即i=0,1，则有：信源的描述与分类第24页，本讲稿共134页连续信源连续信源n在实际的连续信源中，可以采用两种方法进行分析n一类是将连续信源离散化随机序列信源n另一类是仍然采用随机过程来分析n什么样的信源可以进行离散化处理？n只要满足一个非常宽松的条件，即满足限时(T)、限频(F)的连续消息信源，即满足物理可实现条件下，均可离散化为随机序列。信源的描述与分类第25页，本讲稿共134页实际信源举例实际信源举例n1）图像信源 图像信源一般可以引用一个五元的随机场来表示：（简化）主要统计特性：初步可以认为是一个近似的平稳遍历过程信源的描述与分类第26页，本讲稿共134页实际信源举例实际信源举例n对于数字型图像信号，可以采用马氏链模型 而 为相邻像素之间的相关系数。信源的描述与分类第27页，本讲稿共134页实际信源举例实际信源举例n2）语音信源可以近似用一个一维随机过程U(,t)表示。严格的讲，它是一个非平稳过程，但是对于短时段(5-50ms)可认为是平稳的，且某些是随机噪声（清辅音）而某些时段则呈现周期性特征（浊音），还有一些短时段是二者的混合。信源的描述与分类第28页，本讲稿共134页2.1 单符号离散信源单符号离散信源数学模型：第29页，本讲稿共134页常用的概率论的基本概念和性质常用的概率论的基本概念和性质n先验概率、联合概率、条件概率及其相互关系：（1）、（2），（3），单符号离散信源第30页，本讲稿共134页常用的概率论的基本概念和性质常用的概率论的基本概念和性质（4）（5）当X、Y相互独立时，（6），单符号离散信源第31页，本讲稿共134页信息无处不在，但：信息用什么表示？如何表示？不确定性携载的信息可用随机变量的不确定性或随机性作为信息的表示单符号离散信源信息量信息量第32页，本讲稿共134页n非负性n可加性n等概时与取值空间N的关系（单调增）n与发生的概率P的关系（单调减）考察、分析信息的特征考察、分析信息的特征单符号离散信源第33页，本讲稿共134页自信息量自信息量n定义：一个随机事件发生所带来的信息量称为自信息量，简称自信息。n计算公式：n单位：比特（以2为底）；奈特（自然对数）；哈特（以10为底）1比特=0.693奈特=0.301哈特单符号离散信源第34页，本讲稿共134页自信息（量）的性质自信息（量）的性质（1）I(xi)非负（2）当p(xi)=1时，I(xi)=0，即必然事件不含有任何不确定性，因而不含有任何信息量（3）当p(xi)=0时，I(xi)=，即不可能事件一旦发生，带来的信息量是非常大的，所产生的后果也是难以想象的。（4）I(xi)是p(xi)的单调递减函数单符号离散信源第35页，本讲稿共134页联合自信息量联合自信息量联合自信息量：当X、Y相互独立时，单符号离散信源第36页，本讲稿共134页条件自信息量条件自信息量定义：特定条件下随机事件发生所带来的信息量。计算公式：自信息量、条件自信息量与联合自信息量的关系：单符号离散信源第37页，本讲稿共134页互信息量与条件互信息量互信息量与条件互信息量单符号离散信源第38页，本讲稿共134页互信息量与条件互信息量互信息量与条件互信息量n交互信息量，简称互信息，用I(xi;yj)表示。n计算公式：单符号离散信源第39页，本讲稿共134页互信息量与条件互信息量互信息量与条件互信息量单符号离散信源第40页，本讲稿共134页互信息的性质互信息的性质（1）对称性，即（2）当X、Y相互独立时，互信息为0（3）互信息可为正值或负值单符号离散信源第41页，本讲稿共134页条件互信息条件互信息（1）定义：在给定zk条件下，xi与yj之间的互信息量（2）计算公式：（3）一个联合事件yjzk发生后所提供的有关xi的信息量等于zk发生后提供的有关xi的信息量与给定zk条件下再出现yj后所提供的有关xi的信息量之和。单符号离散信源第42页，本讲稿共134页信源熵信源熵n定义：信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数熵函数，简称熵，记为H(.)n计算公式：n单位：比特/信源符号（以2为底）单符号离散信源第43页，本讲稿共134页熵的物理含义熵的物理含义观察随机变量X、Y、ZXP（x）a1 a2 0.01 0.99ZP（y）a1 a2 a3 a4 a50.2 0.2 0.2 0.2 0.2YP（z）a1 a2 0.5 0.5H(X)=-0.01log0.01-0.99log0.99=0.08（比特/符号）H(Y)=-0.5log0.5-0.5log0.5=1（比特/符号）H(Z)=5(-0.2log0.2)=2.32（比特/符号）单符号离散信源第44页，本讲稿共134页信源熵信源熵信源熵的物理含义：n熵是随机变量的随机性的描述n变量Y、Z等概，随机性大，变量X不等概，则随机性小n等概情况下，可取值越多，随机性越大nH（）是描述随机变量所需的比特数n熵是随机变量平均平均不确定性的描述nX试验中发生a1,获得的自信息为-log0.01=6.64(bit)nY试验中发生a1,获得的自信息为-log0.5=2.32(bit)nH（）反映的是平均的不确定性单符号离散信源第45页，本讲稿共134页香农熵与热力学中热熵的关系熵熵n这个名词是香农从物理学中的统计热力学借用过来的，在物理学中称它为热熵热熵是表示分子混乱程度的一个物理量，这里，香农引用它来描述信源的平均不确定性，含义是类似的。但是在热力学中已知任何孤立系统的演化，热熵只能增加不能减少；而在信息论中，信息熵正相反，只会减少，不会增加。所以有人称信息熵为负热熵负热熵。n二者还有一个重大差别：热熵是有量纲的，而香农熵是无量纲的。单符号离散信源第46页，本讲稿共134页条件熵条件熵（1）定义：条件自信息量的数学期望（2）计算公式：（3）在已知yj条件下，X的条件熵H(X/yj)为：（4）单符号离散信源第47页，本讲稿共134页联合熵联合熵（1）计算公式（2）单符号离散信源第48页，本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理（1）非负性（2）对称性：说明熵的总体特征，它只与信源的总体结构有关，而不在乎个别消息的概率，甚至与消息的取值无关。（3）最大离散熵定理：信源X包含有n个不同离散消息时，信源熵H(X)有：H(X)logn，当且仅当X中的各个消息出现的概率全相等时，上式取等号。单符号离散信源第49页，本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理（4）扩展性（5）确定性（6）可加性单符号离散信源第50页，本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理（7）极值性含义：任一概率分布对其它概率分布的自信息量取数学期望时，必大于它自身的熵。单符号离散信源第51页，本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理（7）极值性(续)可以证明条件熵不大于信源熵（无条件熵），即：单符号离散信源第52页，本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理（8）上凸性凸域的概念凸域的概念：若对区域D中任意两点 和 ，均有：则称：区域D是凸域。理解：若两点 和 在凸域D内，则 和 之间的线段也整个在区域D内。单符号离散信源第53页，本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理（8）上凸性：信源熵具有严格的上凸性单符号离散信源第54页，本讲稿共134页平均互信息量平均互信息量（1）定义：单符号离散信源第61页，本讲稿共134页平均互信息量平均互信息量例：将已知信源接到如图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。第63页，本讲稿共134页平均互信息量的性质平均互信息量的性质（1）对称性（2）非负性（3）极值性单符号离散信源第64页，本讲稿共134页平均互信息量的性质平均互信息量的性质（4）凸函数性单符号离散信源第65页，本讲稿共134页平均互信息量的性质平均互信息量的性质（4）凸函数性nI(X;Y)是输入信源概率分布p(xi)的上凸函数nI(X;Y)是信道转移概率p(yj/xi)的下凸函数（5）数据处理定理：当消息经过多级处理后，随着处理器数据的增加，输入消息与输出消息之间的平均互信息量趋于变小。单符号离散信源第66页，本讲稿共134页数据处理定理数据处理定理单符号离散信源第67页，本讲稿共134页数据处理定理数据处理定理同理得到:同理:单符号离散信源第68页，本讲稿共134页数据处理定理数据处理定理信道信道信道信道XYZI(Y;Z)I(X;Z)I(X;Z)I(Y;Z)I(X;Y)I(X;Z)I(X;Y)第69页，本讲稿共134页数据处理定理数据处理定理结论：通过数据处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可 能比原来获得的信息有所增加。单符号离散信源第70页，本讲稿共134页Y各种熵之间的关系各种熵之间的关系名称符号关系图示无条件熵H(X)H(X)H(X/Y)H(Y)H(Y/X)H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)H(Y)条件熵H(X/Y)H(Y/X)联合熵H(XY)=H(YX)交互熵I(X;Y)=I(Y;X)XYYXXYXYX单符号离散信源第71页，本讲稿共134页熵熵VSVS互信息互信息n信息熵是表征随机变量本身统计特性的一个物理量，它是随机变量平均不确定性的度量，是从总体统计特性上对随机变量的一个客观描述。n互信息I(X;Y)，又称信息量，一般是针对观测到另一个随机变量时而言的，是一个相对量，是指观测者从随机变量Y中所获得的关于随机变量X的信息度量。在通信中，互信息是针对接收者而言的，是指接收者收到的关于信源的信息度量，当通信中无干扰时，接受者获得的信息量数量上就等于信源给出的信息熵，但是两者的概念不一样；当信道有干扰时，不仅概念上不一样，而且数量上也不相等。信息熵也可理解为信源输出的信息量。单符号离散信源第72页，本讲稿共134页2.2 2.2 多符号离散平稳信源多符号离散平稳信源（1）离散平稳信源的数学模型（2）离散无记忆信源的熵（3）离散平稳信源的信源熵和极限熵（4）马尔可夫信源（5）信源冗余度及信息变差第73页，本讲稿共134页离散平稳信源的数学模型离散平稳信源的数学模型n一维平稳信源：n二维平稳信源：除满足一维平稳特性外，还满足：n离散平稳信源：各维联合概率分布均与时间起点无关多符号离散平稳信源第74页，本讲稿共134页离散无记忆信源的熵离散无记忆信源的熵多符号离散平稳信源单符号离散信源X：X的N次扩展信源XN：第75页，本讲稿共134页离散无记忆信源的熵离散无记忆信源的熵例：有一离散平稳无记忆信源求这个信源的二次扩展信源的熵。第76页，本讲稿共134页离散平稳信源的熵和极限熵离散平稳信源的熵和极限熵n二维平稳信源：X=X1X2多符号离散平稳信源第77页，本讲稿共134页离散平稳信源的熵和极限熵离散平稳信源的熵和极限熵nN维平稳信源：X=X1X2XN多符号离散平稳信源记作若当信源退化为无记忆时：若当信源退化为无记忆时：若进一步又满足平稳性时：若进一步又满足平稳性时：第78页，本讲稿共134页离散平稳信源的熵和极限熵离散平稳信源的熵和极限熵n对于离散平稳信源，考察其输出信息量XP（x）0 1 211/36 4/9 1/4aiaj01209/112/11011/83/41/8202/97/9P(aj/ai)多符号离散平稳信源第79页，本讲稿共134页离散平稳信源的熵和极限熵离散平稳信源的熵和极限熵n当信源符号间无依赖性时：n当考虑信源符号间的依赖性时：n得到：比特/符号条件熵：联合熵：比特/符号比特/二个符号考察信源符号间有依赖性时联合信源的平均符号熵：可见：多符号离散平稳信源第80页，本讲稿共134页离散平稳信源的熵和极限熵离散平稳信源的熵和极限熵分析：结论：符号间的相关性使得信源的平均符号熵减少，即每个符号平均携带的信息量减少。问题：H2(X)和H(X2|X1)哪一个值更能接近实际二维平稳信源的熵？即：用哪一个值来表示二维平稳信源每个符号平均携带的信息量比特/符号多符号离散平稳信源第81页，本讲稿共134页离散平稳信源的熵和极限熵离散平稳信源的熵和极限熵定义：N长的信源符号序列的平均符号熵平均符号熵即平均每个信源符号所携带的信息量为比特/符号当时，存在以下性质：条件熵随N的增加是非递增的平均符号熵随N的增加是非递增的N给定时，平均符号熵=条件熵。即：存在，且：结论：对于有限记忆长度的平稳信源可用有限记忆长度的条件熵来对平稳信源进行信息测度。多符号离散平稳信源第82页，本讲稿共134页性质证明性质证明（1）（2）比较两式中的最后一项，有：随着N的增大，所增加项的熵越来越小，故平均符号熵也将随N的增大而减小多符号离散平稳信源第83页，本讲稿共134页性质证明性质证明（3）（4）当N固定，K，有：上式对任意N均成立，故：同时由（3）有：从而必然有：多符号离散平稳信源第84页，本讲稿共134页马尔可夫信源马尔可夫信源多符号离散平稳信源当前述平稳信源满足m阶马尔可夫性质时，即信源发出的符号只与前面的m个符号有关，而与更前面出现的符号无关。此时有：对于m阶马尔可夫信源其状态集：其中第85页，本讲稿共134页马尔可夫信源马尔可夫信源状态转移概率：表示已知在时刻m系统处于状态si，或Sm取值si的条件下，经（n-m）步后转移到状态sj的概率。或理解为已知在时刻m系统处于状态i的条件下，在时刻n系统处于状态j的条件概率。当n-m=1时，记为pij(m)，称为一步转移概率多符号离散平稳信源第86页，本讲稿共134页马尔可夫信源马尔可夫信源对于齐次马尔可夫链：k步转移概率:转移矩阵:多符号离散平稳信源第87页，本讲稿共134页马尔可夫信源马尔可夫信源多符号离散平稳信源切普曼-柯尔莫郭洛夫方程：用矩阵表示为:结论：对于齐次马氏链，一步转移概率完全决定了结论：对于齐次马氏链，一步转移概率完全决定了k步转移概步转移概率率当l=1时：第88页，本讲稿共134页马尔可夫信源马尔可夫信源多符号离散平稳信源对于齐次遍历的马尔可夫链，其状态si由（xi1,xim）唯一确定，有：上式两边同时取对数，并对和取统计平均，然后取负，得到：第89页，本讲稿共134页马尔可夫信源马尔可夫信源多符号离散平稳信源即马尔可夫信源的平均符号熵为：其中：第90页，本讲稿共134页马尔可夫信源马尔可夫信源多符号离散平稳信源定理：对于有限齐次马尔可夫链，若存在一个正整数k01，存在 ，则这种马尔可夫链是各态历经的。第91页，本讲稿共134页马尔可夫信源马尔可夫信源多符号离散平稳信源例：二阶马氏链X，状态转移概率见表起始状态终止状态s1(00)s2(01)s3(10)s4(11)001/21/20001001/32/3101/43/40011001/54/5第92页，本讲稿共134页马尔可夫信源马尔可夫信源令各状态的平稳分布概率为W1,W2,W3,W4,有多符号离散平稳信源第93页，本讲稿共134页马尔可夫信源马尔可夫信源多符号离散平稳信源转移概率矩阵：例：s1s3s21/0.11/0.50/0.90/0.51/0.20/0.8第94页，本讲稿共134页马尔可夫信源马尔可夫信源多符号离散平稳信源在si状态下每输出一个符号的平均信息量为：马尔可夫信源的熵为：第95页，本讲稿共134页信源冗余度及信息变差信源冗余度及信息变差多符号离散平稳信源n信源冗余度表征信源信息率的多余程度，是描述信源客观统计特性的一个物理量。n由广义Shannon不等式有：n可见对于有记忆信源，最小单个消息熵应为 ，即从理论上看，对有记忆信源只需传送 即可。n但是这必需要掌握信源全部概率统计特性。这显然是不现实的。实际上，往往只能掌握有限的维，这时需传送 ，那么与理论值 相比，就多传送了 。第96页，本讲稿共134页信源冗余度及信息变差信源冗余度及信息变差多符号离散平稳信源 为了定量描述信源有效性，定义：信源效率：信源冗余度（相对剩余）：信息变差：正由于信源存在着冗余度，即存在着不必要传送的信息，因此信源也就存在进一步压缩信息率的可能性。冗余度越大，压缩潜力也就越大。可见它是信源编码、数据压缩的前提与理论基础。第97页，本讲稿共134页信源冗余度及信息变差信源冗余度及信息变差多符号离散平稳信源 字母 字母 字母 空格ETOANIR0.20.1050.0720.06540.0630.0590.0550.054SHDLCF.UMP0.05020.0470.0350.0290.0230.0225 0.0210.0175Y.WGBVKXJ.QZ0.0120.0110.01050.0080.0030.0020.0010.001例：计算英文文字信源的冗余度。首先给出英文字母（含空格）出现概率如下：第98页，本讲稿共134页信源冗余度及信息变差信源冗余度及信息变差多符号离散平稳信源n首先求得独立等概率情况 ：n其次计算独立不等概率情况 ：n再次，若仅考虑字母有一维相关性，求 ：n最后，利用统计推断方法求出，由于采用的逼近的方法和所取的样本的不同，推算值也有不同，这里采用Shannon的推断值。第99页，本讲稿共134页信源冗余度及信息变差信源冗余度及信息变差多符号离散平稳信源n对于其它文字，也有不少人作了大量的统计工作，现简述如下：nn 英文n 法文n 德文n西班牙文n中文 （按8千汉字计算）第100页，本讲稿共134页信源冗余度及信息变差信源冗余度及信息变差多符号离散平稳信源 至于其它类型信源，比如话音，图象等，它们大部分属于限失真信源，其冗余度与理论压缩可能性，将在率失真函数中讨论。第101页，本讲稿共134页2.3 连续信源连续信源（1）连续信源的熵（2）几种特殊连续信源的熵（3）连续熵的性质及最大连续熵定理（4）熵功率第102页，本讲稿共134页连续信源的熵连续信源的熵连续信源n单个连续消息的随机变量单个连续消息的随机变量 连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近.下面，将采用这一观点讨论连续随机变量的信息熵与信息量.首先类比概率 与概率密度p(u)：第103页，本讲稿共134页连续信源的熵连续信源的熵连续信源第104页，本讲稿共134页令ua,b，且ab，现将它均匀地划分为n份，每份宽度为，则u处于第i个区间的概率为，即=(中值定理)即当p(u)为u的连续函数时，由中值定理，必存在一个值，使上式成立.连续信源的熵连续信源的熵连续信源第105页，本讲稿共134页考虑离散随机变量熵的定义为：则有：连续信源的熵连续信源的熵连续信源第106页，本讲稿共134页连续信源的熵连续信源的熵连续信源第107页，本讲稿共134页 n按照离散熵的概念，连续随机变量的熵应为无穷大，失去意义.n1948年，香农直接定义：即定义取有限值的项为连续信源的信息熵，也称微分熵微分熵.连续信源的熵连续信源的熵连续信源第108页，本讲稿共134页n实际应用中，数据都只有有限精度，在有限精度下随机变量熵表达式中的第二项取值相同，因此微分熵可以作为连续随机变量不确定程度的相对度量.n应注意的是Hc(X)是连续随机变量的熵，而不是连续随机变量输出的信息量，连续随机变量输出的信息量是Hn(X).这就是说，在离散随机变量中随机变量输出信息量就是信源熵，两者是一个概念；但是在连续随机变量中则是两个概念，且不相等.连续随机变量输出信息量Hn(X)是一个绝对值，取值为，而连续随机变量的熵Hc(X)则是一个相对值，取值是有限的.n连续随机变量的熵Hc(X)是一个过渡性的概念，它虽然也具有可加性、凸状性和极值性，但不一定满足非负性，它可以不具有信息的全部特征。连续信源的熵连续信源的熵连续信源第109页，本讲稿共134页几种特殊连续信源的熵几种特殊连续信源的熵n均匀分布的连续信源的熵n高斯均匀分布的连续信源的熵n指数分布的连续信源的熵第110页，本讲稿共134页几种特殊连续信源的熵几种特殊连续信源的熵连续信源 均匀分布的连续信源的熵均匀分布的连续信源的熵：对一个均匀分布的随机变量，按照定义，有n显然，时，Hc(X)0,0，只要(K/L)logmH(X)+,则当L足够大时，必可使译码差错小于.反之，当(K/L)logmH(X)-2时，则不可能实现无失真编码，当L足够大时，译码必定出错.解释：定长编码定理给出了信源进行等长编码解释：定长编码定理给出了信源进行等长编码所需码长的理论极限值所需码长的理论极限值.第128页，本讲稿共134页定长编码定理定长编码定理离散无失真信源编码定理n当每个信源符号所必须输出的码长是时，只要 这种编码器一定可以做到几乎无失真，也就是接收端的译码差错概率接近于零，条件是所取的符号数足够大n将定理公式改写成，左边为长码字所能携带的最大信息量，右边为长信源序列输出的信息量.该定理物理含义：只要码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，条件是足够长.第129页，本讲稿共134页定长编码定理定长编码定理离散无失真信源编码定理即信源的平均符号熵为，采用平均符号码长来编码所得的效率编码效率编码效率：编码定理从理论上阐明了编码效率接近的理想编码器的存在性，它使输出符号的信息率与信源熵之比接近于.但要在实际中实现，必须取无限长的信源符号进行统一编码.实际上是不可能的.因此定长信源编码的理论意义远大于其实用价值最佳编码效率最佳编码效率：第130页，本讲稿共134页变长编码定理变长编码定理离散无失真信源编码定理定理定理：若一离散无记忆信源的符号熵为H(X)，对信源符号进行m元变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式：其平均信息率满足不等式：式中 为任意正数.第131页，本讲稿共134页第二章小结第二章小结主要内容主要内容n信源的描述和分类n单符号离散信源(2.1)n多符号离散平稳信源(2.2)n连续信源（2.3）n离散无失真信源编码定理（2.4）第132页，本讲稿共134页第二章小结第二章小结n重点是信源的统计特性和数学模型，以及各类信源（离散无记忆单符号信源、离散有记忆单符号信源、连续信源、离散信源序列）的信息测度-熵及其性质，给出了自信息量、互信息量、熵、冗余度等的概念、定义、性质以及它们之间的关系.第133页，本讲稿共134页第二章小结第二章小结概念及其计算概念及其计算n自信息、信源的熵、条件熵、联合熵、互信息、平均符号熵、极限熵、状态转移图、状态稳态分布概率、冗余度理解理解n熵的物理含义、熵的性质、互信息的性质第134页，本讲稿共134页