《信源及信源熵》PPT课件.ppt

《《信源及信源熵》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《信源及信源熵》PPT课件.ppt（144页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章第二章 信源及信源熵信源及信源熵信源及信源熵信源及信源熵l 信源的数学模型和分类信源的数学模型和分类l2.2 离散信源熵和互信息离散信源熵和互信息l2.3 离散序列信源的熵离散序列信源的熵l2.4 冗余度冗余度l2.5 连续信源和波形信源连续信源和波形信源2.1 信源的数学模型和分类信源的数学模型和分类信息论对信源研究的内容：信息论对信源研究的内容：l信源的建模：用恰当的随机过程来描述信号信源的建模：用恰当的随机过程来描述信号l关心角度：信号中携带的信息关心角度：信号中携带的信息l信源输出信号中携带信息的效率的计算信源输出信号中携带信息的效率的计算l熵率、冗余度熵率、冗余度l信源输出信息

2、的有效表示信源输出信息的有效表示l信源编码信源编码l信息论不研究信源的内部结构，不研信息论不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不究信源为什么产生和怎样产生各种不同的、可能的消息，而只研究信源的同的、可能的消息，而只研究信源的各种可能的输出，以及输出各种可能各种可能的输出，以及输出各种可能消息的不确定性。消息的不确定性。信源特性与分类信源特性与分类l信源的统计特性信源的统计特性l1）什么是信源？什么是信源？l信信源源是是信信息息的的来来源源，是是产产生生消消息息（符符号号）、消消息息序序列列（符符号号序列）以及连续消息的来源。序列）以及连续消息的来源。l实际通信中常见的信源有

3、：语音、文字、图像、数据实际通信中常见的信源有：语音、文字、图像、数据。l2）信源的主要特性）信源的主要特性l信信源源的的最最基基本本的的特特性性是是具具有有统统计计不不确确定定性性，即即信信源源发发出出的的消消息息是是不不确确定定的的、随随机机的的，因因此此可可以以用用随随机机变变量量、随随机机矢矢量量或或随机过程来描述信源输出的消息。随机过程来描述信源输出的消息。l一一般般使使用用一一个个样样本本空空间间及及其其概概率率测测度度概概率率空空间间（信信源源空空间）来描述信源，此概率空间也称为信源的数学模型。间）来描述信源，此概率空间也称为信源的数学模型。一、离散信源和连续信源一、离散信源和连

4、续信源l离散信源离散信源l信源发出的消息在时间上和幅度上是离散分布的。信源发出的消息在时间上和幅度上是离散分布的。l信源是由有限或无限个取值离散的符号。信源是由有限或无限个取值离散的符号。l例例如如：投投硬硬币币、书书信信文文字字、计计算算机机的的代代码码、电电报报符符号、阿拉伯数字码等等。号、阿拉伯数字码等等。l连续信源连续信源l信源发出的消息在时间上和幅度上是连续分布的。信源发出的消息在时间上和幅度上是连续分布的。l信信源源符符号号集集A的的取取值值是是连连续续的的，或或者者取取值值为为实实数数集集（，）。）。l例如：语音信号、热噪声信号、图像等等。例如：语音信号、热噪声信号、图像等等。二

5、、离散信源的数学模型二、离散信源的数学模型（一）单消息（符号）信源单消息（符号）信源l信信源源可可能能输输出出的的符符号号集集的的取取值值是是有有限限的的或或可可数数的的，而而且且每每次次只只输输出出其其中中一一个个符符号号代代表表一一个个消消息。息。l它它是是最最简简单单、最最基基本本的的信信源源，是是组组成成实实际际信信源源的基本单元。的基本单元。单符号离散信源的数学模型单符号离散信源的数学模型l我我们们可可用用一一维维离离散散型型随随机机变变量量X来来描描述述单单符符号号离离散散信信源源输输出出的的消消息息。这这个个随随机机变变量量X的的样样本本空空间间就就是是符符号号集集A=a1 a2

6、 aN；而而X的的概概率率分分布布就就是是各各消消息息出出现现的的先先验验概概率率，信信源源的的概概率空间必定是一个完备集（即率空间必定是一个完备集（即P1）。）。l该该信信源源的的数数学学模模型型就就是是离离散散型型的的概概率率空空间间，我我们们可可以以用用信信源源取取值值随随机机变变量量的的范范围围X和和对对应应概概率率分分布布P(x)共共同同组组成成的的二二元元序对序对X,P(x)来表示。来表示。l当当信信源源给给定定，其其相相应应的的概概率率空空间间就就已已给给定定；反反之之，如如果果概概率率空空间间给给定定，这这就就表表示示相相应应的的信信源源已已给给定定。所所以以，概概率率空空间间

7、能能表表征征这这离离散散信信源源的的统统计计特特性性，因因此此有有时时也也把把这这个个概概率率空空间间称称为为信源空间信源空间。信源空间信源空间：显然有：XP（x）a1 a2 aNP(a1)P(a2)P(aN)例例：对对于于二二进进制制数数据据、数数字字信信源源：X=0,1，若这两个符号是等概率出现的，则有：若这两个符号是等概率出现的，则有：XP（x）a1=0 a2=1P(a1)=0.5 P(a2（二）多符号离散信源（二）多符号离散信源l是发出符号序列的信源是发出符号序列的信源l信源每次发出一组含两个以上信源符号的符号序列信源每次发出一组含两个以上信源符号的符号序列代表一个消息。代表一个消息。

8、l又叫作离散信源的又叫作离散信源的N次扩展。次扩展。l信道的输入端与输出端对应，都是一个由同样个数信道的输入端与输出端对应，都是一个由同样个数的符号所组成的符号序列代表的消息。的符号所组成的符号序列代表的消息。平稳信源平稳信源l很很多多实实际际信信源源输输出出的的消消息息往往往往是是由由一一系系列列符符号号序序列列所所组组成成的的。可可以以把把这这种种信信源源输输出出的的消消息息看看做做时时间间上上或或空空间间上上离离散散的的一一系系列列随随机机变变量量，即即为为随随机机矢矢量量。这这时时，信信源源的的输输出出可可用用N维维随随机机矢矢量量X=(X，XXN)来来描描述述，其其中中N可可为为有有

9、限限正正整整数数或或可可数数的的无无限限值值。这这N维维随随机机矢矢量量X有时也称为有时也称为随机随机序列序列。l一一般般来来说说，信信源源输输出出的的随随机机序序列列的的统统计计特特性性比比较较复复杂杂，分分析析起起来来也也比比较较困困难难。为为了了便便于于分分析析，我我们们假假设设信信源源输输出出的的是是平平稳稳的的随随机机序序列列，也也就就是是序序列列的的统统计计性性质质与与时时间间的的推推移移无无关关。很很多多实实际际信信源源也也满满足足这这个个假假设。设。l若若在在信信源源输输出出的的随随机机序序列列X=(，)中中，每每个个随随机机变变量量Xi(i=1,2,，N)都都是是取取值值离离

10、散散的的离离散散型型随随机机变变量量，即即每每个个随随机机变变量量Xi的的可可能能取取值值是是有有限限的的或或可可数数的的；而而且且随随机机矢矢量量X的的各各维维概概率率分分布布都都与与时时间间起起点点无无关关，也也就就是是在在任任意意两两个个不不同同时时刻刻随随机机矢矢量量X的的各各维维概概率率分分布布都都相相同同。这这样样的的信信源源称称为为离离散散平平稳稳信信源源。如如中中文文自自然然语语言言文文字字，离散化平面灰度图像都是这种离散型平稳信源。离散化平面灰度图像都是这种离散型平稳信源。离散无记忆信源离散无记忆信源l在在某某些些简简单单的的离离散散平平稳稳信信源源情情况况下下，信信源源先先

11、后后发发出出的的一一个个个个符符号号彼彼此此是是统统计计独独立立的的。也也就就是是说说发发出出的的信信源源发发出出的的符符号号是是相相互互独独立立的的，发发出出符符号号序序列列中中各各个个符符号号之间也是相互独立的。之间也是相互独立的。l我我们们称称由由信信源源空空间间X，P(x)描描述述的的信信源源X为为离离散散无无记记忆忆信信源源。这这类类信信源源在在不不同同时时刻刻发发出出的的符符号号之之间间是是无无依依赖赖的的，彼彼此此统统计计独独立立的的，各各个个符符号号的的出出现现概概率率是是其其自身的先验概率。自身的先验概率。l信信源源输输出出的的随随机机矢矢量量X=(XXX）中中，各各随随机机

12、变变量量Xi(i=1,2,N)之之间间是是无无依依赖赖的的、统统计计独独立立的的，则则N维随机矢量的联合概率分布满足：维随机矢量的联合概率分布满足：离散无记忆信源离散无记忆信源X的的N次扩展信源次扩展信源l我我们们把把这这信信源源X所所输输出出的的随随机机矢矢量量X所所描描述述的的信信源源称称为为离离散散无无记记忆忆信信源源X的的N次次扩扩展展信信源源。可可见见，N次次扩扩展展信信源源是是由由离离散散无无记记忆忆信信源源输输出出N长长的的随随机序列构成的信源。机序列构成的信源。l离散无记忆信源的离散无记忆信源的N次扩展信源的数学模型是次扩展信源的数学模型是X信源空间的信源空间的N重空间。重空间

13、。有记忆信源有记忆信源l 一一般般情情况况下下，信信源源在在不不同同时时刻刻发发出出的的符符号号之之间间是是相相互互依依赖赖的的。也也就就是是信信源源输输出出的的平平稳稳随随机机序序列列X中中，各各随随机机变变量量xi之之间间是是有有依依赖赖的的。例例如如，在在汉汉字字组组成成的的中中文文序序列列中中，只只有有根根据据中中文文的的语语法法、习习惯惯用用语语、修修辞辞制制约约和和表表达达实实际际意意义义的的制制约约所所构构成成的的中中文文序序列列才才是是有有意意义义的的中中文文句句子子或或文文章章。所所以以，在在汉汉字字序序列列中中前前后后文文字字的的出出现现是是有有依依赖赖的的，不不能能认认为

14、为是是彼彼此此不不相相关关的的。其其他他如如英英文文，德德文文等等自自然然语语言言都都是是如如此此。这这种种信信源源称称为为有有记记忆信源忆信源。l我我们们需需在在N维维随随机机矢矢量量的的联联合合概概率率分分布布中中，引引入入条条件件概率分布来说明它们之间的关联。概率分布来说明它们之间的关联。马尔可夫信源马尔可夫信源l表表述述有有记记忆忆信信源源要要比比表表述述无无记记忆忆信信源源困困难难得得多多。实实际际上上信信源源发发出出的的符符号号往往往往只只与与前前若若干干个个符符号号的的依依赖赖关关系系强强，而而与与更更前前面面的的符符号号依依赖赖关关系系弱弱。为此，可以限制随机序列的记忆长度。为

15、此，可以限制随机序列的记忆长度。l当当记记忆忆长长度度为为m+1时时，称称这这种种有有记记忆忆信信源源为为m阶阶马马尔尔可可夫夫信信源源。也也就就是是信信源源每每次次发发出出的的符符号号只与前只与前m个符号有关，与更前面的符号无关。个符号有关，与更前面的符号无关。离散信源的分类：离散信源的分类：分类依据：前后符号之间的关系分类依据：前后符号之间的关系马尔可夫信源马尔可夫信源平稳序列信源平稳序列信源离散有记忆信源离散有记忆信源平稳无记忆信源平稳无记忆信源一般无记忆信源一般无记忆信源离散无记忆信源离散无记忆信源离散序列信源离散序列信源2.2 离散信源的信息熵离散信源的信息熵信源空间信源空间：XP（

16、x）a1 a2 aNp1 p2 pN一、离散消息的自信息量一、离散消息的自信息量（一）自信息量自信息量/非平均自信息量非平均自信息量离散信源符号集合离散信源符号集合A中的某一个符号中的某一个符号ai作为一作为一条消息发出时对外提供的信息量：条消息发出时对外提供的信息量：Il自信息量的单位自信息量的单位l单位之间的关系单位之间的关系：；。底数a的值单位名称a=2bit(binary unit)比特比特a=enit(nature unit)奈特奈特a=10Hart(Hartly)哈特哈特【例2.1】设信源只有两个符号设信源只有两个符号“0”和和“1”，且它们以，且它们以消息的形式向外发送时均以等概

17、率出现，求它消息的形式向外发送时均以等概率出现，求它们各自的自信息量。们各自的自信息量。（二）不确定度不确定度d(ai)与与自信息量自信息量I(ai)l两者的联系两者的联系l数值上相等，单位也相等，但含义不同。数值上相等，单位也相等，但含义不同。l两者的区别两者的区别l具有某种概率分布的随机事件，不管其发生与否，具有某种概率分布的随机事件，不管其发生与否，都存在不确定度，不确定度是任何随机事件都存在不确定度，不确定度是任何随机事件本身所本身所具有的属性具有的属性。l自信息量是用来消除不确定度的，消息只有被接收自信息量是用来消除不确定度的，消息只有被接收之后才有信息量，否则只有不确定度。之后才有

18、信息量，否则只有不确定度。二、离散信息熵二、离散信息熵离散消息集离散消息集合的平均不确定度合的平均不确定度（一）信息熵信息熵l自信息量的数学期望值是信源的平均自信息量。自信息量的数学期望值是信源的平均自信息量。（注：数学期望就是随机变量的（注：数学期望就是随机变量的统计统计平均值）平均值）l信息熵信息熵H(X)=E I(X)=P(xi)I(xi)=P(xi)log P(xi)=P(xi)log 1/P(xi)l单位为：比特单位为：比特/符号（单符号信源）、比特符号（单符号信源）、比特/符符号序列（多符号信源）号序列（多符号信源）。l信源熵信源熵H(X)是从平均意义上来表征信源的总是从平均意义上

19、来表征信源的总体特征，可以表示信源的平均不确定度。体特征，可以表示信源的平均不确定度。l对于特定的信源（即概率空间给定），其信源对于特定的信源（即概率空间给定），其信源熵是一个确定的数值，不同的信源因统计特性熵是一个确定的数值，不同的信源因统计特性不同，其熵也不同。不同，其熵也不同。例例通过例子了解信息熵的含义：通过例子了解信息熵的含义：一个布袋内放一个布袋内放100个球，其中个球，其中80个为红球，个为红球，20个为白球，个为白球，任摸取一个，猜测是什么颜色。任摸取一个，猜测是什么颜色。如果摸出红球，那么这一事件的自信息量为：如果摸出红球，那么这一事件的自信息量为：I(x1)=log P(x

20、1)=log 0.8 bit 如果摸出白球，那么这一事件的自信息量为：如果摸出白球，那么这一事件的自信息量为：I(x2)=log P(x2)=log 0.2 bitX P x1 x20.8 0.2l如果每次摸出一个球又放回去，再进行第二次摸如果每次摸出一个球又放回去，再进行第二次摸取，那么如此摸取取，那么如此摸取n次，红球出现的次数为次，红球出现的次数为nP(x1)次次，白球出现的次数为，白球出现的次数为nP(x2)次，则摸次，则摸n次后总共次后总共提供的信息量为：提供的信息量为：nP(x1)I(x1)+nP(x2)I(x2)l平均每摸取一次所获得的信息量为：平均每摸取一次所获得的信息量为：H

21、(X)=nP(x1)I(x1)+nP(x2)I(x2)n =P(x1)log P(x1)+P(x2)log P(x2)=P(xi)log P(xi)三种物理含义三种物理含义l信息熵具有三种物理含义：信息熵具有三种物理含义：l信源熵信源熵H(X)表示信源输出前，信源的平均不确定表示信源输出前，信源的平均不确定度。度。l信源熵信源熵H(X)表示信源输出后，平均每个消息或符表示信源输出后，平均每个消息或符号所能提供的信息量。号所能提供的信息量。l信源熵信源熵H(X)可用来表示变量可用来表示变量X的随机性。的随机性。注意：注意：l在在有噪声有噪声的情况下，信源熵并不等于平均获得的情况下，信源熵并不等于

22、平均获得的信息量；只有在无噪声的情况下，接收者才的信息量；只有在无噪声的情况下，接收者才能正确无误地接收到信源发出的全部消息。能正确无误地接收到信源发出的全部消息。l信源熵信源熵是表征信源平均不确定度的，是信源的是表征信源平均不确定度的，是信源的总体特性，是客观存在的，总体特性，是客观存在的，平均自信息量平均自信息量是消是消除信源不确定度时信宿所需的信息量，两者数除信源不确定度时信宿所需的信息量，两者数值相同，单位相同，但含义不同。值相同，单位相同，但含义不同。例题例题1设离散信源含有设离散信源含有26个英文字母，且每个字母以等个英文字母，且每个字母以等概率出现。求信源熵。概率出现。求信源熵。

23、例题例题2设信源设信源X只有两个符号只有两个符号x1和和x2，出现的概率分别，出现的概率分别为为P(x1)=q，P(x2)=(1q)，求信源熵。，求信源熵。课本课本23页页【例2.1】检查检查8个串联灯泡中哪一只是坏灯泡个串联灯泡中哪一只是坏灯泡第一次测量获得的信息量是：第一次测量获得的信息量是：IP1(x)-IP2(x)第二次测量获得的信息量是：第二次测量获得的信息量是：IP2(x)-IP3(x)第三次测量获得的信息量是：第三次测量获得的信息量是：IP3(x)-0课本课本29页（续例题）页（续例题）【例例2.3】进一步分析例题，将进一步分析例题，将8个灯泡构成一信个灯泡构成一信源源X，每个灯

24、泡损坏的概率都相等，计算该信，每个灯泡损坏的概率都相等，计算该信源的信息熵。源的信息熵。课本课本29页（续例题）页（续例题）分析：分析：此时此时H（X）正好表示在获知哪个灯泡已损坏）正好表示在获知哪个灯泡已损坏的情况前，关于哪个灯泡已损坏的平均不确定的情况前，关于哪个灯泡已损坏的平均不确定性。性。只有获得只有获得3比特的信息量，才能完全消除平均比特的信息量，才能完全消除平均不确定性，才能确定是哪个灯泡坏了。不确定性，才能确定是哪个灯泡坏了。分析分析 这种测量方法每次只能获得这种测量方法每次只能获得1比特比特的信息量，所以说至少要测量的信息量，所以说至少要测量3次才能次才能完全消除不确定性完全消

25、除不确定性课本课本29页页【例例2.4】设某甲地的天气预报为：晴（设某甲地的天气预报为：晴（4/8）、）、阴（阴（2/8）、大雨（）、大雨（1/8）和小雨（）和小雨（1/8）。又设）。又设某乙地的天气预报为晴（某乙地的天气预报为晴（7/8）、小雨占）、小雨占（1/8）。试求两地天气预报各自提供的平均）。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种信息量。若甲地天气预报为两极端情况，一种是晴出现概率为是晴出现概率为1而其余为而其余为0。另一种是晴、阴、。另一种是晴、阴、小雨和大雨出现的概率都相等，为小雨和大雨出现的概率都相等，为1/4。试求。试求这两种极端情况所提供的平

26、均信息量。又试求这两种极端情况所提供的平均信息量。又试求乙地出现这两种极端情况所提供的平均信息量。乙地出现这两种极端情况所提供的平均信息量。熵的性质熵的性质 1、非负性、非负性2、对称性、对称性3、确定性、确定性4、可加性、可加性5、极值性、极值性6、H(X/Y)H(X)；H(Y/X)H(Y)7、H(XY)H(X)+H(Y)续续1、非负性非负性l离散离散信源熵的值不会小于信源熵的值不会小于0，即，即 H(X)0。l只有当随机变量是一个确知量只有当随机变量是一个确知量（P(xi)=1）时等号才成立。时等号才成立。2、对称性对称性l当变量当变量P的顺序任意互换后，的顺序任意互换后，H(X)的值不变

27、，即的值不变，即H(P1,P2,P3.Pn)=H(P2,P3,P4.Pn,P1)l该性质表明：信源熵只与随机变量的总体结构有关，即与信该性质表明：信源熵只与随机变量的总体结构有关，即与信源的总体统计特性有关。源的总体统计特性有关。l如果两个信源的总体统计特性相同（含有的符号数和概率分如果两个信源的总体统计特性相同（含有的符号数和概率分布相同），那么两个信源就是相同的。布相同），那么两个信源就是相同的。续续3、确定性确定性l只要信源符号集中有一个符号出现的概率为只要信源符号集中有一个符号出现的概率为1，那么信源熵，那么信源熵就等于零。就等于零。lH(1,0)=H(1,0,0)=H(1,0,0.0

28、)=0l确知事件，不存在不确定度，则确知事件，不存在不确定度，则H(X)=0 4、可加性可加性l两个统计独立的两个统计独立的信源信源X和和Y的联合信源的熵等于这两个信源的联合信源的熵等于这两个信源的独立熵之和。的独立熵之和。H(XY)=H(X)+H(Y)l强可加性强可加性两个互相关联的两个互相关联的信源信源X和和Y的联合信源的熵等于信源的联合信源的熵等于信源X的熵加的熵加上上X已知条件下信源已知条件下信源Y的条件熵。的条件熵。H(XY)=H(X)+H(Y/X)续续5、极值性极值性l当且仅当离散信源的各个符号以等概率出现时，熵最大。当且仅当离散信源的各个符号以等概率出现时，熵最大。lH(X)H(

29、1/m,1/m.1/m)=log m6、条件熵小于无条件熵条件熵小于无条件熵lH(X/Y)H(X)；H(Y/X)H(Y)l上式说明：条件熵不可能大于信源熵，因为信宿收到符号集上式说明：条件熵不可能大于信源熵，因为信宿收到符号集Y后，对信源后，对信源X的平均不确定度下降了，它所能提供的信息的平均不确定度下降了，它所能提供的信息量也必然下降，只有当量也必然下降，只有当X与与Y相互独立时（即相互独立时（即Y没有提供有关没有提供有关X的任何信息），有的任何信息），有 H(X/Y)H(X)；H(Y/X)H(Y)7、联合熵与信源熵满足以下不等式联合熵与信源熵满足以下不等式lH(XY)H(X)+H(Y)；仅

30、当；仅当X与与Y相互独立时等号成立。相互独立时等号成立。离散序列信源的熵离散序列信源的熵离散无记忆的扩展信源离散无记忆的扩展信源离散平稳信源离散平稳信源马尔可夫信源马尔可夫信源离散无记忆的扩展信源离散无记忆的扩展信源实际情况实际情况l最简单的离散信源每次输出的只是单个符号的最简单的离散信源每次输出的只是单个符号的消息。消息。l很多实际信源输出的消息是时间或空间上的一很多实际信源输出的消息是时间或空间上的一系列符号。系列符号。l例如电报系统，发出的是一串有、无脉冲的信例如电报系统，发出的是一串有、无脉冲的信号（有脉冲用号（有脉冲用“1”表示，无脉冲用表示，无脉冲用“0”表示）表示），这个电报系统

31、就是二元信源。输出的消息是，这个电报系统就是二元信源。输出的消息是一串一串“0”或或“1”的序列。的序列。研究研究l将信源输出的序列看成是一组一组发出的将信源输出的序列看成是一组一组发出的l二元无记忆信源的二元无记忆信源的N次扩展信源（每次扩展信源（每N个二元个二元数字一组）数字一组）推广推广l离散无记忆信源的数学模型与最简单的离散信离散无记忆信源的数学模型与最简单的离散信源的数学模型基本相同，可用源的数学模型基本相同，可用【X.P(X)】概率概率空间描述。空间描述。l但是离散无记忆信源输出的消息是一串符号序但是离散无记忆信源输出的消息是一串符号序列（用随机矢量描述）。列（用随机矢量描述）。离

32、散无记忆信源离散无记忆信源X的信源空间的信源空间 描述描述l该信源输出的消息是一组长度为该信源输出的消息是一组长度为N的符号序列，的符号序列，可用可用N维随机矢量来描述，写成：维随机矢量来描述，写成：X=(X1 X2 X3 XN)。l其中序列中每个分量其中序列中每个分量Xi（i=1，2，N）都是随机变量，且各个分量之间统计独立（即都是随机变量，且各个分量之间统计独立（即无记忆、相互独立），取于同一信源。无记忆、相互独立），取于同一信源。l随机矢量的联合概率分布等于随机矢量中各个随机矢量的联合概率分布等于随机矢量中各个随机变量的概率乘积。随机变量的概率乘积。离散无记忆信源离散无记忆信源X的的N次

33、扩展信源次扩展信源l由上述随机矢量由上述随机矢量X所组成的新信源称为所组成的新信源称为“离散无记离散无记忆信源忆信源X的的N次扩展信源次扩展信源”，或者，或者“N重符号序列离重符号序列离散无记忆信源散无记忆信源”。l我们用我们用N重概率空间来描述离散无记忆信源重概率空间来描述离散无记忆信源X的的N次次扩展信源，一般记为扩展信源，一般记为XNl信源信源X的的N次扩展信源次扩展信源XN是具有是具有qN个符号序列的离个符号序列的离散信源，其散信源，其N重概率空间为：重概率空间为：新信源（扩展信源）新信源（扩展信源）其中每个其中每个i对应于一个由对应于一个由N个个ai组成的序列。组成的序列。根据该信源

34、的无记忆性（彼此统计独立）根据该信源的无记忆性（彼此统计独立）若若i=(ai1,ai2,ai3 aiN)则则 P(i)=P(ai1 ai2 ai3 aiN)=P(ai1)P(ai2)P(aiN)=Pi1 Pi2 PiN其中其中i1,i2 iN=1,2 q扩展信源的信息熵扩展信源的信息熵l根据信息熵的定义，根据信息熵的定义，N次扩展信源的熵：次扩展信源的熵：H(X)=H(XN)=P(X)logP(X)P(X)logP(X)例题例题【例例】有一离散无记忆信源：有一离散无记忆信源：求这个离散无记忆信源的二次扩展信源的求这个离散无记忆信源的二次扩展信源的序列熵（序列熵（N=2）。）。分析分析l扩展信源

35、的每个符号是信源扩展信源的每个符号是信源 的输出长度为的输出长度为2的符的符号序列号序列l二次扩展信源共有二次扩展信源共有9个不同的符号（信源有个不同的符号（信源有3个不个不同的符号，所以信源中每两个符号组成的不同排同的符号，所以信源中每两个符号组成的不同排列共有列共有32=9种）种）l无记忆信源满足无记忆信源满足 X2信源的符号对应的由两个ai组成的符号序列概率p（）离散无记忆信源二次扩展的信源概率空间解答解答H（X）=代入可得：发现发现H（X）=H（X）=2结论结论l可以证明：离散无记忆信源可以证明：离散无记忆信源X的的N次扩展信源次扩展信源的熵等于离散信源的熵等于离散信源X的熵的的熵的N

36、倍，倍，（见书（见书P42页）页）l因此，信源的序列熵可表示为：因此，信源的序列熵可表示为：H(X)=H(XN)=N H(X)说明说明l已知每个信源符号已知每个信源符号ai含有的平均自信息量为含有的平均自信息量为 H（X），），N个个ai组成的平稳无记忆序列平均含有的组成的平稳无记忆序列平均含有的自信息量就为自信息量就为NH（X）。）。（根据熵的可加性）（根据熵的可加性）l因此信源因此信源XN每个输出符号每个输出符号 含有的平均自信息量含有的平均自信息量为为NH（X）。）。信源的序列熵可表示为：信源的序列熵可表示为：H(X)=H(XN)=N H(X)平均每个符号的熵（平均符号熵）平均每个符号的

37、熵（平均符号熵）HN(X)=H(X)/N=N H(X)/N=H(X)l当前后符号无依赖关系（无记忆）时，有以下当前后符号无依赖关系（无记忆）时，有以下推论：推论：lH(X1X2)=H(X1)+H(X2)；lH(X1/X2)=H(X1)；lH(X2/X1)=H(X2)。l如果如果X1和和X2都取自统一概率空间都取自统一概率空间X，且是平稳，且是平稳的，则有：的，则有：H(X1X2)2H(X)仅当仅当X1X2统计独立时，有统计独立时，有H(X1X2)=2H(X)离散有记忆信源的序列熵离散有记忆信源的序列熵一般情况下，离散信源的输出是空间或时间的离散符一般情况下，离散信源的输出是空间或时间的离散符号

38、序列，而且在序列中符号之间是有依赖关系的，信号序列，而且在序列中符号之间是有依赖关系的，信源在源在t=i时刻将要发出什么样的符号取决于时刻将要发出什么样的符号取决于两个方面：两个方面：l与信源在与信源在 t=i 时随机变量时随机变量xi的取值的概率分布的取值的概率分布P(xi)有关。一有关。一般若般若 t 不同则概率分布也不同，即不同则概率分布也不同，即P(xi)P(xj)l与与 t=i 时刻以前信源发出的符号有关，即与条件概率时刻以前信源发出的符号有关，即与条件概率P(xi/xi-1 xi-2)有关。一般若有关。一般若 t 不同则概率分布也不同，即不同则概率分布也不同，即P(xi/xi-1

39、xi-2)P(xj/xj-1 xj-2)以上所述的是一般随机序列的情况，而它比较复杂，以上所述的是一般随机序列的情况，而它比较复杂，所以我们只讨论所以我们只讨论平稳随机序列平稳随机序列。离散平稳信源离散平稳信源l平稳随机序列就是平稳随机序列就是序列的序列的统计特性统计特性与时间无关与时间无关，即信，即信源所发出符号源所发出符号序列的序列的概率分布概率分布与时间起点无关与时间起点无关。l如果各维联合分布均与时间起点无关，即当如果各维联合分布均与时间起点无关，即当t=i，t=j，其中，其中i、j为任意整数，且为任意整数，且ij时有：时有：(1)P(Xi)=P(Xj)(2)P(Xi Xi+1)=P(

40、Xj Xj+1)(3)P(Xi Xi+1 Xi+2)=P(Xj Xj+1 Xj+2)(N)P(Xi Xi+1 Xi+N1)=P(Xj Xj+1 Xj+N1)(N+1)P(Xi Xi+1 Xi+N)=P(Xj Xj+1 Xi+N)续续l如果上述等式均成立，那么我们说信源是如果上述等式均成立，那么我们说信源是完全平稳的完全平稳的，信源发出的序列也是完全平稳的，这种信源发出的序列也是完全平稳的，这种各维联合分布各维联合分布均与时间起点无关的完全平稳信源称为均与时间起点无关的完全平稳信源称为“离散平稳信离散平稳信源源”。l如果仅满足如果仅满足(1)，则该信源称为，则该信源称为“一维平稳信源一维平稳信源

41、”，表，表示无论在什么时刻信源均按示无论在什么时刻信源均按P(X)的概率分布发出符号的概率分布发出符号Xi。l如果满足如果满足(1)、(2)，则该信源称为，则该信源称为“二维平稳信源二维平稳信源”，表示任何时刻信源发出的两个符号的联合概率分布完表示任何时刻信源发出的两个符号的联合概率分布完全相同。全相同。l如果满足如果满足(1)、(2)(N)，则该信源称为，则该信源称为“N维离散平维离散平稳有记忆信源稳有记忆信源”。所以，。所以，N维离散平稳有记忆信源维离散平稳有记忆信源X=X1X2XN的的各维联合概率都是平稳的各维联合概率都是平稳的。续续对于对于N维离散平稳有记忆信源，我们还得到：维离散平稳

42、有记忆信源，我们还得到：P(Xi)=P(Xj)P(Xi+1/Xi)=P(Xj+1/Xj)P(Xi+2/Xi Xi+1)=P(Xj+2/Xj Xj+1)P(Xi+N/Xi Xi+1 Xi+N-1)=P(Xj+N/Xj Xj+1.Xj+N-1)上面一系列等式表明：上面一系列等式表明：N维离散平稳有记忆信源维离散平稳有记忆信源X=X1X2XN的各维条件概率也是平稳的。的各维条件概率也是平稳的。二维离散平稳信源及其信息熵二维离散平稳信源及其信息熵二维离散平稳有记忆信源二维离散平稳有记忆信源二维离散平稳有记忆信源二维离散平稳有记忆信源X=X1X2的信息熵（此处也的信息熵（此处也叫序列熵、叫序列熵、联合熵

43、联合熵）：）：H(X)=H(X1X2)有以下结论：有以下结论：lH(X1X2)=H(X1)+H(X2/X1)=H(X2)+H(X1/X2)信源的序列熵等于信源发出前一符号信源的序列熵等于信源发出前一符号X1的信息熵加上前一符的信息熵加上前一符号号X1已知时信源发出下一个符号已知时信源发出下一个符号X2的条件熵。的条件熵。lH(X1)H(X1/X2)；H(X2)H(X2/X1)条件熵小于无条件熵条件熵小于无条件熵离散二维平稳信源离散二维平稳信源l近似等效为新的离散无记忆信源近似等效为新的离散无记忆信源X1X2l根据定义可以求出信息熵根据定义可以求出信息熵联合熵联合熵 表示原来信源表示原来信源X输

44、出任意一对可能的消息的共熵，输出任意一对可能的消息的共熵，可用可用1/2H(X1X2)作为二维离散平稳信源作为二维离散平稳信源X的信息熵的的信息熵的近似值近似值条件熵条件熵l符号之间有依赖性，可以求得已知前面一个符号符号之间有依赖性，可以求得已知前面一个符号X1=ai时，信源输出下一个符号的平均不确定性时，信源输出下一个符号的平均不确定性l已知前面符号为已知前面符号为X1=ai时，信源再输出一个符号的平均时，信源再输出一个符号的平均不确定性应是对全部可能的符号不确定性应是对全部可能的符号aj的不确定性求统计平的不确定性求统计平均。均。续续l前面一个符号有前面一个符号有q种选择，对某一个种选择，

45、对某一个ai存在一个平存在一个平均不确定性均不确定性H（X2 X1=ai）l对所有的对所有的ai的可能值进行统计平均就得当前面一的可能值进行统计平均就得当前面一个符号已知时，再输出后面一个符号的总的平均个符号已知时，再输出后面一个符号的总的平均不确定性不确定性例题例题l某一二维离散平稳信源某一二维离散平稳信源并设输出的符号只与前一并设输出的符号只与前一个符号有关，可用联合概率个符号有关，可用联合概率P（ai aj）给出他们的）给出他们的关联程度，如表所示。关联程度，如表所示。可以计算得出联合熵、条件熵、平均符号熵。可以计算得出联合熵、条件熵、平均符号熵。计算结果计算结果1 ，说明了符号之间有依

46、赖性，说明了符号之间有依赖性计算结果计算结果2问题：在联合熵和条件熵中到底哪一个值更能接近实际二维问题：在联合熵和条件熵中到底哪一个值更能接近实际二维离散平稳信源的熵？离散平稳信源的熵？扩展扩展N维离散平稳有记忆信源维离散平稳有记忆信源存在一个存在一个N维离散平稳有记忆信源维离散平稳有记忆信源X=X1X2XN，且，且Xix1x2xq 对于上述对于上述N维离散平稳有记忆信源维离散平稳有记忆信源X，可以得出如下一些结论：，可以得出如下一些结论：XP（x）x1 x2 xqP(x1)P(x2)P(xq)离散平稳信源性质离散平稳信源性质1、联合熵、联合熵/序列熵序列熵H(X)=H(X1X2XN)=H(X

47、1)+H(X2/X1)+H(X3/X1X2)+H(XN/X1X2XN-1)。2、N长的信源符号序列中平均每个信源符号所携带的信长的信源符号序列中平均每个信源符号所携带的信息量为平均符号熵：息量为平均符号熵：l若信源退化为无记忆时，有若信源退化为无记忆时，有H(X)=H(X1)+H(X2)+H(XN)。l若进一步满足平稳性，则有若进一步满足平稳性，则有 。无记忆信源是有记忆信源的一种特例。无记忆信源是有记忆信源的一种特例。续续3、离散平稳信源离散平稳信源具有以下性质：具有以下性质：l条件熵条件熵H(XN/X1X2XN-1)随随N的增加而递减，即：的增加而递减，即：H(XN/X1X2XN-1)H(

48、XN-1/X1X2XN-2)H(XN-2/X1X2XN-3)H(X3/X1X2)H(X2/X1)H(X2)H(X1)离散平稳信源的极限熵离散平稳信源的极限熵lN给定时，平均符号熵给定时，平均符号熵条件熵：即条件熵：即HN(X)H(XN/X1X2XN-1)l平均符号熵平均符号熵HN(X)随随N的增加而递减的增加而递减l 存在，且：存在，且：我们称我们称H为离散平稳有记忆信源的为离散平稳有记忆信源的极限熵极限熵或极限信息量，也或极限信息量，也称为平稳信源的熵率。称为平稳信源的熵率。lH0(X)H1(X)H2(X)H(X)其中：其中：H0(X)为等概率无记忆信源的单个符号的熵；为等概率无记忆信源的单

49、个符号的熵；H1(X)为一般（不等概率）无记忆信源的单个符号的熵；为一般（不等概率）无记忆信源的单个符号的熵；依次类推。依次类推。结论结论l离散平稳信源的极限熵等于有限记忆长度离散平稳信源的极限熵等于有限记忆长度m的条的条件熵。件熵。l对于有限记忆长度的离散平稳信源可用有限记忆对于有限记忆长度的离散平稳信源可用有限记忆长度的条件熵对离散平稳信源进行信息测度。长度的条件熵对离散平稳信源进行信息测度。2.7 马尔可夫信源马尔可夫信源l在非平稳离散信源中有一类特殊的信源。这类在非平稳离散信源中有一类特殊的信源。这类信源输出的符号序列中符号之间的依赖关系是信源输出的符号序列中符号之间的依赖关系是有限的

50、，它满足马尔可夫链的性质，因此可用有限的，它满足马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫链来处理。马尔可夫信源和马尔可夫信源和m阶马尔可夫信阶马尔可夫信源的定义源的定义l若信源输出的符号序列和信源所处的状态满足下列若信源输出的符号序列和信源所处的状态满足下列两个条件：两个条件：（1）某一时刻信源符号的输出只与此刻信源所处的某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号都无状态有关，而与以前的状态及以前的输出符号都无关，关，即即 P(xl=ak|sl=Ei,xi-1=ak1,sl-1=Ej,)=P(xl=ak|sl=Ei)当具有时齐性时，有当具有时齐