信源和信息熵讲稿.ppt

《信源和信息熵讲稿.ppt》由会员分享，可在线阅读，更多相关《信源和信息熵讲稿.ppt（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信源和信息熵第一页，讲稿共四十页哦2.1 信源的数学模型及分类信源的数学模型及分类通信系统模型及信息传输模型：通信系统模型及信息传输模型：第二页，讲稿共四十页哦一、信源输出是单个符号的消息一、信源输出是单个符号的消息例：例：扔一颗质地均匀的正方体骰子，研究其下落后，朝上一扔一颗质地均匀的正方体骰子，研究其下落后，朝上一面的点数。每次试验结果必然是面的点数。每次试验结果必然是1点、点、2点、点、3点、点、4点、点、5点、点、6点中的某一个面朝上。每次试验只随机出现其中一种点中的某一个面朝上。每次试验只随机出现其中一种消息，不可能出现这个集合以外的消息，考察此事件信消息，不可能出现这个集合以外的消

2、息，考察此事件信源的数学模型。源的数学模型。解：数学模型为：解：数学模型为：且满足：且满足：第三页，讲稿共四十页哦离散信源：信源输出是单一符号的消息，其符号集离散信源：信源输出是单一符号的消息，其符号集 的取值是有限的或可数的。的取值是有限的或可数的。一维离散信源数学模型就是离散型的概率空间：一维离散信源数学模型就是离散型的概率空间：且满足：且满足：第四页，讲稿共四十页哦连续信源：信源输出数据取值是连续的，但又是随机连续信源：信源输出数据取值是连续的，但又是随机 的，即可能出现的消息数是不可数的无限的，即可能出现的消息数是不可数的无限 值。值。数学模型是连续型的概率空间：数学模型是连续型的概率

3、空间：且满足：且满足：X X的概率的概率密度函数密度函数实数集（实数集（，）第五页，讲稿共四十页哦随机矢量：信源输出的消息是按一定概率选取的符号随机矢量：信源输出的消息是按一定概率选取的符号 序列。用序列。用N维随机矢量维随机矢量X描述：描述：X（x1，x2，xN）其中：其中：N维随机矢量维随机矢量X也称为随机序列（过程）。也称为随机序列（过程）。平稳随机序列：序列的统计性质与时间的推移无关。平稳随机序列：序列的统计性质与时间的推移无关。二、信源分类二、信源分类（1）根据随机序列）根据随机序列X中每个随机变量中每个随机变量xi的取值不同：的取值不同：离散平稳信源：如语言文字、离散化平面图像离散

4、平稳信源：如语言文字、离散化平面图像 连续平稳信源：如语音信号、热噪声信号等连续平稳信源：如语音信号、热噪声信号等第六页，讲稿共四十页哦（2）信源发出的符号间彼此是否独立：）信源发出的符号间彼此是否独立：无无记忆记忆信源：随机矢量的各分量相互独立信源：随机矢量的各分量相互独立 有有记忆记忆信源：随机矢量的各分量不相互独立信源：随机矢量的各分量不相互独立表述有表述有记忆记忆信源比无信源比无记忆记忆信源困信源困难难的多，的多，实际实际中，信中，信源源发发出的符号往往只与前若干符号的依出的符号往往只与前若干符号的依赖赖关系关系强强，与，与更前面的符号依更前面的符号依赖赖关系弱，关系弱，这类这类信源可

5、用信源可用马马尔尔可夫信可夫信源表示。源表示。不同不同统计统计特性的信源可用随机特性的信源可用随机变变量、随机矢量以及随量、随机矢量以及随机机过过程描述其程描述其输输出的消息。出的消息。第七页，讲稿共四十页哦2.2 离散信源的信息熵离散信源的信息熵一、信息量和熵一、信息量和熵信息的度量应符合实际情况：信息的度量应符合实际情况：出现概率小的随机事件，不确定性大，信息量大；出现概率小的随机事件，不确定性大，信息量大；出现概率大的随机事件，不确定性小，信息量小；出现概率大的随机事件，不确定性小，信息量小；概率为概率为1的确定事件，信息量为的确定事件，信息量为0。香农定义的自信息量香农定义的自信息量I

6、(x)：任意随机事件出现概率的对数的：任意随机事件出现概率的对数的负值表示自信息量。负值表示自信息量。第八页，讲稿共四十页哦设随机事件设随机事件x xi i的出现概率为的出现概率为p pi i，则：，则：I(xI(xi i)logplogpi ilog(1/plog(1/pi i)收到某消息获得的信息量收到此消息前关于某收到某消息获得的信息量收到此消息前关于某事件发生的不确定性收到此消息后关于某事件事件发生的不确定性收到此消息后关于某事件发生的不确定性发生的不确定性即：收信者所获得的信息量应等于信息传输前后不即：收信者所获得的信息量应等于信息传输前后不确定性的减少的量。确定性的减少的量。例例2

7、 21 1：设一条电线上串联：设一条电线上串联8 8个灯泡，且损坏的可个灯泡，且损坏的可能性为等概，若仅有一个坏灯泡，须获知多少信息能性为等概，若仅有一个坏灯泡，须获知多少信息量才可确认？量才可确认？第九页，讲稿共四十页哦例例2 21 1解：解：测量前，测量前，P P1 1(x)(x)1/81/8，存在不确定性：，存在不确定性：I(PI(P1 1(x)(x)log8log83bit3bit第一次测量获得信息量：第一次测量获得信息量：第二次测量获得信息量：第二次测量获得信息量：第三次测量获得信息量：第三次测量获得信息量：每次测量获得每次测量获得1bit1bit信息量，需三次测量可确定坏灯泡信息量

8、，需三次测量可确定坏灯泡第十页，讲稿共四十页哦自信息自信息I I是一个随机变量，不能作为信源总体的信息量。是一个随机变量，不能作为信源总体的信息量。定义：自信息量的数学期望为信源的平均信息量，即信定义：自信息量的数学期望为信源的平均信息量，即信源的信息熵，数学表示为：源的信息熵，数学表示为：信息熵的单位取决于对数选取的底，信息熵的单位取决于对数选取的底，r r进制信息熵：进制信息熵：r r进制信息熵与二进制信息熵的关系：进制信息熵与二进制信息熵的关系：第十一页，讲稿共四十页哦熵的物理含义：熵的物理含义：信息熵信息熵H(x)H(x)是表示信源输出后，每个消息是表示信源输出后，每个消息(或符号或符

9、号)所提所提供的平均信息量；信息熵供的平均信息量；信息熵H(x)H(x)是表示信源输出前，信源是表示信源输出前，信源的平均不确定性；用信息熵的平均不确定性；用信息熵H(x)H(x)来表征变量来表征变量X X的随机的随机性。性。注意：注意：信息熵是信源的平均不确定的描述。一般情况信息熵是信源的平均不确定的描述。一般情况下，它并不等于平均获得的信息量，获得的信息量是两下，它并不等于平均获得的信息量，获得的信息量是两熵之差，并不是信息熵本身。熵之差，并不是信息熵本身。第十二页，讲稿共四十页哦二、信息熵的基本性质二、信息熵的基本性质1 1、对称性：、对称性：此性质说明：熵的总体性。它只与随机变量的总体

10、结此性质说明：熵的总体性。它只与随机变量的总体结构有关，而不在于个别值的概率，甚至也不因随机变构有关，而不在于个别值的概率，甚至也不因随机变量取值的不同而异。量取值的不同而异。2 2、非负性：、非负性：第十三页，讲稿共四十页哦3 3、扩展性：、扩展性：说明：说明：概率很小的值的出现，给予接收者以较大的信息，但在概率很小的值的出现，给予接收者以较大的信息，但在熵的计算中占的比重很小，这是熵的总体平均性的一种体现。熵的计算中占的比重很小，这是熵的总体平均性的一种体现。4、确定性：、确定性：H（1,0）H（0,1）H（1,0,0,）0说明：从熵的不确定概念来说，确知信源的不确定度应该为说明：从熵的不

11、确定概念来说，确知信源的不确定度应该为0。第十四页，讲稿共四十页哦5、可加性：、可加性：二个随机变量二个随机变量X和和Y不独立时：不独立时：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)二个随机变量二个随机变量X和和Y独立时：独立时：H(XY)=H(X)+H(Y)6、极值性：、极值性：H(p1,p2,pq)pilogqi，当，当pi1/q时，时，可见：所有概率分布可见：所有概率分布pi所构成的熵，以等概时为最大，所构成的熵，以等概时为最大，称为最大离散熵定理。称为最大离散熵定理。第十五页，讲稿共四十页哦7 7、上凸性：、上凸性：熵函数具有严格的上凸性，它的极值必为最大值。熵函数具有

12、严格的上凸性，它的极值必为最大值。8、递增性：、递增性：其中：其中：此性质说明：熵增加了一项由于划分而产生的不确定性此性质说明：熵增加了一项由于划分而产生的不确定性 量。量。第十六页，讲稿共四十页哦例例22：运用熵函数的递增性，计算熵函数：运用熵函数的递增性，计算熵函数 H（1/3,1/3,1/6,1/6）的数值。）的数值。可见：熵函数的递增性也可称为递推性，表示可见：熵函数的递增性也可称为递推性，表示n个元素的信源熵可以递推成（个元素的信源熵可以递推成（n1）个二元信）个二元信源的熵函数的加权和。可使多元信源的熵函数源的熵函数的加权和。可使多元信源的熵函数计算简化成计算若干个二元信源的熵函数

13、。计算简化成计算若干个二元信源的熵函数。第十七页，讲稿共四十页哦2.3 离散平稳信源的熵离散平稳信源的熵离散平稳信源：离散平稳信源：各维联合概率分布均与时间起点无关各维联合概率分布均与时间起点无关 的完全平稳信源称为离散平稳信源。的完全平稳信源称为离散平稳信源。一、两个符号的熵和互信息一、两个符号的熵和互信息设两个随机变量设两个随机变量X1和和X2，单个符号数学模型为：，单个符号数学模型为：联合概率空间：联合概率空间：第十八页，讲稿共四十页哦条件概率空间：条件概率空间：二个符号的数学模型：二个符号的数学模型：联合熵：联合熵：第十九页，讲稿共四十页哦联合熵（共熵）：是联合空间联合熵（共熵）：是联

14、合空间X1X2上的每个元素对上的每个元素对X1X2的自信息量的概率加权平均值。共熵表示信源输的自信息量的概率加权平均值。共熵表示信源输出长度为出长度为2的序列的平均不确定性，或所含的信息量。的序列的平均不确定性，或所含的信息量。条件熵：联合空间条件熵：联合空间X1X2上的条件自信息量的概率加权上的条件自信息量的概率加权 平均值：平均值：联合熵、信息熵及条件熵的关系为：联合熵、信息熵及条件熵的关系为：H（X2）H（X1/X2）第二十页，讲稿共四十页哦根据熵的极值性可得：根据熵的极值性可得：表明某一变量的条件熵必小于或等于它的无条件熵。表明某一变量的条件熵必小于或等于它的无条件熵。还可得：还可得：

15、且且X1、X2独立时，上式等号成立。独立时，上式等号成立。定义无条件熵和条件熵之差为互信息：定义无条件熵和条件熵之差为互信息：I(X1;X2)H(X1)H(X1/X2)0 H(X1)H(X2)H(X1X2)且：且：I(X1;X2)I(X2;X1)第二十一页，讲稿共四十页哦注意：注意：任何无源处理总是丢失信息的，至多保持原来任何无源处理总是丢失信息的，至多保持原来的信息，这是信息不可增性的一种表现。的信息，这是信息不可增性的一种表现。二、离散平稳信源的极限熵二、离散平稳信源的极限熵设信源输出一系列符号序列设信源输出一系列符号序列X1,X2,XN概率分布：概率分布：联合熵：联合熵：定义定义序列的平

16、均符号熵总和序列的平均符号熵总和/序列长度，序列长度，即：即：第二十二页，讲稿共四十页哦平均符号熵就是信源符号序列中平均每个信源平均符号熵就是信源符号序列中平均每个信源符号所携带的信息量。符号所携带的信息量。条件熵条件熵无条件熵；条件较多的熵无条件熵；条件较多的熵条件较少条件较少的熵，所以：的熵，所以：第二十三页，讲稿共四十页哦离离 散散 平平 稳稳 信信 源源 性性 质（质（H1(X)时）：时）：条件熵随条件熵随N的增加是递减的；的增加是递减的；平均符号熵平均符号熵条件熵；条件熵；平均符号熵平均符号熵HN(X)随随N增加是递减的；增加是递减的；极限熵极限熵第二十四页，讲稿共四十页哦结论：结论

17、：当平稳信源的记忆长度为当平稳信源的记忆长度为m，则离散平稳，则离散平稳信源的极限熵等于有限记忆长度信源的极限熵等于有限记忆长度m的条件熵：的条件熵：第二十五页，讲稿共四十页哦三、信源剩余度与熵的相对率三、信源剩余度与熵的相对率对于一般的离散信源都可以近似地用不同记忆长度对于一般的离散信源都可以近似地用不同记忆长度的马尔可夫信源来逼近。的马尔可夫信源来逼近。一阶时一阶时（m1）：信息熵为）：信息熵为H2H（X1/X2）无记忆时（无记忆时（m0）：信息熵为）：信息熵为H1H（X）无记忆等概（无记忆等概（q种取值）：种取值）：H0logq显然：显然：logqH0H1H2HmH，即：，即：只要只要有

18、传送有传送H的手段即可传送信源信息。的手段即可传送信源信息。第二十六页，讲稿共四十页哦所以，非等概分布的信源所输出的符号中，每一所以，非等概分布的信源所输出的符号中，每一位信源符号所载荷的平均信息量并没有达到其应位信源符号所载荷的平均信息量并没有达到其应具有的最大输出信息能力，这表明信源输出符号具有的最大输出信息能力，这表明信源输出符号中含有一定程度的不含有信息的多余部分。中含有一定程度的不含有信息的多余部分。信息冗余度（或称剩余度、多余度）可衡量信源信息冗余度（或称剩余度、多余度）可衡量信源输出符号序列中不含有信息的多余部分的大小。输出符号序列中不含有信息的多余部分的大小。一个信源实际的信息

19、熵与具有同样符号集的最大一个信源实际的信息熵与具有同样符号集的最大熵的比值称为熵的相对率。熵的比值称为熵的相对率。第二十七页，讲稿共四十页哦熵的相对率：熵的相对率：则信源的信息冗余度为：则信源的信息冗余度为：显然，信源符号间依赖关系强，相关距离长，则显然，信源符号间依赖关系强，相关距离长，则H较较小，冗余度就大；相关性弱则冗余度小；若信源符号相小，冗余度就大；相关性弱则冗余度小；若信源符号相互独立且等概，则输出的平均信息量达到最大值互独立且等概，则输出的平均信息量达到最大值H0，信，信源输出符号中部包含任何多余成分，冗余度为源输出符号中部包含任何多余成分，冗余度为0 例例2-3：设英文信源输出

20、符号为：设英文信源输出符号为26个字母和空格，考察英个字母和空格，考察英文信源输出地符号序列，计算其信息冗余度。文信源输出地符号序列，计算其信息冗余度。第二十八页，讲稿共四十页哦例解：例解：1）无记忆且等概时：）无记忆且等概时：H0=log27=4.76比特比特/符号；符号；2）根据统计各字母和空格出现的概率，非等概无记忆时：）根据统计各字母和空格出现的概率，非等概无记忆时：H1=H（p1,p2,p27）=4.03比特比特/符号；符号；3）若取）若取m=1，则，则H2=3.32比特比特/符号；符号；4）若取）若取m=2，则，则H3=3.1比特比特/符号；符号；一般一般H=1.4比特比特/符号；

21、符号；则相对熵为则相对熵为0.29，信息冗余度为，信息冗余度为0.71信息的剩余度可以表示信源可以压缩的程度，但信息的剩余度可以表示信源可以压缩的程度，但剩余度大的消息具有强的抗干扰能力。剩余度大的消息具有强的抗干扰能力。第二十九页，讲稿共四十页哦2.4 连续信源的熵连续信源的熵一一、连续信源熵的定义、连续信源熵的定义所谓连续信源是指其输出量是连续的，在任何时所谓连续信源是指其输出量是连续的，在任何时刻，在某个范围内可以取无穷多个数值。数学模刻，在某个范围内可以取无穷多个数值。数学模型：型：如图为连续信源如图为连续信源概率密度分布示意图：概率密度分布示意图：第三十页，讲稿共四十页哦把取值区间把

22、取值区间a,b分割成分割成n个小区间且等宽：个小区间且等宽：=（b-a）/n，则，则X处于第处于第i区间的概率区间的概率Pi是：是：Pi=Pa+(i-1)xa+i=p(xi)，且，且Pi=1此时离散熵：此时离散熵：H(Xn)=-PilogPi=-p(xi)log p(xi)=-p(xi)log p(xi)-p(xi)log 当当n，0时，时，H(Xn)的极限值就是连续熵：的极限值就是连续熵：第三十一页，讲稿共四十页哦离散信源定义的熵是一个绝对量，而连续信源定义的熵离散信源定义的熵是一个绝对量，而连续信源定义的熵是一个比无穷大（是一个比无穷大（）大多少的相对量，不是绝对量：）大多少的相对量，不是

23、绝对量：注意：注意：连续变量的熵具有相对性，在取两熵之间的差连续变量的熵具有相对性，在取两熵之间的差时，才具有信息的所有特征，也称时，才具有信息的所有特征，也称h(X)为差熵，具有离为差熵，具有离散熵的主要特征，但不一定具备非负性。散熵的主要特征，但不一定具备非负性。第三十二页，讲稿共四十页哦 例例24：一个连续信源，输出概率密度服从均匀分布，：一个连续信源，输出概率密度服从均匀分布，若把此信源的输出信号放大若把此信源的输出信号放大2倍，求放大前、后的信息倍，求放大前、后的信息熵并比较。熵并比较。注意：连续熵的相对性，说明信息不是与熵相等，如：注意：连续熵的相对性，说明信息不是与熵相等，如：Y

24、=aX+b中，中，H(Y)可大于可大于H(X)，但并不意味着经过放，但并不意味着经过放大器可提高信息量。大器可提高信息量。第三十三页，讲稿共四十页哦二、二元联合信源的共熵二、二元联合信源的共熵第三十四页，讲稿共四十页哦连续信源的互信息也具有信息特征（非负性）：连续信源的互信息也具有信息特征（非负性）：I（X；Y）=I（Y；X）h（X）h（X/Y）h（Y）h（Y/X）h（X）h（Y）h（XY）0因此：当因此：当X被测量得到被测量得到Y时，两者可能都是连续变量，时，两者可能都是连续变量，互信息的概念仍然存在，且是有限值。若对互信息的概念仍然存在，且是有限值。若对Y进行处理，进行处理，成为成为Z，也

25、会丢失信息，即：，也会丢失信息，即：I（X；Z）I（X；Y），其中），其中 Zf（Y）第三十五页，讲稿共四十页哦三、连续信源的最大熵三、连续信源的最大熵问题：在连续信源中，怎样的概率密度分布函数问题：在连续信源中，怎样的概率密度分布函数p(X)能能使连续熵最大？使连续熵最大？1、限峰功率最大熵定理、限峰功率最大熵定理信源输出信号的幅度或瞬时功率受到限制，如幅度限制信源输出信号的幅度或瞬时功率受到限制，如幅度限制在在a，b之间时：之间时：p(X)xab第三十六页，讲稿共四十页哦结论：输出信号值的范围受限的连续信源，其输结论：输出信号值的范围受限的连续信源，其输出最大熵的条件是输出信号在该范围内的

26、分布出最大熵的条件是输出信号在该范围内的分布是均匀分布，其最大熵为概率分布密度倒数的是均匀分布，其最大熵为概率分布密度倒数的对数。对数。推广到推广到N维连续平稳信源情况：维连续平稳信源情况：第三十七页，讲稿共四十页哦可以证明：对于任何可以证明：对于任何p(X)，其熵必小于均匀分布，其熵必小于均匀分布 时的熵。时的熵。第三十八页，讲稿共四十页哦2、限平均功率的最大熵定理、限平均功率的最大熵定理 设信源的平均功率为设信源的平均功率为 可以得出：当信源概率密度是数学期望为可以得出：当信源概率密度是数学期望为0，方，方差为平均功率的高斯分布时，有最大熵，即：差为平均功率的高斯分布时，有最大熵，即：第三十九页，讲稿共四十页哦即：即：所以：具有高斯分布的连续信源的熵最大，其大小随所以：具有高斯分布的连续信源的熵最大，其大小随 平均功率平均功率P的增加而增加。的增加而增加。在不同限制条件下最大熵是不同的，在无限制下最大在不同限制条件下最大熵是不同的，在无限制下最大熵不存在。熵不存在。第四十页，讲稿共四十页哦