信息论各种熵之间的关系.pptx

《信息论各种熵之间的关系.pptx》由会员分享，可在线阅读，更多相关《信息论各种熵之间的关系.pptx（28页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、XYXY第1页/共28页XYXY第2页/共28页XY第3页/共28页第4页/共28页第5页/共28页2.2.1 2.2.1 无记忆扩展信源的熵无记忆扩展信源的熵2.2.22.2.2离散平稳信源的熵离散平稳信源的熵2.2.32.2.3马尔可夫信源马尔可夫信源2.2.42.2.4信源的冗余度信源的冗余度2.2 2.2 扩展信源扩展信源第6页/共28页无记忆的离散信源序列离散有记忆序列信源离散平稳信源马尔可夫信源无记忆扩展信源每次发出一组含两个以上符号的符号序列代表一个消息，而且所发出的各个符号是相互独立的，各个符号的出现概率是它自身先验概率。序列中符号组的长度即为扩展次数。离散平稳信源随机矢量中的

2、各随机变量的统计特性都不随时间推移而变化。第7页/共28页1、离散无记忆二进制信源X的二次扩展信源每两个二进制数字构成一组，则新的等效信源X的输出符号为00，01，10，11。若单符号离散信源的数学模型为二次扩展信源的数学模型为其中，X2表示二次扩展信源。这里，a1=00,a2=01,a3=10,a4=11。且有2.2.1无记忆扩展信源的熵第8页/共28页2、离散无记忆信源X的N次扩展信源（1）数学模型设单符号离散信源的数学模型为满足则其N次扩展信源用XN来表示，其数学模型为满足每个符号ai对应于某个有N个xi组成的序列。在N次扩展信源XN中，符号序列构成的矢量其各分量之间是彼此统计独立的，即

3、第9页/共28页（2）熵N次扩展信源的熵按信息熵的定义为其单位为比特/符号序列。H(XN)=H(X1X2XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+H(XN/X1X2XN-1)由于无记忆扩展信源的各Xi之间是彼此独立的，且各个 H(Xi)=H(X),所以H(XN)=H(X1X2XN)=H(X1)+H(X2)+H(X3)+H(XN)=NH(X)第10页/共28页单符号信源如下,求二次扩展信源熵扩展信源：例第11页/共28页第12页/共28页离散平稳信源各维联合概率均与时间起点无关的完全平稳信源。对于随机变量序列X=X1X2XN,若任意两个不同时刻i和j(大于2的任意整数)，信源发

4、出消息的概率分布完全相同，即一维平稳信源P(Xi=x1)=P(Xj=x1)=p(x1)P(Xi=x2)=P(Xj=x2)=p(x2)P(Xi=xn)=P(Xj=xn)=p(xn)2.2.2离散平稳信源的熵1.定义第13页/共28页二维平稳信源P(Xi=x)=P(Xj=x)=p(x)P(Xi=x1,Xi+1=x2)=P(Xj=x1,Xj+1=x2)=p(x1x2)其中x1,x2X=(x1,x2,xn)离散平稳信源P(Xi)=P(Xj)P(XiXi+1)=P(XjXj+1)P(XiXi+1Xi+2Xi+N)=P(Xj Xj+1Xj+2Xj+N)第14页/共28页反映信源记忆特性的两方法：用联合概率

5、反映信源记忆特性用条件概率反映信源记忆特性122.二维信源第15页/共28页每组中的后一个符号与前一个符号有统计关联关系，而这种概率性的关联与时间的起点无关。假定符号序列的组与组之间是统计独立的。第16页/共28页第17页/共28页一般地第18页/共28页例原始信源：条件概率：X1X2第19页/共28页H(X1X2)=H(X1)+H(X2/X1)=1.542+0.870=2.412(比特/符号)第20页/共28页3.N维离散平稳有记忆信源(1)熵第21页/共28页第22页/共28页平均符号熵：平均符号熵：极限熵：极限熵：(2)极限熵第23页/共28页（3）性质条件熵H(XN|X1X2XN-1)

6、随着N的增加而递减证明：H(XN|X1X2XN-1)H(XN|X2XN-1)（条件熵小于等于无条件熵）=H(XN-1|X1X2XN-2)（序列的平稳性）第24页/共28页若N一定，则平均符号熵大于等于条件熵HN(X)H(XN|X1X2XN-1)证明：NHN(X)=H(X1X2XN)=H(X1)+H(X2|X1)+H(XN|X1X2XN-1).=H(XN)+H(XN|XN-1)+H(XN|X1X2XN-1)（序列平稳性）NH(XN|X1X2XN-1)（条件熵小于等于无条件熵）所以HN(X)H(XN|X1X2XN-1)平均符号熵也随N的增加而递减证明：NHN(X)=H(X1X2XN)=H(XN|X

7、1X2XN-1)+H(X1X2XN-1)=H(XN|X1X2XN-1)+(N-1)HN-1(X)HN(X)+(N-1)HN-1(X)所以HN(X)HN-1(X)，即序列的统计约束关系增加时，由于符号间的相关性，平均每个符号所携带的信息量减少。第25页/共28页如果H(X)，则存在，并且第26页/共28页作业：2.172.182.17某一无记忆信源的符号集为0,1，已知P(0)=1/4，P(1)=3/4。(1)求符号的平均熵；(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；(3)计算(2)中序列的熵。2.18设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算H(X2),H(X3/X1X2)及H；(3)试计算H(X4)并写出X4信源中可能有的所有符号。第27页/共28页谢谢您的观看！第28页/共28页