信息论各种熵之间的关系PPT课件.ppt
2.1.5 各种熵之间的关系1X YX Y2X YX Y3X Y4562.2.1 无记忆扩展信源的熵2.2.2离散平稳信源的熵2.2.3马尔可夫信源2.2.4信源的冗余度2.2 扩展信源7无记忆的离散信源序列离散有记忆序列信源离散平稳信源马尔可夫信源无记忆扩展信源每次发出一组含两个以上符号的符号序列代表一个消息，而且所发出的各个符号是相互独立的，各个符号的出现概率是它自身先验概率。序列中符号组的长度即为扩展次数。离散平稳信源随机矢量中的各随机变量的统计特性都不随时间推移而变化。81、离散无记忆二进制信源X 的二次扩展信源每 两 个 二 进 制 数 字 构 成 一 组，则 新 的 等 效 信 源X 的 输 出 符 号 为00，01，10，11。若单符号离散信源的数学模型为二次扩展信源的数学模型为其 中，X2表 示 二 次 扩 展 信 源。这 里，a1=00,a2=01,a3=10,a4=11。且有2.2.1无记忆扩展信源的熵92、离散无记忆信源X 的N 次扩展信源（1）数学模型设单符号离散信源的数学模型为满足则其N 次扩展信源用XN来表示，其数学模型为满足每个符号ai对应于某个有N 个xi组成的序列。在N 次 扩 展 信 源XN中，符 号 序 列 构 成 的 矢 量 其 各 分 量 之 间 是 彼此统计独立的，即10（2）熵N 次扩展信源的熵按信息熵的定义为其单位为比特/符号序列。H(XN)=H(X1X2XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+H(XN/X1X2XN-1)由 于 无 记 忆 扩 展 信 源 的 各 Xi之 间 是 彼 此 独 立 的，且 各 个 H(Xi)=H(X),所以H(XN)=H(X1X2XN)=H(X1)+H(X2)+H(X3)+H(XN)=NH(X)11单符号信源如下,求二次扩展信源熵扩展信源：例1213离散平稳信源各维联合概率均与时间起点无关的完全平稳信源。对 于 随 机 变 量 序 列X=X1X2XN,若 任 意 两 个 不 同 时 刻i 和j(大 于2的任意整数)，信源发出消息的概率分布完全相同，即一维平稳信源P(Xi=x1)=P(Xj=x1)=p(x1)P(Xi=x2)=P(Xj=x2)=p(x2)P(Xi=xn)=P(Xj=xn)=p(xn)2.2.2离散平稳信源的熵1.定义142023/5/25 15二维平稳信源P(Xi=x)=P(Xj=x)=p(x)P(Xi=x1,Xi+1=x2)=P(Xj=x1,Xj+1=x2)=p(x1x2)其中x1,x2X=(x1,x2,xn)离散平稳信源P(Xi)=P(Xj)P(XiXi+1)=P(XjXj+1)P(XiXi+1Xi+2Xi+N)=P(Xj Xj+1Xj+2Xj+N)16反映信源记忆特性的两方法：用联合概率反映信源记忆特性用条件概率反映信源记忆特性122.二维信源17每组中的后一个符号与前一个符号有统计关联关系，而这种概率性的关联与时间的起点无关。假定符号序列的组与组之间是统计独立的。1819一般地20例原始信源：条件概率：X1X221H(X1X2)=H(X1)+H(X2/X1)=1.542+0.870=2.412(比特/符号)223.N 维离散平稳有记忆信源(1)熵2324平均符号熵：平均符号熵：极限熵：极限熵：(2)极限熵25（3）性质 条件熵H(XN|X1X2XN-1)随着N 的增加而递减证明：H(XN|X1X2XN-1)H(XN|X2XN-1)（条件熵小于等于无条件熵）=H(XN-1|X1X2XN-2)（序列的平稳性）26 若N 一定，则平均符号熵大于等于条件熵HN(X)H(XN|X1X2XN-1)证明：NHN(X)=H(X1X2XN)=H(X1)+H(X2|X1)+H(XN|X1X2XN-1).=H(XN)+H(XN|XN-1)+H(XN|X1X2XN-1)（序列平稳性）NH(XN|X1X2XN-1)（条件熵小于等于无条件熵）所以HN(X)H(XN|X1X2XN-1)平均符号熵也随N 的增加而递减证明：NHN(X)=H(X1X2XN)=H(XN|X1X2XN-1)+H(X1X2XN-1)=H(XN|X1X2XN-1)+(N-1)HN-1(X)HN(X)+(N-1)HN-1(X)所以HN(X)HN-1(X)，即 序 列 的 统 计 约 束 关 系 增 加 时，由 于 符 号 间 的 相 关 性，平 均 每个符号所携带的信息量减少。27 如果H(X)，则存在，并且28作业：2.17 2.18 2.17某一无记忆信源的符号集为0,1，已知P(0)=1/4，P(1)=3/4。(1)求符号的平均熵；(2)有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100-m）个“1”）的自信息量的表达式；(3)计算(2)中序列的熵。2.18设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6 的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算H(X2),H(X3/X1X2)及H；(3)试计算H(X4)并写出X4信源中可能有的所有符号。292023/5/25 30
