信源熵 第二章—5.ppt
信源熵 第二章5 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望2.1 2.1 信源的描述和分类信源的描述和分类2.2 2.2 单符号离散信源单符号离散信源2.3 2.3 多符号离散平稳信源多符号离散平稳信源2.4 2.4 连续信源连续信源2.5 2.5 冗余度冗余度内容内容2回顾回顾1.1.信源熵的基本性信源熵的基本性质和定理质和定理31.非负性非负性 H(X)H(p1，p2，pn)0式中等号只有在式中等号只有在pi=1时成立。时成立。2.对称性对称性 H(p1，p2，pn)=H(p2，p1，pn)3.确定性 H(X)H(p1，p2，pn)0只要信源符号中有一个符号出现概率为只要信源符号中有一个符号出现概率为1，信源熵就等于零。信源熵就等于零。熵函数的性质熵函数的性质44.极值性极值性(香农辅助定理香农辅助定理)对任意两个消息数相同的信源对任意两个消息数相同的信源 熵函数的性质熵函数的性质5.最大熵定理最大熵定理 离散无记忆信源输出离散无记忆信源输出M个不同的信息符号个不同的信息符号,当且仅当且仅当各个符号出现概率相等时即当各个符号出现概率相等时即(pi1/M)熵最大熵最大。56.条件熵小于无条件熵条件熵小于无条件熵 熵函数的性质熵函数的性质6回顾回顾2.2.平均互信息量平均互信息量7平均互信息平均互信息平均互信息平均互信息定义定义8回顾回顾3.3.各种熵之间的关各种熵之间的关系系9维拉图维拉图 H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)102.1 2.1 信源的描述和分类信源的描述和分类2.2 2.2 单符号离散信源单符号离散信源2.3 2.3 多符号离散平稳信源多符号离散平稳信源2.4 2.4 连续信源连续信源2.5 2.5 冗余度冗余度内容内容112.3 多符号离散平稳信源多符号离散平稳信源12离散离散信源信源离散离散无记忆无记忆信源信源离散离散有记忆有记忆信源信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源2.3.1 离散无记忆信源的序列熵离散无记忆信源的序列熵发出发出单个符号单个符号的信源的信源指信源每次只发出一个符号代表一个消息；指信源每次只发出一个符号代表一个消息；发出发出符号序列符号序列的信源的信源指信源每次发出一组含二个以上符号的符号序指信源每次发出一组含二个以上符号的符号序列代表一个消息。列代表一个消息。13发出发出符号序列符号序列的信源的信源发出发出单个符号单个符号的信源的信源2.3.1 离散无记忆信源的序列熵离散无记忆信源的序列熵14随机序列的概率为随机序列的概率为 设信源输出的随机序列为设信源输出的随机序列为 X=(X1X2XlXL)序列中的变量序列中的变量Xlx1,x2,xn X称为离散无记忆信源称为离散无记忆信源X的的L次扩展信源次扩展信源 2.3.1 离散无记忆信源的序列熵离散无记忆信源的序列熵15当信源当信源无记忆无记忆时时 信源的序列熵信源的序列熵 2.3.1 离散无记忆信源的序列熵离散无记忆信源的序列熵16若又满足若又满足平稳特性，平稳特性，即与序号即与序号l无关时：无关时：信源的序列熵信源的序列熵 平均每个符号平均每个符号(消息消息)熵为熵为 2.3.1 离散无记忆信源的序列熵离散无记忆信源的序列熵17有一个无记忆信源随机变量有一个无记忆信源随机变量X(0,1),等概率分布等概率分布,若以单个符号出现为一事件，则此时的信源熵若以单个符号出现为一事件，则此时的信源熵:即用即用 1比特就可表示该事件。比特就可表示该事件。如果以两个符号出现如果以两个符号出现(L=2的序列的序列)为一事件，则为一事件，则随机序列随机序列X(00,01,10,11)，信源的，信源的序列熵序列熵即用即用2比特才能表示该事件。比特才能表示该事件。信源的信源的符号熵符号熵例例2-10:18有一离散平稳无记忆信源有一离散平稳无记忆信源 求：二次扩展信源的求：二次扩展信源的熵熵X2信源信源的元素的元素 a1 a2a3a4a5a6a7a8a9对应对应的的消息序列消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3概率概率p(ai)1/4 1/81/81/81/16 1/161/81/16 1/16例例2-11:19平均每个符号平均每个符号(消息消息)熵为熵为 信源的序列熵信源的序列熵20对于对于有记忆有记忆信源，就不像无记忆信源那样简单信源，就不像无记忆信源那样简单,它必须引入条件熵的概念，而且只能在某些特它必须引入条件熵的概念，而且只能在某些特殊情况下才能得到一些有价值的结论。殊情况下才能得到一些有价值的结论。对于由对于由两个符号两个符号组成的联合信源，有下列组成的联合信源，有下列结论结论:当前后符号当前后符号无依存关系无依存关系时，有下列推论时，有下列推论：2.3.2 离散有记忆信源的序列熵离散有记忆信源的序列熵21若信源输出一个若信源输出一个L长序列长序列，则信源的，则信源的序列熵序列熵为为平均每个符号的熵为：平均每个符号的熵为：若当信源退化为若当信源退化为无记忆无记忆时时:若进一步又满足平稳性时若进一步又满足平稳性时 2.3.2 离散有记忆信源的序列熵离散有记忆信源的序列熵22a0a1a2a09/112/110a11/83/41/8a202/97/9已知离散有记忆信源中各符已知离散有记忆信源中各符号的概率空间为：号的概率空间为：设发出的符号只与前一个符号有关，这两个符设发出的符号只与前一个符号有关，这两个符号的概率关联性用条件概率号的概率关联性用条件概率p(aj|ai)表示，如表表示，如表p(aj|ai)求离散信源的序列熵和平均每个符号的熵求离散信源的序列熵和平均每个符号的熵?例例2-12:23由由 p(ai,aj)=p(ai)p(aj|ai)计算得联合概率计算得联合概率p(ai aj)如表如表a0a1a2a01/41/180a11/181/31/18a201/187/36当信源符号之间当信源符号之间无依赖性无依赖性时时,信源信源X的信息熵为的信息熵为当考虑符号之间当考虑符号之间有依赖性有依赖性时时,计算得条件熵计算得条件熵 H(X2|X1)H(X)信信源源的的条条件件熵熵比比无无依依赖赖时时的的熵熵H(X)减减少少了了0.671比比特特,这这正正是是因因为为符符号号之之间间有有依依赖赖性性所造成的结果所造成的结果。24联合熵联合熵H(X1,X2)表示平均每二个信源符号所携表示平均每二个信源符号所携带的信息量。带的信息量。我们用我们用1/2H(X1,X2)作为二维平稳信源作为二维平稳信源X的信息的信息熵的近似值。那么平均每一个信源符号携带的熵的近似值。那么平均每一个信源符号携带的信息量近似为：信息量近似为：符号之间存在关联性符号之间存在关联性发发二重符号二重符号序列的熵序列的熵 比较比较25小小小小 结结结结第二章第二章5小 结回顾信源熵的基本性质和定理、平均互信回顾信源熵的基本性质和定理、平均互信息量、各种熵之间的关系。息量、各种熵之间的关系。学习了离散无记忆信源的序列熵、离散有学习了离散无记忆信源的序列熵、离散有记忆信源的序列熵。记忆信源的序列熵。27本次课结束！28
