(精品)第二章基本信息论5_信源冗余度.ppt

《(精品)第二章基本信息论5_信源冗余度.ppt》由会员分享，可在线阅读，更多相关《(精品)第二章基本信息论5_信源冗余度.ppt（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2.5 信源冗余度信源冗余度非平稳信源熵：假设平稳，极限熵非平稳信源熵：假设平稳，极限熵平稳信源熵：平稳信源熵：m阶马尔可夫信源：阶马尔可夫信源：一阶马尔可夫信源：一阶马尔可夫信源：无记忆信源熵：无记忆信源熵：等概率无记忆信源熵：等概率无记忆信源熵：例例二元信源，若信源符号二元信源，若信源符号0和和1等概率分布，等概率分布，且符号间无相关性，则其信源熵达到最大值：且符号间无相关性，则其信源熵达到最大值：若发送若发送12个符号，则个符号，则12个符号含有的信息量为：个符号含有的信息量为：若信源符号间有相关性，则信源熵达不到最大熵。若信源符号间有相关性，则信源熵达不到最大熵。若实际上为若实际上为0

2、.8比特比特/符号，则发送符号，则发送12个符号只能传个符号只能传递递12*0.8=9.6比特的信息量。比特的信息量。若要传递若要传递12比特的信息量，则需要比特的信息量，则需要 n=12/0.8=15个符号，有个符号，有3个符号的冗余。个符号的冗余。一、冗余度的定义一、冗余度的定义冗余度（剩余度）冗余度（剩余度）相对熵相对熵信息变差信息变差H0：符号等概率且无相关性的理想离散信源熵符号等概率且无相关性的理想离散信源熵例例二元信源，若信源符号二元信源，若信源符号0和和1等概率分布，等概率分布，且符号间无相关性，则其信源熵达到最大值：且符号间无相关性，则其信源熵达到最大值：当符号间有相关性时，实

3、际熵：当符号间有相关性时，实际熵：信源相对熵：信源相对熵：信源冗余度：信源冗余度：信息变差：信息变差：例例信源为信源为26个英文字母和个英文字母和1个空格，分析其信源熵。个空格，分析其信源熵。英语英语字母字母 出现出现概率概率英语英语字母字母出现出现概率概率英语英语字母字母出现出现概率概率A 0.064 J 0.001S 0.051B 0.013K0.005T0.08C 0.022 L 0.032 U 0.023D0.032M0.020V0.008E 0.103N 0.057 W0.018F0.021O 0.063 X 0.001G 0.015 P 0.015Y 0.016H 0.047Q 0

4、.001 Z 0.001I 0.058 R 0.048 空格空格 0.1891）若信源等概率分布，且无相关性，则信源熵：）若信源等概率分布，且无相关性，则信源熵：2）按实际概率分布，且）按实际概率分布，且无相关性，则信源熵：无相关性，则信源熵：3）看成一阶马尔可夫信源，则信源熵：）看成一阶马尔可夫信源，则信源熵：4）看成二阶马尔可夫信源，则信源熵：）看成二阶马尔可夫信源，则信源熵：5）看成无穷阶马尔可夫信源，则信源熵：）看成无穷阶马尔可夫信源，则信源熵：消息的冗余为提高通信效率、压缩信号容量提供了消息的冗余为提高通信效率、压缩信号容量提供了基础。基础。二、冗余的利用二、冗余的利用信源编码：通过减少冗余来提高通信效率信源编码：通过减少冗余来提高通信效率适当的冗余可提高抗干扰能力适当的冗余可提高抗干扰能力信道编码：通过增加冗余来提高通信的抗干扰能力信道编码：通过增加冗余来提高通信的抗干扰能力