信源熵 第二章—6.ppt
信源熵 第二章6 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望2.1 2.1 信源的描述和分类信源的描述和分类2.2 2.2 单符号离散信源单符号离散信源2.3 2.3 多符号离散平稳信源多符号离散平稳信源2.4 2.4 连续信源连续信源2.5 2.5 冗余度冗余度内容内容2回顾回顾多符号离散平稳信多符号离散平稳信源源31.离散无记忆信源的序列熵离散无记忆信源的序列熵设信源输出的随机序列为设信源输出的随机序列为 X=(X1X2XlXL)序列中的变量序列中的变量Xlx1,x2,xn X称为离散无记忆信源称为离散无记忆信源X的的L次扩展信源次扩展信源 信源的序列熵信源的序列熵 多符号离散平稳信源多符号离散平稳信源平均每个符号平均每个符号(消息消息)熵熵 42.离散有记忆信源的序列熵离散有记忆信源的序列熵 多符号离散平稳信源多符号离散平稳信源若信源输出一个若信源输出一个L长序列长序列，则信源的，则信源的序列熵序列熵为为平均每个符号的熵平均每个符号的熵为为 52.1 2.1 信源的描述和分类信源的描述和分类2.2 2.2 单符号离散信源单符号离散信源2.3 2.3 多符号离散平稳信源多符号离散平稳信源2.4 2.4 连续信源连续信源2.5 2.5 冗余度冗余度内容内容62.4 连续信源连续信源7连续连续信源信源平稳信源平稳信源非平稳信源非平稳信源连续信源的分类连续信源的分类统计特性与时间起点统计特性与时间起点无无关的连续信源。关的连续信源。统计特性与时间起点统计特性与时间起点有有关的连续信源。关的连续信源。8遍历过程遍历过程集平均以概率集平均以概率1 1等于时间平均的平稳随机过程。等于时间平均的平稳随机过程。连续信源的分类连续信源的分类一般认为，通信系统中的信号都是平稳的随机过一般认为，通信系统中的信号都是平稳的随机过程。程。最常见的平稳随机过程为最常见的平稳随机过程为遍历过程遍历过程。9计算连续信源熵的两种方法：计算连续信源熵的两种方法：将连续信源离散化，再用离散熵计算。将连续信源离散化，再用离散熵计算。先进行抽样，再把抽样序列看作量化单位先进行抽样，再把抽样序列看作量化单位趋趋于于0 0时的情况，然后定义计算信源熵。时的情况，然后定义计算信源熵。122.4.1 连续信源的熵连续信源的熵10 一维概率密度函数（边缘概率密度函数）：一维概率密度函数（边缘概率密度函数）：单变量连续信源的数学模型为：单变量连续信源的数学模型为：2.4.1 连续信源的熵连续信源的熵并满足并满足112.4.1 连续信源的熵连续信源的熵中值定理：中值定理：122.4.1 连续信源的熵连续信源的熵13离散信源熵离散信源熵 绝对熵绝对熵绝对熵绝对熵 连续信源熵（相对熵）连续信源熵（相对熵）定义定义定义定义：-为了在形式上与离散信源熵统一为了在形式上与离散信源熵统一2.4.1 连续信源的熵连续信源的熵连续信源熵连续信源熵 相对熵相对熵相对熵相对熵14求均匀分布的连续信源熵？求均匀分布的连续信源熵？例例2-13:15 其他连续熵的定义：其他连续熵的定义：2.4.1 连续信源的熵连续信源的熵16(1)限峰值功率的最大熵定理限峰值功率的最大熵定理(2)若代表信源的若代表信源的N维随机变量取值被限定在一定范围维随机变量取值被限定在一定范围(3)内，在有限定义域内均匀分布的连续信源有最大内，在有限定义域内均匀分布的连续信源有最大熵。熵。(2)限平均功率的最大熵定理限平均功率的最大熵定理(3)平均功率平均功率P和均值和均值m受限，当信源概率密度函数为受限，当信源概率密度函数为正正(4)态分布时，具有最大熵。态分布时，具有最大熵。(3)均值受限条件下的最大熵定理均值受限条件下的最大熵定理(4)连续信源输出非负信号的均值受限条件下，指数连续信源输出非负信号的均值受限条件下，指数分布分布(5)的连续信源具有最大熵。的连续信源具有最大熵。2.4.2 最大连续熵定理最大连续熵定理172.5 冗余度冗余度18冗余度冗余度(多余度、剩余度多余度、剩余度)表示信源在实际发出消息时所包含的多余信表示信源在实际发出消息时所包含的多余信息。息。冗余度：冗余度：信源符号间的信源符号间的相关性相关性相关程度越大，信源的实际熵越小相关程度越大，信源的实际熵越小信源符号分布的信源符号分布的不均匀性不均匀性等概率分布时信源熵最大等概率分布时信源熵最大冗余度冗余度19冗余度冗余度对于有记忆信源，对于有记忆信源，极限熵极限熵为为H(X)。这就是说我们需要传送这一信源的信息，理论这就是说我们需要传送这一信源的信息，理论上只需要传送上只需要传送H(X)即可。但必须掌握信源全即可。但必须掌握信源全部概率统计特性，这显然是不现实的。部概率统计特性，这显然是不现实的。实际上，只能算出实际上，只能算出Hm(X)。那么与理论极限值。那么与理论极限值相比，就要多传送相比，就要多传送Hm(X)H(X)。为了定量地描述信源的有效性，定义为了定量地描述信源的有效性，定义:信信息息效效率率冗冗余余度度20由于信源存在由于信源存在冗余度，冗余度，即存在一些不必要传送即存在一些不必要传送的信息，因此信源也就存在进一步的信息，因此信源也就存在进一步压缩压缩其信息其信息率的可能性。率的可能性。信源冗余度越大，其进一步压缩的潜力越大。信源冗余度越大，其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与这是信源编码与数据压缩的前提与理论基础。理论基础。例例：英文字母：英文字母：等概率等概率 H0 =log27=4.76比特比特/符号符号 不等概率不等概率 H1 =4.03比特比特/符号符号 考虑相关性考虑相关性 H2 =3.32比特比特/符号符号 极限熵极限熵 H=1.4比特比特/符号符号 冗余度冗余度英语文章有英语文章有71%71%是是由语言结构定好的由语言结构定好的,只有只有29%29%是自由选是自由选择择冗余度冗余度21离散无失真信源编码定理221.定长编码定理：定长编码定理：由由L个符号组成的，每个符号的熵为个符号组成的，每个符号的熵为H(X)的平稳无记的平稳无记忆符号序列忆符号序列X1X2 Xl XL，可用，可用K个符号个符号Y1Y2 Yk YK进行定长编码，对任意进行定长编码，对任意 ，只要，只要 则当则当L足够大时，必可使译码差错小于足够大时，必可使译码差错小于 反之，当反之，当 时，译码差错一定是有限值，当时，译码差错一定是有限值，当L足够大时，译码必足够大时，译码必定出错。定出错。离散无失真信源编码定理离散无失真信源编码定理23习 题241.从大量统计资料知道，男性中红绿色盲的发从大量统计资料知道，男性中红绿色盲的发 病率为病率为7%，女性发病率为，女性发病率为0.5%，如果你问，如果你问 一位男同志；一位男同志；“你是否是红绿色盲？你是否是红绿色盲？”他的他的回回 答可能是答可能是“是是”，也可能是，也可能是“否否”，问这两，问这两个回个回 答中各含有多少信息量？平均每个回答中含答中各含有多少信息量？平均每个回答中含 有多少信息量？如果你问一位女同志，则答有多少信息量？如果你问一位女同志，则答 案中含有的平均自信息量是多少？案中含有的平均自信息量是多少？习习 题题25小小小小 结结结结第二章第二章6小 结回顾离散无记忆信源的序列熵、离散有记回顾离散无记忆信源的序列熵、离散有记忆信源的序列熵。忆信源的序列熵。学习了连续信源、冗余度。学习了连续信源、冗余度。27本次课结束！28
