《信息的度量》PPT课件.ppt

第第2 2章章 信息的度量信息的度量主要内容主要内容n n信源模型信源模型信源模型信源模型n n不确定性与信息不确定性与信息不确定性与信息不确定性与信息n n熵与平均互信息熵与平均互信息熵与平均互信息熵与平均互信息n n扩展信源扩展信源扩展信源扩展信源n n离散有记忆信源的熵离散有记忆信源的熵离散有记忆信源的熵离散有记忆信源的熵n n离散信源的信息（速）率和信息含量效率离散信源的信息（速）率和信息含量效率离散信源的信息（速）率和信息含量效率离散信源的信息（速）率和信息含量效率n n连续随机变量下的熵和平均互信息量连续随机变量下的熵和平均互信息量连续随机变量下的熵和平均互信息量连续随机变量下的熵和平均互信息量各节内容各节内容2.1 2.1 信源模型信源模型2.2 2.2（概率）信息的描述（概率）信息的描述2.3 2.3 不确定性与信息不确定性与信息2.4 2.4 离散熵离散熵2.5 2.5 联合熵和条件熵联合熵和条件熵 2.6 2.6 平均互信息量及其性质平均互信息量及其性质 2.7 2.7 离散无记忆信源的扩展离散无记忆信源的扩展 2.8 2.8 离散有记忆信源的熵离散有记忆信源的熵 2.9 2.9 离散信源的信息（速）率和信息含量效率离散信源的信息（速）率和信息含量效率 2.10 2.10 连续随机变量下的熵和平均互信息量连续随机变量下的熵和平均互信息量 2.1 2.1 信源模型信源模型n n信源模型的建立信源模型的建立n n信源分类信源分类1 1 实际信源实际信源n n信源的性质由其输出完全确定。信源的性质由其输出完全确定。信源的性质由其输出完全确定。信源的性质由其输出完全确定。n n实际信源的输出各不相同，可能是汉字、英文、实际信源的输出各不相同，可能是汉字、英文、实际信源的输出各不相同，可能是汉字、英文、实际信源的输出各不相同，可能是汉字、英文、声音、图像等，统称为消息。声音、图像等，统称为消息。声音、图像等，统称为消息。声音、图像等，统称为消息。n n信源发出消息的过程，等同于从一个基本消息信源发出消息的过程，等同于从一个基本消息信源发出消息的过程，等同于从一个基本消息信源发出消息的过程，等同于从一个基本消息集合取出基本消息的过程。集合取出基本消息的过程。集合取出基本消息的过程。集合取出基本消息的过程。信源信源消息消息消息消息基本消息集合基本消息集合基本消息集合基本消息集合基本消息基本消息基本消息基本消息2 2 信源模型信源模型对认识主体而言，信源在某一时刻输出什么符号是随机的。对认识主体而言，信源在某一时刻输出什么符号是随机的。对认识主体而言，信源在某一时刻输出什么符号是随机的。对认识主体而言，信源在某一时刻输出什么符号是随机的。信源信源消息消息消息消息基本消息集合基本消息集合基本消息集合基本消息集合基本消息基本消息基本消息基本消息信源信源随机变量随机变量随机变量随机变量序列序列序列序列值域值域值域值域符号集或符号表符号集或符号表符号集或符号表符号集或符号表3 3 信源分类信源分类 （一）（一）根据参数集和值域是离散集合还是连续区间进行分类：根据参数集和值域是离散集合还是连续区间进行分类：根据参数集和值域是离散集合还是连续区间进行分类：根据参数集和值域是离散集合还是连续区间进行分类：信源信源随机变量随机变量随机变量随机变量序列序列序列序列值域值域值域值域信源输出随机变量序列信源输出随机变量序列：参数集：参数集(1)(1)(1)(1)时间离散空间离散信源时间离散空间离散信源时间离散空间离散信源时间离散空间离散信源:离散，离散，离散，离散，离散。（离散。（离散。（离散。（离散信源离散信源离散信源离散信源）(2)(2)(2)(2)时间离散空间连续信源时间离散空间连续信源时间离散空间连续信源时间离散空间连续信源:离散，离散，离散，离散，连续。（连续。（连续。（连续。（连续信源连续信源连续信源连续信源）(3)(3)(3)(3)时间连续空间离散信源时间连续空间离散信源时间连续空间离散信源时间连续空间离散信源:连续，连续，连续，连续，离散。离散。离散。离散。(4)(4)(4)(4)时间连续空间连续信源时间连续空间连续信源时间连续空间连续信源时间连续空间连续信源:连续，连续，连续，连续，连续。（连续。（连续。（连续。（波形信源波形信源波形信源波形信源）4 4 信源分类信源分类 （二）（二）（1 1 1 1）有记忆信源：）有记忆信源：）有记忆信源：）有记忆信源：中各随机变量是统计相关。中各随机变量是统计相关。中各随机变量是统计相关。中各随机变量是统计相关。（2 2 2 2）平稳信源：序列的统计特性与时间的推移无关。）平稳信源：序列的统计特性与时间的推移无关。）平稳信源：序列的统计特性与时间的推移无关。）平稳信源：序列的统计特性与时间的推移无关。根据信源输出随机变量序列根据信源输出随机变量序列根据信源输出随机变量序列根据信源输出随机变量序列的统计关联性进行分类：的统计关联性进行分类：的统计关联性进行分类：的统计关联性进行分类：（3 3 3 3）无记忆信源：）无记忆信源：）无记忆信源：）无记忆信源：是是是是一族相互独立的一族相互独立的一族相互独立的一族相互独立的随机变量。随机变量。随机变量。随机变量。2.22.2（概率）信息的描述（概率）信息的描述n n离散无记忆信源（离散无记忆信源（离散无记忆信源（离散无记忆信源（DMSDMSDMSDMS）n n非理想观察模型非理想观察模型非理想观察模型非理想观察模型1 离散无记忆信源离散无记忆信源DMS：Discrete Memoryless Source，离散无记忆信源离散无记忆信源 。DMSDMS随机变量随机变量随机变量随机变量序列序列序列序列值域值域值域值域符号集或符号表符号集或符号表符号集或符号表符号集或符号表：独立同分布随机变量序列独立同分布随机变量序列。DMSDMS离散无记忆信源（续）离散无记忆信源（续）DMSDMS先验概率：先验概率：先验概率集合：先验概率集合：DMS的概率空间：的概率空间：概率的完备性条件：概率的完备性条件：有用的记号：有用的记号：2 非理想观察模型非理想观察模型：先验概率集合：先验概率集合：先验概率集合：先验概率集合 ：后验概率集合：后验概率集合：后验概率集合：后验概率集合 ：转移概率集合：转移概率集合：转移概率集合：转移概率集合信源观察过程 传递的信息先验不确定性后验不确定性传递的信息先验不确定性后验不确定性传递的信息先验不确定性后验不确定性传递的信息先验不确定性后验不确定性 2.3 2.3 不确定性与信息不确定性与信息 n信息是不确定性的减少量。信息是不确定性的减少量。n为度量信息，可从度量不确定性入手。为度量信息，可从度量不确定性入手。n不确定性的种类很多。不确定性的种类很多。未经统计平均的不确定性有：未经统计平均的不确定性有：自信息量、条件自信息量和联合自信息量。自信息量、条件自信息量和联合自信息量。统计平均意义下的不确定性有：统计平均意义下的不确定性有：熵、条件熵和联合熵。熵、条件熵和联合熵。n先介绍各种不确定性的度量方法，然后再引入信息的先介绍各种不确定性的度量方法，然后再引入信息的度量方法。度量方法。1 1 自信息量自信息量DMSDMS注注：自自 信信 息息 量量 与与 信信 息息 有有 联联 系系，但但 不不 是是 信信 息息，而而 是符号的先验不确定性。是符号的先验不确定性。：的（先验）不确定性的（先验）不确定性 ，也称为，也称为 的自信息量的自信息量。自信息量的单位自信息量的单位自信息量的单位与公式中自信息量的单位与公式中对数底对数底的选取有关的选取有关。进制单位进制单位正整数正整数 十进制单位，迪特（十进制单位，迪特（ditdit，decimal digitdecimal digit的缩写），也可用哈特（的缩写），也可用哈特（HartHart）自然单位，奈特（自然单位，奈特（natnat，natural digitnatural digit）二进制单位，比特（二进制单位，比特（bitbit，binary digitbinary digit）单位单位对数符号102对数底对数底自信息量的单位（续）自信息量的单位（续）单位单位换算：换算：进制单位进制单位 为了强调是为了强调是为了强调是为了强调是符号符号符号符号的不确定性，我们将单位写成：的不确定性，我们将单位写成：的不确定性，我们将单位写成：的不确定性，我们将单位写成：bit/bit/bit/bit/符号符号符号符号 nat/nat/nat/nat/符号符号符号符号 dit/dit/dit/dit/符号符号符号符号 r r r r进制单位进制单位进制单位进制单位/符号符号符号符号自信息量单位的物理含义说明自信息量单位的物理含义说明意义：意义：的不确定性可用的不确定性可用2 2位二进制数字位二进制数字来度量或来度量或1 1位位四进制数字四进制数字来度量。来度量。例例 随机变量随机变量 ，各符号的概率相等，各符号的概率相等，则各符号的自信息量相等：则各符号的自信息量相等：Bit/Bit/符号符号Bit/Bit/符号符号2 联合自信息量联合自信息量DMSDMS联合符号联合符号 的先验不确定性称为联合自信息量的先验不确定性称为联合自信息量:bit/bit/二元符号二元符号 多元联合符号的联合自信息量多元联合符号的联合自信息量 三元符号的自信息量为三元符号的自信息量为:bit/bit/三元符号三元符号 3 条件自信息量条件自信息量对于联合随机变量对于联合随机变量:存在两种条件概率存在两种条件概率:在条件在条件 下的条件自信息量下的条件自信息量 :bit/bit/符号符号 思考思考:自信息量的物理解释自信息量的物理解释信源观察过程先先先先验验验验概概概概率率率率先先先先验验验验不不不不确确确确定定定定性性性性后后后后验验验验概概概概率率率率后验后验后验后验不确定性不确定性不确定性不确定性转转转转移移移移概概概概率率率率干扰引入的不干扰引入的不干扰引入的不干扰引入的不确定性确定性确定性确定性例例例例1 1 1 1 甲在一甲在一甲在一甲在一88888888的方格棋盘上随意放入一个棋子，在乙看的方格棋盘上随意放入一个棋子，在乙看的方格棋盘上随意放入一个棋子，在乙看的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是不确定的。来棋子落入的位置是不确定的。来棋子落入的位置是不确定的。来棋子落入的位置是不确定的。（1 1 1 1）在乙看来，棋子落入某方格的不确定性为多少？）在乙看来，棋子落入某方格的不确定性为多少？）在乙看来，棋子落入某方格的不确定性为多少？）在乙看来，棋子落入某方格的不确定性为多少？（2 2 2 2）若甲告知乙棋子落入方格的行号，这时，在乙看来）若甲告知乙棋子落入方格的行号，这时，在乙看来）若甲告知乙棋子落入方格的行号，这时，在乙看来）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？棋子落入某方格的不确定性为多少？棋子落入某方格的不确定性为多少？棋子落入某方格的不确定性为多少？解解解解 棋格按顺序编号棋格按顺序编号棋格按顺序编号棋格按顺序编号棋格行号棋格行号棋格行号棋格行号(1)(1)bit/bit/bit/bit/符号符号符号符号(2)(2)bit/bit/bit/bit/符号符号符号符号4 自信息量的自信息量的性质性质和相互关系和相互关系(1)(1)概率为概率为0 0时，相应的自信息量无意义。时，相应的自信息量无意义。(2)(2)非负性。三种自信息量均非负。非负性。三种自信息量均非负。公式公式:自信息量的性质和自信息量的性质和相互关系（续一）相互关系（续一）公式公式:联合概率、条件概率和边缘概率之间的乘法关系：联合概率、条件概率和边缘概率之间的乘法关系：自信息量的可加性自信息量的可加性:物理解释物理解释:教材第教材第2121页。页。自信息量相互关系推广自信息量相互关系推广自信息量的可加性自信息量的可加性:推广到多维空间推广到多维空间 自信息量可加性的链公式：自信息量可加性的链公式：特殊情况下自信息量特殊情况下自信息量相互关系相互关系公式公式:自信息量的可加性自信息量的可加性:当当 和和 统计独立时，统计独立时，概率之间的乘法关系：概率之间的乘法关系：可加性的链公式：可加性的链公式：5 5 互信息量及其性质互信息量及其性质 信源观察过程信源观察过程 的后验不确定性的后验不确定性的后验不确定性的后验不确定性 的先验不确定性的先验不确定性的先验不确定性的先验不确定性 从从从从 中获得的关于中获得的关于中获得的关于中获得的关于 的信息的信息的信息的信息 的先验不确定性的先验不确定性的先验不确定性的先验不确定性 的后验不确定性的后验不确定性的后验不确定性的后验不确定性：互信息量，事件信息：互信息量，事件信息实在信息实在信息从从 中得到了中得到了 的全部信息的全部信息 含有的含有的实在信息实在信息在数值上等于在数值上等于例例2 甲在一甲在一8888的方格棋盘上随意放入一个的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是不确定的。棋子，在乙看来棋子落入的位置是不确定的。（1 1）若甲告知乙棋子落入方格的行号，）若甲告知乙棋子落入方格的行号，这时乙得到了多少信息量？这时乙得到了多少信息量？（2 2）若甲将棋子落入方格的行号和列号）若甲将棋子落入方格的行号和列号都告知乙，这时乙得到了多少信息量？都告知乙，这时乙得到了多少信息量？例例2 2解解解解解解 棋格按顺序编号棋格按顺序编号棋格按顺序编号棋格按顺序编号棋格行号棋格行号棋格行号棋格行号棋格列号棋格列号棋格列号棋格列号例例2 2解（续一）解（续一）（1 1）告知）告知行号行号，乙得到的信息量：，乙得到的信息量：bit/bit/bit/bit/符号符号符号符号观察过程观察过程信源信源例例2 2解（续二）解（续二）（2 2 2 2）既告知）既告知）既告知）既告知行号行号行号行号又告知又告知又告知又告知列号列号列号列号，乙得到的信息量：，乙得到的信息量：，乙得到的信息量：，乙得到的信息量：bit/bit/bit/bit/符号符号符号符号观察过程观察过程信源信源互信息量的性质互信息量的性质(1)(1)(1)(1)互易性互易性互易性互易性:(4)(4)(4)(4)互信息量不可能大于符号的自信息互信息量不可能大于符号的自信息互信息量不可能大于符号的自信息互信息量不可能大于符号的自信息 (2)(2)(2)(2)独立变量的互信息量为独立变量的互信息量为独立变量的互信息量为独立变量的互信息量为0:0:0:0:若若 、相互独立，则相互独立，则(3)3)3)3)互信息量可正可负互信息量可正可负互信息量可正可负互信息量可正可负条件互信息量条件互信息量 记三元联合概率空间为记三元联合概率空间为记三元联合概率空间为记三元联合概率空间为 在在在在 出现的条件之下，出现的条件之下，出现的条件之下，出现的条件之下，与与与与 之间的互信息量为之间的互信息量为之间的互信息量为之间的互信息量为2.4 2.4 离散熵离散熵n n熵的定义熵的定义熵的定义熵的定义n n熵的物理意义熵的物理意义熵的物理意义熵的物理意义n n熵的性质熵的性质熵的性质熵的性质1 1 熵的定义熵的定义DMSDMS：的（先验）不确定性的（先验）不确定性 ，也称为，也称为 的自信息量的自信息量。统计平均统计平均熵熵熵熵 的物理意义的物理意义:信源信源 的平均不确定性。的平均不确定性。关于熵的几点说明关于熵的几点说明熵公式：熵公式：（1 1）熵公式中，）熵公式中，只是一个记号，代表只是一个记号，代表 的熵，不能把的熵，不能把 看看作函数的自变量。作函数的自变量。（2 2）熵函数的自变量是先验概率）熵函数的自变量是先验概率 ：是是K-1K-1元函数。元函数。（3 3）熵的单位与自信息量的单位相同，与熵公式中所用对数）熵的单位与自信息量的单位相同，与熵公式中所用对数的底有关。的底有关。（4 4），规定，规定“0log0=0”“0log0=0”。因为。因为2 2 熵的性质熵的性质(1)(1)对称性对称性：其中其中是是的任意置换。的任意置换。(2)(2)可扩展性：加入零概率事件不会改变熵。可扩展性：加入零概率事件不会改变熵。熵公式：熵公式：确定性概率分布确定性概率分布 (3)非负性非负性熵公式：熵公式：(4)(4)强可加性强可加性“强可加性强可加性”证明证明定义新函数：定义新函数：则则于是于是(5)(5)可加性可加性“可加性可加性”是是“强可加性强可加性”的特殊情况，在的特殊情况，在“强可加性强可加性”中，令中，令就可得出可加性。就可得出可加性。“可加性可加性”证明证明令令则则强可加性：强可加性：（6 6）渐化性）渐化性证明方法：利用熵公式，将右式展开再合并证明方法：利用熵公式，将右式展开再合并 。说明：概率分布越均匀，熵越大。说明：概率分布越均匀，熵越大。（7 7）凸状性）凸状性 是上凸函数。是上凸函数。例例 （二元信源的熵二元信源的熵)设二元信源的概率空间为设二元信源的概率空间为 则熵为则熵为二元熵图示二元熵图示 （8 8）极值性）极值性记等概率分布为记等概率分布为则则二元熵图示二元熵图示 K=2K=2时，熵的图形时，熵的图形信息论不等式信息论不等式 定理定理2.12.1 (信息论不等式信息论不等式)对于任意实数对于任意实数 ，有不等式：，有不等式：当且仅当当且仅当 时，等式成立。时，等式成立。-10zln(z)z-11图示图示切线切线香农不等式香农不等式 证明证明:当且仅当当且仅当 时等式成立。时等式成立。“极值性极值性”证明证明极值性极值性:香农不等式香农不等式:在香农不等式中，令在香农不等式中，令，则有，则有例例 三元熵三元熵设三元信源为设三元信源为:根据熵公式根据熵公式,有有 三元熵图示三元熵图示2.5 2.5 联合熵和条件熵联合熵和条件熵 n联合熵：联合自信息量的统计平均。联合熵：联合自信息量的统计平均。n条件熵：条件自信息量的统计平均条件熵：条件自信息量的统计平均n各类熵之间的关系：与各类熵之间的关系：与各类自信息量之间的关各类自信息量之间的关系系对应。对应。1 1 联合熵联合熵设联合概率空间为设联合概率空间为 联合符号联合符号 的先验不确定性称为联合自信息量的先验不确定性称为联合自信息量:统计平均统计平均联联合合熵熵熵熵 的物理意义的物理意义:信源信源 的平均不确定性。的平均不确定性。2 2 条件熵条件熵设联合概率空间为设联合概率空间为 条件自信息量条件自信息量:统计平均统计平均条条件件熵熵 条件熵条件熵(续一续一)式中式中解释解释:是另一种条件熵，它只对是另一种条件熵，它只对 求了统计平均求了统计平均,而未对而未对 求统计平均，代表在给定条件求统计平均，代表在给定条件 下有关下有关 的的（平均）不确定性。（平均）不确定性。条件熵条件熵(续二续二)3 3 各类熵之间的关系各类熵之间的关系同理同理总之总之熵的强可加性熵的强可加性 推广推广各类熵之间的关系各类熵之间的关系(续续)于是于是因此，熵之间的关系简化：因此，熵之间的关系简化：熵的可加性熵的可加性 推广：推广：当当 与与 相互独立，则相互独立，则统计独立时，有统计独立时，有2.6 2.6 平均互信息量及其性质平均互信息量及其性质 联合概率空间：联合概率空间：互信息量：互信息量：统计平均统计平均平平均均互互信信息息量量1 1 平均互信息量的定义平均互信息量的定义2 2 平均互信息量的物理解释平均互信息量的物理解释信源观察过程 从从从从 中获得的关于中获得的关于中获得的关于中获得的关于 的信息的信息的信息的信息 的先验的先验的先验的先验(平均平均平均平均)不确定性不确定性不确定性不确定性 的后验的后验的后验的后验(平均平均平均平均)不确定性不确定性不确定性不确定性3 3 公式推导公式推导?推导推导:4 4 平均互信息量的性质平均互信息量的性质（1 1）互易性）互易性:说明说明:（2 2）非负性：）非负性：注意：注意：可正可负。可正可负。条件熵不会大于无条件熵，增加条件只可能使不确定性减条件熵不会大于无条件熵，增加条件只可能使不确定性减小，不会增大不确定性小，不会增大不确定性 推广：条件多的熵不会大于条件少的熵推广：条件多的熵不会大于条件少的熵 。即。即（3 3）有界性）有界性 ：简证：简证：5 各种熵以及平均互信息量之间的关系各种熵以及平均互信息量之间的关系 2.7 2.7 离散无记忆信源的扩展离散无记忆信源的扩展 DMSDMSDMS研究信源输出研究信源输出的的单个符号单个符号的的统计特性统计特性研究信源输出的研究信源输出的符号串符号串的统计特性的统计特性单符号信源单符号信源 的的 次扩展信源次扩展信源多符号信源多符号信源?扩展信源的熵扩展信源的熵DMSDMS?因为是因为是DMSDMS，故，故 独立同分布，所以独立同分布，所以例例 扩展信源模型的求法扩展信源模型的求法例例 设有离散无记忆信源设有离散无记忆信源 。（1 1）求）求 和和 ；（；（2 2）当）当 时，计算时，计算 。解解 （1 1）求）求2 2次和次和3 3次扩展信源的符号表次扩展信源的符号表:例例 扩展信源模型的求法扩展信源模型的求法(续一续一)求概率：求概率：根据信源的无记忆特性，有根据信源的无记忆特性，有 同理可得：同理可得：例例 扩展信源模型的求法扩展信源模型的求法(续二续二)（2 2）当）当 时，计算时，计算 。有两种求法。有两种求法。方法一：方法一：Bit/Bit/符号符号Bit/Bit/三元符号三元符号方法二：方法二：Bit/Bit/三元符号三元符号2.8 2.8 2.8 2.8 离散有记忆信源的熵离散有记忆信源的熵离散有记忆信源的熵离散有记忆信源的熵 N N阶平稳信源阶平稳信源一般有记忆信源一般有记忆信源一般有记忆信源一般有记忆信源Bit/NBit/N元符号元符号Bit/Bit/符号符号极限熵：极限熵：Bit/Bit/符号符号简单讨论简单讨论简单讨论简单讨论（1 1）是非增的、有界的是非增的、有界的 。：信源无记忆时的熵。：信源无记忆时的熵。：信源无记忆且等概率分布时的：信源无记忆且等概率分布时的熵，即最大熵。熵，即最大熵。信源内部有关联（也称有记忆）时，会使熵降低，当然实信源内部有关联（也称有记忆）时，会使熵降低，当然实在信息也会跟着降低。在信息也会跟着降低。简单讨论（续）简单讨论（续）简单讨论（续）简单讨论（续）（2 2）极限熵的另一种表达式：）极限熵的另一种表达式：（3 3）信源无记忆时，有）信源无记忆时，有Bit/Bit/符号符号（4 4）信源的）信源的实在信息实在信息在数值上等于其在数值上等于其平均不确定性平均不确定性，因此，因此，一般情况下恒有一般情况下恒有2.9 2.9 2.9 2.9 离散信源的信息（速）率和信息含量效率离散信源的信息（速）率和信息含量效率离散信源的信息（速）率和信息含量效率离散信源的信息（速）率和信息含量效率 离散信源离散信源离散信源离散信源离散信源的离散信源的信息率信息率 :平均一个符号所携带的信息量，也就平均一个符号所携带的信息量，也就是信源的实在信息，在数值上等于信源的极限熵。是信源的实在信息，在数值上等于信源的极限熵。Bit/Bit/符号符号Bit/Bit/秒秒信源的信源的信息速率信息速率 ：信源单位时间内发出的平均信息量。：信源单位时间内发出的平均信息量。1 1 信息率信息率信源平均发出一个信源平均发出一个符号所需的时间符号所需的时间 2 信息含量效率与冗余度信息含量效率与冗余度信源的信源的信息含量效率信息含量效率 ：信源的信源的相对冗余度相对冗余度 ：当且仅当信源是当且仅当信源是DMSDMS且等概率分布（且等概率分布（）时）时 例例 设设DMSDMS为为 。求信源的信息含。求信源的信息含量效率和相对冗余度。量效率和相对冗余度。解解：2.10 2.10 连续随机变量下的熵和平均互信息量连续随机变量下的熵和平均互信息量n连续随机变量下的熵：微分熵连续随机变量下的熵：微分熵n连续随机变量下的平均互信息量连续随机变量下的平均互信息量n微分熵的极大化问题微分熵的极大化问题本节讨论的主要问题：本节讨论的主要问题：1 1 连续随机变量下的熵连续随机变量下的熵（1 1）连续信源的数学模型）连续信源的数学模型 连续信源连续信源（2 2）连续信源的离散化）连续信源的离散化 将将 的值域的值域 等分为个子区间：等分为个子区间：第第 个子区间的概率个子区间的概率 ：离散化随机变量离散化随机变量 ：(3)(3)连续信源的熵连续信源的熵微分熵微分熵 为无穷大为无穷大,失去意义。失去意义。（4 4）微分熵微分熵n n微分熵与离散熵在表示形式上具有相似性；微分熵与离散熵在表示形式上具有相似性；微分熵与离散熵在表示形式上具有相似性；微分熵与离散熵在表示形式上具有相似性；n n微分熵只是实际熵的有限项，不能把微分熵式当作连续随微分熵只是实际熵的有限项，不能把微分熵式当作连续随微分熵只是实际熵的有限项，不能把微分熵式当作连续随微分熵只是实际熵的有限项，不能把微分熵式当作连续随机变量不确定性的度量公式；机变量不确定性的度量公式；机变量不确定性的度量公式；机变量不确定性的度量公式；n n连续随机变量取值于连续区间，有无穷多个取值点，每一连续随机变量取值于连续区间，有无穷多个取值点，每一连续随机变量取值于连续区间，有无穷多个取值点，每一连续随机变量取值于连续区间，有无穷多个取值点，每一点的概率均为点的概率均为点的概率均为点的概率均为0 0 0 0，自信息量无意义，因此不能像离散熵那，自信息量无意义，因此不能像离散熵那，自信息量无意义，因此不能像离散熵那，自信息量无意义，因此不能像离散熵那样把熵视为自信息量的统计平均；样把熵视为自信息量的统计平均；样把熵视为自信息量的统计平均；样把熵视为自信息量的统计平均；n不具备非负性，可能出现负值；不具备非负性，可能出现负值；n在比较熵的大小时，在比较熵的大小时，微分熵具有相对意义。微分熵具有相对意义。微分熵具有相对意义。微分熵具有相对意义。微分熵的一般表达式微分熵的一般表达式例例 均匀分布随机变量的熵均匀分布随机变量的熵设连续随机变量服从均匀分布，即概率密度函数为：设连续随机变量服从均匀分布，即概率密度函数为：由微分熵定义式，由微分熵定义式，有有注意：注意：微分熵不具备非负性！微分熵不具备非负性！例例 高斯分布随机变量的熵高斯分布随机变量的熵求熵时要注意计算技巧，注意使用以下两式：求熵时要注意计算技巧，注意使用以下两式：设连续随机变量服从高斯分布，即概率密度函数为：设连续随机变量服从高斯分布，即概率密度函数为：由微分熵定义式，由微分熵定义式，有有2 2 联合微分熵、条件微分熵联合微分熵、条件微分熵联合微分熵、条件微分熵联合微分熵、条件微分熵 联合微分熵联合微分熵联合微分熵联合微分熵 条件微分熵条件微分熵条件微分熵条件微分熵 微分微分微分微分熵之间的关系熵之间的关系熵之间的关系熵之间的关系:3 3 平均互信息量平均互信息量n n注注注注：n n该式可用离散化取极限的方法严格推出，是精确的，该式可用离散化取极限的方法严格推出，是精确的，该式可用离散化取极限的方法严格推出，是精确的，该式可用离散化取极限的方法严格推出，是精确的，并没有舍弃无穷大项取相对值并没有舍弃无穷大项取相对值并没有舍弃无穷大项取相对值并没有舍弃无穷大项取相对值 。n n平均互信息量概念本身就具有相对意义，求平均互信平均互信息量概念本身就具有相对意义，求平均互信平均互信息量概念本身就具有相对意义，求平均互信平均互信息量概念本身就具有相对意义，求平均互信息量时，实际连续熵中的无穷大项相互抵消了，只剩息量时，实际连续熵中的无穷大项相互抵消了，只剩息量时，实际连续熵中的无穷大项相互抵消了，只剩息量时，实际连续熵中的无穷大项相互抵消了，只剩下有限值相减。下有限值相减。下有限值相减。下有限值相减。n n连续情况下的平均互信息量有实际的物理意义，仍具连续情况下的平均互信息量有实际的物理意义，仍具连续情况下的平均互信息量有实际的物理意义，仍具连续情况下的平均互信息量有实际的物理意义，仍具有互易性和非负性有互易性和非负性有互易性和非负性有互易性和非负性 4 4 4 4 微分熵的极大化问题微分熵的极大化问题微分熵的极大化问题微分熵的极大化问题 （1 1 1 1）幅值受限幅值受限幅值受限幅值受限 所谓幅值受限，即随机变量的取值受限于某个区间之内。所谓幅值受限，即随机变量的取值受限于某个区间之内。所谓幅值受限，即随机变量的取值受限于某个区间之内。所谓幅值受限，即随机变量的取值受限于某个区间之内。由于幅值受限，所以峰值功率也受限了，二者是等价的。由于幅值受限，所以峰值功率也受限了，二者是等价的。由于幅值受限，所以峰值功率也受限了，二者是等价的。由于幅值受限，所以峰值功率也受限了，二者是等价的。定理定理定理定理 设设设设 的取值受限于有限区间的取值受限于有限区间的取值受限于有限区间的取值受限于有限区间 ，则，则，则，则 服从均服从均服从均服从均匀分布时，其熵达到最大。匀分布时，其熵达到最大。匀分布时，其熵达到最大。匀分布时，其熵达到最大。（定理2.1），均匀分布：均匀分布：均匀分布：均匀分布：最大微分熵：最大微分熵：最大微分熵：最大微分熵：（2 2）方差受限）方差受限 定理定理定理定理 设设设设 的均值为的均值为的均值为的均值为 ，方差受限为，方差受限为，方差受限为，方差受限为 ，则，则，则，则 服服服服从高斯分布时，其熵达到最大。从高斯分布时，其熵达到最大。从高斯分布时，其熵达到最大。从高斯分布时，其熵达到最大。高斯分布高斯分布高斯分布高斯分布 ：最大熵最大熵最大熵最大熵 ：则则则则