信息理论基础 第二章信息的度量PPT讲稿.ppt

《信息理论基础 第二章信息的度量PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息理论基础 第二章信息的度量PPT讲稿.ppt（99页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息理论基础 第二章 信息的度量第1页，共99页，编辑于2022年，星期四一一.单符号离散信源单符号离散信源 1.1.定义定义 如果信源发出的消息是离散的符号或数字，并且一如果信源发出的消息是离散的符号或数字，并且一如果信源发出的消息是离散的符号或数字，并且一如果信源发出的消息是离散的符号或数字，并且一个符号代表一条完整的消息，则称这种信源为单符号信源。个符号代表一条完整的消息，则称这种信源为单符号信源。个符号代表一条完整的消息，则称这种信源为单符号信源。个符号代表一条完整的消息，则称这种信源为单符号信源。2.2.数学模型数学模型第2页，共99页，编辑于2022年，星期四信源发送符号信源发送符

2、号信源发送符号信源发送符号a ai i的自信息量的自信息量的自信息量的自信息量I(ai),(,(i=1,2,=1,2,r),r)I(ai)=收到收到收到收到ai 前前前前,信宿对信源发送符号信宿对信源发送符号信宿对信源发送符号信宿对信源发送符号ai 的不确定性的不确定性的不确定性的不确定性-信源发送单个符号信源发送单个符号信源发送单个符号信源发送单个符号所携带的所携带的所携带的所携带的的信息量的信息量的信息量的信息量信息量的度量转化为对不确定性的度量信息量的度量转化为对不确定性的度量二二.自信息量自信息量 第3页，共99页，编辑于2022年，星期四I(ai)必须满足以下四个公理性条件必须满足以

3、下四个公理性条件:1.1.1.1.信源发送符号信源发送符号信源发送符号信源发送符号a ai i和和和和a aj j的先验概率分别为的先验概率分别为的先验概率分别为的先验概率分别为p p(a ai i)和和和和p p(a aj j),),如果如果如果如果00p p(a ai i)p p(a aj j)1)1,则则则则2.2.2.2.信源发送符号信源发送符号信源发送符号信源发送符号a ai i的先验概率的先验概率的先验概率的先验概率p p(a ai i)=0)=0,则则则则3.3.3.3.信源发送符号信源发送符号信源发送符号信源发送符号a ai i的先验概率的先验概率的先验概率的先验概率p p(a

4、 ai i)=1)=1,则则则则4.4.4.4.设有两个独立信源设有两个独立信源设有两个独立信源设有两个独立信源X X X X和和和和Y,Y,Y,Y,信源信源信源信源X X X X发送符号发送符号发送符号发送符号a ai i的先验概率为的先验概率为的先验概率为的先验概率为p p(a ai i),),信源信源信源信源Y Y Y Y发送符号发送符号发送符号发送符号a aj j的先验概率为的先验概率为的先验概率为的先验概率为p p(a aj j),),符号符号符号符号a ai i 和和a aj j的联合消息的联合消息的联合消息的联合消息(a ai ia aj j)的先验概的先验概的先验概的先验概率为

5、率为率为率为p p(a(ai ia aj j),则则则则第4页，共99页，编辑于2022年，星期四I(ai)的具体表达式的具体表达式:又名又名概率信息概率信息单位单位:以以以以2 2 2 2为底为底为底为底,单位为比特单位为比特单位为比特单位为比特以以以以e e e e为底为底为底为底,单位为奈特单位为奈特单位为奈特单位为奈特以以以以10101010为底为底为底为底,单位为哈特莱单位为哈特莱单位为哈特莱单位为哈特莱自信息量自信息量在历史上第一次使信息的度量成为可能，成为推动信在历史上第一次使信息的度量成为可能，成为推动信在历史上第一次使信息的度量成为可能，成为推动信在历史上第一次使信息的度量成

6、为可能，成为推动信息论发展的基石。息论发展的基石。息论发展的基石。息论发展的基石。第5页，共99页，编辑于2022年，星期四例例2-12-1：有有有有12121212个球，只有一个是非标重球，问是否存在用个球，只有一个是非标重球，问是否存在用个球，只有一个是非标重球，问是否存在用个球，只有一个是非标重球，问是否存在用天平称天平称天平称天平称3 3 3 3次必然找到该球的方法？次必然找到该球的方法？次必然找到该球的方法？次必然找到该球的方法？(从信息的角度解决从信息的角度解决从信息的角度解决从信息的角度解决)解：解：天平的状态有三种：天平的状态有三种：天平的状态有三种：天平的状态有三种：平衡、左

7、轻、左重平衡、左轻、左重平衡、左轻、左重平衡、左轻、左重 每称一次消除一种状态，则带来的信息量为每称一次消除一种状态，则带来的信息量为每称一次消除一种状态，则带来的信息量为每称一次消除一种状态，则带来的信息量为log3log3 则称则称则称则称3 3 3 3次后，带来的信息量为次后，带来的信息量为次后，带来的信息量为次后，带来的信息量为3log3=log273log3=log27 结论结论:而一个非标球的携带的信息量为而一个非标球的携带的信息量为而一个非标球的携带的信息量为而一个非标球的携带的信息量为可见：可见：信息的度量是为了找到解决问题的方法，信息的度量是为了找到解决问题的方法，信息的度量

8、是为了找到解决问题的方法，信息的度量是为了找到解决问题的方法，而不是纯粹度量信息的大小而不是纯粹度量信息的大小而不是纯粹度量信息的大小而不是纯粹度量信息的大小第6页，共99页，编辑于2022年，星期四三三.离散熵离散熵 请问请问:能否用自信息量作为信源的总体信息测度呢能否用自信息量作为信源的总体信息测度呢能否用自信息量作为信源的总体信息测度呢能否用自信息量作为信源的总体信息测度呢?从定性的角度可知：三个信源不确定性大小为从定性的角度可知：三个信源不确定性大小为从定性的角度可知：三个信源不确定性大小为从定性的角度可知：三个信源不确定性大小为XYZXYH(Y)H(X)H(Z)H(Y)H(X)H(Z

9、)H(Y)H(X)H(Z)H(Y)H(X)结论：结论：X X X X、Y Y Y Y、Z Z Z Z熵的大小关系与熵的大小关系与熵的大小关系与熵的大小关系与X X X X、Y Y Y Y、Z Z Z Z 不确定性的大小关不确定性的大小关不确定性的大小关不确定性的大小关系符合，说明熵的确可以作为信源的总体信息侧度系符合，说明熵的确可以作为信源的总体信息侧度系符合，说明熵的确可以作为信源的总体信息侧度系符合，说明熵的确可以作为信源的总体信息侧度第9页，共99页，编辑于2022年，星期四信息熵的物理意义信息熵的物理意义请问：请问：由熵的推导过程看，熵具有什么样的物理意义呢？由熵的推导过程看，熵具有什

10、么样的物理意义呢？由熵的推导过程看，熵具有什么样的物理意义呢？由熵的推导过程看，熵具有什么样的物理意义呢？3.3.3.3.反映随机变量反映随机变量反映随机变量反映随机变量X X X X的随机性的随机性的随机性的随机性2.2.2.2.表示信源输出前，信源的平均不确定度表示信源输出前，信源的平均不确定度表示信源输出前，信源的平均不确定度表示信源输出前，信源的平均不确定度1.1.1.1.表示信源输出后，每个离散消息所提供的平均信息量表示信源输出后，每个离散消息所提供的平均信息量表示信源输出后，每个离散消息所提供的平均信息量表示信源输出后，每个离散消息所提供的平均信息量熵还可记为熵还可记为H(P)或或

11、H(p1,p2,pr)第10页，共99页，编辑于2022年，星期四设离散无记忆信源设离散无记忆信源设离散无记忆信源设离散无记忆信源 其发生的消息为：其发生的消息为：其发生的消息为：其发生的消息为：（202120130213001203210110321010021032011223210202120130213001203210110321010021032011223210202120130213001203210110321010021032011223210202120130213001203210110321010021032011223210）求求求求（1 1 1 1）此消息的自信息

12、量。）此消息的自信息量。）此消息的自信息量。）此消息的自信息量。（2 2 2 2）在此消息中平均每个符号携带的信息量。）在此消息中平均每个符号携带的信息量。）在此消息中平均每个符号携带的信息量。）在此消息中平均每个符号携带的信息量。例例例例2-22-22-22-2第11页，共99页，编辑于2022年，星期四解：解：（1 1）消息的自信息量就是等于消息中各个符号的自信息消息的自信息量就是等于消息中各个符号的自信息消息的自信息量就是等于消息中各个符号的自信息消息的自信息量就是等于消息中各个符号的自信息量之和量之和量之和量之和。根据题意可得：。根据题意可得：此消息中共有此消息中共有1414个个“0

13、0”符号，符号，1313个个“1 1”符号，符号，1212个个“2 2”符号，符号，6 6个个“3 3”符号，则得到的符号，则得到的自信息量是：自信息量是：自信息量是：自信息量是：第12页，共99页，编辑于2022年，星期四（2 2 2 2）此消息中平均每个符号携带的信息量为：）此消息中平均每个符号携带的信息量为：）此消息中平均每个符号携带的信息量为：）此消息中平均每个符号携带的信息量为：原因原因：(2)(2)(2)(2)问的值问的值问的值问的值是该特定消息中平均每个符号携带的信息量，而是该特定消息中平均每个符号携带的信息量，而信息熵是离散无记忆信源平均每个符号携带的信息量，是统计平均值。信息

14、熵是离散无记忆信源平均每个符号携带的信息量，是统计平均值。信源的信息熵信源的信息熵信源的信息熵信源的信息熵:结论结论:(2)(2)(2)(2)问的值与信源的信息熵问的值与信源的信息熵问的值与信源的信息熵问的值与信源的信息熵不完全相等不完全相等第13页，共99页，编辑于2022年，星期四例例 熵在语音端点检测中的应用熵在语音端点检测中的应用熵在语音端点检测中的应用熵在语音端点检测中的应用(本人的实际工作）本人的实际工作）本人的实际工作）本人的实际工作）纯净语音波形纯净语音波形纯净语音波形纯净语音波形带噪语音波形带噪语音波形带噪语音波形带噪语音波形谱熵加能量参数谱熵加能量参数谱熵加能量参数谱熵加能

15、量参数分带谱熵加能量参数分带谱熵加能量参数分带谱熵加能量参数分带谱熵加能量参数第14页，共99页，编辑于2022年，星期四四四.熵的性质熵的性质 1.1.对称性对称性 ,各各各各p pn n的顺序变化的顺序变化的顺序变化的顺序变化,不影不影不影不影响熵值响熵值响熵值响熵值各自的熵为各自的熵为:H(X)=H(Y)=H(Z)=1.4592 bit/symbol对称性说明对称性说明:-信源的信息熵只与信源的概率空间的总体结构有关信源的信息熵只与信源的概率空间的总体结构有关信源的信息熵只与信源的概率空间的总体结构有关信源的信息熵只与信源的概率空间的总体结构有关,与具体内容与具体内容与具体内容与具体内容

16、无关无关无关无关例例：第15页，共99页，编辑于2022年，星期四2.2.非负性非负性证明：证明：提问提问:何时等式成立何时等式成立何时等式成立何时等式成立?非负性表明：非负性表明：从总体看，信源在发送符号以前，总存在一定的不确定从总体看，信源在发送符号以前，总存在一定的不确定从总体看，信源在发送符号以前，总存在一定的不确定从总体看，信源在发送符号以前，总存在一定的不确定性；在发符号后，总可提供一定的信息量性；在发符号后，总可提供一定的信息量性；在发符号后，总可提供一定的信息量性；在发符号后，总可提供一定的信息量第16页，共99页，编辑于2022年，星期四则则或或又又只有某一个只有某一个，而其

17、他，而其他当且仅当在当且仅当在 中各项为零时等号成立，中各项为零时等号成立，即即 第17页，共99页，编辑于2022年，星期四若若若若信信信信源源源源符符符符号号号号集集集集中中中中，有有有有一一一一个个个个符符符符号号号号几几几几乎乎乎乎必必必必然然然然出出出出现现现现，其其其其他他他他符符符符号号号号几几几几乎不可能出现，则该信源为一个确知信源，则信息熵等于零乎不可能出现，则该信源为一个确知信源，则信息熵等于零乎不可能出现，则该信源为一个确知信源，则信息熵等于零乎不可能出现，则该信源为一个确知信源，则信息熵等于零,即：即：即：即：3.3.确定性确定性熵函数的确定性表明：熵函数的确定性表明：

18、只有信源的任一个概率分量等于只有信源的任一个概率分量等于只有信源的任一个概率分量等于只有信源的任一个概率分量等于1 1 1 1时，才能使信源信息熵时，才能使信源信息熵时，才能使信源信息熵时，才能使信源信息熵等于零，除此以外的任何情况的信息熵都大于零。等于零，除此以外的任何情况的信息熵都大于零。等于零，除此以外的任何情况的信息熵都大于零。等于零，除此以外的任何情况的信息熵都大于零。对于确知信源，发符号前，不存在不确定性；发符号后，不对于确知信源，发符号前，不存在不确定性；发符号后，不对于确知信源，发符号前，不存在不确定性；发符号后，不对于确知信源，发符号前，不存在不确定性；发符号后，不提供任何信

19、息量。提供任何信息量。提供任何信息量。提供任何信息量。第18页，共99页，编辑于2022年，星期四4.4.上凸性上凸性YX X 0 H X+(1-)Y设有一个多元函数或矢量函数设有一个多元函数或矢量函数设有一个多元函数或矢量函数设有一个多元函数或矢量函数 第19页，共99页，编辑于2022年，星期四证明证明:由于后面两项的数值均大于零，故有：由于后面两项的数值均大于零，故有：由于后面两项的数值均大于零，故有：由于后面两项的数值均大于零，故有：上凸性说明：上凸性说明：熵函数具有极大值熵函数具有极大值熵函数具有极大值熵函数具有极大值取取则则:第20页，共99页，编辑于2022年，星期四5.5.极值

20、性（最大离散熵定理）极值性（最大离散熵定理）H(P)H(P)logr,logr,当且仅当等概分布时等号成立当且仅当等概分布时等号成立当且仅当等概分布时等号成立当且仅当等概分布时等号成立,r r为为为为X X的取值个数的取值个数的取值个数的取值个数证明：证明：证明：证明：按条件极大值的数学求解方法，作辅助函数：按条件极大值的数学求解方法，作辅助函数：按条件极大值的数学求解方法，作辅助函数：按条件极大值的数学求解方法，作辅助函数：其中其中其中其中，为待定常数，对辅助函数中的为待定常数，对辅助函数中的为待定常数，对辅助函数中的为待定常数，对辅助函数中的r r个变量个变量个变量个变量p pi i(i=

21、1,2,r)(i=1,2,r)分别求偏分别求偏分别求偏分别求偏导，并令为零，得导，并令为零，得导，并令为零，得导，并令为零，得r r个稳定方程个稳定方程个稳定方程个稳定方程将上式代入约束条件得：将上式代入约束条件得：将上式代入约束条件得：将上式代入约束条件得：熵函数的最大值为熵函数的最大值为熵函数的最大值为熵函数的最大值为则有：则有：则有：则有：H(P)logr,H(P)logr,当且仅当等概分布时等号成立当且仅当等概分布时等号成立当且仅当等概分布时等号成立当且仅当等概分布时等号成立第21页，共99页，编辑于2022年，星期四熵的极值性说明熵的极值性说明：在所有符号个数相同，而符号的概率分布不

22、同在所有符号个数相同，而符号的概率分布不同在所有符号个数相同，而符号的概率分布不同在所有符号个数相同，而符号的概率分布不同的离散信源中，以先验等概的信源的信息熵最大，的离散信源中，以先验等概的信源的信息熵最大，的离散信源中，以先验等概的信源的信息熵最大，的离散信源中，以先验等概的信源的信息熵最大，其最大值等于信源符号个数其最大值等于信源符号个数其最大值等于信源符号个数其最大值等于信源符号个数r r r r的对数；的对数；的对数；的对数；同时说明同时说明：离散信源信息熵的最大值，只取决于信源符号离散信源信息熵的最大值，只取决于信源符号离散信源信息熵的最大值，只取决于信源符号离散信源信息熵的最大值

23、，只取决于信源符号的个数的个数的个数的个数r r r r，r r r r越大，其信息熵也越大越大，其信息熵也越大越大，其信息熵也越大越大，其信息熵也越大第22页，共99页，编辑于2022年，星期四6.6.扩展性扩展性含含义义：若若若若信信信信源源源源X X有有有有q q个个个个符符符符号号号号，信信信信源源源源Y Y有有有有q+1q+1个个个个符符符符号号号号，两两两两者者者者的的的的差差差差异异异异只只只只多多多多了一个概率接近零的符号，则两信源的熵值是一样的；了一个概率接近零的符号，则两信源的熵值是一样的；了一个概率接近零的符号，则两信源的熵值是一样的；了一个概率接近零的符号，则两信源的熵

24、值是一样的；证明：证明：扩展性说明：扩展性说明：若信源空间中增加某些概率接近于零的信若信源空间中增加某些概率接近于零的信若信源空间中增加某些概率接近于零的信若信源空间中增加某些概率接近于零的信源符号，对信源的熵值的贡献可以忽略不计源符号，对信源的熵值的贡献可以忽略不计源符号，对信源的熵值的贡献可以忽略不计源符号，对信源的熵值的贡献可以忽略不计第23页，共99页，编辑于2022年，星期四提问：提问：在通信的接收端，当接收到符号在通信的接收端，当接收到符号在通信的接收端，当接收到符号在通信的接收端，当接收到符号y y后，对信源发送符号后，对信源发送符号后，对信源发送符号后，对信源发送符号x x到底

25、到底到底到底还存在多大的不确定度呢？或者说在还存在多大的不确定度呢？或者说在还存在多大的不确定度呢？或者说在还存在多大的不确定度呢？或者说在y y已知的条件下，已知的条件下，已知的条件下，已知的条件下，x x发生会带来多发生会带来多发生会带来多发生会带来多大的信息量呢？大的信息量呢？大的信息量呢？大的信息量呢？五五.条件自信息量条件自信息量 事件事件事件事件x x在事件在事件在事件在事件y y给定的条件下的自信息量定义为给定的条件下的自信息量定义为给定的条件下的自信息量定义为给定的条件下的自信息量定义为条件自信息量条件自信息量条件自信息量条件自信息量：含义含义：已知已知已知已知y y后对后对后

26、对后对x x 则有一定的了解则有一定的了解则有一定的了解则有一定的了解，不了解的那部分携带的信不了解的那部分携带的信不了解的那部分携带的信不了解的那部分携带的信息量既是条件自信息量，也可表示息量既是条件自信息量，也可表示息量既是条件自信息量，也可表示息量既是条件自信息量，也可表示已知已知已知已知y y后对后对后对后对x x还残留的不确定度。还残留的不确定度。还残留的不确定度。还残留的不确定度。引入条件自信息量的目的引入条件自信息量的目的：衡量符号之间相关性导致携带信息的变化衡量符号之间相关性导致携带信息的变化衡量符号之间相关性导致携带信息的变化衡量符号之间相关性导致携带信息的变化 在通信系统中

27、可以描述信道的作用在通信系统中可以描述信道的作用在通信系统中可以描述信道的作用在通信系统中可以描述信道的作用第24页，共99页，编辑于2022年，星期四 设在一正方形棋盘上共有设在一正方形棋盘上共有设在一正方形棋盘上共有设在一正方形棋盘上共有64646464个方格，如果个方格，如果个方格，如果个方格，如果甲将一粒棋甲将一粒棋甲将一粒棋甲将一粒棋子随意放在棋盘中的某方格且让乙猜测棋子所在的位置所子随意放在棋盘中的某方格且让乙猜测棋子所在的位置所子随意放在棋盘中的某方格且让乙猜测棋子所在的位置所子随意放在棋盘中的某方格且让乙猜测棋子所在的位置所携带的信息量携带的信息量携带的信息量携带的信息量：（1

28、 1 1 1）将方格按顺序编号，令乙猜测棋子所在方格的）将方格按顺序编号，令乙猜测棋子所在方格的）将方格按顺序编号，令乙猜测棋子所在方格的）将方格按顺序编号，令乙猜测棋子所在方格的顺序号；顺序号；顺序号；顺序号；（2 2 2 2）将方格分别按行和列编号，甲将棋子所在方格的）将方格分别按行和列编号，甲将棋子所在方格的）将方格分别按行和列编号，甲将棋子所在方格的）将方格分别按行和列编号，甲将棋子所在方格的行或列编号告诉乙之后，再令乙猜测棋子所在列或行的行或列编号告诉乙之后，再令乙猜测棋子所在列或行的行或列编号告诉乙之后，再令乙猜测棋子所在列或行的行或列编号告诉乙之后，再令乙猜测棋子所在列或行的位置

29、。位置。位置。位置。例例2-32-3：第25页，共99页，编辑于2022年，星期四解：解：解：解：（1 1 1 1）令把棋子任意放在棋盘的某一格为事件）令把棋子任意放在棋盘的某一格为事件）令把棋子任意放在棋盘的某一格为事件）令把棋子任意放在棋盘的某一格为事件x xi i，则该事件发生的，则该事件发生的，则该事件发生的，则该事件发生的概率为：概率为：概率为：概率为：则该事件携带的信息量为：则该事件携带的信息量为：则该事件携带的信息量为：则该事件携带的信息量为：（2 2 2 2）设行为随机变量）设行为随机变量）设行为随机变量）设行为随机变量X X，列为随机变量，列为随机变量，列为随机变量，列为随机

30、变量Y Y，则在事件，则在事件，则在事件，则在事件y yj j发生后事件发生后事件发生后事件发生后事件x xi i发生的概率为：发生的概率为：发生的概率为：发生的概率为：则该事件携带的信息量为：则该事件携带的信息量为：则该事件携带的信息量为：则该事件携带的信息量为：由结果可知由结果可知:事件事件事件事件y yj j的出现降低了事件的出现降低了事件的出现降低了事件的出现降低了事件x xi i发生所携带的信息量发生所携带的信息量发生所携带的信息量发生所携带的信息量原因原因:事件事件事件事件y yj j的出现带来了事件的出现带来了事件的出现带来了事件的出现带来了事件x xi i的部分的信息，导致对事

31、件的部分的信息，导致对事件的部分的信息，导致对事件的部分的信息，导致对事件x xi i的不的不的不的不确定性减小确定性减小确定性减小确定性减小第26页，共99页，编辑于2022年，星期四请问请问:当在接收端接收到符号当在接收端接收到符号当在接收端接收到符号当在接收端接收到符号y y y y后后后后,信源的整体特性会发生信源的整体特性会发生信源的整体特性会发生信源的整体特性会发生变化吗变化吗变化吗变化吗?如果发生变化如果发生变化如果发生变化如果发生变化,则在该条件下则在该条件下则在该条件下则在该条件下,信源每发送一个符号平信源每发送一个符号平信源每发送一个符号平信源每发送一个符号平均可提供的信息

32、是多少均可提供的信息是多少均可提供的信息是多少均可提供的信息是多少?当接收端收到的所有的符号后当接收端收到的所有的符号后当接收端收到的所有的符号后当接收端收到的所有的符号后,发送端的信源每发发送端的信源每发发送端的信源每发发送端的信源每发送一个符号平均可提供多少信息送一个符号平均可提供多少信息送一个符号平均可提供多少信息送一个符号平均可提供多少信息?第27页，共99页，编辑于2022年，星期四六六.条件熵条件熵给定给定给定给定y yj j条件下集合条件下集合条件下集合条件下集合X X X X的总体信息度量有：的总体信息度量有：的总体信息度量有：的总体信息度量有：再考虑整个再考虑整个再考虑整个再

33、考虑整个Y Y Y Y集合，有：集合，有：集合，有：集合，有：同理：同理：同理：同理：第28页，共99页，编辑于2022年，星期四 H(Y|X)表示表示已知已知已知已知X X后后后后Y Y“残留残留残留残留”的不确定度的不确定度的不确定度的不确定度条件熵的含义：条件熵的含义：表示在已知一随机变量的情况下，对另一随机变表示在已知一随机变量的情况下，对另一随机变量的不确定性的度量。量的不确定性的度量。H(X|Y)表示表示已知已知已知已知Y Y后后后后X X“残留残留残留残留”的不确定度的不确定度的不确定度的不确定度信道信道X XY Y请问请问：H(X|Y)表示什么意义？表示什么意义？表示接收端接收

34、到表示接收端接收到表示接收端接收到表示接收端接收到Y Y Y Y后对后对后对后对X X X X还残留的不确定度，即对还残留的不确定度，即对还残留的不确定度，即对还残留的不确定度，即对X X X X还有未知的部分，这还有未知的部分，这还有未知的部分，这还有未知的部分，这部分通过信道传输时由于信道中的干扰被损失了部分通过信道传输时由于信道中的干扰被损失了部分通过信道传输时由于信道中的干扰被损失了部分通过信道传输时由于信道中的干扰被损失了第29页，共99页，编辑于2022年，星期四七七.联合熵联合熵联合熵联合熵H(XY)含义含义:表示联合随机变量表示联合随机变量表示联合随机变量表示联合随机变量XYX

35、Y携带的信息量，即两者携带的信息量，即两者携带的信息量，即两者携带的信息量，即两者携带的信息之和携带的信息之和携带的信息之和携带的信息之和.第30页，共99页，编辑于2022年，星期四八八.各种熵之间的关系各种熵之间的关系1.联合熵与离散熵、条件熵的关系联合熵与离散熵、条件熵的关系同理：同理：第31页，共99页，编辑于2022年，星期四当当X X、Y Y相互独立有：相互独立有：第32页，共99页，编辑于2022年，星期四2.联合熵与离散熵的关系联合熵与离散熵的关系当当X X和和Y Y相互独立时相互独立时,等式成立等式成立证明：证明：证明：证明：利用对于任意实数利用对于任意实数利用对于任意实数利

36、用对于任意实数x0 x0 x0 x0,有有有有则：则：则：则：第33页，共99页，编辑于2022年，星期四3.条件熵与离散熵的关系条件熵与离散熵的关系证明：证明：当当当当X X X X和和和和Y Y Y Y有确定的函数关系，且有确定的函数关系，且有确定的函数关系，且有确定的函数关系，且X X X X可完全确定可完全确定可完全确定可完全确定Y Y Y Y，或，或，或，或Y Y Y Y完全完全完全完全确定确定确定确定X X X X，则，则，则，则 则有则有则有则有 第34页，共99页，编辑于2022年，星期四总结总结：各种熵之间的关系：各种熵之间的关系：各种熵之间的关系：各种熵之间的关系(利用集合

37、概念利用集合概念利用集合概念利用集合概念)X YH(X)H(X)X YH(XY)H(XY)X YH(X|YH(X|Y)X YH(Y|XH(Y|X)第35页，共99页，编辑于2022年，星期四设一系统的输入符号集设一系统的输入符号集设一系统的输入符号集设一系统的输入符号集X=X=(x x1 1,x,x2 2,x,x3 3,x,x4 4,x,x5 5)，输出符号集，输出符号集，输出符号集，输出符号集Y=Y=(y y1 1,y,y2 2,y,y3 3,y,y4 4)输入符号与输出符号间的联合分布为输入符号与输出符号间的联合分布为输入符号与输出符号间的联合分布为输入符号与输出符号间的联合分布为试求试求

38、:H(XY)H(XY)、H(X)H(X)、H(Y)H(Y)、H(Y|X)H(Y|X)和和和和H(X|Y)H(X|Y)例例2-42-4第36页，共99页，编辑于2022年，星期四解：解：由全概率公式可知：由全概率公式可知：由全概率公式可知：由全概率公式可知：则从已知可求：则从已知可求：则从已知可求：则从已知可求：第37页，共99页，编辑于2022年，星期四H(Y|X)=H(XY)-H(X)H(Y|X)=H(XY)-H(X)=2.665-2.066 =2.665-2.066 =0.599bit/symbol =0.599bit/symbolH(X|Y)=H(XY)-H(Y)H(X|Y)=H(XY)

39、-H(Y)=2.665-1.856 =2.665-1.856 =0.809bit/symbol =0.809bit/symbol第38页，共99页，编辑于2022年，星期四例例2-52-5：设设设设A A A A、B B B B两地的天气情况分别如表所示：两地的天气情况分别如表所示：两地的天气情况分别如表所示：两地的天气情况分别如表所示：晴晴晴晴多云多云多云多云雨雨雨雨冰雹冰雹冰雹冰雹A A1/21/21/41/41/81/81/81/8B B1/21/21/81/81/81/81/41/4求各地天气情况携带的信息量求各地天气情况携带的信息量求各地天气情况携带的信息量求各地天气情况携带的信息量

40、解：解：提问：提问：熵能描述主观价值吗？熵能描述主观价值吗？熵能描述主观价值吗？熵能描述主观价值吗？信息熵信息熵无法描述主观意义上事件的重要性无法描述主观意义上事件的重要性无法描述主观意义上事件的重要性无法描述主观意义上事件的重要性,为此引入为此引入为此引入为此引入 加权熵加权熵加权熵加权熵第39页，共99页，编辑于2022年，星期四则加权熵定义为：则加权熵定义为：设有随机变量设有随机变量X，引入事件的重要性，其概率空间为，引入事件的重要性，其概率空间为Wi表示事件的重要性表示事件的重要性实际工程中常采用加权熵实际工程中常采用加权熵实际工程中常采用加权熵实际工程中常采用加权熵九九.加权熵加权熵

41、第40页，共99页，编辑于2022年，星期四一一.单符号离散信道单符号离散信道 1.1.定义定义:输入和输出都是离散的单符号的信道输入和输出都是离散的单符号的信道。2.2.数学模型数学模型 干扰干扰信道信道信源信源X X输出输出Y Y第41页，共99页，编辑于2022年，星期四二二.互信息互信息-从一个符号获得关于另一个符号的信息量从一个符号获得关于另一个符号的信息量从一个符号获得关于另一个符号的信息量从一个符号获得关于另一个符号的信息量 信宿接收到符号信宿接收到符号信宿接收到符号信宿接收到符号y yj j后后后后,从从从从y y y yj j中获得关于符号中获得关于符号中获得关于符号中获得关

42、于符号x xi i的信息量的信息量的信息量的信息量I I(x(xi i;y;yj j)(i=1,2,r;j=1,2,s)(i=1,2,r;j=1,2,s)1.1.定义定义=信宿收到信宿收到信宿收到信宿收到y yj j前，对信源发送前，对信源发送前，对信源发送前，对信源发送x xi i的不确定性的不确定性的不确定性的不确定性 -信宿收到信宿收到信宿收到信宿收到yj后，对信源发送后，对信源发送后，对信源发送后，对信源发送xi仍然还存在的不确定性仍然还存在的不确定性仍然还存在的不确定性仍然还存在的不确定性 提问提问：x xi i通过信道传输后，有多少信息传给了接收端？通过信道传输后，有多少信息传给了

43、接收端？通过信道传输后，有多少信息传给了接收端？通过信道传输后，有多少信息传给了接收端？第42页，共99页，编辑于2022年，星期四表示：表示：信道在把符号信道在把符号xi通过信道传递给信宿变成通过信道传递给信宿变成yj的过程中的过程中信道传递的信息量信道传递的信息量单位与自信息量的一致单位与自信息量的一致单位与自信息量的一致单位与自信息量的一致互信息函数互信息函数的导出的导出的导出的导出,为定量描述信息的传输问题为定量描述信息的传输问题为定量描述信息的传输问题为定量描述信息的传输问题,奠定了坚实的基础奠定了坚实的基础奠定了坚实的基础奠定了坚实的基础.提问提问：互信息与条件自信息有什么关系？互

44、信息与条件自信息有什么关系？第43页，共99页，编辑于2022年，星期四2.2.互信息的性质互信息的性质(1)(1)对称性对称性I(xi;yj)=I(yj;xi)证明证明:对称性说明：对称性说明：互信息是两个事件之间的共性互信息是两个事件之间的共性互信息是两个事件之间的共性互信息是两个事件之间的共性。无论从哪。无论从哪。无论从哪。无论从哪个事件获得关于另一个事件的信息都是相等的。个事件获得关于另一个事件的信息都是相等的。个事件获得关于另一个事件的信息都是相等的。个事件获得关于另一个事件的信息都是相等的。第44页，共99页，编辑于2022年，星期四(2)(2)互信息量可为零互信息量可为零当事件当

45、事件当事件当事件x xi i，y yj j统计独立时，两者的互信息量统计独立时，两者的互信息量统计独立时，两者的互信息量统计独立时，两者的互信息量I(xI(xi i;y;yj j)=0)=0证明：证明：证明：证明：x xi i，y yj j统计独立统计独立统计独立统计独立则则当互信息量为零，意味着当互信息量为零，意味着当互信息量为零，意味着当互信息量为零，意味着不能从观测其中一个事件获得不能从观测其中一个事件获得不能从观测其中一个事件获得不能从观测其中一个事件获得关于另一个事件的任何信息关于另一个事件的任何信息关于另一个事件的任何信息关于另一个事件的任何信息第45页，共99页，编辑于2022年

46、，星期四(3)(3)互信息量可正可负互信息量可正可负互信息量为互信息量为互信息量为互信息量为负负互信息量为互信息量为互信息量为互信息量为正正含义含义:互信息量为正互信息量为正互信息量为正互信息量为正,意味着事件意味着事件意味着事件意味着事件y yj j的出现有助于肯定事件的出现有助于肯定事件的出现有助于肯定事件的出现有助于肯定事件x xi i的出现的出现的出现的出现 互信息量为负互信息量为负互信息量为负互信息量为负,意味着事件意味着事件意味着事件意味着事件y yj j的出现不利于肯定事件的出现不利于肯定事件的出现不利于肯定事件的出现不利于肯定事件x xi i的出现的出现的出现的出现请问请问:在

47、通信中什么原因造成互信息量为负在通信中什么原因造成互信息量为负在通信中什么原因造成互信息量为负在通信中什么原因造成互信息量为负?信道中存在的干扰信道中存在的干扰信道中存在的干扰信道中存在的干扰,导致发生传输错误所致导致发生传输错误所致导致发生传输错误所致导致发生传输错误所致第46页，共99页，编辑于2022年，星期四(4)(4)极值性极值性证明：证明：且且且且 p(xp(xi i|y|yj j)1 1同理极值性说明：极值性说明：自信息量是为了确定事件出现所必需提供的信息自信息量是为了确定事件出现所必需提供的信息自信息量是为了确定事件出现所必需提供的信息自信息量是为了确定事件出现所必需提供的信息

48、量，也是其他事件所能提供的关于该事件的最大信息量量，也是其他事件所能提供的关于该事件的最大信息量量，也是其他事件所能提供的关于该事件的最大信息量量，也是其他事件所能提供的关于该事件的最大信息量第47页，共99页，编辑于2022年，星期四例例2-62-6 用传送带测定生产的每袋化肥重量是否符合规定，而在传送带终端装用传送带测定生产的每袋化肥重量是否符合规定，而在传送带终端装用传送带测定生产的每袋化肥重量是否符合规定，而在传送带终端装用传送带测定生产的每袋化肥重量是否符合规定，而在传送带终端装有测定显示装置，显示符号有测定显示装置，显示符号有测定显示装置，显示符号有测定显示装置，显示符号A A A

49、 A、B B B B和和和和C C C C分别表示超重分别表示超重分别表示超重分别表示超重H H H H、正常、正常、正常、正常N N N N和过轻和过轻和过轻和过轻L L L L三种情三种情三种情三种情况。一袋化肥放在传送带上的位置偏了就会产生错误显示，使得超重的却况。一袋化肥放在传送带上的位置偏了就会产生错误显示，使得超重的却况。一袋化肥放在传送带上的位置偏了就会产生错误显示，使得超重的却况。一袋化肥放在传送带上的位置偏了就会产生错误显示，使得超重的却显示显示显示显示B B B B信号，正常的显示信号，正常的显示信号，正常的显示信号，正常的显示C C C C信号。而且总有信号。而且总有信号

50、。而且总有信号。而且总有15%15%15%15%超重和超重和超重和超重和10%10%10%10%正常的的化肥袋子正常的的化肥袋子正常的的化肥袋子正常的的化肥袋子放偏位置。今有一批生产的化肥，超重的占放偏位置。今有一批生产的化肥，超重的占放偏位置。今有一批生产的化肥，超重的占放偏位置。今有一批生产的化肥，超重的占15%15%15%15%，正常的，正常的，正常的，正常的75%75%75%75%，过轻的占，过轻的占，过轻的占，过轻的占10%10%10%10%。请问：当显示装置显示符号为请问：当显示装置显示符号为请问：当显示装置显示符号为请问：当显示装置显示符号为A A A A、B B B B和和和和