连续信源的熵与互信息量课件.ppt

《连续信源的熵与互信息量课件.ppt》由会员分享，可在线阅读，更多相关《连续信源的熵与互信息量课件.ppt（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、连续信源的熵与互信息量连续信源的熵与互信息量第1页，此课件共38页哦Review离散信源的离散信源的非平均自信息与熵非平均自信息与熵 离散随机变量的非平均自信息：离散随机变量的非平均自信息：离散信源的平均自信息即熵：离散信源的平均自信息即熵：扩展第2页，此课件共38页哦离散无记忆信源离散无记忆信源：H(X)=HL(X)=H(X)离散有记忆信源离散有记忆信源：H(X)HL(X)H(X)Review离散信源序列的熵离散信源序列的熵 信源的序列熵：第3页，此课件共38页哦Review离散信源的互信息离散信源的互信息第4页，此课件共38页哦系统1系统2XYZ两级串联信道的情况X-Y-Z构成Markov

2、链当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。数据处理定理Review第5页，此课件共38页哦连续信源的熵与互信息量连续信源的熵与互信息量连续信源的熵与互信息量连续信源的熵与互信息量第四讲第四讲第6页，此课件共38页哦输出消息取值上连续的信源，如语音，电视等，输出消息取值上连续的信源，如语音，电视等，对应的数学工具为连续型随机变量或随机过程。对应的数学工具为连续型随机变量或随机过程。连续信源输出的状态概率用概率密度来表示。连续信源输出的状态概率用概率密度来表示。连续信源的数学模型连续信源的数学模型第7页，此课件共38页哦考虑一个定义在考虑一个定义在

3、a,b区间的连续随机变量，如下图区间的连续随机变量，如下图首先把首先把X的取值区间的取值区间a,b等分割为等分割为n个小区间，小区间宽度为个小区间，小区间宽度为=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系根据概率分布与概率密度曲线区间面积的关系x x取值取值为第为第i个小区间个小区间xi的概率为的概率为p(xi).,xi为为小区间小区间xi中的一中的一点，点，于是得到于是得到分割后的分割后的离散信源离散信源Xn的概率源空间为：的概率源空间为：p(x)p(xi)a0 xibx连续信源的熵？连续信源的熵？第8页，此课件共38页哦其中其中按离散信源熵的定义按离散信源熵的定义当当0，n时

4、，时，Xn接近于连续随机变量接近于连续随机变量X，这时可得连，这时可得连续信源的熵为：续信源的熵为：绝对熵绝对熵相对熵相对熵x1x2xnp(x1)p(x2)p(xn)第9页，此课件共38页哦定义定义:连续随机变量的相对熵为连续随机变量的相对熵为1)相对熵为绝对熵减去一个无穷大量；相对熵为绝对熵减去一个无穷大量；2)相对熵相对熵不具有非负性，可以为负值；不具有非负性，可以为负值；4)连续信源的绝对熵为一个无穷大量，但当分析互信连续信源的绝对熵为一个无穷大量，但当分析互信息量时是求两个息量时是求两个绝对绝对熵的差，当采用相同的量化过熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，程时，两个无

5、穷大量将被抵消，因而采用相对熵不因而采用相对熵不影响分析影响分析互互信息信息。3)相对熵不等于一个相对熵不等于一个消息状态具有的平均信息量；消息状态具有的平均信息量；连续信源的相对熵连续信源的相对熵第10页，此课件共38页哦定义：连续随机变量的联合熵为定义：连续随机变量的联合熵为定义：连续随机变量的条件熵为定义：连续随机变量的条件熵为连续信源的相对熵连续信源的相对熵第11页，此课件共38页哦连续连续随机随机变量的联合熵、条件熵和互信息之间关系变量的联合熵、条件熵和互信息之间关系连续信源的互信息连续信源的互信息定定义：连续随机变量的平均互信息量为义：连续随机变量的平均互信息量为第12页，此课件共

6、38页哦连续随机变量的连续随机变量的联合平均互信息量联合平均互信息量连续信源的互信息连续信源的互信息连续随机变量的条件平均互信息量连续随机变量的条件平均互信息量第13页，此课件共38页哦连续连续随机随机变量变量X与离散与离散随机随机变量变量Y联合联合联合熵、条件熵联合熵、条件熵连续信源的熵与平均互信息量连续信源的熵与平均互信息量连续连续随机随机变量变量X与离散与离散随机随机变量变量Y的的平均互信息量平均互信息量第14页，此课件共38页哦例题例题 令令X X是在区间是在区间(a(a，b)b)上均匀分布的随机变量，求上均匀分布的随机变量，求X X的的相相 对对熵熵。解：解：x的概率密度为的概率密度

7、为 注意:连续变量的微分熵不具有非负性 当 ba 1 时，ba 1 时，ba=1 时，第15页，此课件共38页哦例例 令令X X是数学期望为是数学期望为m m，方差为，方差为 的正态随机变量，求的正态随机变量，求 它的熵。它的熵。解：正态随机变量解：正态随机变量x的概率密度的概率密度它的值视 的大小可正、可负或零，且与数学期望无关。第16页，此课件共38页哦均匀分布的连续信源的熵：均匀分布的连续信源的熵：高斯分布的连续信源的熵：高斯分布的连续信源的熵：连续熵实例连续熵实例仅与区域的边界有关仅与区域的边界有关与数学期望无关，仅与方差有关与数学期望无关，仅与方差有关第17页，此课件共38页哦设设p

8、XY是是(xy)二维高斯概率密度函数二维高斯概率密度函数求求X与与Y的平均互信息。的平均互信息。连续熵实例连续熵实例第18页，此课件共38页哦 例例 X 和Y 的一维概率密度函数容易求得为第19页，此课件共38页哦X 和Y 之间的平均互信息由定义有 奈特 表明，两个高斯变量之间的互信息只与相关系数有关，而与数学期望及方差和无关。表明，两个高斯变量之间的互信息只与相关系数有关，而与数学期望及方差和无关。第20页，此课件共38页哦例例:设原连续随机变量X是数学期望为m，方差为 的正态随机变量，经一个放大倍数为k的放大器放大输出为Y,求Y的相对熵。解：y=kx为数学期望为km，方差为 的正态随机变量

9、，注意:相对熵值通过线性放大器后发生变化.第21页，此课件共38页哦指数分布的连续信源的熵：指数分布的连续信源的熵：连续熵实例连续熵实例第22页，此课件共38页哦连续熵可为负值（连续熵可为负值（为什么？连续熵的相对性所致为什么？连续熵的相对性所致）可加性可加性平均互信息的非负性，对称性，信息处理定理平均互信息的非负性，对称性，信息处理定理最大连续熵定理最大连续熵定理连续熵的性质连续熵的性质第23页，此课件共38页哦峰值功率受限的最大熵定理峰值功率受限的最大熵定理若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M，即，即X限于限于(-M,M)内取值，内取值，则则X的相对熵的相对熵当且仅当当

10、且仅当X为均匀分布时等号成立。为均匀分布时等号成立。平均功率受限的最大熵定理平均功率受限的最大熵定理若连续随机变量若连续随机变量X的方差为一定，则的方差为一定，则X服从正态分布时服从正态分布时的相对熵最大，即的相对熵最大，即连续信源与离散信源不同，连续信源与离散信源不同，1)它不存在绝对最大熵它不存在绝对最大熵;2)其最大熵与信源的限制条件有关。其最大熵与信源的限制条件有关。最大连续熵定理最大连续熵定理第24页，此课件共38页哦峰值功率受限的最大熵定理峰值功率受限的最大熵定理若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M，即，即X限于限于(-M,M)内取值，内取值，则则X的相对熵的相

11、对熵当且仅当当且仅当X为均匀分布时等号成立。为均匀分布时等号成立。平均功率受限的最大熵定理平均功率受限的最大熵定理若连续随机变量若连续随机变量X的方差为一定，则的方差为一定，则X服从正态分布时服从正态分布时的相对熵最大，即的相对熵最大，即最大连续熵定理最大连续熵定理第25页，此课件共38页哦证明：证明：应用拉格朗日乘因子法，首先构造函数应用拉格朗日乘因子法，首先构造函数由相对熵定义，可得由相对熵定义，可得当且仅当当且仅当时，等号成立。时，等号成立。将其代入约束条件将其代入约束条件可得可得，则有，则有于是有于是有X(-M,M)第26页，此课件共38页哦峰值功率受限的最大熵定理峰值功率受限的最大熵

12、定理若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M，即，即X限于限于(-M,M)内取值，则内取值，则X的相对熵的相对熵当且仅当当且仅当X为均匀分布时等号成立。为均匀分布时等号成立。平均功率受限的最大熵定理平均功率受限的最大熵定理若连续随机变量若连续随机变量X的方差为一定，则的方差为一定，则X服从正态分布时服从正态分布时的相的相对熵最大，即对熵最大，即最大连续熵定理最大连续熵定理第27页，此课件共38页哦证明：证明：考虑到约束条件考虑到约束条件应用拉格朗日乘因子法计算极大值应用拉格朗日乘因子法计算极大值当且仅当当且仅当时，等号成立。时，等号成立。将其代入两个约束条件，即可求得将其代入两

13、个约束条件，即可求得和和于是有于是有X的方差一定的方差一定第28页，此课件共38页哦均值受限的最大熵定理均值受限的最大熵定理若连续随机变量若连续随机变量X非负的均值为非负的均值为M，则则X服从指数分布时服从指数分布时的相对熵最大，即的相对熵最大，即最大连续熵定理最大连续熵定理第29页，此课件共38页哦当平均功率受限时，高斯分布信源的熵最大，若令当平均功率受限时，高斯分布信源的熵最大，若令其平均功率为其平均功率为，则其熵为，则其熵为熵功率熵功率若平均功率为若平均功率为的信源具有熵为的信源具有熵为HC(X)，则称熵为，则称熵为HC(X)的的高斯信源的平均功率为熵功率高斯信源的平均功率为熵功率若另一

14、信源的平均功率仍为若另一信源的平均功率仍为，则它的熵一定小于，则它的熵一定小于第30页，此课件共38页哦连续信源的剩余度连续信源的剩余度平均功率受限时，一般信源的熵小于高斯分布信源的熵，所以信号平均功率受限时，一般信源的熵小于高斯分布信源的熵，所以信号的熵功率的熵功率总小于信号的实际平均功率总小于信号的实际平均功率。熵功率的大小可以表示连续信源剩余的大小。信号平均功熵功率的大小可以表示连续信源剩余的大小。信号平均功率和熵功率之差率和熵功率之差，称为连续信源的，称为连续信源的剩余度剩余度。第31页，此课件共38页哦思考思考:设设X和和Y为连续随机变量，且为连续随机变量，且X的概率密度为的概率密度

15、为条件概率密度为条件概率密度为其中其中x，y。试求试求Hc(X)，Hc(Y/X)，Hc(X/Y)和和I(X；Y)。第32页，此课件共38页哦解：第33页，此课件共38页哦第34页，此课件共38页哦思考思考:习题习题2.23设设X是在是在1，1上为均匀分布的随机变量。上为均匀分布的随机变量。试求试求Hc(X)，Hc(X2)和和Hc(X3)。解解:(a)(b)令令第35页，此课件共38页哦(c)令令第36页，此课件共38页哦本节小结本节小结连续信源的数学模型连续信源的数学模型连续信源的相对熵连续信源的相对熵随机过程随机过程定义及含义定义及含义（内容见课本（内容见课本32-39页）页）连续型随机变量或随机序列连续型随机变量或随机序列性质：性质：可加性、极值性（最大熵定理）可加性、极值性（最大熵定理）熵功率熵功率平均互信息平均互信息定义、含义及性质定义、含义及性质第37页，此课件共38页哦作作 业业2.252.272.28第38页，此课件共38页哦