第二章(1) 信源熵.ppt

《第二章(1) 信源熵.ppt》由会员分享，可在线阅读，更多相关《第二章(1) 信源熵.ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、L o g o第二章第二章 信源与信息熵信源与信息熵 邹慧兰本节目的本节目的了解信源的分类了解信源的分类1理解自信息量的概念，意义理解自信息量的概念，意义2理解信息熵的概念及意义理解信息熵的概念及意义3本章内容本章内容信源的分类信源的分类1离散信源熵和互信息离散信源熵和互信息2离散序列信源的熵离散序列信源的熵3连续信源的熵和互信息连续信源的熵和互信息4冗余度冗余度52.1 信源分类信源分类1.按照消息在时间和幅度上的分布情况分：按照消息在时间和幅度上的分布情况分：离散信源离散信源连续信源连续信源时间和幅度都是离散如文字、数据等时间或幅度连续如话音、图像等 (a)话音信号 (b)抽样信号2.按照

2、信源发出的符号之间的关系分：按照信源发出的符号之间的关系分：无记忆信源无记忆信源有记忆信源有记忆信源先验概率不随实验次数变化，先验概率不随实验次数变化，也不与先前的实验结果有关。也不与先前的实验结果有关。发出的符号序列之间有关联性。发出的符号序列之间有关联性。2.1.1 无记忆信源无记忆信源1.复习几个概念复习几个概念1）离散信源离散信源:时间和幅度都是离散的信源。信源。2）无记忆信源无记忆信源：先验概率不随实验次数变化，也：先验概率不随实验次数变化，也 不与不与先前的实验结果有关。先前的实验结果有关。3）先验概率先验概率：各符号之间没有统计关联性，各符号出现的：各符号之间没有统计关联性，各符

3、号出现的概率就是其先验概率。如：概率就是其先验概率。如：P(B)4）后验概率后验概率：在已知结果求原因发生的概率。如：在已知结果求原因发生的概率。如：P(Bk|A)2.摸球实验摸球实验例一：例一：100个球，个球，80个红色，个红色，20个白色，用完再放回个白色，用完再放回。用随机变量用随机变量X描述输出的消息描述输出的消息,则则X的样本空间就的样本空间就是符号集合：是符号集合：A=a1=“红色红色”，a2=“白色白色”离散信源的概率空间表示离散信源的概率空间表示1连续无记忆信源的概率空间表示连续无记忆信源的概率空间表示2发出符号序列信源的概率空间表示发出符号序列信源的概率空间表示3假定信源序

4、列长度为假定信源序列长度为22.1.2 有记忆信源有记忆信源例二：例二：不放回抽样不放回抽样若第一个球为红色，则在抽取第二个球时的概率为若第一个球为红色，则在抽取第二个球时的概率为若第一个球为白色，则在抽取第二个球时的概率为若第一个球为白色，则在抽取第二个球时的概率为P(a1)79/(79+20)P(a2)20/(79+20)P(a1)80/(79+20)P(a2)19/(79+20)红色红色白色白色红色红色白色白色2.1.3 马尔可夫信源马尔可夫信源定义：该时刻的符号与前定义：该时刻的符号与前m个符号有关联性，与更个符号有关联性，与更前的符号无关。她是一种有记忆信源。前的符号无关。她是一种有

5、记忆信源。概率公式表示概率公式表示：只和前只和前m个有关个有关按照同样方式展开按照同样方式展开前前L-1个作为一个整体个作为一个整体一阶马尔可夫信源：一阶马尔可夫信源：m12.2离散信源熵和互信息离散信源熵和互信息2.2.1自信息量自信息量概率大小决定信息量的大小概率大小决定信息量的大小1.自信息量的定义：自信息量的定义：指符号出现后，提供给收信者的信息量。指符号出现后，提供给收信者的信息量。概率与信息量之间是单调递减关系。概率与信息量之间是单调递减关系。自信息量的单位与对数底数有关：以2为底，单位为比特（bit）以e为底，单位为奈特（nat）以10为底，单位为笛特（det）一般我们取以一般我

6、们取以2为底为底三者换算关系：1natlog2e=1.433bit1detlog210=3.322bit例：信源发出二进制数例：信源发出二进制数0、1，其中概率，其中概率p(0)0.25，p(1)0.75则这两个符号的自信息量为：则这两个符号的自信息量为：自信息量自信息量：联合自信息量联合自信息量条件自信息量条件自信息量2.不确定度不确定度信源在发出之前，存在不确定度，用来表征该符号的特性。信源在发出之前，存在不确定度，用来表征该符号的特性。不确定度的大小等于它的自信息量，单位相同，含义不同。二者区别：不确定度的大小等于它的自信息量，单位相同，含义不同。二者区别：不确定度是信源符号固有的不确定

7、度是信源符号固有的自信息量是信源符号发出后给予收信者的。自信息量是信源符号发出后给予收信者的。3.自信息量的特性自信息量的特性1）概率为）概率为1，自信息量为，自信息量为02）概率为）概率为0，自信息量为无穷，自信息量为无穷3）非负性：由于一个符号所出现的概率总是在闭区间）非负性：由于一个符号所出现的概率总是在闭区间0，1内，所以自信息量为非负值。内，所以自信息量为非负值。4）单调递减性）单调递减性5）可加性）可加性英文字母中英文字母中“e”的出现概率为的出现概率为0.105，“c”的的出现概率为出现概率为0.023，“o”的出现概率为的出现概率为0.001，分别计算他们的自信息量。分别计算他

8、们的自信息量。例例2-3 依据自信息量定义依据自信息量定义：2.2.2 离散信源熵离散信源熵自信息量只表征各个符号的不确定度一个信源包括多个符号，自信息量不能作为整体的信息量度。求信息总体的信息量度求信息总体的信息量度采取求平均的方法采取求平均的方法例例2-4 布袋内布袋内100个球，个球，80个红色，个红色，20个白色，随机个白色，随机摸取一个，猜测其颜色。摸取一个，猜测其颜色。用随机变量用随机变量X表示取球事件表示取球事件该信源的概率空间为：该信源的概率空间为：（x1表示摸出的是红球，表示摸出的是红球，x2表示摸出的是白球。表示摸出的是白球。)n次实验后，红球出现次数：次实验后，红球出现次

9、数：摸到红球，获得信息量是：摸到红球，获得信息量是：摸到白球，获得信息量是：摸到白球，获得信息量是：n次后获得总信息量为：次后获得总信息量为：白球出现次数：白球出现次数：平均每次获得信息量为平均每次获得信息量为:平均自信息量平均自信息量：平均每个符号所能提供的信息量。是消除信源不确定度时所需要的信息的量度。只与符号出现的概率有关。信源的平均不确定度信源的平均不确定度：又称为信源X的熵，信源熵是在平均意义上来表征信源的总体特征。定义式：信源中各个符号自信息量的数学期望，即：由上式可以看出，不同的信源因概率空间不同熵值就不同由上式可以看出，不同的信源因概率空间不同熵值就不同规定：当符号概率为规定：

10、当符号概率为0时，规定时，规定p(xi)log p(xi)也为也为0信息熵的物理意义信息熵的物理意义1 信息熵表示了信源输出前，信源的平均不确定度信息熵表示了信源输出前，信源的平均不确定度2 信息熵表示了信源输出后，每个符号所提供的平信息熵表示了信源输出后，每个符号所提供的平 均信息量均信息量设信源符号集设信源符号集X=x1,x2,x3,每个符号发生的概率分别为：每个符号发生的概率分别为：p(x1)0.5，p(x2)0.25，p(x3)0.25。求信源熵。求信源熵依据公式依据公式：例例2-5 表明：要区分这三个符号只需要表明：要区分这三个符号只需要1.5bit电视屏幕上有电视屏幕上有500 6

11、00=3105 个格点，按每点有个格点，按每点有10个个不同的灰度等级考虑，则可组成不同的灰度等级考虑，则可组成 103105个不同的画面。个不同的画面。按按等概等概计算，求计算，求平均每个画面可提供的信息量平均每个画面可提供的信息量。依据公式依据公式例例2-6 二元信源二元信源X输出符号只有两个，设为输出符号只有两个，设为0和和1，输出符号，输出符号的概率分别为的概率分别为p和和q，p+q=1，信源的概率空间为，信源的概率空间为例例2-7 求信源熵求信源熵依据公式依据公式yj条件熵条件熵在给定yj条件下，xi的条件自信息量为：I(xi|yj)X集合的条件熵H(X|yj)为给定Y（所有yj）条

12、件下，X集合的条件熵H(X|Y)定义为条件熵表示已知Y后，X的不确定度联合熵联合熵定义：联合熵表示联合熵表示X和和Y同时发生的不确定度同时发生的不确定度联合熵、熵、条件熵三者之间的关系联合熵、熵、条件熵三者之间的关系H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)有一个二进制信源有一个二进制信源X发出符号集发出符号集0，1，经过离散无记忆，经过离散无记忆信道传输，信道输出用信道传输，信道输出用Y表示。由于信道中存在噪声，接表示。由于信道中存在噪声，接收端除收到收端除收到0和和1外，还有不确定的符号，用外，还有不确定的符号，用“？”来表来表示，已知示，已知X的先验概率为的先验概率为P

13、(x=0)=2/3,P(x=1)=2/3,符号转符号转移概率为移概率为P(y=0|x=0)=3/4,P(y=?|x=0)=1/4,P(y=1|x=1)=1/2P(y=?|x=1)=1/2,其余为其余为0。例例2-8 求各种熵：求各种熵：H(X),H(Y|X),H(Y),H(X,Y),H(Y|X)XY0011?3/41/41/21/2(1(1）求信源熵）求信源熵(2(2）求条件熵）求条件熵H(Y|X)H(Y|X)条件概率已知条件概率已知求联合概率？求联合概率？联合概率：联合概率：同理可求出同理可求出则条件熵则条件熵(3(3）求联合熵）求联合熵H(X,Y)=H(X)+H(Y|X)=1.8bit/符

14、号(4(4）求）求H(Y)H(Y)求概率？求概率？(5(5）求条件熵）求条件熵H(X|Y)H(X|Y)H(X,Y)=H(Y)+H(X|Y)H(X|Y)=H(X,Y)-H(Y)=1.8-1.47 =0.33bit/符号例例2-9 二进制通信系统使用符号二进制通信系统使用符号0和和1，由于存在失真，传输时会，由于存在失真，传输时会产生误码产生误码，用符号表示下列事件。，用符号表示下列事件。u0:一个一个0发出发出u1:一个一个1发出发出v0:一个一个0收到收到v1:一个一个1收到收到给定下列概率，给定下列概率，p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2,(1)已知发出一

15、个已知发出一个0，求收到符号后得到的信息量，求收到符号后得到的信息量求条件熵H(V|u0)p(v0|u0)=3/4p(v1|u0)=1/4(2)已知发出的符号，求收到符号后得到的信息量已知发出的符号，求收到符号后得到的信息量求条件熵H(V|U)条件概率已知条件概率已知求联合概率？求联合概率？联合概率：联合概率：(3)已知发出的和收到的符号，求能得到的信息量已知发出的和收到的符号，求能得到的信息量求联合熵H(V，U)H(U,V)=H(U)+H(V|U)H(U,V)=H(U)+H(V|U)=1+0.91=1.91bit/符号(4)已知收到的符号，求被告知发出的符号后得到的信息量已知收到的符号，求被告知发出的符号后得到的信息量求条件熵H(U|V)H(U,V)=H(V)+H(U|V)H(U|V)=H(U,V)-H(V)=1.91-0.96=0.95bit/符号作业：作业：p3923（1），（），（2）25