第2讲——离散信源的数学模型及其信息测度1.pdf

《第2讲——离散信源的数学模型及其信息测度1.pdf》由会员分享，可在线阅读，更多相关《第2讲——离散信源的数学模型及其信息测度1.pdf（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、离散信源的数学模型及其信息测度离散信源的数学模型及其信息测度()离散信源的数学模型离散信源的数学模型离散信源的数学模型离散信源的数学模型及其信息测度及其信息测度及其信息测度及其信息测度()第二讲第二讲第二讲第二讲输 入消 息码 字输 出消 息 先验 概 率消息后验概率收到输 入消 息码 字输 出消 息 先验 概 率消息后验概率收到0收到收到01收到收到011x1x2x3x4x5x6x7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000Review设某系统的输入空间为设某系统

2、的输入空间为X=x1,x2，分别以二元数字组，分别以二元数字组000和和111表示。若系统变换过程中的转移概率为表示。若系统变换过程中的转移概率为p(0|0)=p(1|1)=1-p，p(1|0)=p(0|1)=p，则不难算出当观察到输出数字为，则不难算出当观察到输出数字为010的过程中输入消息的过程中输入消息x1和和x2的后验概率变化，如表所示。的后验概率变化，如表所示。消息后验概率消息后验概率输入消息输入消息码字码字(输出输出)消息先验概率消息先验概率收到收到0后后收到收到01后后收到收到010后后x1x20001111/21/2Review1-p 1/2 1-pp1/2 p信源信源信道信道

3、信宿信宿噪声源噪声源编码器编码器译码器译码器消息消息干扰干扰信号干扰信号干扰消息消息数字通信系统模型数字通信系统模型可靠性、有效性、保密性和认证性可靠性、有效性、保密性和认证性Review离散信源的数学模型及信息测度离散信源的数学模型及信息测度离散信源的数学模型离散信源的数学模型离散信源的数学模型离散信源的数学模型及信息测度及信息测度及信息测度及信息测度2.1 2.1 2.1 2.1 信源及其分类信源及其分类信源及其分类信源及其分类信源的数学描述信源的数学描述在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，

4、所以可用是随机的，所以可用随机变量、随机序列或随机过程随机变量、随机序列或随机过程来描述信源输出的消息来描述信源输出的消息,或者说用一个样本空间及其概率测度或者说用一个样本空间及其概率测度概率空间概率空间来描述信源。来描述信源。不同的信源输出的消息的不同的信源输出的消息的随机性质随机性质不同，可以根据消息的不同的随机性质来对信源进行分类：不同，可以根据消息的不同的随机性质来对信源进行分类：按照某时刻信源输出消息的取值集合的离散性和连续性按照某时刻信源输出消息的取值集合的离散性和连续性,信源可分为信源可分为离散信源离散信源和和连续信源连续信源;按照信源输出消息的所对应的随机序列中随机变量前后之间

5、有无依赖关系按照信源输出消息的所对应的随机序列中随机变量前后之间有无依赖关系,信源可分为信源可分为无记忆信源无记忆信源和和有记忆信源有记忆信源;按照信源输出消息的所对应的随机序列的平稳性按照信源输出消息的所对应的随机序列的平稳性,信源可分为信源可分为平稳信源平稳信源和和非平稳信源非平稳信源;信源的分类信源的分类 离散信源离散信源=)(,),(),(,)(2121qqaPaPaPaaaxPX?1)(1)(0:1=qiiiaPaP且满足 连续信源连续信源1)()(),()(=badxxpxpbaxpX并满足注：注：X代表随机变量，指的是信源整体；代表随机变量，指的是信源整体；ai代表随机事件的某一

6、结果或信源的某个元素。代表随机事件的某一结果或信源的某个元素。注：注：这里的这里的p(x)代表概率密度函数。代表概率密度函数。简单信源简单信源离散信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。离散信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。=)(,),(),(,)(qqPPPxPX?2121其中，其中，qi,?21且=qiiP11)(离散无记忆信源离散无记忆信源=NNkkkkNNNNqiqiNiiiNiiiiiiNiiiiqqiNaPPaPaaaPPqiiiaaaPPPPX11112121211212121)()()()()(),()()(,),(),(,)(?并满足：其

7、中 由离散无记忆信源输出由离散无记忆信源输出N长的随机序列构成的信源。长的随机序列构成的信源。=4/14/14/14/111100100PX011/2 1/2XP离散无记忆信源离散无记忆信源N次扩展信源次扩展信源掷两枚硬币掷一枚硬币掷两枚硬币掷一枚硬币 =有记忆信源有记忆信源：输出的随机序列：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。中各随机变量之间有依赖关系，但记忆长度有限。其它几种常见信源其它几种常见信源TXrYrYr-1+马尔可夫信源实例马尔可夫信源实例 Yr是一个是一个马氏链马氏链,Yr确定后确定后,Yr+1概率分布只与概率分布只与Yr有关有关,与与Yr-1、Yr-2

8、等无关等无关相对码编码器相对码编码器 有记忆信源：输出的随机序列有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。中各随机变量之间有依赖关系，但记忆长度有限。m阶马尔可夫信源：信源每次发出的符号只与前阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。个符号有关，与更前面的符号无关。随机波形信源：信源输出的消息在时间上和取值上都是连续的。随机波形信源：信源输出的消息在时间上和取值上都是连续的。其它几种常见信源其它几种常见信源2.2 2.2 2.2 2.2 离散信源熵离散信源熵离散信源熵离散信源熵)()(iixpfxI=应该满足以下条件：是先验概率应该

9、满足以下条件：是先验概率)(ixp的单调递减函数的单调递减函数1)(=ixp0)(=ixpf0)(=ixp时，时，=)(ixpf两个独立事件的联合信息量等于各自信息量之和。时，两个独立事件的联合信息量等于各自信息量之和。时，(1)(2)(3)信息量应满足的条件信息量应满足的条件设单符号离散信源的信源空间为设单符号离散信源的信源空间为=)(,),(),(,)(2121nnxpxpxpxxxxPX?1)(,1)(0:1=niiixpxp且满足自信息量定义自信息量定义如果知道事件如果知道事件xi已发生，则该事件所含有的信息量称为已发生，则该事件所含有的信息量称为自信息，自信息，定义为定义为:)(lo

10、g)(1log)(iiixpxpxI=对数换底关系：aXXbbalogloglog=I(xi)含义含义 当事件当事件xi发生以前发生以前,表示事件表示事件xi 发生的发生的不确定性不确定性 当事件当事件xi发生以后发生以后,表示事件表示事件xi所含有的所含有的信息量信息量 I(xi)单位单位 常用对数底是常用对数底是2,信息量的单位为比特信息量的单位为比特(bit)；若取自然对数若取自然对数,则信息量的单位为奈特则信息量的单位为奈特(nat);1 natlog2e l.433 bit，aXXbablogloglog自信息量定义自信息量定义=或或(1)I(xi)是非负值是非负值(2)当当p(xi

11、)=1时，时，I(xi)=0(3)当当p(xi)=0时，时，I(xi)=(4)I(xi)是先验概率是先验概率p(xi)的单调递减函数，即当的单调递减函数，即当p(x1)p(x2)时，时，I(x1)I(x2)(5)两个独立事件的联合信息量等于它们分别的信息量之和，即统计独立信源的信息量等于它们分别两个独立事件的联合信息量等于它们分别的信息量之和，即统计独立信源的信息量等于它们分别的信息量之和。的信息量之和。自信息的性质自信息的性质 二进制码元二进制码元0,1,当符号概率为当符号概率为p(0)=1/4,p(1)=3/4,则这两个符号的自信息量为：则这两个符号的自信息量为：I(0)=-log2(1/

12、4)=log24=2bitI(1)=-log2(3/4)=0.4151 bit 一个以等概率出现的二进制码元一个以等概率出现的二进制码元(0,1)所包含的自信息量为：所包含的自信息量为：I(0)=I(1)=-log2(1/2)=log22=1 bit自信息量例题自信息量例题考虑两个随机事件，其联合概率空间为考虑两个随机事件，其联合概率空间为 联合自信息量联合自信息量1)(,1)(0)(,),(),(),(,)(11121111212111=nimjjijimnmmnnmmyxpyxpyxpyxpyxpyxpyxyxyxyxyxyxXYPXY?)(log)(jijiyxpyxI=联合自信息与条件

13、自信息联合自信息与条件自信息 在事件在事件yj出现的条件下，随机事件出现的条件下，随机事件xi发生的发生的 条件自信息量条件自信息量)/(log)/(2jijiyxpyxI=含义含义 联合自信息量和条件自信息量联合自信息量和条件自信息量性质性质 联合自信息量和条件自信息量联合自信息量和条件自信息量关系关系 当当X和和Y独立时，独立时，2222()log()log()(/)()(/)log()log()(/)()(/)ijijijiijiijjijjijI x yp x yp x p yxI xI yxp x yp yp xyI yI xy=+=+2222()log()log()()log()l

14、og()()()ijijijijijI x yp x yp x p yp xp yI xI y=+联合自信息与条件自信息联合自信息与条件自信息信源各个离散消息的信源各个离散消息的自信息量的数学期望自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，称为信源的信息熵，也叫信源熵或香农熵，简称熵。（即概率加权的统计平均值）为信源的平均信息量，称为信源的信息熵，也叫信源熵或香农熵，简称熵。熵函数的自变量是熵函数的自变量是X表示信源整体，实质上是离散无记忆信源平均不确定度的度量。表示信源整体，实质上是离散无记忆信源平均不确定度的度量。与自信息不同与自信息不同,自信息表示某一消息所含有的信息

15、量，它是一个随机变量自信息表示某一消息所含有的信息量，它是一个随机变量,不能用它来作为整个信源的信息测度。不能用它来作为整个信源的信息测度。)(log)()(1log)()(212iniiiixpxpxpExIEXH=信源熵定义信源熵定义 信源熵信源熵H(X)的两种的两种物理含义物理含义 信源输出后，每个离散消息所提供的平均信息量；信源输出前，信源的平均不确定度；（反映了随机变量 信源输出后，每个离散消息所提供的平均信息量；信源输出前，信源的平均不确定度；（反映了随机变量X的随机性）的随机性）信源熵理解信源熵理解 例如有两个信源，其概率空间分别为:例如有两个信源，其概率空间分别为:=01.09

16、9.0,)(21xxxpX=5.05.0,)(21yyypYbitXH08.001.0log01.099.0log99.0)(=bitYH15.0log5.05.0log5.0)(=因为因为H(Y)H(X)所以信源所以信源Y比信源比信源X的平均不确定性要大。的平均不确定性要大。信源熵理解信源熵理解电视屏上约有电视屏上约有 500 600=3105个格点，按每格点有个格点，按每格点有10个不同的灰度等级考虑，则共能组成个不同的画面。按等概率计算，平均每个画面可提供的信息量为个不同的灰度等级考虑，则共能组成个不同的画面。按等概率计算，平均每个画面可提供的信息量为53 10221()()log()l

17、og 1/10niiiH Xp xp x=9.97 105 bit510310510310/1信源熵例题信源熵例题有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000 篇仍按等概率篇仍按等概率1/100001000计算，平均每篇千字文可提供的 信息量为计算，平均每篇千字文可提供的 信息量为H(X)log2N 1.3 104 bit“一个电视画面一个电视画面”平均提供的信息量远远超过平均提供的信息量远远超过“一篇千字文一篇千字文”提供的信息量。提供的信息量。信源熵例题信源熵例题该信源该信源X输

18、出符号只有两个输出符号只有两个,设为设为0和和1输出符号发生的概率分别为输出符号发生的概率分别为p和和q，pq=l，即信源的概率空间为，即信源的概率空间为=qpPX10信源熵例题信源熵例题则二元信源熵为则二元信源熵为H(X)=-plogp-qlogq=-plogp-(1-p)log(1-p)=H(p)0 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)H(p)=-plogp-(1-p)log(1-p)条件熵是在联合符号集合条件熵是在联合符号集合XY上的上的条件自信息量的数学期望条件自信息量的数学期望。在已知随机变量。在已知随机变量Y的条件下，随机变量的条件下，随机变量X的

19、条件熵定义为：的条件熵定义为：)/(log)()/()()/()/(1111jimjnijijimjnijijiyxpyxpyxIyxpyxIEYXH=要用联合概率加权条件熵是一个确定值，表示信宿在收到条件熵是一个确定值，表示信宿在收到Y后，信源后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为为信道疑义度信道疑义度，也称损失熵。称条件熵，也称损失熵。称条件熵H(Y/X)为为噪声熵噪声熵。)/(log)()/()/(211ijnimjjiijxypyxpxyIEXYH=条件熵条件熵 联合离散符号集合联合离散符号集合XY上的每

20、个元素对的上的每个元素对的联合自信息量的数学期望联合自信息量的数学期望。)(log)()()()(jinimjjijinimjjiyxpyxpyxIyxpXYH21111=)/(log)()/()()/(kjiijkkjikjiijkkjizyxpzyxpzyxIzyxpZXYH2=)(jiyx联合熵联合熵)()()()()(YXHYHXYHXHXYH+=+=+=NnnnNNNUUUUHUUUUHUUUHUUHUHUUUH112112121312121)()()()()()(?熵、条件熵、联合熵关系熵、条件熵、联合熵关系 一个二进信源一个二进信源X发出符号集发出符号集0,1,经过离散无记忆信道

21、传输经过离散无记忆信道传输,信道输出用信道输出用Y表示表示.由于信道中存在噪声由于信道中存在噪声,接收端除收到接收端除收到0和和1的符号外的符号外,还有不确定符号还有不确定符号“2”已知已知X的先验概率的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：符号转移概率：p(y0|x0)=3/4,p(y2|x0)=1/4p(y1|x1)=1/2,p(y2|x1)=1/2，XY010123/41/21/21/4 信源熵信源熵H(X)bitHXH92.031log3132log32)31,32()(=例 题例 题得联合概率：得联合概率：p(x0y0)=p(x0)p(y0|x0)=2/33

22、/4=1/2p(x0y1)=p(x0)p(y1|x0)=0p(x0y2)=p(x0)p(y2|x0)=2/31/4=1/6p(x1y0)=p(x1)p(y0|x1)=0p(x1y1)=p(x1)p(y1|x1)=1/31/2=1/6p(x1y2)=p(x1)p(y2|x1)=1/31/2=1/6)/()()/()()(jijijijiyxpypxypxpyxp=bitxypyxpXYHijijji88.021log6121log6141log6143log21)|(log),()|(=由由例 题例 题 条件熵条件熵H(Y|X)联合熵联合熵H(XY)H(XY)H(X)H(Y|X)=1.8bit)

23、()(),()(11imjjijnijixpyxpypyxp=得得 p(y0)=p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2p(y1)=p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6p(y2)=p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3 由由bitHYH47.161log6131log3121log21)61,31,21()(=例 题例 题 信源输出熵信源输出熵H(Y)()()()()|(1jjinijijijiypyxpyxpyxpyxp=由由12/12/1)()()|(00000=ypyxpyxp得得同理同理 p(x0|

24、y1)=0；p(x1|y1)=1p(x0|y2)=1/2；p(x1|y2)=1/20)()()|(00101=ypyxpyxpbityxpyxpYXHjiijji33.0)|(log),()|(=条件熵条件熵H(X|Y)例 题例 题或或 H(X|Y)=H(XY)-H(Y)=1.8-1047=0.33bit本节小结本节小结（本节内容见课本（本节内容见课本10-20页）页）信源的数学模型信源的数学模型信源熵（信息熵）信源熵（信息熵）随机变量、随机序列随机变量、随机序列 随机过程随机过程 定义：自信息的数学期望定义：自信息的数学期望 含义：两种解释含义：两种解释 与联合熵、条件熵之间的关系与联合熵、条件熵之间的关系作业作业2.9 2.13 2.14 2.18（前三个不等式证明）（前三个不等式证明）本节小结本节小结（本节内容见课本（本节内容见课本10-20页）页）信源的数学模型信源的数学模型信源熵（信息熵）信源熵（信息熵）随机变量、随机序列随机变量、随机序列 随机过程随机过程 定义：自信息的数学期望定义：自信息的数学期望 含义：两种解释含义：两种解释 与联合熵、条件熵之间的关系与联合熵、条件熵之间的关系