第4章-信息率失真函数--《信息论与编码》经典课件.ppt

《第4章-信息率失真函数--《信息论与编码》经典课件.ppt》由会员分享，可在线阅读，更多相关《第4章-信息率失真函数--《信息论与编码》经典课件.ppt（37页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息率失真函数信息率失真函数信息率失真函数信息率失真函数 第第4 4章章14.14.1 平均失真和信息率失真函数平均失真和信息率失真函数4.24.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算内容内容24.14.1 平均失真和平均失真和信息率失真函数信息率失真函数34.1.1 4.1.1 失真函数失真函数 假如某一信源X,输出样值xi,xia1,a2,an,经信道传输后变成yj,yj b1,b2,bm,如果:xi yj 没有失真 xi yj 产生失真失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。失真函数定义为：4失真函数形式可以根据

2、需要任意选取,最常用的有:均方失真:绝对失真:相对失真:误码失真:适于连续信源适于离散信源失真函数失真函数6汉明失真矩阵 对于二元对称信源(m=n),X=0,1,Y=0,1,汉明失真矩阵:74.1.2 4.1.2 平均失真平均失真 xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值只能用数学期望表示将失真函数的数学期望称为平均失真：失真函数d(xi,yj)：描述了某个信源符号通过传输后失真的大小平均失真 ：描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真84.1.3 4.1.3 信息率失真函数信息率失真函数R

3、(D)无论是无噪信道还是有噪信道:RC总能找到一种编码使在信道上能以任意小的错误概率,以任意接近C的传输率来传送信息 RC就必须对信源压缩,使其压缩后信息传输率R小于信道容量C,但同时要保证压缩所引入的失真不超过预先规定的限度。信息压缩问题就是对于给定的信源,在满足平均失真 的前提下,使信息率尽可能小。10信息率失真函数信息率失真函数R(D)若平均失真度 不大于我们所允许的失真,即则称此为保真度准则当信源p(xi)给定,单个符号失真度d(xi,yj)给定时,选择不同的试验信道p(yj|xi),相当于不同的编码方法,其所得的平均失真度不同。试验信道11信息率失真函数信息率失真函数R(D)R(D)

4、：在限定失真为D的条件下信源输出的最小信息速率。在信源给定后,我们希望在满足一定失真的情况下,使信源必须传输给收信者的信息传输率R尽可能地小。若从接收端来着,就是在满足保真度准则下,寻找再现信源消息所必须获得的最低平均信息量。即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。13例已知编码器输入的概率分布为p(x)=0.5,0.5信道矩阵求互信息15编码器输入的概率分布为p(x)=0.5,0.5信道矩阵求互信息可见当p(x)一定时,I(X,Y)随p(yj|xi)而变。因为p(x)分布一定时,信道受干扰不同所能传递的信息量是不同的。当p(x)一定时,I(X,Y)是关于p(yj|xi)

5、的下凸函数。因此当改变p(yj|xi)时,I(X,Y)有一极小值。16信道容量信道容量信道容量：假定信道固定的前提下,选择一种试验信源使信息传输率最大。它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化不同的信道其信道容量不同。18信息率失真函数信息率失真函数信息率失真函数：假定信源给定的情况下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。率失真函数一旦找到,就与求极值过程中选择的试验信道不再有关,而只是信源

6、特性的参量不同的信源其R(D)不同。19研究信道容量：充分利用已给信道,使传输的信息量最大,而发生错误的概率任意小。研究信息率失真函数：解决在已知信源和允许失真度D的条件下,使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息,以提高通信的有效性。20例：设信源的符号表为A=al,a2,a2n,概率分布为p(ai)=1/2n,i=1,22n,失真函数规定为 信源熵 如果对信源进行不失真编码,平均每个符号至少需要log2n个二进制码元。现在假定允许有一定失真,假设失真限度为D=1/2设想采用下面的编码方案：a1a1，a2a2，anan an+1an,an+2 an,

7、a2n an即不发生差错时失真为0,出错失真为1研究在一定编码条件下信息压缩的程度。21平均失真 则输出熵H(Y)由该信道模型图4-3看出,它是一个确定信道 pij=1(或0)，H(Y|X)=0 压缩22R(D)的定义域的定义域Dmin 和R(Dmin)信源的最小平均失真度：只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。当Dmin=0,即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量信息熵。即 R(0)=H(X)24R(D)的定义域的定义域因为实际信道总是有干扰的,其容量有限,要无失真地传送连续信息是不可能的。当允许有一定失真时,R(D)将为有限值,传

8、送才是可能的。对于连续信源：25R(D)的定义域的定义域R(D)的定义域为Dmin，Dmax。通常Dmin=0，R(Dmin)=H(X)当 DDmax时,R(D)=0当 0 DDmax时,0R(D)H(X)26R(D)的定义域的定义域由于I(X,Y)=0的充要条件是X与Y统计独立,即：28例4-3:设输入输出符号表为X=Y=0,1,输入概率分布p(x)=1/3,2/3,失真矩阵 求：Dmin 和Dmax 失真矩阵的每一行至少有一个0元素时,Dmin=029信息率失真函数的性质信息率失真函数的性质1、R(D)是非负的实数,R(D)0。其定义域为0Dmax,其值为0H(X)。当DDmax时,R(D

9、)02、R(D)是关于D的下凸函数R(D)在定义域内是失真度D的U型下凸函数3、R(D)的单调递减性及连续性容许的失真度越大，所要求的信息率越小。反之亦然。3132离散信源离散信源R(D)计算计算 给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。它是在保真度准则下求极小值的问题。但要得到它的显式表达式,一般比较困难通常用参量表达式。即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。33二元对称信源的二元对称信源的R(D)函数函数 设二元对称信源X=0,1,其概率分布p(x)=p,1-p,接收变量Y=0,1,汉明失真矩阵因而最小允许失真度Dmin=0。并能找到满足该最小失真的试验信道,且是一个无噪无损信道,其信道矩阵为34计算得：R(0)=I(X;Y)=H(p)最大允许失真度为要达到最大允许失真度的试验信道,唯一确定为35这个试验信道能正确传送信源符号x=1,而传送信源符号x=0时,接收符号一定为y=1凡发送符号x=0时,一定都错了。而x=0出现的概率为p,所以信道的平均失真度为p。在这种试验信道条件下，可计算得 R(Dmax)=R(p)=036习题习题4-14-237