应用信息论第讲率失真函数幻灯片.ppt
应用信息论第讲率失真函数2023/1/61第1页，共61页，编辑于2022年，星期六l平均失真度l离散随机变量X：lN维离散随机序列：l信息率失真函数l离散信息X：概率分布为P(X)，失真度为d(xi,yj)小 结2023/1/62第2页，共61页，编辑于2022年，星期六l信息率失真函数的性质l定义域(Dmin,Dmax)：Dmin是最小允许失真度，Dmax是最大允许失真度l下凸性l单调递减和连续性小 结2023/1/63第3页，共61页，编辑于2022年，星期六4.2 离散信源的信息率失真函数l对离散信源，求R(D)与求C类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；lC是求平均互信息的条件极大值，R(D)是求平均互信息的条件极小值。4.2.1 离散信源信息率失真函数的参量表达式4.2.2 二元及等概率离散信源的信息率失真函数2023/1/64第4页，共61页，编辑于2022年，星期六4.2.1 离散信源率失真函数的参量表达式(1)求极小值方法l用拉格朗日乘数法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。l已知信源概率分布函数p(xi)和失真度d(xi,yj)，在满足保真度准则 的条件下，在试验信道集合PD当中选择p(yj/xi)，使平均互信息4.2 离散信源的信息率失真函数2023/1/65第5页，共61页，编辑于2022年，星期六(2)离散信源的信息率失真函数 已知平均互信息在(4.2.5)的(n+1)个条件限制下求I(X;Y)的极值，引入拉格朗日乘数S和i(i=1,2,n)，构造一个新函数4.2 离散信源的信息率失真函数4.2.1 离散信源率失真函数的参量表达式2023/1/66第6页，共61页，编辑于2022年，星期六4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数2023/1/67第7页，共61页，编辑于2022年，星期六4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数2023/1/68第8页，共61页，编辑于2022年，星期六4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数2023/1/69第9页，共61页，编辑于2022年，星期六第一步：求i4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数2023/1/610第10页，共61页，编辑于2022年，星期六4.2.1 离散信源率失真函数的参量表达式第二步：求p(yj)第三步：求p(yj/xi)将解出的i和求p(yj)代入式(4.2.10)，可求得mn个以S为参量的p(yj/xi)。4.2 离散信源的信息率失真函数2023/1/611第11页，共61页，编辑于2022年，星期六第四步：求D(S)将这mn个p(yj/xi)代入(4.2.5)得到以S为参量的允许平均失真函数D(S)。4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数2023/1/612第12页，共61页，编辑于2022年，星期六第五步：求R(S)将这mn个p(yj/xi)代入(4.2.4)得到以S为参量的率失真函数R(S)。4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数2023/1/613第13页，共61页，编辑于2022年，星期六第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲线，如图4.2.1。4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数2023/1/614第14页，共61页，编辑于2022年，星期六4.2.1 离散信源率失真函数的参量表达式(3)参量S的说明l可以证明S就是R(D)函数的斜率 。l斜率S必然负值；S是D的递增函数，D从0变到Dmax，S将逐渐增加；l当D=0时(R(D)的斜率)：S的最小值趋于负无穷。4.2 离散信源的信息率失真函数2023/1/615第15页，共61页，编辑于2022年，星期六4.2.1 离散信源率失真函数的参量表达式l当D=Dmax时：S达到最大；这个最大值也是某一个负值，最大是0。l当DDmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域0,Dmax内，除某些特例外，S将是D的连续函数。4.2 离散信源的信息率失真函数2023/1/616第16页，共61页，编辑于2022年，星期六(1)二元离散信源的率失真函数 设二元信源 计算率失真函数R(D)4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/617第17页，共61页，编辑于2022年，星期六 先求出Dmax4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/618第18页，共61页，编辑于2022年，星期六第一步：求i，由式(4.2.12)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/619第19页，共61页，编辑于2022年，星期六第二步：求p(yj)，由式(4.2.11)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/620第20页，共61页，编辑于2022年，星期六第三步：求p(yj/xi)，由式(4.2.10)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/621第21页，共61页，编辑于2022年，星期六第四步：求D(S)，将上述结果代入式(4.2.14)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/622第22页，共61页，编辑于2022年，星期六第五步：求R(S)，将上述结果代入式(4.2.15)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/623第23页，共61页，编辑于2022年，星期六对于这种简单信源，可从D(S)解出S与D的显式表达式。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/624第24页，共61页，编辑于2022年，星期六4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/625第25页，共61页，编辑于2022年，星期六第六步：通过以上步骤计算出来的R(D)和S(D)如图4.2.2。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/626第26页，共61页，编辑于2022年，星期六(2)信息率失真函数曲线图说明l若=1，把d(xi,yj)当成了误码个数，即X和Y不一致时，认为误了一个码元，所以d(xi,yj)的数学期望就是的数学期望就是平均误码率平均误码率。能容忍的失真等效于能容忍的误码率。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/627第27页，共61页，编辑于2022年，星期六lR(D)不仅与D有关，还与p有关。概率分布不同，R(D)曲线就不一样。当p=0.25时，如果能容忍的误码率也是0.25，不用传送信息便可达到，即R=0，这就是R(Dmax)=0的含义。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/628第28页，共61页，编辑于2022年，星期六l当D相同时，信源越趋于等概率分布，R(D)就越大。由最大离散熵定理，信源越趋于等概率分布，其熵越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而R(D)正是去除信源不确定性所必须的信息传输率。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/629第29页，共61页，编辑于2022年，星期六l关于S(D)l它与p无直接关系，S(D)曲线只有一条，p=0.5和p=0.25都可以用，但它们的定义域不同；lp=0.25时定义域是D=00.25，即到A点为止，此时 Smax=1.59。D0.25时，S(D)就恒为0了。所以在A点S(D)是不连续的；l当p=0.5时，曲线延伸至D=0.5处，此时Smax=0，故S(D)是连续曲线，定义域为D=00.5。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/630第30页，共61页，编辑于2022年，星期六(3)二元等概率离散信源的率失真函数l当上述二元信源呈等概率分布时，上面式子分别退化为4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/631第31页，共61页，编辑于2022年，星期六l这个结论很容易推广到n元等概率信源的情况。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数2023/1/632第32页，共61页，编辑于2022年，星期六4.3.1 连续信源的信息率失真函数的参量表达式4.3.2 高斯信源的信息率失真函数4.3 连续信源的信息率失真函数2023/1/633第33页，共61页，编辑于2022年，星期六l条件l信源XR=(,)l信源X的概率密度函数为p(x)l信道的传递概率密度函数为p(y/x)l信宿YR=(,)l信宿Y的概率密度函数为p(y)lX和Y之间的失真度d(x,y)04.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数2023/1/634第34页，共61页，编辑于2022年，星期六l平均失真度为l平均互信息为4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数2023/1/635第35页，共61页，编辑于2022年，星期六lPD为满足保真度准则 的所有试验信道集合。l信息率失真函数为l相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。lR(D)函数的参量表达式：l一般情况，在失真度积分存在情况下，R(D)的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数2023/1/636第36页，共61页，编辑于2022年，星期六(1)高斯信源特性及失真度l设连续信源的概率密度为正态分布函数l数学期望为l方差为l失真度为d(x,y)=(xy)2，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。4.3.2 高斯信源的信息率失真函数4.3连续信源的信息率失真函数2023/1/637第37页，共61页，编辑于2022年，星期六4.3.2 高斯信源的信息率失真函数(2)曲线图说明 曲线如图4.3.2。当信源均值不为0时，仍有这个结果，因为高斯信源的熵只与随机变量的方差有关，与均值无关。4.3连续信源的信息率失真函数2023/1/638第38页，共61页，编辑于2022年，星期六4.3.2 高斯信源的信息率失真函数l当D=2时，R(D)=0：这就是说，如果允许失真（均方误差）等于信源的方差，只需用确知的均值m来表示信源的输出，不需要传送信源的任何实际输出；l当D=0时，R(D)：这点说明在连续信源情况下，要毫无失真地传送信源的输出是不可能的。即要毫无失真地传送信源的输出必须要求信道具有无限大的容量；4.3连续信源的信息率失真函数2023/1/639第39页，共61页，编辑于2022年，星期六4.3.2 高斯信源的信息率失真函数l当0D0，当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度 ；反之，若R0，当信息率 RR(D)，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 ；反之，若 RR(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。l信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。第四章 信息率失真函数2023/1/659第59页，共61页，编辑于2022年，星期六l研究信道编码和率失真函数的意义l研究信道容量的意义：研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。l 研究信息率失真函数的意义：研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D 的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。第四章 信息率失真函数2023/1/660第60页，共61页，编辑于2022年，星期六l设信源 ，其失真度为汉明失真度，试问当允许平均失真度 D=(1/2)p 时，每一信源符号平均最少需要几个二进制符号？解：失真矩阵第四章 信息率失真函数2023/1/661第61页，共61页，编辑于2022年，星期六
