近代信息论第五章精选文档.ppt

《近代信息论第五章精选文档.ppt》由会员分享，可在线阅读，更多相关《近代信息论第五章精选文档.ppt（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、近代信息论第五章本讲稿第一页，共二十一页引言n信源编码定理 有效性 无失真下信道压缩的界n信道编码定理 可靠性 无失真传输 R的界出发点出发点:无失真无失真实际中有失真：v连续信源的熵无穷大，要求信道容量也无穷大，而实际系统F有限，不可能无失真v实际应用中允许失真，如电话，图像压缩问题如何描述信息的失真，及在限失真的条件下，编码定理如何？如何描述信息的失真，及在限失真的条件下，编码定理如何？本讲稿第二页，共二十一页主要内容n第一节：率失真函数的定义n第二节：率失真函数的性质本讲稿第三页，共二十一页第一节 率失真函数的定义n失真函数的定义两个符号集构成积本讲稿第四页，共二十一页汉明失真函数欧几里

2、德距离测度绝对值失真测度例：失真函数本讲稿第五页，共二十一页平均失真定义n平均失真：失真失真 是主观确定，根据失真所引起的损失、风是主观确定，根据失真所引起的损失、风险等因素人为规定。险等因素人为规定。实际中，常常要求平均失真实际中，常常要求平均失真 某一范围某一范围率失真的问题本讲稿第六页，共二十一页率失真函数nI(X,Y)表征信息的传输率：nI(X,Y)=0 从Y中得不到X的信息 全失真全失真nX与Y一一对应 无失真无失真nI(X,Y)的大小反映了失真的大小recall：工程上允许失真：q图像压缩 （SNR 表失真 压缩倍数）q语音传输 （SNR，MOS（主观评分）失真不能太大，需要保证可

3、懂度和自然度3.5 GSM(RPE-LTP)4.0 CCITT(LD-CELP)本讲稿第七页，共二十一页n问题：当要求失真0H(X|Y)0I(X,Y)=H(X)-H(X|Y)H(X)I(X,Y)=H(X)-H(X|Y)H(X)相当于可以压缩相当于可以压缩本讲稿第十六页，共二十一页例：选择信道选择信道1：选择信道选择信道2：则R(0)=H(X)可压缩可压缩本讲稿第十七页，共二十一页Dmax R(Dmax)定义定义本讲稿第十八页，共二十一页两个向量的内积Dmax R(Dmax)I(X;Y)=0,X,Y独立，本讲稿第十九页，共二十一页讨论：1.2.某列全为某列全为1 1每行三者和为每行三者和为1 1R(Dmax)=minI(X,Y)=0本讲稿第二十页，共二十一页R(D)的数学特征R(D)是D的下凸函数；R(D)是关于D的连续函数；R(D)是关于D的单调递减函数。DR(D)0DmaxDminDR(D)0DmaxDminH(X)相切相切趋近无穷趋近无穷离散离散连续连续back本讲稿第二十一页，共二十一页