近代信息论第五章优秀PPT.ppt

近代信息论第五章第一页，本课件共有21页引言n信源编码定理 有效性 无失真下信道压缩的界n信道编码定理 可靠性 无失真传输 R的界出发点出发点:无失真无失真实际中有失真：v连续信源的熵无穷大，要求信道容量也无穷大，而实际系统F有限，不可能无失真v实际应用中允许失真，如电话，图像压缩问题如何描述信息的失真，及在限失真的条件下，编码定理如何？如何描述信息的失真，及在限失真的条件下，编码定理如何？第二页，本课件共有21页主要内容n第一节：率失真函数的定义n第二节：率失真函数的性质第三页，本课件共有21页第一节 率失真函数的定义n失真函数的定义两个符号集构成积第四页，本课件共有21页汉明失真函数欧几里德距离测度绝对值失真测度例：失真函数第五页，本课件共有21页平均失真定义n平均失真：失真失真 是主观确定，根据失真所引起的损失、是主观确定，根据失真所引起的损失、风险等因素人为规定。风险等因素人为规定。实际中，常常要求平均失真实际中，常常要求平均失真 某一范围某一范围率失真的问题第六页，本课件共有21页率失真函数nI(X,Y)表征信息的传输率：nI(X,Y)=0 从Y中得不到X的信息 全失真全失真nX与Y一一对应 无失真无失真nI(X,Y)的大小反映了失真的大小recall：工程上允许失真：q图像压缩 （SNR 表失真 压缩倍数）q语音传输 （SNR，MOS（主观评分）失真不能太大，需要保证可懂度和自然度3.5 GSM(RPE-LTP)4.0 CCITT(LD-CELP)第七页，本课件共有21页n问题：当要求失真0H(X|Y)0I(X,Y)=H(X)-H(X|Y)H(X)I(X,Y)=H(X)-H(X|Y)H(X)相当于可以压缩相当于可以压缩第十六页，本课件共有21页例：选择信道选择信道1：选择信道选择信道2：则R(0)=H(X)可压缩可压缩第十七页，本课件共有21页Dmax R(Dmax)定义定义第十八页，本课件共有21页两个向量的内积Dmax R(Dmax)I(X;Y)=0,X,Y独立，第十九页，本课件共有21页讨论：1.2.某列全为某列全为1 1每行三者和为每行三者和为1 1R(Dmax)=minI(X,Y)=0第二十页，本课件共有21页R(D)的数学特征R(D)是D的下凸函数；R(D)是关于D的连续函数；R(D)是关于D的单调递减函数。DR(D)0DmaxDminDR(D)0DmaxDminH(X)相切相切趋近无穷趋近无穷离散离散连续连续back第二十一页，本课件共有21页