信息论与编码-第9章 率失真函数.ppt

《信息论与编码-第9章 率失真函数.ppt》由会员分享，可在线阅读，更多相关《信息论与编码-第9章 率失真函数.ppt（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、Information Theory and Coding TheoryInformation Theory and Coding Theory第第9章章 率失真函数率失真函数1Information Theory and Coding TheoryInformation Theory and Coding Theory一般概念与定义一般概念与定义不等长编码平均长度不超过不等长编码平均长度不超过H HL L(U U)/log)/logDD+1/+1/L L可可以无失真以无失真等长编码等长编码 H HL L(U)+(U)+e e/logD/logD失真不会超过给定值失真不会超过给定值传输信息允许

2、失真，信息率可以下降传输信息允许失真，信息率可以下降0.250.250.250.150.10不等长编码不等长编码000110110111等长编码等长编码000001010011100允许失真允许失真00011011112.25bit3bit2bit2Information Theory and Coding TheoryInformation Theory and Coding Theory信道失真信道失真d(u,vd(u,v)是是U U和和V V的非负函数，的非负函数，U,VU,V为离散变量为离散变量UV=a1,a2,akP(v|u)UV3Information Theory and Cod

3、ing TheoryInformation Theory and Coding Theory平均失真平均失真4Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数率失真函数P PDD是满足是满足 所有所有P Pji ji的集合的集合失真不超过失真不超过D D 时传时传输所需的最小互信输所需的最小互信息量息量5Information Theory and Coding TheoryInformation Theory and Coding Theory失真率函数失真率函数给定信息率，找给定信息率

4、，找最小的失真的编最小的失真的编码方式码方式6Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数的基本性质率失真函数的基本性质7Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数定义域率失真函数定义域不允许最小失真小于某一值，不允许最小失真小于某一值，D DDDminminDDmaxmax是使是使R(D)=0R(D)=0的的D D的最小值的最小值令令P PD D是使是使I(Pji)0 0的

5、全体转移概率的集合的全体转移概率的集合8Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数的定义域率失真函数的定义域I(Pji)=0的充要条件是的充要条件是U U和和V V统计独立统计独立9Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数的定义域率失真函数的定义域例例 Q(0)=Q(1)=0.50110E110.20.2失真定义失真定义V=0,1,D=0.5*0.2+0.5*0.2=0.

6、2V=E,D=0.5Dmax=0.210Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质R R(D D)是下凸函数是下凸函数使使达到最小，且达到最小，且使使达到最小，且达到最小，且11Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质因为因为I(P)I(P)为凸下函数为凸下函数12Information Theory and Coding TheoryInformation

7、Theory and Coding TheoryR(D)性质性质R R(D D)是是DD的连续单调减函数的连续单调减函数减函数减函数单调减函数单调减函数13Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质足够小足够小=014Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质15Information Theory and Coding TheoryInformation Th

8、eory and Coding Theory有失真时的逆信源编码定理有失真时的逆信源编码定理当速率小于当速率小于R R(DD)时，不论采取什么方式，时，不论采取什么方式，平均失真必大于平均失真必大于DD.设假若存在一种编码方式，当设假若存在一种编码方式，当 时时 信源输出信源输出u u的的平均失真平均失真16Information Theory and Coding TheoryInformation Theory and Coding Theory有失真时的逆信源编码定理有失真时的逆信源编码定理而由假设而由假设17Information Theory and Coding TheoryInf

9、ormation Theory and Coding TheoryDMS RDMS R(D D)的计算的计算对所有对所有u使使关于关于P(v|u)最小最小18Information Theory and Coding TheoryInformation Theory and Coding Theory拉格朗日函数拉格朗日函数19Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS R(D)DMS R(D)的计算的计算上式是在假设所有上式是在假设所有 大于大于0的情况下求得的的情况下求得的 20In

10、formation Theory and Coding TheoryInformation Theory and Coding TheoryDMS R(D)的计算的计算21Information Theory and Coding TheoryInformation Theory and Coding TheoryS的几何含义的几何含义s是点是点 处率失真函数的斜率：处率失真函数的斜率：22Information Theory and Coding TheoryInformation Theory and Coding Theory23Information Theory and Coding

11、 TheoryInformation Theory and Coding TheoryDMS DMS 求求R(D)R(D)步骤步骤j=1,2,3,J 解出解出2.由由解出解出1 13.由由解出解出S4.代入代入24Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS DMS 求求R(D)R(D)步骤步骤例例25Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS DMS 求求R(D)R(D)步骤步骤2

12、6Information Theory and Coding TheoryInformation Theory and Coding Theory连续信源连续信源27Information Theory and Coding TheoryInformation Theory and Coding Theory连续信源连续信源28Information Theory and Coding TheoryInformation Theory and Coding Theory定理定理9.3.3 29Information Theory and Coding TheoryInformation Theory and Coding Theory例例9.3.2 信源输出是平均值为零，方差为 的独立高斯变量 30Information Theory and Coding TheoryInformation Theory and Coding Theory例例9.3.231Information Theory and Coding TheoryInformation Theory and Coding Theory例例9.3.232