第五章离散信源的限失真信源编码.ppt

《第五章离散信源的限失真信源编码.ppt》由会员分享，可在线阅读，更多相关《第五章离散信源的限失真信源编码.ppt（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章第五章 离散信源的限失真信源编码离散信源的限失真信源编码5.1 5.1 引言引言 信息率失真理论的基本概念：在允许传输消息出现一定的失信息率失真理论的基本概念：在允许传输消息出现一定的失真条件下，传输该消息所需的信息率真条件下，传输该消息所需的信息率(最小值最小值)将会比不允许失将会比不允许失真时小，并且允许的失真度越大，则信息率真时小，并且允许的失真度越大，则信息率(最小值最小值)允许减小允许减小的程度就越大的程度就越大5 5.2.2 失真函数和信息率失真函数失真函数和信息率失真函数 一一.失真函数失真函数 设离散信源的符号集合设离散信源的符号集合X Xaa1 1，a a2 2，a a

2、NN，且各个符号都，且各个符号都在信道上传输；信宿收到的符号集合在信道上传输；信宿收到的符号集合Y Ybb1 1，b b2 2，b bNN 若若X X和和Y Y消息符号集合相同，即消息符号集合相同，即X XY Yaa1 1，a a2 2，a aNN 当信源发出符号当信源发出符号X X a ai i ，而信宿收到符号，而信宿收到符号Y Y a aj j时，失真函数时，失真函数d d(x xi i ,y yj j)为：为：d(d(x xi i,y yj j)d(d(x x ,y y)|)|x x a ai i ,y y a aj j 简化起见，简化起见，d(d(x xi i ,y yj j)简写成

3、简写成 d dij ij i ij j时，时，x x和和y y的消息符号都是的消息符号都是a ai i，收发之间没有失真，收发之间没有失真，d dij ij 0 0 ijij时，发出符号时，发出符号a ai i，收到，收到a aj j，传输时出现失真，传输时出现失真，d dij ij 00 一般一般d dij ij值的大小表示失真的程度，表征了接收消息值的大小表示失真的程度，表征了接收消息y yj j与发送消与发送消息息x xi i之间的定量失真度之间的定量失真度d dij ij0 i0 ij j0 0 ijij 若若X X和和Y Y集合都由集合都由N N个不同符号构成的，那么可组成个不同符号

4、构成的，那么可组成N N2 2个不同的个不同的(i,ji,j)对，相对应的失真函数也有对，相对应的失真函数也有N N2 2个个 d dij ij表示方法有两种，一是失真矩阵表示方法有两种，一是失真矩阵D D，二是消息传输图，二是消息传输图例：已知例：已知X XY Yaa1 1，a a2 2，且有，且有d d11 11d d22220 0，d d1212d d21211 1，用两种，用两种方法表示失真函数方法表示失真函数 解：失真矩阵解：失真矩阵D D为：为：消息传输图为：消息传输图为：为了估计全体信源发出的消息符号与接收符号之间的失真程度为了估计全体信源发出的消息符号与接收符号之间的失真程度,

5、需要计算各个失真函数的统计平均值需要计算各个失真函数的统计平均值(数学期望数学期望)。平均失真函数。平均失真函数定义为：定义为：若若X X和和Y Y都是都是n n维矢量消息的集合，也可以定义两个矢量消息之维矢量消息的集合，也可以定义两个矢量消息之间的失真函数为：间的失真函数为：其平均失真函数为：其平均失真函数为：该式中该式中 是是n n维矢量的第维矢量的第r r个分量上的平均失真函数个分量上的平均失真函数 二二.信息率失真函数信息率失真函数 当给定信源的各符号概率分布时，若要求平均失真函数不超过当给定信源的各符号概率分布时，若要求平均失真函数不超过某个给定的值某个给定的值D(D(即即D D为允

6、许失真度为允许失真度)，这就需要对假想的试验信道，这就需要对假想的试验信道的传输概率的传输概率P(P(y yj j|x xi i)施加一定的限制施加一定的限制 先把先把 P(P(y yj j|x xi i)集合的各种可能值代入式集合的各种可能值代入式 求出各个求出各个 ，再根据，再根据 ，把，把 P(P(y yj j|x xi i)分成两类分成两类 的一类用的一类用P PD D表示，表示，P PD D是能使实际失真在允许失真度范是能使实际失真在允许失真度范围内的那些假想试验信道的围内的那些假想试验信道的 P(P(y yj j|x xi i)的一类称为禁用集合的一类称为禁用集合例：设信源具有一百

7、个以等概率出现的符号例：设信源具有一百个以等概率出现的符号a a1 1，a a2 2，a a9999，a a100100，并以每秒发出一个符号的速率从信源输出。试求在允许失真，并以每秒发出一个符号的速率从信源输出。试求在允许失真度度D D0.10.1条件下，传输这些消息所需要的最小信息率条件下，传输这些消息所需要的最小信息率 解：在不失真传输条件下的信息率解：在不失真传输条件下的信息率R R为：为：因为允许失真度因为允许失真度D D0.10.1，可设想信源，可设想信源100100个符号经过假想的试个符号经过假想的试验信道只输出验信道只输出a a1 1，a a2 2，a a8989，a a909

8、0，即输出，即输出9090个符号，而余下个符号，而余下的的a a9191，a a100 100 都用都用a a9090代替代替 失真矩阵失真矩阵D D为：为：bit/sbit/s 除除a a1 1，a a2 2，a a8989，a a9090对应位置上的元素为对应位置上的元素为0 0外，其余元素为外，其余元素为1 1或或，假想试验信道传输概率，假想试验信道传输概率P(P(y yj j|x xi i)为零时，所对应的为零时，所对应的d dij ij为无为无限大限大 这个失真信源的组合方案的平均失真函数为：这个失真信源的组合方案的平均失真函数为：上式中上式中X X1 1Y Y1 1aa1 1，a

9、a2 2，a a8989，a a9090，属于不失真的符号集，属于不失真的符号集合，对应合，对应d dij ij0 0，其中，其中i,ji,j1 1，2 2，9090 X X2 2aa9191，a a100100，Y Y2 2aa9090，属于失真集合，对应，属于失真集合，对应d dij ij1 1，其中其中i i9191，9 92 2，100100，j j9090 据题意，据题意，P(P(x xi i)1/1001/100，i i1 1，2 2，100100 所以，有：所以，有：可见，这样设想的失真信源的组合方案能满足对失真度的要求可见，这样设想的失真信源的组合方案能满足对失真度的要求 在试

10、验信道的输出端，在试验信道的输出端，a a1 1，a a2 2，a a8989的出现概率仍为的出现概率仍为1/1001/100,而而a a9090的出现概率的出现概率P(aP(a9090)11/10011/100 所以，相应的信息率为：所以，相应的信息率为：比较比较 R R与与 R R,可知在可知在D D0.10.1的条件下，信息率可减小，减小的条件下，信息率可减小，减小了了6.6446.6446.2646.2640.38 bit/s0.38 bit/s 同理，在同理，在D D0.50.5的条件下的条件下(假定假定5050个符号产生失真个符号产生失真)信息率信息率R R”为：为：信息率可减小信

11、息率可减小 6.6446.6443.7513.7512.893 bit/s2.893 bit/sbit/sbit/sbit/sbit/s 信息率失真函数信息率失真函数R(D)R(D)定义为：定义为：在给定信源消息的概率分布在给定信源消息的概率分布 P(P(x xi i)及平均失真函数允许值及平均失真函数允许值D D的的条件下，传输这些信源消息，并使失真程度在允许范围内时，所条件下，传输这些信源消息，并使失真程度在允许范围内时，所需要的信息率的最小值需要的信息率的最小值，其定义式为：，其定义式为：R(D)R(D)又称作率失真函数又称作率失真函数信息率失真函数与信道容量的关系：信息率失真函数与信道

12、容量的关系：信源与信道的对偶关系反映在信息率失真函数与信道容量之间信源与信道的对偶关系反映在信息率失真函数与信道容量之间的对偶关系。信道容量的对偶关系。信道容量C C是给定信道传输概率集合（或信道矩阵）是给定信道传输概率集合（或信道矩阵）的条件下，信道所允许的最大信息传输速率。也就是说，信道容的条件下，信道所允许的最大信息传输速率。也就是说，信道容量量C C是在给定传输特性的条件下，平均互信息量是在给定传输特性的条件下，平均互信息量I I（X X；Y Y）在信源）在信源消息概率矢量上的一个极大值。信息率失真函数消息概率矢量上的一个极大值。信息率失真函数R R（D D）是在给定）是在给定信源消息

13、概率分布的条件下，信源消息概率分布的条件下，I I（X X；Y Y）在试验信道的信道传输概）在试验信道的信道传输概率矢量率矢量P(P(y yj j|x xi i)上一个极小值上一个极小值三三.限失真信源编码定理限失真信源编码定理(香农第三定理香农第三定理)限失真信源的信息率用限失真信源的信息率用R(D)R(D)描述，所采用的信道的信道容量描述，所采用的信道的信道容量为为C C时，若时，若CR(D)CR(D)时，则限失真信源的有效性编码存在；反时，则限失真信源的有效性编码存在；反之，若之，若CR(D)C D D Dmaxmax 也有也有R(D)R(D)0 0 X X和和Y Y相互独立的条件下，对

14、各个相互独立的条件下，对各个x xi i，有，有P(P(y yj j|x xi i)P(P(y yj j)，这时，这时平均失真函数可写成：平均失真函数可写成：因为当因为当D D D Dmaxmax时，有时，有R(D)R(D)0 0 所以，所以，D Dmaxmax应在满足应在满足I(XI(X；Y)Y)0 0的条件下，取的条件下，取Y Y集合中所有集合中所有 值中的最小值，故定义值中的最小值，故定义D Dmaxmax为：为：例：已知信源的消息集合例：已知信源的消息集合X X中包含中包含x x0 0和和x x1 1两个消息，并设它们的概两个消息，并设它们的概率为率为P(P(X X1 1)p 1/2，P(P(X X2 2)1 1p，而信宿符号集合而信宿符号集合Y Y也包含两个也包含两个符号符号y y0 0和和y y1 1 ，失真矩阵为，失真矩阵为 ，试求，试求D Dmaxmax 解：接收符号解：接收符号y y0 0的平均失真函数的平均失真函数 为：为：接收符号接收符号y y1 1的平均失真函数的平均失真函数 为：为：因为因为p 1/2 所以所以 3.3.在在(0(0，D Dmaxmax)范围内，范围内，R(D)R(D)是是D D上的凹函数上的凹函数 4.R(D)4.R(D)是是D D上的单调递减的连续函数上的单调递减的连续函数