第四章_信息率失真函数精选文档.ppt

第四章_信息率失真函数本讲稿第一页，共二十二页4.1基本概念4.1.1失真函数与平均失真度失真函数与平均失真度4.1.2信息率失真函数的定义信息率失真函数的定义4.1.3信息率失真函数的性质信息率失真函数的性质率失真函数的定义域率失真函数的定义域率失真函数对允许平均失真度的下凸性率失真函数对允许平均失真度的下凸性率失真函数的单调递减和连续性率失真函数的单调递减和连续性2本讲稿第二页，共二十二页引入限失真的必要性失真在传输中是不可避免的失真在传输中是不可避免的连续信源的绝对熵为无限大，若要无失真地进行传输，则连续信源的绝对熵为无限大，若要无失真地进行传输，则要求信息传输率也为无限大，然而现实世界中信道带宽总要求信息传输率也为无限大，然而现实世界中信道带宽总是有限的，信道容量总有一定限度，因此不可能实现完全是有限的，信道容量总有一定限度，因此不可能实现完全无失真的信源信息的传输无失真的信源信息的传输另一方面，从无失真信源编码考虑，由于要求码字包含另一方面，从无失真信源编码考虑，由于要求码字包含的信息量不小于信源的熵，所以对于连续信源，要用无的信息量不小于信源的熵，所以对于连续信源，要用无限多个比特才能完全无失真地来描述，这是不现实的限多个比特才能完全无失真地来描述，这是不现实的即使是离散信源，若要处理的信息量很大，采用无失真即使是离散信源，若要处理的信息量很大，采用无失真编码将使得信息的存储和传输成本非常高，而且在很多编码将使得信息的存储和传输成本非常高，而且在很多场合，过高的信息传输率是不必要的场合，过高的信息传输率是不必要的3本讲稿第三页，共二十二页引入限失真的必要性(续)信信宿宿只只具具有有有有限限的的的的分分辨辨能能力力与与灵灵敏敏度度，超超过过分分辨辨能能力力与与灵敏度的信息传送过程是毫无意义的灵敏度的信息传送过程是毫无意义的例例1：由于人耳能够接收的带宽和分辨率是有限的，因此：由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频传输的时候，就允许有一定的失真，并且对欣对数字音频传输的时候，就允许有一定的失真，并且对欣赏音乐没有太大的影响赏音乐没有太大的影响例例2：对于数字电视，由于人的视觉系统的分辨率有限，并且：对于数字电视，由于人的视觉系统的分辨率有限，并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量分量例例3：放映电影，理论上要完全无失真地表现出一个连续：放映电影，理论上要完全无失真地表现出一个连续动作，需要用无穷多个静态画面连续放映，但利用人眼的动作，需要用无穷多个静态画面连续放映，但利用人眼的“视觉暂留性视觉暂留性”，只要每秒钟连续放映，只要每秒钟连续放映24幅静态画面，就几幅静态画面，就几乎让观众感觉不到失真的存在乎让观众感觉不到失真的存在4本讲稿第四页，共二十二页引入限失真的必要性(续)如如果果允允许许信信息息有有某某些些失失真真，就就可可以以大大大大降降低低信信息息传传输输速速率率，从从而而降降低低通信成本通信成本应用种类 象素数/行 行数/帧 信息传输率(码率)bps压缩前压缩后HDTV19201080 1.18 G2025 M普通电视普通电视 720480167 M 48 M会议电视会议电视 352288 36.5 M 1.52 M电视电话电视电话128112 5.2 M 56 K在在允允许许一一定定程程度度失失真真的的条条件件下下，怎怎样样用用尽尽可可能能少少的的码码符符号号来来表表达达信信源源的的信信息息，也也就就是是信信源源熵熵所所能能压压缩缩的的极极限限或或者者说说编编码码后后信信息息传传输率压缩的极限值是多少？输率压缩的极限值是多少？保真度准则下的离散信源编码定理：在在允允许许一一定定失失真真度度 D 的的情情况况下下，信源输出的信息传输率可压缩到极限值信源输出的信息传输率可压缩到极限值信息率失真函数信息率失真函数 R(D)5本讲稿第五页，共二十二页失真函数由由于于本本章章学学习习内内容容只只涉涉及及信信源源编编码码问问题题，因因此此可可以以把把从从信信源源编编码码器器到到信源译码器之间的所有部件合在一起等效为一个有噪声的试验信道信源译码器之间的所有部件合在一起等效为一个有噪声的试验信道试验信道试验信道信源信源信源信源译码器译码器信源信源编码器编码器无无损损无无噪噪信信道道信宿信宿6本讲稿第六页，共二十二页对每一对对每一对(xi,yj)，指定一个，指定一个非负的函数的函数失真函数(续)称称为为单单个个符符号号的的失真度或或失真函数，表表示示离离散散信信源源发发出出一一个个符符号号 xi 而在接收端再现成而在接收端再现成 yj 所引起的误差和失真。所引起的误差和失真。上述非负的失真函数共有上述非负的失真函数共有 n m 个，可以整体表示成个，可以整体表示成失真矩阵由由于于信信源源发发出出的的符符号号 X 和和信信宿宿收收到到(再再现现)的的符符号号 Y 均均是是随随机机变变量量，因此单个符号的失真函数因此单个符号的失真函数 d(xi,yj)也是随机变量也是随机变量(的一次实现的一次实现)7本讲稿第七页，共二十二页常用的失真函数失失真真函函数数是是根根据据人人们们的的实实际际需需要要和和失失真真引引起起的的损损失失、风风险险、主主观观感觉上的差别等因素人为规定的，可以有多种形式感觉上的差别等因素人为规定的，可以有多种形式平方误差失真函数平方误差失真函数 绝对误差失真函数绝对误差失真函数 相对误差失真函数相对误差失真函数 误码失真函数误码失真函数 平平方方失失真真和和绝绝对对失失真真只只与与(yj-xi)有有关关，而而不不是是分分别别与与 xi,yj 有有关关，在在数数学学处处理理上上比比较较方方便便；相相对对失失真真与与主主观观特特性性比比较较匹匹配配，因因为为主主观观感感觉往往与客观量的相对数成正比，但其数学处理比较困难觉往往与客观量的相对数成正比，但其数学处理比较困难误误码码失失真真函函数数表表明明，只只要要发发送送符符号号与与接接收收符符号号不不同同，由由此此引引起起的的失失真真 都都 相相 同同(为为 常常 数数 a a )。若若 常常 数数 值值 为为 1，则则 称称 为为汉 明 失 真适用于适用于连续信源连续信源适用于离散信源适用于离散信源8本讲稿第八页，共二十二页平均失真度由由于于单单个个符符号号的的失失真真函函数数 d(xi,yj)是是随随机机变变量量(的的一一次次实实现现)，它它只只能能表表示示两两个个特特定定的的具具体体符符号号 xi,yj 之之间间的的失失真真，无无法法从从整整体体上上描描述述信信道道平均每传递一个符号所引起失真大小平均每传递一个符号所引起失真大小定定义义平均失真度为为失失真真函函数数的的数数学学期期望望，即即 d(xi,yj)在在 X 和和 Y的的联联合合概率空间概率空间 P(XY)中的统计平均值中的统计平均值平均失真度平均失真度 与信源统计特性与信源统计特性 、信道统计特性、信道统计特性 和和规规定定的的失失真真度度 有有关关；如如果果信信源源和和失失真真度度给给定定以以后后，就只是信道统计特性的函数就只是信道统计特性的函数如如果果规规定定平平均均失失真真度度不不超超过过某某一一允允许许失失真真的的上上界界 D(最最大大允允许许平平均均失失真度，简称真度，简称允许平均失真度)，则称：，则称：为为保真度准则满满足足保保真真度度准准则则的的限限定定条条件件下下，求求信信息息传传输输 率率 的的 最最 小小 值值9本讲稿第九页，共二十二页符号序列的失真度若若信信源源是是单单符符号号离离散散无无记记忆忆信信源源的的 N 次次扩扩展展，其其限限失失真真编编码码可可视视为为 N 长长随随机机序序列列 经经由由单单符符号号离离散散无无记记忆忆信信道的道的 N 次扩散信道，再现为次扩散信道，再现为 N 长的随机序列长的随机序列 N 长输入符号序列长输入符号序列 与与 N 长长输出符号序列输出符号序列 间的失真函数：间的失真函数：由于由于 N 次扩展信源和次扩展信源和 N 次扩展信道都是无记忆的，因此：次扩展信道都是无记忆的，因此：10本讲稿第十页，共二十二页符号序列的平均失真度符号序列的平均失真度：符号序列的平均失真度：符号序列的保真度准则：符号序列的保真度准则：为为同同一一单单符符号号离离散散无无记记忆忆信信源源 X 在在 N 个个不不同同时时刻刻通通过过同同一一单单符符号号离离散散无无记记忆忆信信道道所所造造成成的的平平均均失失真真度度，因因此此都都等等于于单单符符号号离离散散无无记记忆忆信信源源 X 通通过过单符号离散无记忆信道所造成的平均失真度，即：单符号离散无记忆信道所造成的平均失真度，即：11本讲稿第十一页，共二十二页4.1.2信息率失真函数的定义在在单单符符号号信信源源已已知知并并规规定定了了单单符符号号失失真真度度后后，并并非非所所有有的的信信道道都都能能满满足足保保真真度度准准则则 ；凡凡满满足足保保真真度度准准则则的的信信道道称称为为 D 失真许可试验信道，所有的，所有的 D 失真许可试验信道构成集合：失真许可试验信道构成集合：对对于于离离散散无无记记忆忆 N 次次扩扩展展信信源源和和 N 次次扩扩展展信信道道，相相应应的的 D 失失真真许许可可试验信道为：试验信道为：对对于于固固定定的的信信源源分分布布，平平均均互互信信息息是是信信道道转转移移概概率率的的下下凸凸函函数数，也也就就是是说说，存存在在一一个个信信道道使使给给定定的的信信源源经经过过此此信信道道传传输输时时，信信道道的的平平均互信息达到最小均互信息达到最小信信源源限限失失真真编编码码后后的的信信息息传传输输率率 R 就就是是通通过过试试验验信信道道的的平平均均互互信信息息 I(X;Y)，为为了了便便于于传传送送和和处处理理，人人们们总总是是希希望望将将信信息息传传输输率率 R 压压缩缩到最小到最小12本讲稿第十二页，共二十二页信息率失真函数的定义(续)给给定定信信源源和和失失真真度度后后，在在所所有有的的 D 失失真真许许可可试试验验信信道道中中，寻寻找找一一个个信信道道使使得得从从输输入入端端传传送送过过来来的的信信息息量量最最小小。这这个个最最小小的的平平均均互互信信息息称称为为信息率失真函数 R(D)，简称，简称率失真函数：在在研研究究 R(D)时时，计计算算 I(X;Y)所所用用的的条条件件概概率率并并没没有有实实际际信信道道的的含含义义，只只是是为为了了求求平平均均互互信信息息的的最最小小值值而而引引用用的的、假假想想的的可可变变试试验验信信道道的的信信道道特特性性。实实际际上上这这些些信信道道反反映映的的仅仅是是不不同同的的限限失失真真信信源源编编码码，或或称称信源压缩R(D)是是在在限限定定允允许许平平均均失失真真为为 D 时时信信源源最最小小信信息息传传输输率率；可可以以通通过过改改变变试试验验信信道道特特性性来来达达到到，实实质质上上是是选选择择一一种种限限失失真真信信源源编编码码方方式式使使试试验验信信道道的的信信息息传传输输率率为为最最小小，即即在在满满足足保保真真度度准准则则下下，使使信源的压缩率达到最高信源的压缩率达到最高13本讲稿第十三页，共二十二页率失真函数的定义域(D 的下界)允许失真度允许失真度 D 是平均失真度的上限，而是平均失真度的上限，而 是非负函数是非负函数 的的数数学学期期望望，因因此此 D 的的下下界界至至多多为为 0，对对应应于于无无失失真真的的情情况况，此时信息传输率应等于信源输出的信息熵，即此时信息传输率应等于信源输出的信息熵，即 D 能能否否达达到到下下界界 0，与与单单个个符符号号的的失失真真函函数数有有关关；在在给给定定的的失失真真矩矩阵阵 中中，对对 每每 一一 个个 xi，找找 一一 个个 yj 与与 之之 对对 应应，使使 d(xi,yj)最最 小小，不不同同的的 xi 对对应应的的最最小小 d(xi,yj)也也不不相相同同。相相当当于于在在失失真真矩矩阵阵的的每每一一行行找找一一个个最最小小的的 d(xi,yj)，然然后后对对各各行行不不同同的的 d(xi,yj)求求统统计计平平均均值值，就就是是信信源源平平均失真度上限的下界均失真度上限的下界 显显然然，如如果果失失真真矩矩阵阵的的每每一一行行至至少少有有一一个个 0 元元素素，信信源源平平均均失失真真度度上限上限 D 的下界才能取到的下界才能取到 014本讲稿第十四页，共二十二页率失真函数的定义域(D 的上界)R(D)是是在在一一定定约约束束条条件件下下平平均均互互信信息息 I(X;Y)的的最最小小值值，由由于于I(X;Y)是非负的，其下界为至多为是非负的，其下界为至多为 0如如果果不不允允许许失失真真，平平均均传传送送一一个个信信源源符符号号所所需需的的信信息息传传输输率率最最大大，R(D)可可以以达达到到信信源源熵熵；反反之之如如果果允允许许一一定定的的失失真真，则则信信息息传传输输率率可可以以小小一一些；或者说信息传输率越小，容忍的平均失真度越大些；或者说信息传输率越小，容忍的平均失真度越大显显然然，当当 R(D)达达到到下下界界 0 时时，允允许许的的平平均均失失真真度度最最大大，由由于于满满足足 R(D)=0 的的 D 可可以以有有无无穷穷多多个个，定定义义使使 R(D)=0 成成立立的的最最小小的的 D 值值为为率率失真函数的定义域的上界失真函数的定义域的上界 Dmax 当当 R(D)=0 时时，最最小小的的 I(X;Y)=0 ，这这相相当当于于 X 和和 Y 相相互互统统计计独独立立的的情情况况；这这意意味味着着接接收收端端收收不不到到信信源源发发送送的的任任何何信信息息，与与信信源源不不发发送送任任何何信信息息是是等等效效的的，所所以以在在理理论论上上，传传送送信信源源符符号号的的信信息息传输率可以压缩至传输率可以压缩至 0 15本讲稿第十五页，共二十二页率失真函数的定义域(Dmax 的计算)如果试验信道的转移概率满足如果试验信道的转移概率满足 即即 X 和和 Y 相相互互统统计计独独立立，等等效效于于信信道道关关闭闭或或者者信信源源不不发发任任何何消消息，此时必有：息，此时必有：，从而，从而 用用不不同同的的输输出出概概率率分分布布 对对 求求数数学学期期望望，取取最最小小的的那一个作为那一个作为 如果在如果在 中找到最小的中找到最小的 ，当该，当该 j 对应的对应的而其余的输出概率为而其余的输出概率为 0 时，上式计算出的时，上式计算出的 值最小，即：值最小，即：16本讲稿第十六页，共二十二页率失真函数率失真函数 R(D)的定义域为的定义域为(Dmin,Dmax)一般情况下：一般情况下：Dmin=0，R(Dmin)=H(X)当当 D Dmax 时：时：R(D)=0当当 D (Dmin,Dmax)时时：0 R(D)H(X)17本讲稿第十七页，共二十二页率失真函数对允许平均失真度的下凸性率失真函数的连续性由由数数学学分分析析理理论论：“定义在开区间上的凸函数必是连续函数”知知：定义域为定义域为(Dmin,Dmax)且具有下凸性的且具有下凸性的 R(D)是连续函数是连续函数率失真函数的单调递减性18本讲稿第十八页，共二十二页根根据据率率失失真真函函数数所所具具有有的的下下凸凸性性、连连续续性性、严严格格单单调调下下降降性性可可绘绘出率失真函数的典型曲线图出率失真函数的典型曲线图率失真函数曲线的一般形式连续信源连续信源离散信源离散信源连续信源连续信源离散信源离散信源对于连续信源，对于连续信源，R(0)，曲线不与，曲线不与 R(D)相交相交R(Dmin)H(X)及及 R(Dmax)=0 决决定定了了率率失失真真函函数数曲曲线线边边缘缘的的两个交点两个交点19本讲稿第十九页，共二十二页4.2离散信源的信息率失真函数由由率率失失真真函函数数的的定定义义可可知知，求求解解 R(D)实实质质上上是是求求解解平平均均互互信信息息的的条条件极值，与求信道容量件极值，与求信道容量 C 类似，可以采用拉格朗日乘子法求解类似，可以采用拉格朗日乘子法求解R(D)是是求求解解 I(X;Y)的的条件极小值，具具体体而而言言，给给定定信信源源概概率率分分布布 p(x)和和失失真真函函数数 d(x,y)，在在满满足足保保真真度度准准则则 的的试试验信道集合验信道集合 PD 中选择信道转移概率中选择信道转移概率 p(y|x )，使，使 I(X;Y)最小最小需要满足以下需要满足以下 n+1 个限定条件：个限定条件：很很难难求求解解出出 I(X;Y)条条件件极极小小值值的的显显式式表表达达式式，在在一一般般情情况况下下只只能能求求得得用用参参量量(R(D)的的斜斜率率 S)来来描描述述的的参参量量表表达达式式，并并借借助助计计算算机机进进行行迭迭代运算代运算20本讲稿第二十页，共二十二页4.4保真度准则下的信源编码定理(香农第三定理)21本讲稿第二十一页，共二十二页香农三大定理香香农农信信息息论论有有三三大大基基本本概概念念：信信源源熵熵、信信道道容容量量、信信息息率率失失真真函函数数，它它们们是是信信息息传传输输与与存存储储的的理理论论上上的的极极限；这三大基本概念分别对应于香农的三大定理：限；这三大基本概念分别对应于香农的三大定理：无失真信源编码定理无失真信源编码定理极限：信源熵极限：信源熵 H(X)信道编码定理信道编码定理极限：信道容量极限：信道容量 C限失真信源编码定理限失真信源编码定理极限：率失真函数极限：率失真函数 R(D)香香农农的的三三大大定定理理只只是是指指出出了了理理想想编编码码方方式式的的存存在在性性，但但并并没没有有给给出出更更多多的的关关于于如如何何进进行行编编码码尤尤其其是是理理想想编编码码的的构构造造方法方法随随后后的的信信源源编编码码和和信信道道编编码码章章节节，将将重重点点探探讨讨以以香香农农三三大极限为目标如何实现编码大极限为目标如何实现编码22本讲稿第二十二页，共二十二页