信息率失真理论及其应用精.ppt

信息率失真理论及其应用 1第1页，本讲稿共25页选择失真函数选择失真函数为为 d(好，好好，好)=0 d(废，废废，废)=0 d(好，废好，废)=100 d(废，好废，好)=10 000将产品检验分成将产品检验分成4种情况种情况：全部产品都当合格品，全部产品都当废：全部产品都当合格品，全部产品都当废品，完美的检验和允许出错的检验。品，完美的检验和允许出错的检验。情况情况1全部产品不经检验而出厂全部产品不经检验而出厂都当合格品都当合格品把这一过程看作是一个把这一过程看作是一个“信道信道”，其，其“传递概率传递概率”为为 P(好好/好好)=1 P(废废/好好)=0P(好好/废废)=1P(废废/废废)=0 信道矩阵为信道矩阵为 信息率失真函数与信息价值信息率失真函数与信息价值2第2页，本讲稿共25页这种情况的平均损失，即平均失真度，为这种情况的平均损失，即平均失真度，为 =P(好好)P(好好/好好)d(好好,好好)+P(好好)P(废废/好好)d(好好,废废)+P(废废)P(好好/废话废话)d(废废,好好)+P(废废)P(废废/废废)d(废废,废废)=0.02 1 10 000=200元元/块块即这种情况即这种情况每销售出去一块每销售出去一块PCB板板，加工厂，加工厂将要另外承担将要另外承担可能损可能损失失200元的风险元的风险。考虑到每块销售。考虑到每块销售100元，实际上是元，实际上是每卖出一块可每卖出一块可能要实际净损失能要实际净损失100元元。情况情况2全部产品不经检验全部报废全部产品不经检验全部报废都当废品都当废品 信道传输概率为信道传输概率为P(好好/好好)=0 P(废废/好好)=1 P(好好/废废)=0 P(废废/废废)=1 信道矩阵为信道矩阵为信息率失真函数与信息价值信息率失真函数与信息价值3第3页，本讲稿共25页平均失真度为平均失真度为 =P(好好)P(好好/好好)d(好好,好好)+P(好好)P(废废/好好)d(好好,废废)+P(废废)P(好好/废废)d(废废,好好)+P(废废)P(废废/废废)d(废废,废废)=0.98 1 10 0=98元元/块块即即每生产一块每生产一块PCB板，加工厂将有损失板，加工厂将有损失98元的风险元的风险。因为把。因为把98本来可以卖本来可以卖100元一块的板子也报废了。元一块的板子也报废了。比较情况比较情况1、2可知，可知，做出全部报废决定造成的损失，要小于做出全部报废决定造成的损失，要小于做出全部出厂决定所造成的损失做出全部出厂决定所造成的损失。不做任何检验，在全部出。不做任何检验，在全部出厂和全部报废两者之间抉择，选择后者的损失反而小。因此，有厂和全部报废两者之间抉择，选择后者的损失反而小。因此，有 ；产品未进行质量管理，相当于信源没有输出任何信息量。产品未进行质量管理，相当于信源没有输出任何信息量。信息率失真函数与信息价值信息率失真函数与信息价值4第4页，本讲稿共25页情况情况3正确无误地判断合格品和废品正确无误地判断合格品和废品完美的检验完美的检验相当于相当于无噪信道无噪信道情况，信道矩阵情况，信道矩阵 平均失真度为平均失真度为即这种情况即这种情况不会另外造成损失不会另外造成损失。下面探讨每一比特信息量的价值。为此先求该信源的熵，有：下面探讨每一比特信息量的价值。为此先求该信源的熵，有：H(X)=R(0)=0.98lb20.980.02lb20.02=0.142 比特比特/块块该式说明，如果从每块该式说明，如果从每块PCB板上获取板上获取0.142比特的信息量，就可比特的信息量，就可以避免一切细小的损失。以避免一切细小的损失。可能造成的最大损失为可能造成的最大损失为 98元元/块，所以块，所以0.142比特信息量的最大比特信息量的最大价值为价值为98元，则每一比特信息的最大价值为元，则每一比特信息的最大价值为 信息率失真函数与信息价值信息率失真函数与信息价值5第5页，本讲稿共25页情况情况4 检测时允许有一定的错误检测时允许有一定的错误非完美的检验非完美的检验依题意检验的依题意检验的正确率约为正确率约为95%，则信道的传输概率为，则信道的传输概率为 P(好好/好好)=0.95 P(废废/好好)=0.05 P(好好/废废)=0.05 P(废废/废废)=0.95信道矩阵为信道矩阵为平均失真度平均失真度 =P(好好)P(废废/好好)d(好好,废废)+P(废废)P(好好/废废)d(废废,好好)=0.98 0.05 10 0+0.02 0.05 10 000=14.9元元/块块即这种情况每销售出去一块即这种情况每销售出去一块PCB板，加工厂将要另外承担可板，加工厂将要另外承担可能损失能损失14.9元的风险。考虑到每块销售元的风险。考虑到每块销售100元，实际上是每卖元，实际上是每卖出一块实际收益至少是出一块实际收益至少是85.1元。元。信息率失真函数与信息价值信息率失真函数与信息价值6第6页，本讲稿共25页从从可能带来的另外损失角度可能带来的另外损失角度考虑，这种情况和最大损失考虑，这种情况和最大损失（98元）相比，其减少量为元）相比，其减少量为98 14.9=83.1(元元)减少的原因是由于从检验的过程中获取了信息量，如前所述，减少的原因是由于从检验的过程中获取了信息量，如前所述，检验的过程好比检验的过程好比“信道信道”，获取的信息量也就是平均互信息，获取的信息量也就是平均互信息量量I(X;Y)，可用，可用I(X;Y)=H(X)H(Y|X)求得。现在来求求得。现在来求H(Y/X)，为此先求，为此先求H(Y)。设出厂产品为信宿设出厂产品为信宿Y，则有，则有 PY(好好)=P(好好)P(好好/好好)+P(废废)P(好好/废废)=0.98 0.95+0.02 0.05=0.932 PY(废废)=0.068则信宿熵为则信宿熵为 H(Y)=H0.932,0.068=0.358 比特比特/每一出厂产品每一出厂产品 信息率失真函数与信息价值信息率失真函数与信息价值7第7页，本讲稿共25页每生产一个产品，每生产一个产品，对应于是废品还是合格品的平均不确定度对应于是废品还是合格品的平均不确定度为为 =0.287 比特比特/每一出厂产品每一出厂产品 I(X;Y)=0.358 0.287=0.071比特比特/每一出厂产品每一出厂产品通过允许有错的检验，平均而言从对每块通过允许有错的检验，平均而言从对每块PCB板的检验中只获板的检验中只获取了取了0.071比特的信息量比特的信息量，但是其损失比不检验时减少了，但是其损失比不检验时减少了83.1元，元，也就是说也就是说 0.071比特信息量价值为比特信息量价值为83.1元，故每比特价值为元，故每比特价值为 而情况而情况3每比特信息量的价值为每比特信息量的价值为690.14元。元。比较而言，第比较而言，第4种情况种情况的信息价格最高，是最合算的检验准则的信息价格最高，是最合算的检验准则。信息率失真函数与信息价值信息率失真函数与信息价值8第8页，本讲稿共25页把上述概念一般化，有：把上述概念一般化，有：（1）信息率）信息率R的价值的价值在保真度准则下，信息速率在保真度准则下，信息速率R是设计时允许失真是设计时允许失真D的函数，的函数，R(D)与与D的一般关系如图的一般关系如图8.8所示。但也可以求出所示。但也可以求出R(D)的反函数的反函数D=D(R)，同样，给出一个，同样，给出一个R值，就有一个值，就有一个D与之对应。与之对应。定义定义8.6 信息率信息率R的价值用的价值用V表示表示，定义为，定义为 V=Dmax D(R)（8.164）它的含义是当获取关于信源它的含义是当获取关于信源X某一信息率某一信息率R(D)时，平均损失从时，平均损失从Dmax降低到降低到D所具有的差值。所具有的差值。例如，图例如，图8.8中对应于中对应于R1，V1=DmaxD1；对应于；对应于R2，V2=DmaxD2。信息率失真函数与信息价值信息率失真函数与信息价值9第9页，本讲稿共25页图8.8信息率失真函数图10第10页，本讲稿共25页 （2）信息率）信息率R的价值率的价值率定义定义8.7 信息率信息率R的价值率用的价值率用v表示，定义为每比特信息量的价值表示，定义为每比特信息量的价值，即信息率即信息率R的价值率为的价值率为（8.165）例例8.7 设某地区的天气状况可简单地用好天气和坏天气来表示，据设某地区的天气状况可简单地用好天气和坏天气来表示，据长期统计，它们的概率分别为长期统计，它们的概率分别为P(好好)=4/5和和P(坏坏)=1/5。假如对某。假如对某种生产，把次日是好天气当坏天气来准备和把坏天气当好天种生产，把次日是好天气当坏天气来准备和把坏天气当好天气来准备都会损失气来准备都会损失a元，否则无损失。（元，否则无损失。（1）试求完全正确预报）试求完全正确预报的信息率价值的信息率价值V及信息价值率及信息价值率v；（；（2）若气象台的误报概率为）若气象台的误报概率为10%，再求，再求V及及v。信息率失真函数与信息价值信息率失真函数与信息价值11第11页，本讲稿共25页解解（1）V=Dmax 0=a/5 元元 R(D1)=-0.8 lb0.8 0.2 lb0.2 0.722 （2）=P(好好)P(坏坏/好好)d(好好,坏坏)+P(坏坏)P(好好/坏坏)d(坏坏,好好)=0.8 0.05 a+0.2 0.05 a=a/20元/比特 信息率失真函数与信息价值信息率失真函数与信息价值12第12页，本讲稿共25页(续续)V=Dmax D2=a/10 a/20=a/20 P2(好好)=P(好好)P(好好/好好)+P(坏坏)P(坏坏)=0.8 0.95+0.2 0.05=0.77 P2(坏坏)=0.23 H(Y)=0.77lb0.77+0.23lb0.23 0.778 I(X;Y)=0.778 0.286=0.492信息率失真函数与信息价值信息率失真函数与信息价值13第13页，本讲稿共25页本章小结本章小结本章讨论了离散消息的失真函数和信息率失真函数，同时对连续本章讨论了离散消息的失真函数和信息率失真函数，同时对连续消息也做了相应的讨论。消息也做了相应的讨论。限失真信源编码定理是本章的重点限失真信源编码定理是本章的重点，由此引出了信息价值这一具有实际意义的概念。但由此引出了信息价值这一具有实际意义的概念。但该定理该定理只是一个存在性定理只是一个存在性定理。在实际应用中，该理论主要存在着两大类。在实际应用中，该理论主要存在着两大类问题。第一类问题是符合实际信源的问题。第一类问题是符合实际信源的R(D)函数的计算相当困难。函数的计算相当困难。首先，需要对实际信源的统计特性有确切的数学描述；其次，需首先，需要对实际信源的统计特性有确切的数学描述；其次，需要对符合主、客观实际的失真给予正确的度量，否则不能求得符要对符合主、客观实际的失真给予正确的度量，否则不能求得符合主、客观实际的合主、客观实际的R(D)函数。函数。第第2类问题是即便求得了符合实际的信息率失真函数，还需类问题是即便求得了符合实际的信息率失真函数，还需要研究采取何种最佳编码方法才能达到极限值。尽管如此，要研究采取何种最佳编码方法才能达到极限值。尽管如此，限失真信源编码定理仍为信源的压缩编码指明了方向，是限失真信源编码定理仍为信源的压缩编码指明了方向，是各种信源压缩编码的理论基础。各种信源压缩编码的理论基础。14第14页，本讲稿共25页本章总结本章总结问题：问题：在允许一定程度的失真条件下，信在允许一定程度的失真条件下，信源信息能够压缩到何种程度？至少需要多源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？少比特的信息率才能描述信源？香农信息率失真理论指出：香农信息率失真理论指出：在允许一定失真度在允许一定失真度D的情况下，信源输出的信息率可压缩到的情况下，信源输出的信息率可压缩到R(D)。15第15页，本讲稿共25页本章总结本章总结定义失真函数：定义失真函数：16第16页，本讲稿共25页本章总结本章总结失真矩阵失真矩阵失真度还可表示成矩阵的形式失真度还可表示成矩阵的形式称称d 为失真矩阵。它是为失真矩阵。它是nm阶矩阵阶矩阵。17第17页，本讲稿共25页本章总结本章总结18第18页，本讲稿共25页本章总结本章总结平均失真定义：平均失真定义：平均失真为失真函数的数学期望，平均失真为失真函数的数学期望，19第19页，本讲稿共25页 保真度准则保真度准则人们所允许的失真指的都是平均意义上的失真。人们所允许的失真指的都是平均意义上的失真。规定平均失真度规定平均失真度 不能超过某一限定的值不能超过某一限定的值D，即即 ，则，则D就是允许失真就是允许失真的上界。该式称为保真度准则。的上界。该式称为保真度准则。本章总结本章总结20第20页，本讲稿共25页信源编码器信源编码器输入Xx1,x2,xi,xn输出Yy1,y2,yj,ym假想信道假想信道图图42 将信源编码器看作信道将信源编码器看作信道这样就可以用分析信道传输的方法来研究限失真信源编码问题。这样就可以用分析信道传输的方法来研究限失真信源编码问题。本章总结本章总结21第21页，本讲稿共25页 试验信道试验信道 平均失真平均失真 是信源统计特性是信源统计特性p(xi)、信道统计特信道统计特性性p(yj/xi)和失真度和失真度d(xi,yj)的函数的函数。当。当p(xi)和和d(xi,yj)给定后，则可以求出满足保真度准则给定后，则可以求出满足保真度准则 下的所有转移概率分布下的所有转移概率分布 pij，构成一个信道集合构成一个信道集合PD，那么那么PD 称为称为D允许试验信道。允许试验信道。本章总结本章总结22第22页，本讲稿共25页结结 论论R(D)的定义域为的定义域为 (Dmin,Dmax)；一般情况下一般情况下Dmin=0，R(Dmin)=H(X)；当当DDmax时，时，R(D)=0；当当DminDDmax时，时，0R(D)H(X)。本章总结本章总结23第23页，本讲稿共25页 R(D)的下凸性和连续性的下凸性和连续性（1）率失真函数对允许平均失真度的下凸性）率失真函数对允许平均失真度的下凸性对任一对任一01和任意平均失真度和任意平均失真度D，DDmax，有有 R D+(1 )D R(D)+(1 )R(D)（2）率失真函数的连续型率失真函数的连续型由于函数由于函数R(D)具有凸状性，保证了它在定义域内是连续的。具有凸状性，保证了它在定义域内是连续的。R(D)的单调递减性的单调递减性 在在DminDDmax范围内范围内R(D)单调递减单调递减。本章总结本章总结24第24页，本讲稿共25页本章总结本章总结25第25页，本讲稿共25页