第二章无失真信源编码优秀PPT.ppt
《第二章无失真信源编码优秀PPT.ppt》由会员分享,可在线阅读,更多相关《第二章无失真信源编码优秀PPT.ppt(43页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第二章无失真信源编码第一页,本课件共有43页第二章 无失真信源编码n n无失真编码:保证信源产生的全部信息无失真地传无失真编码:保证信源产生的全部信息无失真地传递给信宿。(只有对离散信源可以实现无失真信源递给信宿。(只有对离散信源可以实现无失真信源编码。)实质上是一种概率匹配编码。编码。)实质上是一种概率匹配编码。n n限失真信源编码:在确定标准和准则的条件下,信源所限失真信源编码:在确定标准和准则的条件下,信源所限失真信源编码:在确定标准和准则的条件下,信源所限失真信源编码:在确定标准和准则的条件下,信源所必须传递的最小信息量。也称信息率失真函数(限定波必须传递的最小信息量。也称信息率失真函
2、数(限定波必须传递的最小信息量。也称信息率失真函数(限定波必须传递的最小信息量。也称信息率失真函数(限定波形失真形失真形失真形失真波形编码,限定特性参量失真波形编码,限定特性参量失真波形编码,限定特性参量失真波形编码,限定特性参量失真参量编码)参量编码)参量编码)参量编码)。第二页,本课件共有43页第二章 无失真信源编码n n信源中的统计多余度主要取决于以下两个主信源中的统计多余度主要取决于以下两个主要因素:要因素:一是消息概率分布的非均匀性,一是消息概率分布的非均匀性,另一个是消息间的相关性。另一个是消息间的相关性。对无记忆信源主要取决于概率分布的非均对无记忆信源主要取决于概率分布的非均匀性
3、,但是,对于有记忆信源,两者都起作匀性,但是,对于有记忆信源,两者都起作用,且相关性更加重要。用,且相关性更加重要。第三页,本课件共有43页第二章 无失真信源编码n n统计匹配编码:是根据信源的不同概率分布统计匹配编码:是根据信源的不同概率分布而选用与之相匹配的编码,以达到的系统同而选用与之相匹配的编码,以达到的系统同中传信速率最小,且满足在信宿复制时无失中传信速率最小,且满足在信宿复制时无失真或低于某一允许的失真限度值。真或低于某一允许的失真限度值。第四页,本课件共有43页21 信息量、熵和互信息量 n n时间发生的概率越小,不确定性就越大,给时间发生的概率越小,不确定性就越大,给人的信息量
4、就越小;发生的概率越大,不确人的信息量就越小;发生的概率越大,不确定性就越小,给人的信息量就越大。定性就越小,给人的信息量就越大。第五页,本课件共有43页n n条件概率条件概率n n联合概率联合概率必须掌握的概率论知识必须掌握的概率论知识第六页,本课件共有43页必须掌握的概率论知识必须掌握的概率论知识全概率:全概率:全概率:全概率:设设设设 BB1 1,B,B2 2,是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件(BBi i BBj j=0=0),),),),且有且有且有且有 BB1 1 BB2 2 =(样本空间);(样本空间);(样本空间);(样本空间);p
5、 p(B Bi i)0 0 0 0,i=1i=1i=1i=1,2 2 2 2,则对任一事件,则对任一事件,则对任一事件,则对任一事件A A A A,有:,有:,有:,有:第七页,本课件共有43页必须掌握的概率论知识必须掌握的概率论知识4)Bayes4)Bayes公式公式:设设设设 B1 1,B2,是是一一列列互互不不相相容容的的事事件件(BBi i Bj=0),),),),且有且有且有且有 BB1 1BB2 2=(样本空间);(样本空间);p(Bi i)0 0 0 0,i=1i=1i=1i=1,2 2 2 2,则对则对任一事件任一事件A A,有:,有:第八页,本课件共有43页一一一一个个个个离
6、离离离散散散散无无无无记记记记忆忆忆忆信信信信源源源源是是是是由由由由n n个个个个符符符符号号号号消消消消息息息息组组组组成成成成的的的的集集集集合合合合:X X=x x1 1,x x2 2 x xn n ,这,这,这,这n n个符号消息的概率分布为了:个符号消息的概率分布为了:个符号消息的概率分布为了:个符号消息的概率分布为了:称为符号称为符号称为符号称为符号x xi i 的的的的先验概率先验概率先验概率先验概率,散散散散信源数学模型表示为:信源数学模型表示为:信源数学模型表示为:信源数学模型表示为:称为称为称为称为概率空间概率空间概率空间概率空间,其中其中其中其中从概率的角度看,可以将符
7、号消息从概率的角度看,可以将符号消息从概率的角度看,可以将符号消息从概率的角度看,可以将符号消息 x xi i 看一个看一个看一个看一个随机事随机事随机事随机事件件件件。因此。因此。因此。因此 x xi i 具有具有具有具有不确定性不确定性不确定性不确定性。21 信息量、熵和互信息量n n信息量定义:信息量定义:信息量定义:信息量定义:第九页,本课件共有43页21 信息量、熵和互信息量n n信息量定义:信息量定义:美国科学家美国科学家L.V.R.Hartley 于于1928年给出了信息的度量方法。年给出了信息的度量方法。定义定义 若信源发出一符号若信源发出一符号xi,由于信道存在干扰,收到,由
8、于信道存在干扰,收到 的的不是不是 xi而是而是 yi,从,从 yi中获取有关中获取有关 xi的信息量用的信息量用 I(xi;yi)表示,称为互信息量。表示,称为互信息量。定义定义 上述情况,若信道无干扰,收到的就是上述情况,若信道无干扰,收到的就是xi本身,本身,这样这样I(xi;yi)就可以用就可以用 I(xi;xi)表示,或简单记作表示,或简单记作 I(xi),并称为自信息量。,并称为自信息量。第十页,本课件共有43页一、自信息量一、自信息量1)函数函数 I(xi)的属性的属性 1 若有两个事件若有两个事件xi,xj,其先验概率为,其先验概率为 p(xi)p(xj),则事件,则事件xi比
9、事件比事件xj有更大的不确定性,同时会带来有更大的不确定性,同时会带来更多的信息量;更多的信息量;I(xi)I(xj)2 事件事件xi先验概率先验概率 p(xi)=1(确定事件)(确定事件),则不存则不存在不确定性,同时不会带来信息量;在不确定性,同时不会带来信息量;I(xi)=0.3 事件事件xi先验概率先验概率 p(xi)=0(不可能事件)(不可能事件),则存在则存在不确定性应为无穷大,同时会带来无穷的信息量;不确定性应为无穷大,同时会带来无穷的信息量;I(xi).4 两个统计独立事件的联合自信息量应等于它们各自信息两个统计独立事件的联合自信息量应等于它们各自信息量之和量之和;则则 I(x
10、y)=I(x)I(y)第十一页,本课件共有43页2)2)定定义义 一一个个符符号号消消息息 x xi i 的的自自信信息息量量为为其其发发生生概概率率的的对对数数的的负数,并记为负数,并记为I(I(x xi i):I(I(x xi i)=)=loglogp p(x xi i)当当p p(x xi i)=0)=0,则,则I(I(x xi i);当;当p p(x xi i)=1)=1,则,则I(I(x xi i)=0.)=0.3)3)自信息量的单位自信息量的单位自信息量的单位与所用对数的底有关:自信息量的单位与所用对数的底有关:11对数的底是对数的底是2 2时,单位为比特时,单位为比特bit(bi
11、naryunit)bit(binaryunit)22对数的底是对数的底是 e e(自然对数自然对数)时,单位为奈特时,单位为奈特nat(natureunit)nat(natureunit)33对数的底是对数的底是10(10(常用对数常用对数)时,单位为笛特或哈特时,单位为笛特或哈特det(decimalunit)orHart(Hartley)det(decimalunit)orHart(Hartley)第十二页,本课件共有43页三种信息量单位之间的换算:三种信息量单位之间的换算:三种信息量单位之间的换算:三种信息量单位之间的换算:1det=log1det=log22103.322bit103.
12、322bit1bit=ln20.6931nat1bit=ln20.6931nat1bit=lg1bit=lg 20.3010det20.3010det1nat=log1nat=log22e1.4427bite1.4427bit在信息论中常用以在信息论中常用以在信息论中常用以在信息论中常用以2 2为底的对数,为了书写方便,以为底的对数,为了书写方便,以为底的对数,为了书写方便,以为底的对数,为了书写方便,以后将后将后将后将loglog2 2书写为书写为书写为书写为loglog,因其单位为比特,因其单位为比特,因其单位为比特,因其单位为比特bitbit,不会产生混淆;,不会产生混淆;,不会产生混淆
13、;,不会产生混淆;注意注意注意注意 有些文献将有些文献将有些文献将有些文献将loglog2 2书写为书写为书写为书写为lblb4)4)自信息量的含义自信息量的含义自信息量的含义自信息量的含义是随机量、根据是随机量、根据是随机量、根据是随机量、根据单个符号消息单个符号消息单个符号消息单个符号消息的先验概率确定其信息的先验概率确定其信息的先验概率确定其信息的先验概率确定其信息量和不确定度量和不确定度量和不确定度量和不确定度。第十三页,本课件共有43页二、离散信源熵二、离散信源熵 信源信源 X发出某一个符号提供的信息量不适合描述信源发出某一个符号提供的信息量不适合描述信源X发发出一个符号提供的信息量
14、。出一个符号提供的信息量。定义定义 信息源的信息源的平均不确定度平均不确定度为信源中各个符号不确定为信源中各个符号不确定 度的数学度的数学期望,记作期望,记作H(X)其中其中H(X)又称为信源又称为信源X的信源熵。的信源熵。第十四页,本课件共有43页2)2)H H(X X)的含义的含义的含义的含义 1 1表示的是信源的平均不确定度。表示的是信源的平均不确定度。表示的是信源的平均不确定度。表示的是信源的平均不确定度。2 2表示信源表示信源表示信源表示信源 X X 发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。3 3 是统计
15、量、数学期望(统计平均)、各个符号平均不是统计量、数学期望(统计平均)、各个符号平均不是统计量、数学期望(统计平均)、各个符号平均不是统计量、数学期望(统计平均)、各个符号平均不 确定度和平均信息量。确定度和平均信息量。确定度和平均信息量。确定度和平均信息量。3)3)信源熵单位:信源熵单位:信源熵单位:信源熵单位:二进制二进制二进制二进制:bit/:bit/:bit/:bit/信源符号,或信源符号,或信源符号,或信源符号,或bit/bit/bit/bit/信源序列信源序列信源序列信源序列 十进制十进制十进制十进制:det/:det/:det/:det/信源符号,或信源符号,或信源符号,或信源符
16、号,或det/det/det/det/信源序列信源序列信源序列信源序列 e e e e进制进制进制进制:nat/:nat/:nat/:nat/信源符号,或信源符号,或信源符号,或信源符号,或nat/nat/nat/nat/信源序列信源序列信源序列信源序列 第十五页,本课件共有43页4)4)信源熵的三种特殊情况信源熵的三种特殊情况信源熵的三种特殊情况信源熵的三种特殊情况1 1当当当当 p p(x xi i)=0)=0时(时(时(时(p p(x xi i)0)0),则),则),则),则 p p(x xi i)log)logp p(x xi i)=0)=02 2信源信源信源信源 X X=x1 1,x
17、 x2 2 x xn n ,若其中,若其中,若其中,若其中x xi i 的概率的概率的概率的概率p p(x xi i)=1)=1则其余则其余则其余则其余 x xj j 的的的的 p p(x xj j)=0)=0,因为,因为,因为,因为则则则则 HH(X X)=0bit/)=0bit/信源符号信源符号信源符号信源符号3 3当信源中当信源中当信源中当信源中X X所有所有所有所有n n个符号均有相同的概率个符号均有相同的概率个符号均有相同的概率个符号均有相同的概率 p p(x xi i)=1/)=1/n n,则则则则 HH(X X)=-(1/)=-(1/n n)log(1/)log(1/n n)=l
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第二 失真 信源 编码 优秀 PPT
限制150内