第二章无失真信源编码PPT讲稿.ppt

《第二章无失真信源编码PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第二章无失真信源编码PPT讲稿.ppt（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章无失真信源编码第1页，共43页，编辑于2022年，星期二第二章 无失真信源编码n n无失真编码：保证信源产生的全部信息无失真地传递给无失真编码：保证信源产生的全部信息无失真地传递给无失真编码：保证信源产生的全部信息无失真地传递给无失真编码：保证信源产生的全部信息无失真地传递给信宿。（只有对离散信源可以实现无失真信源编码。）信宿。（只有对离散信源可以实现无失真信源编码。）信宿。（只有对离散信源可以实现无失真信源编码。）信宿。（只有对离散信源可以实现无失真信源编码。）实质上是一种概率匹配编码。实质上是一种概率匹配编码。实质上是一种概率匹配编码。实质上是一种概率匹配编码。n n限失真信源编码：

2、在确定标准和准则的条件下，信源所必限失真信源编码：在确定标准和准则的条件下，信源所必限失真信源编码：在确定标准和准则的条件下，信源所必限失真信源编码：在确定标准和准则的条件下，信源所必须传递的最小信息量。也称信息率失真函数（限定波形失须传递的最小信息量。也称信息率失真函数（限定波形失须传递的最小信息量。也称信息率失真函数（限定波形失须传递的最小信息量。也称信息率失真函数（限定波形失真真真真波形编码，限定特性参量失真波形编码，限定特性参量失真波形编码，限定特性参量失真波形编码，限定特性参量失真参量编码）。参量编码）。参量编码）。参量编码）。第2页，共43页，编辑于2022年，星期二第二章 无失真

3、信源编码n n信源中的统计多余度主要取决于以下两个主信源中的统计多余度主要取决于以下两个主要因素：要因素：一是消息概率分布的非均匀性，一是消息概率分布的非均匀性，另一个是消息间的相关性。另一个是消息间的相关性。对无记忆信源主要取决于概率分布的非均对无记忆信源主要取决于概率分布的非均匀性，但是，对于有记忆信源，两者都起匀性，但是，对于有记忆信源，两者都起作用，且相关性更加重要。作用，且相关性更加重要。第3页，共43页，编辑于2022年，星期二第二章 无失真信源编码n n统计匹配编码：是根据信源的不同概率分布统计匹配编码：是根据信源的不同概率分布而选用与之相匹配的编码，以达到的系统而选用与之相匹配

4、的编码，以达到的系统同中传信速率最小，且满足在信宿复制时同中传信速率最小，且满足在信宿复制时无失真或低于某一允许的失真限度值。无失真或低于某一允许的失真限度值。第4页，共43页，编辑于2022年，星期二21 信息量、熵和互信息量 n n时间发生的概率越小，不确定性就越大，给时间发生的概率越小，不确定性就越大，给人的信息量就越小；发生的概率越大，不人的信息量就越小；发生的概率越大，不确定性就越小，给人的信息量就越大。确定性就越小，给人的信息量就越大。第5页，共43页，编辑于2022年，星期二n n条件概率条件概率n n联合概率联合概率必须掌握的概率论知识必须掌握的概率论知识第6页，共43页，编辑

5、于2022年，星期二必须掌握的概率论知识必须掌握的概率论知识全概率：全概率：全概率：全概率：设设设设 BB1 1,B,B2 2,是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件(BBi i BBj j=0=0），），），），且有且有且有且有 BB1 1 BB2 2 =（样本空间）；（样本空间）；（样本空间）；（样本空间）；p p（B Bi i）0 0 0 0，i=1i=1i=1i=1，2 2 2 2，则对任一事件，则对任一事件，则对任一事件，则对任一事件A A A A，有：，有：，有：，有：第7页，共43页，编辑于2022年，星期二必须掌握的概率论知识必须掌握的

6、概率论知识4)Bayes4)Bayes4)Bayes4)Bayes公式公式公式公式:设设设设 BB1 1,B,B2 2,是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件(BBi i BBj j=0=0），），），），且有且有且有且有 BB1 1 BB2 2 =（样本空间）；（样本空间）；（样本空间）；（样本空间）；p p（B Bi i）0 0 0 0，i=1i=1i=1i=1，2 2 2 2，则对则对则对则对任一事件任一事件任一事件任一事件A A A A，有：，有：，有：，有：第8页，共43页，编辑于2022年，星期二一一一一个个个个离离离离散散散散无无无无记记

7、记记忆忆忆忆信信信信源源源源是是是是由由由由n n个个个个符符符符号号号号消消消消息息息息组组组组成成成成的的的的集集集集合合合合:X X=x x1 1，x x2 2 x xn n ，这，这，这，这n n个符号消息的概率分布为了：个符号消息的概率分布为了：个符号消息的概率分布为了：个符号消息的概率分布为了：称为符号称为符号称为符号称为符号x xi i 的的的的先验概率先验概率先验概率先验概率,散散散散信源数学模型表示为：信源数学模型表示为：信源数学模型表示为：信源数学模型表示为：称为称为称为称为概率空间概率空间概率空间概率空间,其中其中其中其中从概率的角度看，可以将符号消息从概率的角度看，可以

8、将符号消息从概率的角度看，可以将符号消息从概率的角度看，可以将符号消息 x xi i 看一个看一个看一个看一个随机事随机事随机事随机事件件件件。因此。因此。因此。因此 x xi i 具有具有具有具有不确定性不确定性不确定性不确定性。21 信息量、熵和互信息量n n信息量定义：信息量定义：信息量定义：信息量定义：第9页，共43页，编辑于2022年，星期二21 信息量、熵和互信息量n n信息量定义：信息量定义：信息量定义：信息量定义：美国科学家美国科学家L.V.R.Hartley 于于1928年给出了信息的度量方法。年给出了信息的度量方法。定义定义 若信源发出一符号若信源发出一符号xi，由于信道存

9、在干扰，收到，由于信道存在干扰，收到 的的不是不是 xi而是而是 yi，从，从 yi中获取有关中获取有关 xi的信息量用的信息量用 I(xi；yi)表示，称为互信息量。表示，称为互信息量。定义定义 上述情况，若信道无干扰，收到的就是上述情况，若信道无干扰，收到的就是xi本身，本身，这这样样I(xi；yi)就可以用就可以用 I(xi；xi)表示，或简单记作表示，或简单记作 I(xi)，并称为自信息量。并称为自信息量。第10页，共43页，编辑于2022年，星期二一、自信息量一、自信息量1)函数函数 I(xi)的属性的属性 1 若有两个事件若有两个事件xi，xj，其先验概率为，其先验概率为 p(xi

10、)p(xj)，则事件，则事件xi比事件比事件xj有更大的不确定性，同时会带来更多的信有更大的不确定性，同时会带来更多的信息量；息量；I(xi)I(xj)2 事件事件xi先验概率先验概率 p(xi)=1（确定事件）（确定事件）,则不存在则不存在不确定性，同时不会带来信息量；不确定性，同时不会带来信息量；I(xi)=0.3 事件事件xi先验概率先验概率 p(xi)=0（不可能事件）（不可能事件）,则存在则存在不确定性应为无穷大，同时会带来无穷的信息量；不确定性应为无穷大，同时会带来无穷的信息量；I(xi).4 两个统计独立事件的联合自信息量应等于它们各自信息量两个统计独立事件的联合自信息量应等于它

11、们各自信息量之和之和;则则 I(xy)=I(x)I(y)第11页，共43页，编辑于2022年，星期二2)2)定定义义 一一个个符符号号消消息息 x xi i 的的自自信信息息量量为为其其发发生生概概率率的的对对数数的的负负数，并记为数，并记为I(I(x xi i)：I(I(x xi i)=)=loglogp p(x xi i)当当p p(x xi i)=0)=0，则，则I(I(x xi i)；当；当p p(x xi i)=1)=1，则，则I(I(x xi i)=0.)=0.3)3)自信息量的单位自信息量的单位自信息量的单位与所用对数的底有关：自信息量的单位与所用对数的底有关：11对数的底是对数

12、的底是2 2时，单位为比特时，单位为比特bit(binaryunit)bit(binaryunit)22对数的底是对数的底是 e e(自然对数自然对数)时，单位为奈特时，单位为奈特nat(natureunit)nat(natureunit)33对数的底是对数的底是10(10(常用对数常用对数)时，单位为笛特或哈特时，单位为笛特或哈特det(decimalunit)orHart(Hartley)det(decimalunit)orHart(Hartley)第12页，共43页，编辑于2022年，星期二三种信息量单位之间的换算：三种信息量单位之间的换算：三种信息量单位之间的换算：三种信息量单位之间的

13、换算：1det=log1det=log22103.322bit103.322bit1bit=ln20.6931nat1bit=ln20.6931nat1bit=lg1bit=lg 20.3010det20.3010det1nat=log1nat=log22e1.4427bite1.4427bit在信息论中常用以在信息论中常用以在信息论中常用以在信息论中常用以2 2为底的对数，为了书写方便，以为底的对数，为了书写方便，以为底的对数，为了书写方便，以为底的对数，为了书写方便，以后将后将后将后将loglog2 2书写为书写为书写为书写为loglog，因其单位为比特，因其单位为比特，因其单位为比特，因

14、其单位为比特bitbit，不会产生混淆；，不会产生混淆；，不会产生混淆；，不会产生混淆；注意注意注意注意 有些文献将有些文献将有些文献将有些文献将loglog2 2书写为书写为书写为书写为lblb4)4)自信息量的含义自信息量的含义自信息量的含义自信息量的含义是随机量、根据是随机量、根据是随机量、根据是随机量、根据单个符号消息单个符号消息单个符号消息单个符号消息的先验概率确定其信息的先验概率确定其信息的先验概率确定其信息的先验概率确定其信息量和不确定度量和不确定度量和不确定度量和不确定度。第13页，共43页，编辑于2022年，星期二二、离散信源熵二、离散信源熵 信源信源 X发出某一个符号提供的

15、信息量不适合描述信源发出某一个符号提供的信息量不适合描述信源X发出一发出一个符号提供的信息量。个符号提供的信息量。定义定义 信息源的信息源的平均不确定度平均不确定度为信源中各个符号不确定为信源中各个符号不确定 度的数度的数学期望，记作学期望，记作H(X)其中其中H(X)又称为信源又称为信源X的信源熵。的信源熵。第14页，共43页，编辑于2022年，星期二2)2)H H(X X)的含义的含义的含义的含义 1 1表示的是信源的平均不确定度。表示的是信源的平均不确定度。表示的是信源的平均不确定度。表示的是信源的平均不确定度。2 2表示信源表示信源表示信源表示信源 X X 发出一个符号提供的平均信息量

16、。发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。3 3 是统计量、数学期望（统计平均）、各个符号平均不是统计量、数学期望（统计平均）、各个符号平均不是统计量、数学期望（统计平均）、各个符号平均不是统计量、数学期望（统计平均）、各个符号平均不 确定度和平均信息量。确定度和平均信息量。确定度和平均信息量。确定度和平均信息量。3)3)信源熵单位：信源熵单位：信源熵单位：信源熵单位：二进制二进制二进制二进制:bit/:bit/:bit/:bit/信源符号，或信源符号，或信源符号，或信源符号，或bit/bit/bit/bit/信源序列信源序列信源序列信源序列

17、十进制十进制十进制十进制:det/:det/:det/:det/信源符号，或信源符号，或信源符号，或信源符号，或det/det/det/det/信源序列信源序列信源序列信源序列 e e e e进制进制进制进制:nat/:nat/:nat/:nat/信源符号，或信源符号，或信源符号，或信源符号，或nat/nat/nat/nat/信源序列信源序列信源序列信源序列 第15页，共43页，编辑于2022年，星期二4)4)信源熵的三种特殊情况信源熵的三种特殊情况信源熵的三种特殊情况信源熵的三种特殊情况1 1当当当当 p p(x xi i)=0)=0时（时（时（时（p p(x xi i)0)0），则），则）

18、，则），则 p p(x xi i)log)logp p(x xi i)=0)=02 2信源信源信源信源 X X=x x1 1，x x2 2 x xn n ，若其中，若其中，若其中，若其中x xi i 的概率的概率的概率的概率p p(x xi i)=1)=1则其余则其余则其余则其余 x xj j 的的的的 p p(x xj j)=0)=0，因为，因为，因为，因为则则则则 HH(X X)=0bit/)=0bit/信源符号信源符号信源符号信源符号3 3当信源中当信源中当信源中当信源中X X所有所有所有所有n n个符号均有相同的概率个符号均有相同的概率个符号均有相同的概率个符号均有相同的概率 p p(

19、x xi i)=1/)=1/n n，则则则则 HH(X X)=-(1/)=-(1/n n)log(1/)log(1/n n)=log)=logn nbit/bit/信源符号信源符号信源符号信源符号第16页，共43页，编辑于2022年，星期二2 2 联合熵（共熵）联合熵（共熵）联合熵（共熵）联合熵（共熵）联联联联合合合合熵熵熵熵是是是是联联联联合合合合符符符符号号号号集集集集合合合合XYXY上上上上的的的的每每每每个个个个元元元元素素素素对对对对x xi i,y yj j的的的的自自自自信信信信息息息息量量量量的的的的概率加权的统计平均值。概率加权的统计平均值。概率加权的统计平均值。概率加权的统

20、计平均值。3 3 条件熵与联合熵的关系条件熵与联合熵的关系条件熵与联合熵的关系条件熵与联合熵的关系 I I(x x i i|y y j j)=)=loglogp p(x x i i|y y j j)，I I I I(x x i i y y j j)=)=)=)=loglogp p(x x i i y y j j)因因因因 全概率公式全概率公式全概率公式全概率公式第17页，共43页，编辑于2022年，星期二5)5)条件熵与联合熵条件熵与联合熵条件熵与联合熵条件熵与联合熵 1 1条件熵条件熵条件熵条件熵在给定在给定在给定在给定 y y j j 条件下，条件下，条件下，条件下，x x i i 的条件

21、自信息量为：的条件自信息量为：的条件自信息量为：的条件自信息量为：I I(x x i i|y yj j)=)=loglogp p(x xi i|y yj j)集合集合集合集合X X的条件熵为：的条件熵为：的条件熵为：的条件熵为：在给定在给定在给定在给定Y Y（即各个（即各个（即各个（即各个y yj j）条件下，集合）条件下，集合）条件下，集合）条件下，集合X X的条件熵定义为：的条件熵定义为：的条件熵定义为：的条件熵定义为：第18页，共43页，编辑于2022年，星期二三、互信息三、互信息（一）简单的通信模型（一）简单的通信模型 若信源发出符号若信源发出符号 xi，由于信道存在干扰，收到的不是，

22、由于信道存在干扰，收到的不是xi而而是是 yi，从，从yi中获取有关中获取有关 xi的信息量称为的信息量称为互信息量互信息量，用，用 I(xi;yi)表示。表示。信源信源X有干扰有干扰离散信道离散信道信宿信宿Y干扰源干扰源所以所以 H(XY)=H(X)H(Y|X)同理同理 H(XY)=H(Y)H(X|Y)第19页，共43页，编辑于2022年，星期二含义：平均从含义：平均从Y获得获得的关于的关于X的信息量。的信息量。（又称信道（又称信道 的的信息传输率信息传输率R）（二）平均互信息第20页，共43页，编辑于2022年，星期二I(X;Y)与熵：与熵：I(X;Y)与与I(x;y)：I(x;y)表示由

23、随机事件表示由随机事件y中中获得获得的关于事件的关于事件x的信息。的信息。互信息互信息:关系：关系：I(X;Y)EXYI(x;y)（二）平均互信息第21页，共43页，编辑于2022年，星期二比较：比较：I(x;y)可正可负，可正可负，1非负性非负性I(X;Y)0（三）平均互信息的性质第22页，共43页，编辑于2022年，星期二当当I(X;Y)=0全损信道：全损信道：H(X)=H(X|Y)，说明：说明：通信的意义通信的意义通过消息的传递可获得信息通过消息的传递可获得信息信源信源加密加密密钥源密钥源信道信道解密解密信宿信宿保密通信系统框图保密通信系统框图XYY非法用户非法用户全损信道（三）平均互信

24、息的性质第23页，共43页，编辑于2022年，星期二信信息息处处理理的的一一般般规规律律：通通过过传传输输获获得得的的信信息息量量不不大大于于提提供供的信息量。的信息量。I(X;Y)=H(X)无损信道：无损信道：H(X|Y)=02极值性极值性，P(x|y)=0or1（三）平均互信息的性质第24页，共43页，编辑于2022年，星期二I(X;Y)=I(Y;X)交互性（对称性交互性（对称性)（三）平均互信息的性质第25页，共43页，编辑于2022年，星期二I(X;Y)=H(X)H(X|Y)=H(Y)H(Y|X)4.I(X;Y)与各类熵的关系与各类熵的关系文文氏氏图图H(XY)H(YX)I(X;Y)=

25、H(X)+H(Y)H(XY)H(XY)（三）平均互信息的性质第26页，共43页，编辑于2022年，星期二特殊信道n n特殊信道总结特殊信道总结 信道名称信道名称信道名称信道名称信道特征信道特征信道特征信道特征 信息传输情况信息传输情况信息传输情况信息传输情况 全损信道全损信道P P(xyxy)=)=P P(x x)P P(y y)H(XH(XY)=H(X)Y)=H(X)I(XI(X；Y)=0 Y)=0 无噪信道无噪信道 P P(y yx x)=0 or 1)=0 or 1 H(YH(YX)=0X)=0I(XI(X；Y)=H(Y)Y)=H(Y)无损信道无损信道 P P(x xy y)=0 or

26、1)=0 or 1 H(XH(XY)=0Y)=0I(XI(X；Y)=H(X)Y)=H(X)（三）平均互信息的性质第27页，共43页，编辑于2022年，星期二5凸状性凸状性I(X;Y)=f P(x)，P(y|x)（三）平均互信息的性质第28页，共43页，编辑于2022年，星期二Th3.2：对对于于固固定定信信源源分分布布，平平均均互互信信息息I(X;Y)是是信信道道传传递递概概率率p(y|x)的的型凸函数。型凸函数。不同信源通过不同信道传输得到的平均互信息不同；不同信源通过不同信道传输得到的平均互信息不同；不同信源通过不同信道传输得到的平均互信息不同；不同信源通过不同信道传输得到的平均互信息不同

27、；5凸状性凸状性Th3.1：对于固定信道，平均互信息对于固定信道，平均互信息I(X;Y)是信源概率是信源概率分布分布p(x)的的型凸函数。型凸函数。v平均互信息是信源符号概率分布的上凸函数平均互信息是信源符号概率分布的上凸函数v平均互信息是信道转移概率的下凹函数平均互信息是信道转移概率的下凹函数（三）平均互信息的性质第29页，共43页，编辑于2022年，星期二例例1分析二元信源通过分析二元信源通过BSC信道的信道的I(X;Y)特性特性信源：信源：，信道：，信道：1p1ppp0011则则（三）平均互信息的性质第30页，共43页，编辑于2022年，星期二其中，其中，（三）平均互信息的性质第31页，

28、共43页，编辑于2022年，星期二，得：，得：（三）平均互信息的性质第32页，共43页，编辑于2022年，星期二I.固定信道（固定信道（p一定），一定），H(p)一定一定I(X;Y)H(+p2p)由熵上凸性的该由熵上凸性的该I(X;Y)为为的上凸函数的上凸函数I(X;Y)1H(p)01/211/2时，时，I(X;Y)极大极大I(X;Y)H(1/2)H(p)=1H(p)（三）平均互信息的性质第33页，共43页，编辑于2022年，星期二.固定信源（固定信源（一定）一定）则则I(X;Y)p，I(X;Y)=I(p)I(p)为下凹函数为下凹函数可求：可求：p=1/2,I(X;Y)=0,极小极小p=0,I

29、(X;Y)=H()p=1,I(X;Y)=H()I(X;Y)01/21p（三）平均互信息的性质第34页，共43页，编辑于2022年，星期二22 信源编码定理信源编码的无失真编码：接收端信宿要求无失真精确的复制信源输出的消息。只有对离散信源才可以实现无失真编码。实质上是一种统计匹配编码根据信源的不同概率分布而选用与之相匹配的编码，以达到在系统中传送速率最小，且满足在信宿复制时无失真或低于某一允许的失真限度值。第35页，共43页，编辑于2022年，星期二221 信源编码的基本概念n n信源编码：将信源输出符号，经信源编码器变换成另外的压缩符号，然后将压缩有信息经信道传送到信宿。只考虑信源和信宿两个因

30、素。通信系统模型简化为P15图2-1编码编码A器器输输入入为为：编码编码器器输输出的出的码码字字为为：第36页，共43页，编辑于2022年，星期二符号符号码码1 1码码2 2码码3 3码码4 4等等长码长码变长码变长码u1u100000 00 01 1u2u20101101011110101u3u3101000000000001001u3u311110101111100010001221 信源编码的基本概念第37页，共43页，编辑于2022年，星期二树图（码树）法：树根=码字的起点树的度=码元数分支结点=码的符号的一部分终端结点=待编码符号满树=等长码：树中各结点有相同树枝数，且每层结点树达到

31、最大值。非满树=变长码221 信源编码的基本概念第38页，共43页，编辑于2022年，星期二n n编码方法：1）将待编码的字符作为终端结点，构造码树；2）按一定规则给每个树枝分配一个标记；3）将从根到终端结点的路径上的编号依次相连，作为该终端结点所表示的字符的编码。221 信源编码的基本概念第39页，共43页，编辑于2022年，星期二n n译码方法：译码方法：1 1）从树根出发，根据接收到的第一个码字符号来选择应走）从树根出发，根据接收到的第一个码字符号来选择应走的第一条路径。的第一条路径。2 2）沿所选路径走到分支结点，在根据收到的第而个码）沿所选路径走到分支结点，在根据收到的第而个码字选择

32、应走的第二条路径。直至走到终端结点为止。字选择应走的第二条路径。直至走到终端结点为止。3 3）根据所走路径，可立即判断出接收到的码符号。）根据所走路径，可立即判断出接收到的码符号。4 4）重新返回到树根，再作下一个接收码符号的判断。）重新返回到树根，再作下一个接收码符号的判断。221 信源编码的基本概念第40页，共43页，编辑于2022年，星期二 分组码（块码）分类分组码（块码）分类分组码（块码）分类分组码（块码）分类 1111按码字的码长分类按码字的码长分类按码字的码长分类按码字的码长分类 定长码定长码定长码定长码：码集中所有码字的码长相等。：码集中所有码字的码长相等。：码集中所有码字的码长

33、相等。：码集中所有码字的码长相等。变长码变长码变长码变长码：码集中所有码字的码长不全相等。：码集中所有码字的码长不全相等。：码集中所有码字的码长不全相等。：码集中所有码字的码长不全相等。2222按信源符号与码字对应关系分类按信源符号与码字对应关系分类按信源符号与码字对应关系分类按信源符号与码字对应关系分类 非奇异码非奇异码非奇异码非奇异码：信源符号与码字是一一对应的。：信源符号与码字是一一对应的。：信源符号与码字是一一对应的。：信源符号与码字是一一对应的。奇异码奇异码奇异码奇异码：信源符号与码字不是一一对应的。：信源符号与码字不是一一对应的。：信源符号与码字不是一一对应的。：信源符号与码字不是

34、一一对应的。3333按译码唯一性分类按译码唯一性分类按译码唯一性分类按译码唯一性分类 唯唯唯唯一一一一可可可可译译译译码码码码：对对对对于于于于多多多多个个个个码码码码字字字字组组组组成成成成的的的的有有有有限限限限长长长长码码码码流流流流，只只只只能能能能唯唯唯唯一一一一地地地地分分分分割割割割一一一一个个个个个个个个的的的的码码码码字字字字。唯唯唯唯一一一一可可可可译译译译码码码码又又又又称称称称为为为为单单单单义义义义码码码码.例例例例 码码码码流流流流 100111000100111000码码码码1x10 x210 x3111x10 x210 x311可可可可分割分割分割分割10,0,

35、11,10,0,010,0,11,10,0,0码码码码2x11x210 x3112x11x210 x311则无法则无法则无法则无法唯一分割唯一分割唯一分割唯一分割第41页，共43页，编辑于2022年，星期二 唯一可译码在传输过程中不需要同步码。唯一可译码在传输过程中不需要同步码。唯一可译码在传输过程中不需要同步码。唯一可译码在传输过程中不需要同步码。非非非非唯唯唯唯一一一一可可可可译译译译码码码码：对对对对有有有有限限限限长长长长码码码码流流流流，不不不不能能能能唯唯唯唯一一一一地地地地分分分分割割割割一一一一个个的码字。个个的码字。个个的码字。个个的码字。4444按译码的按译码的按译码的按译

36、码的即时即时即时即时性分类性分类性分类性分类 非非非非即即即即时时时时码码码码：接接接接收收收收端端端端收收收收到到到到一一一一个个个个完完完完整整整整的的的的码码码码字字字字后后后后，不不不不能能能能立立立立即即即即译译译译码码码码；还还还还需需需需要要要要等等等等到到到到下下下下一一一一个个个个码码码码字字字字开开开开始始始始接接接接收收收收后后后后才才才才能能能能判判判判断断断断是是是是否否否否可可可可以以以以译码。译码。译码。译码。即即即即时时时时码码码码：接接接接收收收收端端端端收收收收到到到到一一一一个个个个完完完完整整整整的的的的码码码码字字字字后后后后，就就就就能能能能立立立立

37、即即即即译译译译码码码码；即时码又称为即时码又称为即时码又称为即时码又称为非延长码非延长码非延长码非延长码或或或或异前缀码异前缀码异前缀码异前缀码。例例例例 非即时码非即时码非即时码非即时码码流码流码流码流 01010 00 011110 000 x10 x201x311x10 x201x311译码为译码为译码为译码为 x2x2,x1,x1,x1x1,x3,x3,x1x1,?,?即时码即时码即时码即时码码流码流码流码流 0 010100 011110 000 x10 x210 x311x10 x210 x311译码为译码为译码为译码为 x1x1,x2,x2,x1x1,x3,x3,x1x1,x1

38、,x1第42页，共43页，编辑于2022年，星期二 异异异异前前前前缀缀缀缀码码码码(即即即即时时时时码码码码)指指指指的的的的是是是是码码码码集集集集任任任任何何何何一一一一个个个个码码码码不不不不能能能能是是是是其其其其他码的前缀他码的前缀他码的前缀他码的前缀.即即即即时时时时码码码码必必必必定定定定是是是是唯唯唯唯一一一一可可可可译译译译码码码码,唯唯唯唯一一一一可可可可译译译译码码码码不不不不一一一一定定定定是是是是即即即即时时时时码码码码.5555有实用价值的分组码有实用价值的分组码有实用价值的分组码有实用价值的分组码 分组码是分组码是分组码是分组码是非奇异码、唯一可译码、非奇异码、唯一可译码、非奇异码、唯一可译码、非奇异码、唯一可译码、即时码即时码即时码即时码 第43页，共43页，编辑于2022年，星期二