第二章无失真信源编码精选文档.ppt

第二章无失真信源编码本讲稿第一页，共四十三页第二章 无失真信源编码n n无失真编码：保证信源产生的全部信息无失真地传递给信无失真编码：保证信源产生的全部信息无失真地传递给信无失真编码：保证信源产生的全部信息无失真地传递给信无失真编码：保证信源产生的全部信息无失真地传递给信宿。（只有对离散信源可以实现无失真信源编码。）实质宿。（只有对离散信源可以实现无失真信源编码。）实质宿。（只有对离散信源可以实现无失真信源编码。）实质宿。（只有对离散信源可以实现无失真信源编码。）实质上是一种概率匹配编码。上是一种概率匹配编码。上是一种概率匹配编码。上是一种概率匹配编码。n n限失真信源编码：在确定标准和准则的条件下，信源所限失真信源编码：在确定标准和准则的条件下，信源所限失真信源编码：在确定标准和准则的条件下，信源所限失真信源编码：在确定标准和准则的条件下，信源所必须传递的最小信息量。也称信息率失真函数（限定波必须传递的最小信息量。也称信息率失真函数（限定波必须传递的最小信息量。也称信息率失真函数（限定波必须传递的最小信息量。也称信息率失真函数（限定波形失真形失真形失真形失真波形编码，限定特性参量失真波形编码，限定特性参量失真波形编码，限定特性参量失真波形编码，限定特性参量失真参量编码）参量编码）参量编码）参量编码）。本讲稿第二页，共四十三页第二章 无失真信源编码n n信源中的统计多余度主要取决于以下两个主信源中的统计多余度主要取决于以下两个主要因素：要因素：一是消息概率分布的非均匀性，一是消息概率分布的非均匀性，另一个是消息间的相关性。另一个是消息间的相关性。对无记忆信源主要取决于概率分布的非均对无记忆信源主要取决于概率分布的非均匀性，但是，对于有记忆信源，两者都起匀性，但是，对于有记忆信源，两者都起作用，且相关性更加重要。作用，且相关性更加重要。本讲稿第三页，共四十三页第二章 无失真信源编码n n统计匹配编码：是根据信源的不同概率分布统计匹配编码：是根据信源的不同概率分布而选用与之相匹配的编码，以达到的系统而选用与之相匹配的编码，以达到的系统同中传信速率最小，且满足在信宿复制时同中传信速率最小，且满足在信宿复制时无失真或低于某一允许的失真限度值。无失真或低于某一允许的失真限度值。本讲稿第四页，共四十三页21 信息量、熵和互信息量 n n时间发生的概率越小，不确定性就越大，给时间发生的概率越小，不确定性就越大，给人的信息量就越小；发生的概率越大，不人的信息量就越小；发生的概率越大，不确定性就越小，给人的信息量就越大。确定性就越小，给人的信息量就越大。本讲稿第五页，共四十三页n n条件概率条件概率n n联合概率联合概率必须掌握的概率论知识必须掌握的概率论知识本讲稿第六页，共四十三页必须掌握的概率论知识必须掌握的概率论知识全概率：全概率：全概率：全概率：设设设设 BB1 1,B,B2 2,是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件(BBi i BBj j=0=0），），），），且有且有且有且有 BB1 1 BB2 2 =（样本空间）；（样本空间）；（样本空间）；（样本空间）；p p（B Bi i）0 0 0 0，i=1i=1i=1i=1，2 2 2 2，则对任一事件，则对任一事件，则对任一事件，则对任一事件A A A A，有：，有：，有：，有：本讲稿第七页，共四十三页必须掌握的概率论知识必须掌握的概率论知识4)Bayes4)Bayes4)Bayes4)Bayes公式公式公式公式:设设设设 BB1 1,B,B2 2,是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件是一列互不相容的事件(BBi i BBj j=0=0），），），），且有且有且有且有 BB1 1 BB2 2 =（样本空间）；（样本空间）；（样本空间）；（样本空间）；p p（B Bi i）0 0 0 0，i=1i=1i=1i=1，2 2 2 2，则对则对则对则对任一事件任一事件任一事件任一事件A A A A，有：，有：，有：，有：本讲稿第八页，共四十三页一一一一个个个个离离离离散散散散无无无无记记记记忆忆忆忆信信信信源源源源是是是是由由由由n n个个个个符符符符号号号号消消消消息息息息组组组组成成成成的的的的集集集集合合合合:X X=x x1 1，x x2 2 x xn n ，这，这，这，这n n个符号消息的概率分布为了：个符号消息的概率分布为了：个符号消息的概率分布为了：个符号消息的概率分布为了：称为符号称为符号称为符号称为符号x xi i 的的的的先验概率先验概率先验概率先验概率,散散散散信源数学模型表示为：信源数学模型表示为：信源数学模型表示为：信源数学模型表示为：称为称为称为称为概率空间概率空间概率空间概率空间,其中其中其中其中从概率的角度看，可以将符号消息从概率的角度看，可以将符号消息从概率的角度看，可以将符号消息从概率的角度看，可以将符号消息 x xi i 看一个看一个看一个看一个随机事随机事随机事随机事件件件件。因此。因此。因此。因此 x xi i 具有具有具有具有不确定性不确定性不确定性不确定性。21 信息量、熵和互信息量n n信息量定义：信息量定义：信息量定义：信息量定义：本讲稿第九页，共四十三页21 信息量、熵和互信息量n n信息量定义：信息量定义：信息量定义：信息量定义：美国科学家美国科学家L.V.R.Hartley 于于1928年给出了信息的度量方法。年给出了信息的度量方法。定义定义 若信源发出一符号若信源发出一符号xi，由于信道存在干扰，收到，由于信道存在干扰，收到 的不是的不是 xi而是而是 yi，从，从 yi中获取有关中获取有关 xi的信息量用的信息量用 I(xi；yi)表示，表示，称为互信息量。称为互信息量。定义定义 上述情况，若信道无干扰，收到的就是上述情况，若信道无干扰，收到的就是xi本身，本身，这样这样I(xi；yi)就可以用就可以用 I(xi；xi)表示，或简单记作表示，或简单记作 I(xi)，并称，并称为自信息量。为自信息量。本讲稿第十页，共四十三页一、自信息量一、自信息量1)函数函数 I(xi)的属性的属性 1 若有两个事件若有两个事件xi，xj，其先验概率为，其先验概率为 p(xi)p(xj)，则事件，则事件xi比事件比事件xj有更大的不确定性，同时会带来更多有更大的不确定性，同时会带来更多的信息量；的信息量；I(xi)I(xj)2 事件事件xi先验概率先验概率 p(xi)=1（确定事件）（确定事件）,则不存在则不存在不确定性，同时不会带来信息量；不确定性，同时不会带来信息量；I(xi)=0.3 事件事件xi先验概率先验概率 p(xi)=0（不可能事件）（不可能事件）,则存在不则存在不确定性应为无穷大，同时会带来无穷的信息量；确定性应为无穷大，同时会带来无穷的信息量；I(xi).4 两个统计独立事件的联合自信息量应等于它们各自两个统计独立事件的联合自信息量应等于它们各自信息量之和信息量之和;则则 I(xy)=I(x)I(y)本讲稿第十一页，共四十三页2)2)定定义义 一一个个符符号号消消息息 x xi i 的的自自信信息息量量为为其其发发生生概概率率的的对对数数的的负负数，并记为数，并记为I(I(x xi i)：I(I(x xi i)=)=loglogp p(x xi i)当当p p(x xi i)=0)=0，则，则I(I(x xi i)；当；当p p(x xi i)=1)=1，则，则I(I(x xi i)=0.)=0.3)3)自信息量的单位自信息量的单位自信息量的单位与所用对数的底有关：自信息量的单位与所用对数的底有关：11对数的底是对数的底是2 2时，单位为比特时，单位为比特bit(binaryunit)bit(binaryunit)22对数的底是对数的底是 e e(自然对数自然对数)时，单位为奈特时，单位为奈特nat(natureunit)nat(natureunit)33对数的底是对数的底是10(10(常用对数常用对数)时，单位为笛特或哈特时，单位为笛特或哈特det(decimalunit)orHart(Hartley)det(decimalunit)orHart(Hartley)本讲稿第十二页，共四十三页三种信息量单位之间的换算：三种信息量单位之间的换算：三种信息量单位之间的换算：三种信息量单位之间的换算：1det=log1det=log22103.322bit103.322bit1bit=ln20.6931nat1bit=ln20.6931nat1bit=lg1bit=lg 20.3010det20.3010det1nat=log1nat=log22e1.4427bite1.4427bit在信息论中常用以在信息论中常用以在信息论中常用以在信息论中常用以2 2为底的对数，为了书写方便，以为底的对数，为了书写方便，以为底的对数，为了书写方便，以为底的对数，为了书写方便，以后将后将后将后将loglog2 2书写为书写为书写为书写为loglog，因其单位为比特，因其单位为比特，因其单位为比特，因其单位为比特bitbit，不会产生混淆；，不会产生混淆；，不会产生混淆；，不会产生混淆；注意注意注意注意 有些文献将有些文献将有些文献将有些文献将loglog2 2书写为书写为书写为书写为lblb4)4)自信息量的含义自信息量的含义自信息量的含义自信息量的含义是随机量、根据是随机量、根据是随机量、根据是随机量、根据单个符号消息单个符号消息单个符号消息单个符号消息的先验概率确定其信息的先验概率确定其信息的先验概率确定其信息的先验概率确定其信息量和不确定度量和不确定度量和不确定度量和不确定度。本讲稿第十三页，共四十三页二、离散信源熵二、离散信源熵 信源信源 X发出某一个符号提供的信息量不适合描述信源发出某一个符号提供的信息量不适合描述信源X发发出一个符号提供的信息量。出一个符号提供的信息量。定义定义 信息源的信息源的平均不确定度平均不确定度为信源中各个符号不确定为信源中各个符号不确定 度的数学期度的数学期望，记作望，记作H(X)其中其中H(X)又称为信源又称为信源X的信源熵。的信源熵。本讲稿第十四页，共四十三页2)2)H H(X X)的含义的含义的含义的含义 1 1表示的是信源的平均不确定度。表示的是信源的平均不确定度。表示的是信源的平均不确定度。表示的是信源的平均不确定度。2 2表示信源表示信源表示信源表示信源 X X 发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。发出一个符号提供的平均信息量。3 3 是统计量、数学期望（统计平均）、各个符号平均不是统计量、数学期望（统计平均）、各个符号平均不是统计量、数学期望（统计平均）、各个符号平均不是统计量、数学期望（统计平均）、各个符号平均不 确定度和平均信息量。确定度和平均信息量。确定度和平均信息量。确定度和平均信息量。3)3)信源熵单位：信源熵单位：信源熵单位：信源熵单位：二进制二进制二进制二进制:bit/:bit/:bit/:bit/信源符号，或信源符号，或信源符号，或信源符号，或bit/bit/bit/bit/信源序列信源序列信源序列信源序列 十进制十进制十进制十进制:det/:det/:det/:det/信源符号，或信源符号，或信源符号，或信源符号，或det/det/det/det/信源序列信源序列信源序列信源序列 e e e e进制进制进制进制:nat/:nat/:nat/:nat/信源符号，或信源符号，或信源符号，或信源符号，或nat/nat/nat/nat/信源序列信源序列信源序列信源序列 本讲稿第十五页，共四十三页4)4)信源熵的三种特殊情况信源熵的三种特殊情况信源熵的三种特殊情况信源熵的三种特殊情况1 1当当当当 p p(x xi i)=0)=0时（时（时（时（p p(x xi i)0)0），则），则），则），则 p p(x xi i)log)logp p(x xi i)=0)=02 2信源信源信源信源 X X=x x1 1，x x2 2 x xn n ，若其中，若其中，若其中，若其中x xi i 的概率的概率的概率的概率p p(x xi i)=1)=1则其余则其余则其余则其余 x xj j 的的的的 p p(x xj j)=0)=0，因为，因为，因为，因为则则则则 HH(X X)=0bit/)=0bit/信源符号信源符号信源符号信源符号3 3当信源中当信源中当信源中当信源中X X所有所有所有所有n n个符号均有相同的概率个符号均有相同的概率个符号均有相同的概率个符号均有相同的概率 p p(x xi i)=1/)=1/n n，则则则则 HH(X X)=-(1/)=-(1/n n)log(1/)log(1/n n)=log)=logn nbit/bit/信源符号信源符号信源符号信源符号本讲稿第十六页，共四十三页2 2 联合熵（共熵）联合熵（共熵）联合熵（共熵）联合熵（共熵）联联联联合合合合熵熵熵熵是是是是联联联联合合合合符符符符号号号号集集集集合合合合XYXY上上上上的的的的每每每每个个个个元元元元素素素素对对对对x xi i,y yj j的的的的自自自自信信信信息息息息量量量量的的的的概概概概率加权的统计平均值。率加权的统计平均值。率加权的统计平均值。率加权的统计平均值。3 3 条件熵与联合熵的关系条件熵与联合熵的关系条件熵与联合熵的关系条件熵与联合熵的关系 I I(x x i i|y y j j)=)=loglogp p(x x i i|y y j j)，I I I I(x x i i y y j j)=)=)=)=loglogp p(x x i i y y j j)因因因因 全概率公式全概率公式全概率公式全概率公式本讲稿第十七页，共四十三页5)5)条件熵与联合熵条件熵与联合熵条件熵与联合熵条件熵与联合熵 1 1条件熵条件熵条件熵条件熵在给定在给定在给定在给定 y y j j 条件下，条件下，条件下，条件下，x x i i 的条件自信息量为：的条件自信息量为：的条件自信息量为：的条件自信息量为：I I(x x i i|y yj j)=)=loglogp p(x xi i|y yj j)集合集合集合集合X X的条件熵为：的条件熵为：的条件熵为：的条件熵为：在给定在给定在给定在给定Y Y（即各个（即各个（即各个（即各个y yj j）条件下，集合）条件下，集合）条件下，集合）条件下，集合X X的条件熵定义为：的条件熵定义为：的条件熵定义为：的条件熵定义为：本讲稿第十八页，共四十三页三、互信息三、互信息（一）简单的通信模型（一）简单的通信模型 若信源发出符号若信源发出符号 xi，由于信道存在干扰，收到的不是，由于信道存在干扰，收到的不是xi而是而是 yi，从，从yi中获取有关中获取有关 xi的信息量称为的信息量称为互信息量互信息量，用用 I(xi;yi)表示。表示。信源信源X有干扰有干扰离散信道离散信道信宿信宿Y干扰源干扰源所以所以 H(XY)=H(X)H(Y|X)同理同理 H(XY)=H(Y)H(X|Y)本讲稿第十九页，共四十三页含义：平均从含义：平均从Y获得获得的关于的关于X的信息量。的信息量。（又称信道（又称信道 的的信息传输率信息传输率R）（二）平均互信息本讲稿第二十页，共四十三页I(X;Y)与熵：与熵：I(X;Y)与与I(x;y)：I(x;y)表示由随机事件表示由随机事件y中中获得获得的关于事件的关于事件x的信息。的信息。互信息互信息:关系：关系：I(X;Y)EXYI(x;y)（二）平均互信息本讲稿第二十一页，共四十三页比较：比较：I(x;y)可正可负，可正可负，1非负性非负性I(X;Y)0（三）平均互信息的性质本讲稿第二十二页，共四十三页当当I(X;Y)=0全损信道：全损信道：H(X)=H(X|Y)，说明：说明：通信的意义通信的意义通过消息的传递可获得信息通过消息的传递可获得信息信源信源加密加密密钥源密钥源信道信道解密解密信宿信宿保密通信系统框图保密通信系统框图XYY非法用户非法用户全损信道（三）平均互信息的性质本讲稿第二十三页，共四十三页信信息息处处理理的的一一般般规规律律：通通过过传传输输获获得得的的信信息息量量不不大大于于提提供的信息量。供的信息量。I(X;Y)=H(X)无损信道：无损信道：H(X|Y)=02极值性极值性，P(x|y)=0or1（三）平均互信息的性质本讲稿第二十四页，共四十三页I(X;Y)=I(Y;X)交互性（对称性交互性（对称性)（三）平均互信息的性质本讲稿第二十五页，共四十三页I(X;Y)=H(X)H(X|Y)=H(Y)H(Y|X)4.I(X;Y)与各类熵的关系与各类熵的关系文文氏氏图图H(XY)H(YX)I(X;Y)=H(X)+H(Y)H(XY)H(XY)（三）平均互信息的性质本讲稿第二十六页，共四十三页特殊信道n n特殊信道总结特殊信道总结 信道名称信道名称信道名称信道名称信道特征信道特征信道特征信道特征 信息传输情况信息传输情况信息传输情况信息传输情况 全损信道全损信道P P(xyxy)=)=P P(x x)P P(y y)H(XH(XY)=H(X)Y)=H(X)I(XI(X；Y)=0 Y)=0 无噪信道无噪信道 P P(y yx x)=0 or 1)=0 or 1 H(YH(YX)=0X)=0I(XI(X；Y)=H(Y)Y)=H(Y)无损信道无损信道 P P(x xy y)=0 or 1)=0 or 1 H(XH(XY)=0Y)=0I(XI(X；Y)=H(X)Y)=H(X)（三）平均互信息的性质本讲稿第二十七页，共四十三页5凸状性凸状性I(X;Y)=f P(x)，P(y|x)（三）平均互信息的性质本讲稿第二十八页，共四十三页Th3.2：对对于于固固定定信信源源分分布布，平平均均互互信信息息I(X;Y)是是信信道道传传递概率递概率p(y|x)的的型凸函数。型凸函数。不同信源通过不同信道传输得到的平均互信息不同；不同信源通过不同信道传输得到的平均互信息不同；不同信源通过不同信道传输得到的平均互信息不同；不同信源通过不同信道传输得到的平均互信息不同；5凸状性凸状性Th3.1：对于固定信道，平均互信息对于固定信道，平均互信息I(X;Y)是信源概率是信源概率分布分布p(x)的的型凸函数。型凸函数。v平均互信息是信源符号概率分布的上凸函数平均互信息是信源符号概率分布的上凸函数v平均互信息是信道转移概率的下凹函数平均互信息是信道转移概率的下凹函数（三）平均互信息的性质本讲稿第二十九页，共四十三页例例1分析二元信源通过分析二元信源通过BSC信道的信道的I(X;Y)特性特性信源：信源：，信道：，信道：1p1ppp0011则则（三）平均互信息的性质本讲稿第三十页，共四十三页其中，其中，（三）平均互信息的性质本讲稿第三十一页，共四十三页，得：，得：（三）平均互信息的性质本讲稿第三十二页，共四十三页I.固定信道（固定信道（p一定），一定），H(p)一定一定I(X;Y)H(+p2p)由熵上凸性的该由熵上凸性的该I(X;Y)为为的上凸函数的上凸函数I(X;Y)1H(p)01/211/2时，时，I(X;Y)极大极大I(X;Y)H(1/2)H(p)=1H(p)（三）平均互信息的性质本讲稿第三十三页，共四十三页.固定信源（固定信源（一定）一定）则则I(X;Y)p，I(X;Y)=I(p)I(p)为下凹函数为下凹函数可求：可求：p=1/2,I(X;Y)=0,极小极小p=0,I(X;Y)=H()p=1,I(X;Y)=H()I(X;Y)01/21p（三）平均互信息的性质本讲稿第三十四页，共四十三页22 信源编码定理信源编码的无失真编码：接收端信宿要求无失真精确的复制信源输出的消息。只有对离散信源才可以实现无失真编码。实质上是一种统计匹配编码根据信源的不同概率分布而选用与之相匹配的编码，以达到在系统中传送速率最小，且满足在信宿复制时无失真或低于某一允许的失真限度值。本讲稿第三十五页，共四十三页221 信源编码的基本概念n n信源编码：将信源输出符号，经信源编码器变换成另外的压缩符号，然后将压缩有信息经信道传送到信宿。只考虑信源和信宿两个因素。通信系统模型简化为P15图2-1编码编码A器器输输入入为为：编码编码器器输输出的出的码码字字为为：本讲稿第三十六页，共四十三页符号符号码码1 1码码2 2码码3 3码码4 4等等长码长码变长码变长码u1u100000 00 01 1u2u20101101011110101u3u3101000000000001001u3u311110101111100010001221 信源编码的基本概念本讲稿第三十七页，共四十三页树图（码树）法：树根=码字的起点树的度=码元数分支结点=码的符号的一部分终端结点=待编码符号满树=等长码：树中各结点有相同树枝数，且每层结点树达到最大值。非满树=变长码221 信源编码的基本概念本讲稿第三十八页，共四十三页n n编码方法：1）将待编码的字符作为终端结点，构造码树；2）按一定规则给每个树枝分配一个标记；3）将从根到终端结点的路径上的编号依次相连，作为该终端结点所表示的字符的编码。221 信源编码的基本概念本讲稿第三十九页，共四十三页n n译码方法：译码方法：1 1）从树根出发，根据接收到的第一个码字符号来选）从树根出发，根据接收到的第一个码字符号来选择应走的第一条路径。择应走的第一条路径。2 2）沿所选路径走到分支结点，在根据收到的第而个码字选）沿所选路径走到分支结点，在根据收到的第而个码字选择应走的第二条路径。直至走到终端结点为止。择应走的第二条路径。直至走到终端结点为止。3 3）根据所走路径，可立即判断出接收到的码符号。）根据所走路径，可立即判断出接收到的码符号。4 4）重新返回到树根，再作下一个接收码符号的判断。）重新返回到树根，再作下一个接收码符号的判断。221 信源编码的基本概念本讲稿第四十页，共四十三页 分组码（块码）分类分组码（块码）分类分组码（块码）分类分组码（块码）分类 1111按码字的码长分类按码字的码长分类按码字的码长分类按码字的码长分类 定长码定长码定长码定长码：码集中所有码字的码长相等。：码集中所有码字的码长相等。：码集中所有码字的码长相等。：码集中所有码字的码长相等。变长码变长码变长码变长码：码集中所有码字的码长不全相等。：码集中所有码字的码长不全相等。：码集中所有码字的码长不全相等。：码集中所有码字的码长不全相等。2222按信源符号与码字对应关系分类按信源符号与码字对应关系分类按信源符号与码字对应关系分类按信源符号与码字对应关系分类 非奇异码非奇异码非奇异码非奇异码：信源符号与码字是一一对应的。：信源符号与码字是一一对应的。：信源符号与码字是一一对应的。：信源符号与码字是一一对应的。奇异码奇异码奇异码奇异码：信源符号与码字不是一一对应的。：信源符号与码字不是一一对应的。：信源符号与码字不是一一对应的。：信源符号与码字不是一一对应的。3333按译码唯一性分类按译码唯一性分类按译码唯一性分类按译码唯一性分类 唯唯唯唯一一一一可可可可译译译译码码码码：对对对对于于于于多多多多个个个个码码码码字字字字组组组组成成成成的的的的有有有有限限限限长长长长码码码码流流流流，只只只只能能能能唯唯唯唯一一一一地地地地分分分分割割割割一一一一个个个个个个个个的的的的码码码码字字字字。唯唯唯唯一一一一可可可可译译译译码码码码又又又又称称称称为为为为单单单单义义义义码码码码.例例例例 码码码码流流流流100111000100111000码码码码1x10 x210 x3111x10 x210 x311可可可可分割分割分割分割10,0,11,10,0,010,0,11,10,0,0码码码码2x11x210 x3112x11x210 x311则无法则无法则无法则无法唯一分割唯一分割唯一分割唯一分割本讲稿第四十一页，共四十三页 唯一可译码在传输过程中不需要同步码。唯一可译码在传输过程中不需要同步码。唯一可译码在传输过程中不需要同步码。唯一可译码在传输过程中不需要同步码。非非非非唯唯唯唯一一一一可可可可译译译译码码码码：对对对对有有有有限限限限长长长长码码码码流流流流，不不不不能能能能唯唯唯唯一一一一地地地地分分分分割割割割一一一一个个的码字。个个的码字。个个的码字。个个的码字。4444按译码的按译码的按译码的按译码的即时即时即时即时性分类性分类性分类性分类 非非非非即即即即时时时时码码码码：接接接接收收收收端端端端收收收收到到到到一一一一个个个个完完完完整整整整的的的的码码码码字字字字后后后后，不不不不能能能能立立立立即即即即译译译译码码码码；还还还还需需需需要要要要等等等等到到到到下下下下一一一一个个个个码码码码字字字字开开开开始始始始接接接接收收收收后后后后才才才才能能能能判判判判断断断断是是是是否否否否可可可可以以以以译码。译码。译码。译码。即即即即时时时时码码码码：接接接接收收收收端端端端收收收收到到到到一一一一个个个个完完完完整整整整的的的的码码码码字字字字后后后后，就就就就能能能能立立立立即即即即译码；即时码又称为译码；即时码又称为译码；即时码又称为译码；即时码又称为非延长码非延长码非延长码非延长码或或或或异前缀码异前缀码异前缀码异前缀码。例例例例 非即时码非即时码非即时码非即时码码流码流码流码流 01010 00 011110 000 x10 x201x311x10 x201x311译码为译码为译码为译码为 x2x2,x1,x1,x1x1,x3,x3,x1x1,?,?即时码即时码即时码即时码码流码流码流码流 0 010100 011110 000 x10 x210 x311x10 x210 x311译码为译码为译码为译码为 x1x1,x2,x2,x1x1,x3,x3,x1x1,x1,x1本讲稿第四十二页，共四十三页 异异异异前前前前缀缀缀缀码码码码(即即即即时时时时码码码码)指指指指的的的的是是是是码码码码集集集集任任任任何何何何一一一一个个个个码码码码不不不不能能能能是是是是其其其其他码的前缀他码的前缀他码的前缀他码的前缀.即即即即时时时时码码码码必必必必定定定定是是是是唯唯唯唯一一一一可可可可译译译译码码码码,唯唯唯唯一一一一可可可可译译译译码码码码不不不不一一一一定定定定是是是是即即即即时时时时码码码码.5555有实用价值的分组码有实用价值的分组码有实用价值的分组码有实用价值的分组码 分组码是分组码是分组码是分组码是非奇异码、唯一可译码、非奇异码、唯一可译码、非奇异码、唯一可译码、非奇异码、唯一可译码、即时码即时码即时码即时码 本讲稿第四十三页，共四十三页