第六章有噪信道编码.ppt

《第六章有噪信道编码.ppt》由会员分享，可在线阅读，更多相关《第六章有噪信道编码.ppt（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第6章章 有噪信道编码有噪信道编码有噪声信道编码的主要目的是提高传输可有噪声信道编码的主要目的是提高传输可靠性，增加抗干扰能力，因此也称为纠错编靠性，增加抗干扰能力，因此也称为纠错编码或抗干扰编码。码或抗干扰编码。信源编码之后的码字序列抗干扰能力很脆信源编码之后的码字序列抗干扰能力很脆弱，在信道噪声的影响下容易产生差错，为弱，在信道噪声的影响下容易产生差错，为了提高通信系统的有效性和可靠性，要在信了提高通信系统的有效性和可靠性，要在信源编码器和信道之间加上一个信道编码器，源编码器和信道之间加上一个信道编码器，通信系统模型通信系统模型6.1.16.1.1错误概率和译码规则错误概率和译码规则例：

2、影响通信系统可靠性的一个重要问题是译码方式，例：影响通信系统可靠性的一个重要问题是译码方式，可以通过一个例子看一下，如图所示。可以通过一个例子看一下，如图所示。但如果采用另一种译码准则，收但如果采用另一种译码准则，收0 0判判1 1，收，收1 1判判0 0；则系统；则系统正确的译码概率为正确的译码概率为3/43/4，错误译码概率为，错误译码概率为1/41/4，通信的可，通信的可靠性提高了。靠性提高了。对于这样一个信道，如果采用自对于这样一个信道，如果采用自然的译码准则，即收然的译码准则，即收0 0判判0 0，收，收1 1判判1 1；这时可以明显看到，当信；这时可以明显看到，当信源先验概率的等概

3、时源先验概率的等概时p(0)=p(1)=1/2p(0)=p(1)=1/2；这时收到这时收到Y Y判判X X的后验概率等于信道转移概率，的后验概率等于信道转移概率，系统正确的译码概率为系统正确的译码概率为1/41/4，错，错误译码概率为误译码概率为3/43/4。6.1.26.1.2译码准则译码准则定义定义6.1.1 6.1.1 设信道设信道输入符号集输入符号集X=X=x xi i,i=1,2,r,i=1,2,r,输符号集为输符号集为Y=Y=y yj j,j=1,2,s,j=1,2,s,F(yj j)=xi i (i=1,2,r;j=1,2,s)对于有对于有r r个输入，个输入，s s个输出的信道

4、来说，可以个输出的信道来说，可以有有rsrs个不同的译码准则。个不同的译码准则。若对每一个输出符号若对每一个输出符号y yj j都有一个确定的函数都有一个确定的函数 F F(y yj j)，使使y yj j对应于惟一的一个输入符号对应于惟一的一个输入符号x xi i，则则这样的函数为译码规则。这样的函数为译码规则。译码准则确定之后，当接收端收到一个译码准则确定之后，当接收端收到一个y yj j后，则按后，则按译码准则译成译码准则译成F(F(y yj j)=)=x xi i，这时如果发送的为这时如果发送的为x xi i则为正则为正确译码，如果发送的不是确译码，如果发送的不是x xi i则为错误译

5、码。所以接则为错误译码。所以接收到收到y yj j后正确译码的概率就是接收端收到后正确译码的概率就是接收端收到y yj j后，推后，推测发送端发出测发送端发出x xi i的后验概率：的后验概率：p(F(p(F(y yj j)|)|y yj j)=P()=P(x xi i/y yj j)1 1、错误概率、错误概率错误译码的概率为：错误译码的概率为：p(e|p(e|y yj j)=1-p()=1-p(x xi i|y yj j)=1-p(F(=1-p(F(y yj j)=)=x xi i|y yj j)平均错误译码概率为平均错误译码概率为：2 2、译码规则、译码规则选择译码规则总原则应是使平均错误

6、概率选择译码规则总原则应是使平均错误概率p pE E最小。最小。错误概率错误概率p pE E为非负项之和，欲使为非负项之和，欲使p pE E最小那么应使最小那么应使每一项为最小。每一项为最小。由平均错误译码概率的表达式可以看出，错误译由平均错误译码概率的表达式可以看出，错误译码概率与信道输出端随机变量码概率与信道输出端随机变量Y Y的概率分布的概率分布p(p(y yj j)有关，也与译码准则有关。当信道信道转移概率有关，也与译码准则有关。当信道信道转移概率p p(y yj j/x xi i)确定后，而且信源统计特性确定后，而且信源统计特性p(p(x xi i)确定之后，确定之后，信道输出端的信

7、道输出端的p(p(y yj j)也就确定了。因为：也就确定了。因为：p(p(x xi i,y yj j)=p)=p(x xi i)p()p(y yj j/x xi i););而而p(p(y yj j)可以由可以由p(p(x xi i,y yj j)的的(i=1,2,n)i=1,2,n)求和得到。求和得到。因此，在这种情况下，平均错误译码概率只与因此，在这种情况下，平均错误译码概率只与译码准则有关了。通过选择译码准则可以使平译码准则有关了。通过选择译码准则可以使平均译码概率达到最小值。均译码概率达到最小值。当式中的每一项的当式中的每一项的PF(PF(y yj j)=)=x xi i/y yj j

8、 达到最大值时，达到最大值时，平均错误译码概率就可以为最小值。平均错误译码概率就可以为最小值。设信源设信源X X的信源空间为：的信源空间为：收到每一个收到每一个y yj j(j=1,2,m)(j=1,2,m)后，推测发送为后，推测发送为x xi i(i=1,2,n)(i=1,2,n)的后验概率共有的后验概率共有n n个，为：个，为：p(xp(x1 1/y yj j),p(x),p(x2 2/y yj j),p(),p(x xn n/y yj j)。这其中必有一个为最大的，设其为：这其中必有一个为最大的，设其为：p(xp(x*/y yj j)即有：即有：p(xp(x*/y yj j)p()p(x

9、 xi i/y yj j)()(对一切的对一切的i)i)这表明：收到符号这表明：收到符号y yj j后就译为输入符号后就译为输入符号x x*，即即译码函数选为：译码函数选为：F(F(y yj j)=x)=x*(j=1,2,m)(j=1,2,m)这种译码准则称为这种译码准则称为“最大后验概率准则最大后验概率准则”。定义定义6.1.26.1.2选择译码函数选择译码函数F(F(y yj j)=x)=x*，使之满足条使之满足条件：件：p(xp(x*/y yj j)p()p(x xi i/y yj j)则称为最大后验概率译则称为最大后验概率译码准则。码准则。使用最大后验概率译码准则必须已知后验概率，一般

10、使用最大后验概率译码准则必须已知后验概率，一般说来，后验概率很难确定，但信道的统计特性描述总说来，后验概率很难确定，但信道的统计特性描述总是给出信道转移概率，因此利用信道转移概率的译码是给出信道转移概率，因此利用信道转移概率的译码准则。准则。由概率中的贝叶斯定理可有：由概率中的贝叶斯定理可有：这样，这样，当信道输入符号集当信道输入符号集X X的先验概率为等概时，的先验概率为等概时，根根据最大后验概率译码准则，据最大后验概率译码准则，p(x*)p(yj/x*)p(xi)p(yj/xi)(i=1,2,n)最大后验概率可以用最大信道转移概率来取代。最大后验概率可以用最大信道转移概率来取代。定义定义6

11、.1.36.1.3选择译码函数选择译码函数F(F(y yj j)=x)=x*，使之满足条使之满足条件：件：p(p(y yj j|x|x*)p(x)p(x*)p()p(y yj j|x xi i)p()p(x xi i)则称为极则称为极大似然译码准则。大似然译码准则。3 3、平均错误概率、平均错误概率平均正确概率平均正确概率引理引理6.1.16.1.1错误概率错误概率p pE E与信道疑义度与信道疑义度H H（X|Y)X|Y)满足以下关系满足以下关系这个不等式称为费诺不等式。这个不等式称为费诺不等式。6.26.2错误概率与编码方法错误概率与编码方法6.2.16.2.1简单重复编码简单重复编码一个

12、一个BSCBSC信道，输入为信道，输入为X=0X=0，11，且为等概分且为等概分布，信道模型为：布，信道模型为：按最大似然译码准则为：按最大似然译码准则为：F(0)=0;F(1)=1;F(0)=0;F(1)=1;p pe e=0.01=0.01这里没有采用任何这里没有采用任何信道编码。信道编码。将将0 0编为编为000000，1 1编为编为111111。这时的可用码字为这时的可用码字为8 8；分别为：；分别为：X1=000 X2=001 X3=010 X4=100X1=000 X2=001 X3=010 X4=100X5=011 X6=110 X7=101 X8=111X5=011 X6=11

13、0 X7=101 X8=111而许用码字为而许用码字为000000和和111111，相当于信道输入为相当于信道输入为X1=000X1=000，X2=111X2=111，而信道输出端为：而信道输出端为：Y1=000Y1=000；Y2=001Y2=001；Y3=010Y3=010；Y4=100Y4=100Y5=011Y5=011；Y6=110Y6=110；Y7=101Y7=101；Y8=111Y8=111这时的信道转移矩阵为：这时的信道转移矩阵为：这时如果按最大似然法则译码，将为：这时如果按最大似然法则译码，将为：F(Y1)=F(Y2)=F(Y3)=F(Y4)=X1=000F(Y1)=F(Y2)=

14、F(Y3)=F(Y4)=X1=000F(Y5)=F(Y6)=F(Y7)=F(Y8)=X2=111F(Y5)=F(Y6)=F(Y7)=F(Y8)=X2=111错误译码概率为：错误译码概率为：PePe 310 310-4-4可见简单重复码可以将错误译码概率下降两个数量可见简单重复码可以将错误译码概率下降两个数量级。这是三次方法；可以看出如果是五次重复码，级。这是三次方法；可以看出如果是五次重复码，误码率还要降低误码率还要降低 ，但是信息传输率也要减小。，但是信息传输率也要减小。每个符号所携带的最大信息量为每个符号所携带的最大信息量为logMlogM，现用现用n n个码个码符号传输，平均每个码符号所

15、携带的信息量为符号传输，平均每个码符号所携带的信息量为R R。6.2.26.2.2消息符号数消息符号数在一个二元信道的在一个二元信道的n n次无记忆扩展信道中，输入端次无记忆扩展信道中，输入端共有共有2 2n n个个符号序列可能作为消息符号，现仅选其符号序列可能作为消息符号，现仅选其中中M M个做为消息符号传递。当个做为消息符号传递。当M M选大些，选大些，p pE E也跟着也跟着大，大，R R也大；也大；M M选取小些，选取小些，p pE E就降低，而就降低，而R R也要降低也要降低些。些。若信源若信源3 3次扩展后有次扩展后有8 8个消息符号数，如果选择个消息符号数，如果选择其中其中M M

16、个做为输入消息符号传递，则信道输出个做为输入消息符号传递，则信道输出端将会收到端将会收到8 8个输出符号，然后要从这个输出符号，然后要从这8 8个输出个输出符号中译出符号中译出M M个消息符号个消息符号当当n=3n=3，M=2 M=2 有有PePe 310 310-4 -4 R=1/3R=1/3当当n=3n=3，M=8 M=8 有有PePe 310 310-2 -2 R=1R=1当当n=3n=3，M=4 M=4 有有PePe 310 310-2 -2 R=2/3R=2/36.2.3(5.2)6.2.3(5.2)线性码线性码设取设取M=4 n=5M=4 n=5，这时信息传输率这时信息传输率R=2

17、/5bit/R=2/5bit/码符码符号而输入符号的号而输入符号的4 4个（个（M=4M=4）个码字采用下述编个码字采用下述编码方法码方法6.2.46.2.4汉明距离汉明距离定义定义6.2.16.2.1设设X=(x1,x2,X=(x1,x2,xnxn),Y=(y1,y2,),Y=(y1,y2,ynyn)为两个为两个n n长长的二元码字，则码字的二元码字，则码字X X和和Y Y之间的汉明距离定义之间的汉明距离定义为为其中，其中，表模二和运算。表模二和运算。在一个码组（码字集合）中，任意两个等长码在一个码组（码字集合）中，任意两个等长码字之间，如果有字之间，如果有d d个相对应的码元不同，则称个相

18、对应的码元不同，则称d d为这两个码字的汉明距离。为这两个码字的汉明距离。性质：性质：1 1、非负性、非负性D(X,Y)0D(X,Y)0 2 2、对称性、对称性D(X,Y)=D(Y,X)D(X,Y)=D(Y,X)3 3、三角不等式、三角不等式D(X,Z)+D(Y,Z)D(X,Y)D(X,Z)+D(Y,Z)D(X,Y)定义定义6.2.26.2.2在二元码在二元码C C中，任意两个码字的汉中，任意两个码字的汉明距离的最小值，称为码明距离的最小值，称为码C C的最小码距，即的最小码距，即D Dminmin=minD(=minD(C Ci i,C Cj j)()(CiCiCjCj;CiCi,CjCjC

19、)C)用汉明距离来表示极大似然译码规则用汉明距离来表示极大似然译码规则极大似然译码准则极大似然译码准则p(p(y yj j|x|x*)p()p(y yj j|x xi i)F(F(y yj j)=x)=x*码字码字码字码字在输入码字集找一个在输入码字集找一个x x*，使之与使之与y yj j的的汉明距离汉明距离为最短，使之满足为最短，使之满足 D(xD(x*,y yj j)=)=D Dminmin(x xi i,y yj j)6.36.3有噪信道编码定理有噪信道编码定理定理定理6.3.16.3.1设有一离散无记忆平稳信道，其信设有一离散无记忆平稳信道，其信道容量为道容量为C，只要待传送的信息传

20、输率只要待传送的信息传输率R00，若选用码字总若选用码字总数数 M=2M=2n n(C+)(C+)，则无论则无论n n多大，也找不到一种多大，也找不到一种编码，使译码错误概率编码，使译码错误概率P PE E任意小。任意小。1 1）若若M2M2n n(C-)(C-)，则则存存在在这这样样的的码码及及相相应应的的译译码码规规则则，当当n n足足够够大大时时，使使信信道道输输出出的的错错误误概概率率P PE E任意小；任意小；2 2）若若M=2M=2n n(C+)(C+)则则无无论论n n多多大大，也也找找不不到到一一种种编编码，使译码错误概率码，使译码错误概率P PE E任意小。任意小。某某离离散散无无记记忆忆信信道道有有r r个个输输入入，s s个个输输出出，信信道道容容量量为为C C，在在输输入入r rn n个个符符号号中中选选出出M M个个码码字字组组成成一一种种码，设码，设是任意小的正数是任意小的正数，