理学信道编码学习教案.pptx
会计学1理学理学(lxu)信道编码信道编码第一页，共179页。基本概念基本概念l信源编码的目的是压缩(y su)冗余度，提高信息的传输速率。l信道编码的目的是提高信息传输(chu n sh)时的抗干扰能力以增加信息传输(chu n sh)的可靠性。香农第二定理指出，当信息传输速率低于信道容量时，通过某种编译码方法，就能使错误概率为任意(rny)小。目前已有了许多有效的编译码方法，并形成了一门新的技术纠错编码技术。这里所讲的纠错编码即信道编码，与信源编码一样都是一种编码，但两者的作用是完全不同的。第1页/共179页第二页，共179页。本章本章(bn zhn)内容内容n n有扰离散信道(xn do)的编码定理 n n纠错编译码的基本原理与分析方法n n线性分组码 n n卷积码n n编码与调制的结合TCM码n n运用级联、分集与信息迭代概念的纠错码第2页/共179页第三页，共179页。6.1 信道编码的基本概念信道编码的基本概念 一、差错图样（errorpattern）定量(dngling)地描述信号的差错，收、发码之“差”：差错图样E发码C收码R（模M）第3页/共179页第四页，共179页。差错差错(chcu)类型类型n n差错符号：由符号发生差错引起，也叫信号差错，信号差错概率(gil)用误码元率表示n n差错比特：由信息比特发生差错引起，也叫信息差错，信息差错概率(gil)用误比特率表示n n对于二进制传输系统，符号差错等效于比特差错；n n对于多进制系统，一个符号差错到底对应多少比特差错却难以确定。因为一个符号由多个比特组成。第4页/共179页第五页，共179页。差错差错(chcu)图样类型图样类型 n n随机差错：若差错图样上各码位的取值既与前后(qinhu)位置无关又与时间无关，即差错始终以相等的概率独立发生于各码字、各码元、各比特；n n突发差错：前后(qinhu)相关、成堆出现。突发差错总是以差错码元开头、以差错码元结尾，头尾之间并不是每个码元都错，而是码元差错概率超过了某个额定值。第5页/共179页第六页，共179页。二、纠错码分类二、纠错码分类(fn li)n n从功能角度：检错码、纠错码 n n码元与原始信息位的关系：线性码、非线性码 n n对信息序列的处理方法：分组码、卷积码n n差错类型：纠随机差错码、纠突发差错码、介于中间的纠随机/突发差错码。n n构码理论(lln)：代数码、几何码、算术码、组合码等 第6页/共179页第七页，共179页。三、差错控制系统分类三、差错控制系统分类 n n前向纠错(ji cu)（FEC）：发端信息经纠错(ji cu)编码后传送，收端通过纠错(ji cu)译码自动纠正传递过程中的差错 n n反馈重发（ARQ）：收端通过检测接收码是否符合编码规律来判断，如判定码组有错，则通过反向信道通知发端重发该码 n n混合纠错(ji cu)（HEC）：前向纠错(ji cu)和反馈重发的结合，发端发送的码兼有检错和纠错(ji cu)两种能力 第7页/共179页第八页，共179页。矢量矢量(shling)空间与空间与码空间码空间 n nF F表示码元所在的数域，对于二进制码，表示码元所在的数域，对于二进制码，F F代表二代表二元域元域0,10,1，设，设n n重有序元素的集合重有序元素的集合V=Vi,V=Vi,n n若满足条件：若满足条件：n n1 1、VV中矢量元素在矢量加运算下构成加群；中矢量元素在矢量加运算下构成加群；n n2 2、VV中矢量元素与数域中矢量元素与数域F F元素的标乘封闭元素的标乘封闭(fngb)(fngb)在在VV中；中；n n3 3、分配律、结合律成立，、分配律、结合律成立，n n 则称集合则称集合VV是数域是数域F F上的上的n n维矢量空间，或称维矢量空间，或称n n维维线性空间，线性空间，n n维矢量又称维矢量又称n n重重(n-tuples)(n-tuples)。第8页/共179页第九页，共179页。矢量矢量(shling)空间与基底空间与基底注意：1、n维矢量(shling)空间一定包含0矢量(shling)2、n维矢量(shling)空间中的各矢量(shling)可能线性无关，也可能线性相关第9页/共179页第十页，共179页。矢量矢量(shling)空间中矢量空间中矢量(shling)的关系的关系 对于域对于域F F上的若干上的若干(rugn)(rugn)矢量矢量线性组合：线性组合：线性相关：线性相关：其中任一矢量可表示为其它矢量的线性组合其中任一矢量可表示为其它矢量的线性组合线性无关或线性独立：一组矢量中的任意一个都不可能用其它矢量的线性线性无关或线性独立：一组矢量中的任意一个都不可能用其它矢量的线性组合来代替。组合来代替。第10页/共179页第十一页，共179页。矢量空间矢量空间(kngjin)与基底与基底3、一组线性无关的矢量 ，线性组合的集合就构成了一个矢量空间V，这组矢量 就是这个(zh ge)矢量空间的基底。n维矢量空间应包含n个基底 基底不唯一第11页/共179页第十二页，共179页。二元域二元域GF(2)上三重上三重(sn zhn)矢量空间矢量空间 n n以（以（100100）为基底）为基底(j d(j d)可张成一维三重子空间可张成一维三重子空间V1V1，含，含21=2 21=2 个元素，即个元素，即n n以以(010)(001)(010)(001)为基底为基底(j d(j d)可张成二维三重子可张成二维三重子空间空间V2V2，含，含 22=4 22=4个元素，即个元素，即n n以以(100)(010)(001)(100)(010)(001)为基底为基底(j d(j d)可张成三维可张成三维三重空间三重空间V,V,含含 23=8 23=8个元素，个元素，V1V1和和V2V2都是都是V V的的子空间。子空间。第12页/共179页第十三页，共179页。矢量矢量(shling)空间空间n n两个矢量正交：V1V2 0 n n两个矢量空间正交：某矢量空间中的任意(rny)元素与另一矢量空间中的任意(rny)元素正交 n n两个矢量空间的基底正交，则两个矢量空间正交n n正交的两个子空间V1、V2互为对偶空间(Dual Space)，其中一个空间是另一个空间的零空间（null space，也称零化空间）。第13页/共179页第十四页，共179页。码空间码空间(kngjin)消息消息(xioxi)k长长(n,k)码字码字n长长qk种种分组编码器分组编码器qn种种k维维k重重矢矢量量(shling)n维维n重重矢矢量量(shling)通常通常qnqk，分组编码的任务是，分组编码的任务是要在要在n维维n重矢量空间的重矢量空间的qn种可能组合种可能组合中选择其中的中选择其中的qk个构成一个个构成一个码空间码空间，其，其元素就是许用码的元素就是许用码的码集码集。第14页/共179页第十五页，共179页。分组编码分组编码(bin m)的任务的任务 n n选择一个维n重子空间作为码空间。n n确定由k维k重信息空间到维n重码空间的映射方法(fngf)。n n码空间的不同选择方法(fngf)，以及信息组与码组的不同映射算法，就构成了不同的分组码。第15页/共179页第十六页，共179页。随机编码随机编码n n运用概率统计方法(fngf)在特定信道条件下对编码信号的性能作出统计分析，求出差错概率的上下限边界，其中最优码所能达到的差错概率上界称作随机码界。n n用这种方法(fngf)不能得知最优码是如何具体编出来的，却能得知最优码可以好到什么程度，并进而推导出有扰离散信道的编码定理，对指导编码技术具有特别重要的理论价值。第16页/共179页第十七页，共179页。n n在在(N,K)(N,K)分组编码器中随机选定的码集有分组编码器中随机选定的码集有qNMqNM种种 n n第第mm个码集个码集(记作记作cm)cm)被随机选中的概率是被随机选中的概率是n n设与这种选择相对应的条件设与这种选择相对应的条件(tiojin)(tiojin)差错概差错概率是率是Pe(cm)Pe(cm)n n全部码集的平均差错概率是全部码集的平均差错概率是第18页/共179页第十九页，共179页。n n必定存在某些码集必定存在某些码集n n某些码集某些码集n n若若 ，就必然，就必然(brn)(brn)存在一批码集存在一批码集n n 即差错概率趋于零的好码一定存在即差错概率趋于零的好码一定存在 第19页/共179页第二十页，共179页。n n码集点数码集点数M=qKM=qK占占NN维矢量空间总点数维矢量空间总点数qNqN的比的比例是例是n nF=qK/qN =q-(N-K)F=qK/qN =q-(N-K)n n当当K K和和NN的差值拉大即冗余的空间点数增加时，的差值拉大即冗余的空间点数增加时，平均而言码字的分布将变得稀疏，码字间的平均而言码字的分布将变得稀疏，码字间的平均距离将变大，平均差错平均距离将变大，平均差错(chcu)(chcu)概率将概率将变小。变小。n n当当F F0 0 即即(N-K)(N-K)时，能否让平均差错时，能否让平均差错(chcu)(chcu)概率概率n n？n nGallagerGallager在在19651965年推导了年推导了 的上边界，并证明的上边界，并证明这个上边界是按指数规律收敛的。这个上边界是按指数规律收敛的。第20页/共179页第二十一页，共179页。n nE(R)为可靠性函数，也叫误差指数 n n码率：R=(lbM)/N n nM是可能的信息(xnx)组合数，M=qKn nN是每码字的码元数，n nR表示每码元携带的信息(xnx)量，单位是每符号比特（bit/symbol）第21页/共179页第二十二页，共179页。n nR在0,R0区间 时E(R)R曲 线(qxin)是 斜 率 为-1（-45）的直线，E(R)反比于R；而当R=C时E(R)=0即可靠性为零。E(R)CR0R0-45 E(R)和和R的关系曲线的关系曲线第22页/共179页第二十三页，共179页。信道编码定理信道编码定理(dngl)n n正定理：只要传信率R小于信道容量C，总存在一种信道码（及解码器），可以以所要求的任意(rny)小的差错概率实现可靠的通信。n n逆定理：信道容量C是可靠通信系统传信率R的上边界，如果R C，就不可能有任何一种编码能使差错概率任意(rny)小。第23页/共179页第二十四页，共179页。第六章：信道编码第六章：信道编码第六章：信道编码第六章：信道编码l信道编码的目标(mbio)：提高通信的可靠性。1.1.信道编码概述信道编码概述(ish)(ish)l信道编码信道编码(binm)，就是按照一定的规则给信源编码，就是按照一定的规则给信源编码(binm)后的码符号序列增加一些冗余信息，使其变成具有一定后的码符号序列增加一些冗余信息，使其变成具有一定数学规律的码符号序列。数学规律的码符号序列。l信道译码信道译码，就是按与信道编码器相同的数学规律去掉接收到的码符号序列中的冗余符号。l通常来说，增加的冗余符号越多，检错和纠错能力就越强。但是，增加的冗余符号越多，传输效率就越低。信道编码的相关概念信道编码的相关概念第24页/共179页第二十五页，共179页。信道编码器：将信源编码后的符号加上冗余(rn y)符号，提高传输的可靠性。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码1.信道编码概述(ish)（续1）信道编码的相关信道编码的相关(xinggun)概念概念第25页/共179页第二十六页，共179页。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码1.1.信道编码概述信道编码概述(ish)(ish)（续（续2 2）信道编码的相关信道编码的相关(xinggun)概念概念图1编码(binm)信道模型信道编码器信道译码器信道第26页/共179页第二十七页，共179页。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码2.译码规则对错误(cuw)概率的影响例例1 1：二进制对称二进制对称(duchn)(duchn)信道信道 0101信道编码的相关信道编码的相关(xinggun)概念概念第27页/共179页第二十八页，共179页。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码2.2.译码规则对错误概率译码规则对错误概率(gil)(gil)的影响（续的影响（续1 1）译码规则(guz)1：信道译码器收到符号“0”译为“0”信道译码器收到符号“1”译为“1”正确译码概率(gil)0.1，错误译码概率(gil)信道编码的相关概念信道编码的相关概念0101第28页/共179页第二十九页，共179页。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码2.译码规则对错误概率(gil)的影响（续2）译码规则(guz)2：信道(xndo)译码器收到符号“0”译为“1”信道(xndo)译码器收到符号“1”译为“0”信道编码的相关概念信道编码的相关概念正确译码概率0.9，错误译码概率第29页/共179页第三十页，共179页。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码定义6.1设信道的输入符号集为，输出符号集为。若对每一个输出符号都有一个确定的函数(hnsh)，使对应于唯一的一个输入符号，则称这样的一个函数(hnsh)为译码规则，记为3.3.译码规则译码规则(guz)(guz)XYx1x2xry1y2ysp(yj|xi)信道编码的相关信道编码的相关(xinggun)概念概念第30页/共179页第三十一页，共179页。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码3.译码规则(guz)（续1）信道(xndo)共有(nyu)rs种译码规则信道编码的相关概念信道编码的相关概念第31页/共179页第三十二页，共179页。译码规则(guz)例：01013.3.译码规则译码规则(guz)(guz)（续（续2 2）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第32页/共179页第三十三页，共179页。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码3.3.译码规则译码规则(guz)(guz)（续（续3 3）例2：设一个信道(xndo)的信道(xndo)矩阵为，根据此信道(xndo)矩阵，设计译码规则。解：译码规则(guz)A译码规则B信道编码的相关概念信道编码的相关概念第33页/共179页第三十四页，共179页。对于有r个输入符号，s个输出符号的信道，总共可以(ky)设计出种译码规则，到底哪一种译码规则最好？依据什么标准来选择译码规则？问题(wnt)：3.3.译码规则译码规则(guz)(guz)（续（续4 4）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第34页/共179页第三十五页，共179页。4.错误(cuw)译码概率l设译码规则(guz)为当输入(shr)符号是xi时，译码正确当输入符号为除xi以外的(r-1)种符号时，译码错误正确译码的概率：错误译码的概率：第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第35页/共179页第三十六页，共179页。4.错误(cuw)译码概率（续1）l平均(pngjn)正确译码概率：l平均(pngjn)错误译码概率：第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第36页/共179页第三十七页，共179页。5.5.两种重要两种重要(zhngyo)(zhngyo)的译码规则的译码规则为提高规则通信的可靠性，所采用的译码应当使平均(pngjn)错误译码概率最小。-最大后验概率译码规则最常用的译码规则，包括：极大极大(jd)似然译码规则似然译码规则最大后验概率译码规则最大后验概率译码规则第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第37页/共179页第三十八页，共179页。5.两种重要(zhngyo)的译码规则（续1）(1)最大后验概率译码规则最大后验概率译码规则(guz)已知：当求和(qih)项中的每一项都达到最小值时，就最小。要最小。要最大。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第38页/共179页第三十九页，共179页。定义(dngy)6.2令，而应满足条件5.两种重要(zhngyo)的译码规则（续2）称满足上述条件(tiojin)的译码函数对应的译码规则为最大后验概率译码规则。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第39页/共179页第四十页，共179页。5.5.两种重要两种重要(zhngyo)(zhngyo)的译码规则（续的译码规则（续3 3）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第40页/共179页第四十一页，共179页。5.5.两种重要两种重要(zhngyo)(zhngyo)的译码规则（续的译码规则（续4 4）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第41页/共179页第四十二页，共179页。5.两种重要(zhngyo)的译码规则（续5）问题(wnt)：最大后验概率通常是未知的，使用(shyng)不方便。我们能否推导出更便于使用(shyng)的译码规则?第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第42页/共179页第四十三页，共179页。5.5.两种重要两种重要(zhngyo)(zhngyo)的译码规则（续的译码规则（续6 6）当输入符号当输入符号(fho)等概分布时等概分布时(2)极大极大(jd)似然译码规则似然译码规则第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第43页/共179页第四十四页，共179页。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码5.5.两种重要两种重要(zhngyo)(zhngyo)的译码规则（续的译码规则（续7 7）1)当输入符号等概分布时，采用极大似然译码准则等价(dngji)于最大后验概率准则。2)当输入(shr)符号不等概分布或先验概率未知时，采用极大似然译码准则不一定使 最小。l 关于极大似然译码准则极大似然译码准则：第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第44页/共179页第四十五页，共179页。5.两种重要(zhngyo)的译码规则（续8）当输入符号当输入符号(fho)等概分布时等概分布时第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第45页/共179页第四十六页，共179页。5.两种重要(zhngyo)的译码规则（续9）例3：设信道矩阵为，且输入(shr)符号等概分布，即，求译码规则和平均错误译码概率。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第46页/共179页第四十七页，共179页。5.5.两种重要两种重要(zhngyo)(zhngyo)的译码规则（续的译码规则（续1010）解：因为输入符号为等概分布，所以(suy)由最大似然译码规则可得译码规则(guz)第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第47页/共179页第四十八页，共179页。5.两种重要(zhngyo)的译码规则（续11）译码规则(guz)A译码规则(guz)B例6.3假设输入等概，求以下两种译码规则的平均错误译码概率。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第48页/共179页第四十九页，共179页。5.5.两种重要两种重要(zhngyo)(zhngyo)的译码规则（续的译码规则（续1212）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第49页/共179页第五十页，共179页。5.两种重要(zhngyo)的译码规则（续13）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第50页/共179页第五十一页，共179页。5.两种重要(zhngyo)的译码规则（续14）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第51页/共179页第五十二页，共179页。6.Fano6.Fano不等式l定理6.1平均错误概率与信道(xndo)疑义度H(X|Y)满足不等式：第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第52页/共179页第五十三页，共179页。01017.7.简单重复简单重复(chngf)(chngf)编码编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第53页/共179页第五十四页，共179页。7.简单重复(chngf)编码（续1）二元对称(duchn)信道的三次扩展信道M=2第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第54页/共179页第五十五页，共179页。由最大似然译码规则(guz)，可得7.7.简单重复简单重复(chngf)(chngf)编码（续编码（续2 2）自动(zdng)纠正一位错第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第55页/共179页第五十六页，共179页。7.7.简单重复简单重复(chngf)(chngf)编码（续编码（续3 3）l在输入符号集（M个符号）等概的条件下，每个符号平均(pngjn)携带的最大信息量是。l当用n个码元符号来传输M个信源符号时，每个码符号携带的平均(pngjn)信息量，即信道信息传输率为：l不重复(chngf)编码时(n=1)，l重复(chngf)编码时(n=3)，第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第56页/共179页第五十七页，共179页。n=1,R=1,n=3,R=1/3,n=5,R=1/5,n=7,R=1/7,n=9,R=1/9,n=11,R=1/11,增加重复次数(csh)n，可使减小很多，但信息传输率R也减少很多。7.简单(jindn)重复编码（续4）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第57页/共179页第五十八页，共179页。7.简单重复(chngf)编码（续5）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念l如果在扩展信源的如果在扩展信源的个码符号序列中任意选择个码符号序列中任意选择M个序个序列作为信道列作为信道(xndo)的输入，以代表的输入，以代表M个信源消息。个信源消息。第58页/共179页第五十九页，共179页。l 因此若选择因此若选择“000”“000”和和“001”“001”代表代表(dibio)(dibio)消息消息“0”“0”和和“1”“1”，则，则 7.简单重复(chngf)编码（续6）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第59页/共179页第六十页，共179页。l有有没没有有一一种种(yzhn)很很简简便便的的方方法法，帮帮我我们们选选择择平平均错误概率最小的均错误概率最小的M个序列？个序列？7.7.简单重复简单重复(chngf)(chngf)编码（续编码（续7 7）第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第60页/共179页第六十一页，共179页。8.汉明距离(jl)1）汉明距离(jl)2）码的最小距离(jl)3）汉明距离与极大似然译码准则第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第61页/共179页第六十二页，共179页。8.8.汉明距离汉明距离(jl)(jl)（续（续1 1）定义6.4设和表示两个长度(chngd)为n的码符号序列，定义称为码字和之间的汉明距离(jl)。1）汉明距离）汉明距离第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第62页/共179页第六十三页，共179页。8.汉明距离(jl)（续2）例4：求下面两个(lin)码字之间的汉明距离。解：第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念第63页/共179页第六十四页，共179页。8.汉明距离(jl)（续3）定义6.5在二元码C中，任意两个(lin)码字之间的汉明距离的最小值，被称为码C的最小距离：2）码的最小距离）码的最小距离(jl)第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第64页/共179页第六十五页，共179页。8.汉明距离(jl)（续4）例5：设有n=3的两组码，分别(fnbi)求它们的最小汉明距离。解：码的最小汉明距离(jl)为码的最小汉明距离为第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第65页/共179页第六十六页，共179页。码1码2码3码4码5码600011100000100001110111000000110001000000011011011111010000001010011100101110111第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关信道编码的相关(xinggun)概念概念8.汉明距离(jl)（续5）第66页/共179页第六十七页，共179页。码1码2码3码4码5码字00011100001110111000000110001000000011011011111010000001010011100101110111消息数M24448信息传输率R1/32/32/32/51码的最小距离32131平均错误概率（最大似然译码）第67页/共179页第六十八页，共179页。8.8.汉明距离汉明距离(jl)(jl)（续（续7 7）结论(jiln)：码的最小距离(jl)越大，平均译码错误概率越小。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念第68页/共179页第六十九页，共179页。设和表示两个(lin)长度为n的码符号序列，为信道的输入，为信道的输出。和的汉明距离为D。8.汉明距离(jl)（续8）3)汉明距离汉明距离(jl)与极大似然译码准则与极大似然译码准则对于离散平稳无记忆二元对称信道，有第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念通常情况下，D越小，就越大。第69页/共179页第七十页，共179页。8.汉明距离(jl)（续9）根据极大(jd)似然译码准则，极大似然译码准则就等价(dngji)于，当接收到一个长为n的码符号序列时，在输入码字集中寻找一个，使第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码信道编码的相关概念信道编码的相关概念最小距离译码准则最小距离译码准则第70页/共179页第七十一页，共179页。1.有噪信道编码定理(dngl)定理6.2（香农第二定理）设有一离散无记忆平稳(pngwn)信道，其信道容量为C，只要待传送的信息传输率RC，即，则无论码长n取多大，也不可能使译码错误概率任意小。第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码有噪信道编码定理有噪信道编码定理第73页/共179页第七十四页，共179页。1.有噪信道编码定理(dngl)（续3）信道容量是在信道中可靠传输信道容量是在信道中可靠传输(chun sh)(chun sh)信息的信息的最大信息传输最大信息传输(chun sh)(chun sh)率。率。结论结论(jiln)：第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码有噪信道编码定理有噪信道编码定理第74页/共179页第七十五页，共179页。2.错误(cuw)概率的上界第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码第六章：有噪信道编码有噪信道编码定理有噪信道编码定理(dngl)第75页/共179页第七十六页，共179页。纠错纠错(ji cu)(ji cu)编码编码1 1 纠错码的分类纠错码的分类(fn li)(fn li)2 2 纠错码的基本概念纠错码的基本概念 3 3 线性分组码线性分组码 4 4 汉明码汉明码 5 5 循环码循环码*6 *6 卷积码卷积码第76页/共179页第七十七页，共179页。概述概述(i sh)(i sh)l 香农第二定理香农第二定理(dngl)(dngl)证明，当证明，当 时时 的码存的码存在。在。l 证明过程采用的是随机编码的方法：证明过程采用的是随机编码的方法：l随机编码所得的码集很大，通过搜索得到好码的方法在随机编码所得的码集很大，通过搜索得到好码的方法在实际上很难实现；实际上很难实现；l即使找到了好码，这种码的码字也没有规律，不便于译即使找到了好码，这种码的码字也没有规律，不便于译码。码。l 真正实用的信道编码方法还需要通过各种数学工具来构真正实用的信道编码方法还需要通过各种数学工具来构造，使码具有好的结构性以便于译码。造，使码具有好的结构性以便于译码。第77页/共179页第七十八页，共179页。l 近世代数是信道编码理论用到的最重要的数学工具，近世代数是信道编码理论用到的最重要的数学工具，它包括群论、环论、域论、格论、线性代数它包括群论、环论、域论、格论、线性代数(xin xn(xin xn di sh)di sh)等许多分支。等许多分支。l 广义信道编码包括：调制、成形滤波、扩频、上下广义信道编码包括：调制、成形滤波、扩频、上下变频等。变频等。l 纠错编码是提高传输可靠性的最主要的措施之一。纠错编码是提高传输可靠性的最主要的措施之一。概述概述(i sh)(i sh)第78页/共179页第七十九页，共179页。l 纠错编码纠错编码(bin m)(bin m)的基本思路：的基本思路：l 根据一定的规律在待发送的信息码元中人为的加根据一定的规律在待发送的信息码元中人为的加入一些冗余码元，这些冗余码元与信息码元之间以某入一些冗余码元，这些冗余码元与信息码元之间以某种确定的规则相互关联（约束）。种确定的规则相互关联（约束）。l 在接收端按照既定的规则检验信息码元与监督码在接收端按照既定的规则检验信息码元与监督码元之间的关系。如果传输过程出错，则信息码元与监元之间的关系。如果传输过程出错，则信息码元与监督码元之间的关系将受到破坏，从而可以发现错误乃督码元之间的关系将受到破坏，从而可以发现错误乃至纠正错误。至纠正错误。概述概述(i sh)(i sh)第79页/共179页第八十页，共179页。E概述概述(i sh)(i sh)mmsgCcodeRnoisycodenewmsg第80页/共179页第八十一页，共179页。干扰一般分为两种形式：干扰一般分为两种形式：一是随机噪声，它主要来源于设备的热噪声和散弹噪声以一是随机噪声，它主要来源于设备的热噪声和散弹噪声以及及(yj)传播媒介的热噪声，它是通信系统中的主要噪声；传播媒介的热噪声，它是通信系统中的主要噪声；二是脉冲干扰和信道衰落，它的特点是突发出现，主要来二是脉冲干扰和信道衰落，它的特点是突发出现，主要来源于雷电、通电开关、负荷突变或设备故障等。源于雷电、通电开关、负荷突变或设备故障等。概述概述(i sh)(i sh)第81页/共179页第八十二页，共179页。信道可分为三类：信道可分为三类：1.只只产产生生随随机机错错误误的的信信道道称称为为随随机机信信道道。比比如如卫卫星星信信道道、同同轴轴电缆、光缆信道以及大多数微波中继信道。电缆、光缆信道以及大多数微波中继信道。2.产产生生突突发发错错误误的的信信道道称称为为突突发发信信道道。实实际际的的短短波波信信道道、移移动动通通信信信信道道、由由于于擦擦伤伤造造成成成成串串差差错错的的光光盘盘和和磁磁盘盘(cpn)，均均为这一类信道。为这一类信道。3.有些实际信道既有随机错误又有突发错误，称为混合信道。有些实际信道既有随机错误又有突发错误，称为混合信道。根据不同的信道类型设计根据不同的信道类型设计(shj)的信道编码分为纠随机错误码、的信道编码分为纠随机错误码、纠突发错误码和纠混合错误码。纠突发错误码和纠混合错误码。概述概述(i sh)(i sh)第82页/共179页第八十三页，共179页。在通信系统中，纠检错的工作方式有：在通信系统中，纠检错的工作方式有：(1)反馈反馈(fnku)重传重传(ARQ)(2)前向纠错前向纠错(FEC)(3)混合纠错混合纠错概述概述(i sh)(i sh)第83页/共179页第八十四页，共179页。发送端经编码后发出能够发现错误的码，接收端收到后经检验，发送端经编码后发出能够发现错误的码，接收端收到后经检验，如果发现传输中有错误，则通过反馈系统把这一判断结果反馈回发如果发现传输中有错误，则通过反馈系统把这一判断结果反馈回发端，然后发送端把前面发出的信息重新传送端，然后发送端把前面发出的信息重新传送(chun sn)(chun sn)一次，直一次，直到接收端认为正确地收到信息为止。到接收端认为正确地收到信息为止。(1)反馈反馈(fnku)重传重传(ARQ)检错检错编码编码(binm)信道信道检错检错译码译码反馈反馈概述概述第84页/共179页第八十五页，共179页。(2)前向纠错前向纠错(jicu)(FEC)纠错纠错(jicu)编码编码信道信道(xndo)纠错纠错译码译码 发送端发出的是具有纠错能力的纠错码，接收端根据译发送端发出的是具有纠错能力的纠错码，接收端根据译码规则进行译码。当误码个数在码的纠错能力范围内时，译码规则进行译码。当误
