信息论第九章精.ppt
《信息论第九章精.ppt》由会员分享,可在线阅读,更多相关《信息论第九章精.ppt(63页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、信息论第九章第1页,本讲稿共63页n前向纠错前向纠错(FEC):发送端的信道编码器将信息码组发送端的信道编码器将信息码组编成具有一定纠错能力的码。接收端信道译码器对编成具有一定纠错能力的码。接收端信道译码器对接收码字进行译码,若传输中产生的差错数目在码接收码字进行译码,若传输中产生的差错数目在码的纠错能力之内时,译码器对差错进行定位并加以的纠错能力之内时,译码器对差错进行定位并加以纠正。纠正。n自动请求重发自动请求重发(ARQ):用于检测的纠错码在译码器用于检测的纠错码在译码器输出端只给出当前码字传输是否可能出错的指示,输出端只给出当前码字传输是否可能出错的指示,当有错时按某种协议通过一个反向
2、信道请求发送端当有错时按某种协议通过一个反向信道请求发送端重传已发送的码字全部或部分。重传已发送的码字全部或部分。9.1 差错控制的基本方式差错控制的基本方式第2页,本讲稿共63页n混合纠错混合纠错(HEC):是是FEC与与ARQ方式的结合。方式的结合。发端发送同时具有自动纠错和检测能力的码组,发端发送同时具有自动纠错和检测能力的码组,收端收到码组后,检查差错情况,如果差错在收端收到码组后,检查差错情况,如果差错在码的纠错能力以内,则自动进行纠正。如果信码的纠错能力以内,则自动进行纠正。如果信道干扰很严重,错误很多,超过了码的纠错能道干扰很严重,错误很多,超过了码的纠错能力,但能检测出来,则经
3、反馈信道请求发端重力,但能检测出来,则经反馈信道请求发端重发这组数据。发这组数据。9.1 差错控制的基本方式差错控制的基本方式第3页,本讲稿共63页n分组码分组码:编码的规则仅局限于本码组之内,本码组:编码的规则仅局限于本码组之内,本码组的监督元仅和本码组的信息元相关。的监督元仅和本码组的信息元相关。信息码组由信息码组由 k 个二进制码元组成,共有个二进制码元组成,共有 2k 个不同个不同的信息码组;的信息码组;附加附加nk个码元,每个监督元取值个码元,每个监督元取值与该信息码组的与该信息码组的k个码元有关;个码元有关;编码器输出长度编码器输出长度 n;这这2k 个码字的集合称为个码字的集合称
4、为(n,k)分组码;分组码;n卷积码卷积码:本码组的监督元不仅和本码组的信息元相:本码组的监督元不仅和本码组的信息元相关,而且还与本码组相邻的前关,而且还与本码组相邻的前 n1 个码组的信息个码组的信息元相关元相关。9.2 纠错码分类纠错码分类第4页,本讲稿共63页n是否可用线性方程组来表示是否可用线性方程组来表示n线性码线性码:编码规则可以用线性方程表示;:编码规则可以用线性方程表示;n非线性码非线性码:编码规则不能用线性方程表示;:编码规则不能用线性方程表示;n按码字的结构分按码字的结构分n系统码系统码:前前 k 个码元与信息码组一致;个码元与信息码组一致;n非系统码非系统码:没有系统码的
5、特性。:没有系统码的特性。n按纠正差错的类型可分为按纠正差错的类型可分为纠正随机错误的码纠正随机错误的码和和纠正突发错纠正突发错误的码误的码;n按码字中每个码元的取值可分为按码字中每个码元的取值可分为二进制码二进制码和和多进制码多进制码。9.2 纠错码分类纠错码分类第5页,本讲稿共63页n汉明距离汉明距离/距离:在距离:在(n,k)线性码中,两个码线性码中,两个码字字 U、V 之间对应码元位上符号取值不同的之间对应码元位上符号取值不同的个数,称为码字个数,称为码字 U、V 之间的汉明距离。之间的汉明距离。n线性分组码的一个码字对应于线性分组码的一个码字对应于 n 维线性空间维线性空间中的一点,
6、码字间的距离即为空间中两中的一点,码字间的距离即为空间中两对应点对应点的距离。的距离。码距与纠检错能力码距与纠检错能力第6页,本讲稿共63页n汉明重量汉明重量/码字重量码字重量/W:码字中非:码字中非0码元符号码元符号的个数,称为该码字的汉明重量。的个数,称为该码字的汉明重量。n在二元线性码中,码字重量就是码字中含在二元线性码中,码字重量就是码字中含“1”的个数。的个数。n最小距离与最小重量的关系最小距离与最小重量的关系:线性分组码的最:线性分组码的最小距离等于它的非零码字的最小重量。小距离等于它的非零码字的最小重量。第7页,本讲稿共63页n一般地说,线性码的最小距离越大,意味着任意一般地说,
7、线性码的最小距离越大,意味着任意码字间的差别越大,则码的检、纠错能力越强。码字间的差别越大,则码的检、纠错能力越强。最小距离与检、纠错能力最小距离与检、纠错能力最小距离与纠错能力最小距离与纠错能力:(n,k)线性码能纠线性码能纠 t 个个错误的充要条件是码的最小距离为错误的充要条件是码的最小距离为第8页,本讲稿共63页 几何意义:第9页,本讲稿共63页n最小距离与检错能力最小距离与检错能力:(n,k)线性码能够发现线性码能够发现 l 个错误的充要条件是码的最小距离为个错误的充要条件是码的最小距离为ndmin=l+1 或或 l=dmin1第10页,本讲稿共63页线性空间的概念线性空间的概念n定理
8、:(定理:(n,k)线性分组码是)线性分组码是n维维n重线性重线性空间的一个空间的一个k维线性子空间。维线性子空间。n线性空间相关概念:线性空间相关概念:n(1)n维线性空间:由维线性空间:由n个线性无关的个线性无关的矢量组成基底,它们的全部线性组合所矢量组成基底,它们的全部线性组合所构成的空间。若矢量长度也为构成的空间。若矢量长度也为n,则称,则称n维维n重线性空间重线性空间S。第11页,本讲稿共63页(2)线性子空间:从)线性子空间:从n个基底中选出一组个基底中选出一组k(kn)个基底,它们的全部线性组合也构成)个基底,它们的全部线性组合也构成一个集合,这个集合是一个集合,这个集合是S的一
9、个的一个k维子集,称为维子集,称为k维维n重子空间,记作重子空间,记作 。(3)n维空间的维空间的n个基底不是唯一的。个基底不是唯一的。第12页,本讲稿共63页(4)矢量正交:两矢量内积为零。)矢量正交:两矢量内积为零。矢量空间正交:一空间中的任一矢量都和另一矢量空间正交:一空间中的任一矢量都和另一空间的任一矢量正交。空间的任一矢量正交。(5)对偶空间:以互相正交的基底组张成的)对偶空间:以互相正交的基底组张成的两个线性空间一定正交,这两个空间称为对偶两个线性空间一定正交,这两个空间称为对偶空间,其中一个空间是另一个空间的零空间。空间,其中一个空间是另一个空间的零空间。第13页,本讲稿共63页
10、(6)码空间与校验空间:把)码空间与校验空间:把n维维n重线性空间重线性空间中互相正交的中互相正交的n个基底分成两组:一组个基底分成两组:一组k个基个基底,另一组(底,另一组(n-k)个基底,则它们分别张成)个基底,则它们分别张成k维维n重和(重和(n-k)维)维n重两个正交的对偶空间,重两个正交的对偶空间,将将k维维n重空间用作码空间重空间用作码空间C,将(,将(n-k)维)维n重重空间用作校验空间空间用作校验空间H。第14页,本讲稿共63页 将将H空间的(空间的(n-k)个基底排列起来可构)个基底排列起来可构成一个(成一个(n-k)n矩阵,称为线性码矩阵,称为线性码C的一致的一致校验(或监
11、督)矩阵,简称为校验(或监督)校验(或监督)矩阵,简称为校验(或监督)矩阵矩阵H。H是(是(n,n-k)对偶码的生成矩阵,)对偶码的生成矩阵,它的每一行是一个基底,也是一个码字。它的每一行是一个基底,也是一个码字。第15页,本讲稿共63页第2节 线性分组码第16页,本讲稿共63页n在由在由(n,k)线性码构成的码空间线性码构成的码空间C中,一定存在中,一定存在 k 个线性独立的码字:个线性独立的码字:g1,g2,gk,。码。码 集集 中其中其它任何码字它任何码字C都可以表为这都可以表为这 k 个码字的一种线性个码字的一种线性组合,即组合,即线性分组码的生成矩阵线性分组码的生成矩阵第17页,本讲
12、稿共63页第18页,本讲稿共63页nG中每一行中每一行 gi=(gi1,gi2,gin)都是一个码字;都是一个码字;n对每一个信息组对每一个信息组m,由矩阵,由矩阵G都可以求得都可以求得(n,k)线线性码对应的码字。性码对应的码字。n(n,k)线性码的每一个码字都是生成矩阵线性码的每一个码字都是生成矩阵 G 的行的行矢量的线性组合,所以它的矢量的线性组合,所以它的 2k 个码字构成了由个码字构成了由 G 的行张成的的行张成的 n 维空间的一个维空间的一个 k 维子空间维子空间。第19页,本讲稿共63页n通过行初等变换,通过行初等变换,将将 G 化为前化为前 k 列是单位子阵列是单位子阵的的标准
13、形式标准形式 线性系统分组码线性系统分组码第20页,本讲稿共63页n举例 已知(7,4)线性系统码的监督矩阵为第2节 线性分组码第21页,本讲稿共63页n定理定理 (n,k)线性分组码最小距离等于线性分组码最小距离等于dmin的的充要条件是:校验矩阵充要条件是:校验矩阵H的列矢量中至少要的列矢量中至少要有有dmin个才能线性相关个才能线性相关,而任意(而任意(dmin-1)列线列线性无关。性无关。n定定理理 (n,k)线线性性分分组组码码的的最最小小距距离离必必定定小小于于等于等于(n-k+1)dmin (n-k+1)第22页,本讲稿共63页例:例:H (7,4)线性码线性码 各列都不相同,任
14、意各列都不相同,任意2列之和不等于列之和不等于0,2列线性无关;某列线性无关;某3列线性相关。所以该码的最列线性相关。所以该码的最小距离为小距离为3,小于,小于n-k+14。第23页,本讲稿共63页n(n,k)线线性性码码最最小小距距离离dmin的的上上边边界界是是n-k+1。如如果果我我们们设设计计的的(n,k)线线性性码码的的dmin达达到到了了n-k+1,就就是是达达到到了了设设计计性性能能的的极极点点。因因此此,dmin n-k+1的的码码称称 为为 极极 大大 最最 小小 距距 离离 码码 (MDC MaximizedminimumDistanceCode)。生成矩阵和校验矩阵生成矩
15、阵和校验矩阵第24页,本讲稿共63页伴随式与译码伴随式与译码 m C=(c1,cn)R=(r1,rn)(n,k)信道信道定义定义差错图案差错图案E E(e1,en)RC (r1c1,rncn)二进制码中模二进制码中模2加与模加与模2减是等同的,因此有减是等同的,因此有E=R C 及及R=C E 第25页,本讲稿共63页伴随式S的定义因为因为CHT=0 所以所以RHT(CE)HTCHTEHT=EHT如果收码无误:必有如果收码无误:必有RC即即E0,则则EHT=0 RHT=0。如果收码有误:即如果收码有误:即E 0,则则RHT=EHT 0。在在HT固定的前提下,固定的前提下,RHT仅仅与差错图仅仅
16、与差错图案案E有关,而与发送码有关,而与发送码C无关。定义无关。定义伴随式伴随式S:S=(s1,s2,sn-k)=RHT=EHT 第26页,本讲稿共63页n从物理意义上看,伴随式从物理意义上看,伴随式S并不反映发送的码字是什么,并不反映发送的码字是什么,而只是反映信道对码字造成怎样的干扰。而只是反映信道对码字造成怎样的干扰。n差错图案差错图案E是是n重矢量,共有重矢量,共有2n个可能的组合,而伴随式个可能的组合,而伴随式S是是(n-k)重矢量,只有重矢量,只有2n-k个可能的组合,因此不同的个可能的组合,因此不同的差错图案可能有相同的伴随式。差错图案可能有相同的伴随式。n接收端收到接收端收到R
17、后,因为已知后,因为已知HT,可求出,可求出 SRHT;如果;如果能知道对应的能知道对应的E,则通过,则通过C=RE而求得而求得C。RHT=S?C=RE R S E C 只要只要E正确,译出的码也就是正确的。正确,译出的码也就是正确的。伴随式S的意义第27页,本讲稿共63页差错图案差错图案E的求解的求解(1)可以通过解线性方程求解可以通过解线性方程求解E:S=(s1,s2,sn-k)=EHT =(e1,e2,en)得到线性方程组:得到线性方程组:sn-k=e1h(n-k)(1)+enh(n-k)ns1 =e1h11+en h1n第28页,本讲稿共63页n上述方程组中有上述方程组中有n个未知数个
18、未知数e1,e2,en,却只有,却只有n-k个方程,可知方程组有多解。个方程,可知方程组有多解。n在有理数或实数域中,少一个方程就可能导致无在有理数或实数域中,少一个方程就可能导致无限多个解,而在二元域中,少一个方程导致两个限多个解,而在二元域中,少一个方程导致两个解,少两个方程四个解,以此类推,少解,少两个方程四个解,以此类推,少n-(n-k)=k个方程导致每个未知数有个方程导致每个未知数有2k个解。个解。n因此,由上述方程组解出的因此,由上述方程组解出的E可以有可以有2k个解。到底个解。到底取哪一个作为附加在收码取哪一个作为附加在收码R上的差错图案上的差错图案E的估值呢的估值呢?n概率译码
19、:概率译码:把所有把所有2k个解的重量个解的重量(差错图案差错图案E中中1的个的个数数)作比较,选择其中最轻者作为作比较,选择其中最轻者作为E的估值。该方法概的估值。该方法概念上很简单但计算效率不高。念上很简单但计算效率不高。第29页,本讲稿共63页依据:依据:若若BSC信道的差错概率是信道的差错概率是p,则长度,则长度n的码中错误概率的码中错误概率:0个错个错 1个错个错 2个错个错 n个错个错 (1-p)n p(1-p)n-1 p2(1-p)n-2 pn 由于由于p 出错越少的情况,发生概率越大,出错越少的情况,发生概率越大,E的重量越轻,所的重量越轻,所以该译码方法实际上体现了最小距离译
20、码准则,即最以该译码方法实际上体现了最小距离译码准则,即最大似然译码。大似然译码。第30页,本讲稿共63页标准阵列译码表标准阵列译码表 上述的概率译码,如每接收一个码上述的概率译码,如每接收一个码R就就要解一次线性方程,那就太麻烦了。好在要解一次线性方程,那就太麻烦了。好在伴随式伴随式S的数目是有限的的数目是有限的2n-k个,如果个,如果n-k不不太大,我们可以预先把不同太大,我们可以预先把不同S下的方程组解下的方程组解出来,把各种情况下的最大概率译码输出出来,把各种情况下的最大概率译码输出列成一个码表。这样,在实时译码时就不列成一个码表。这样,在实时译码时就不必再去解方程,而只要象查字典那样
21、查一必再去解方程,而只要象查字典那样查一下码表就可以了。这样构造的表格叫做下码表就可以了。这样构造的表格叫做标标准阵列译码表。准阵列译码表。第31页,本讲稿共63页n表中所列码字是接收到的码字表中所列码字是接收到的码字R。n将没有任何差错时的收码将没有任何差错时的收码R放在第一行,收码等于发码放在第一行,收码等于发码R=C(C Ci,i=0,1,2k-1),差错图案为全零差错图案为全零E0=(0,00),伴随式为全零,伴随式为全零S0=(0,00)。由于有。由于有2k个码字,码表有个码字,码表有2k列。列。n在第在第2到第到第n+1的的n行中差错图案的所有重量为行中差错图案的所有重量为1(共共
22、n个个)。n如果如果(1+n)2n-k,再在下面行写出全部带有,再在下面行写出全部带有2个差错的图案个差错的图案 (共共 个个)。n如果总行数如果总行数(1+n+)仍然小于仍然小于2n-k,再列出带有,再列出带有3个差错的图案,以个差错的图案,以此类推,直到放满此类推,直到放满2n-k行,每行一个行,每行一个Ej,对应一个不同的伴随式对应一个不同的伴随式Sj。这样,。这样,表的行数表的行数2n-k正好等于伴随式的数目。正好等于伴随式的数目。标准阵列译码表的构成标准阵列译码表的构成 第32页,本讲稿共63页S0 E0S1 E1 Sj Ej E0+C0=0+0=0E0+C1=C1E0+Ci=CiE
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 第九
限制150内