信息论与编码第二讲.ppt
《信息论与编码第二讲.ppt》由会员分享,可在线阅读,更多相关《信息论与编码第二讲.ppt(84页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、CompanyLOGO第二讲第二讲第二讲第二讲 信道编码理论和线性分组码信道编码理论和线性分组码信道编码理论和线性分组码信道编码理论和线性分组码主要内容主要内容1234信道编码定理信道编码定理信道编码定理信道编码定理线性分组码线性分组码线性分组码线性分组码的编译码的编译码的编译码的编译码码的检、纠错能力码的检、纠错能力码的检、纠错能力码的检、纠错能力信道编码概念信道编码概念信道编码概念信道编码概念一、信道编码概念一、信道编码概念 1.1 通信系统模型通信系统模型信源编码器信源编码器 把消息转换成为二进制形式的信息序列,并且把消息转换成为二进制形式的信息序列,并且为了使传输有效,去掉了与传输信息
2、无关的多余度。为了使传输有效,去掉了与传输信息无关的多余度。纠错编码器纠错编码器 为了抗击传输过程中各种干扰,要人为地增加为了抗击传输过程中各种干扰,要人为地增加一些多余度,使其具有自动检错或纠错能力。一些多余度,使其具有自动检错或纠错能力。纠错码译码器纠错码译码器 由于信道干扰,该信息序列中可能有错误,经由于信道干扰,该信息序列中可能有错误,经过纠错码译码器,对错误进行纠正。过纠错码译码器,对错误进行纠正。信信源源指指原原来来的的信信源源和和信信源源编编码码器器,其其输输出出是是二二(多多)进进制制信信息序列。息序列。信信道道包包括括发发射射机机、实实际际信信道道(或或称称传传输输媒媒质质)
3、和和接接收收机机在在内内的的广广义义信信道道,它它的的输输入入是是二二(多多)进进制制数数字字序序列列,输输出出是二(多)进制数字序列。是二(多)进制数字序列。1.2 编码信道编码信道二、信道编码定理二、信道编码定理2.1 信道编码理论信道编码理论 每每个个信信道道具具有有确确定定的的信信道道容容量量C,对对任任何何小小于于C的的码码率率Rs,存存在在有有速速率率为为Rs、码码长长为为n的的编编码码方方法法,若若用用最最大大似似然然译译码码,则则随随着着码码长长的的n增增加加其其译译码码错误概率错误概率Pe可任意小,可任意小,即即:式中,式中,E(RS)为正实函数,称为误差指数,它与为正实函数
4、,称为误差指数,它与RS、C的关系如下图所示。图中,的关系如下图所示。图中,C1、C2为信道容量,且为信道容量,且C1C2。2.2 信道编码基本思想信道编码基本思想 2.3译码平均错误概率译码平均错误概率 2.4 译码规则译码规则 2.4.1 最大后验概率译码准则最大后验概率译码准则例例 题题2.4.2 极大似然译码准则极大似然译码准则例例 题题两种译码准则比较两种译码准则比较2.4.3 最小码距译码准则最小码距译码准则最小码距最小码距最小码距对错误概率的影响最小码距对错误概率的影响最小距离译码准则最小距离译码准则最小距离准则与最大似然准则关系最小距离准则与最大似然准则关系例:重复码例:重复码
5、v早期的检错码为重复码。该码用早期的检错码为重复码。该码用000000代表信息代表信息“0 0”,用,用111111代代表信息表信息“1 1”。v显然所增加的显然所增加的2 2个码元并不增多信息,是多余的个码元并不增多信息,是多余的,使传信率降使传信率降低。此外,除去传送信息的低。此外,除去传送信息的000000和和111111这这2 2种组合外种组合外,还有还有001,010,011,100,101,110001,010,011,100,101,110等等6 6种组合没采用。种组合没采用。v当信道上信噪比足够大时当信道上信噪比足够大时,可认为可认为000000和和111111中产生的错误一般
6、中产生的错误一般不会多于一个码元。不会多于一个码元。v如接收到如接收到001,010,100,001,010,100,在接收端怎么译码呢?根据最小码距在接收端怎么译码呢?根据最小码距译码准则,可判定实际上是译码准则,可判定实际上是000,000,即信息为即信息为0 0;同理;同理,如接收到如接收到011,110,101,011,110,101,在接收端也可判定在接收端也可判定111,111,即信息为即信息为1 1。v 可见可见,多余码元可检出并纠正一个错误,这样就提高了传信多余码元可检出并纠正一个错误,这样就提高了传信的可靠性。的可靠性。三、三、线性分组码线性分组码m2m1m0C5C4C3C0
7、C1C23.1 生成矩阵生成矩阵m2 m1 m0100111010110001011=c5 c4 c3 c2 c1 c0 m G =C100111010110001011张成码空间的三个基,张成码空间的三个基,本身也是码字。本身也是码字。信息空间到码空间的线性映射信息空间到码空间的线性映射信息组信息组(m2 m1 m0)码字码字(c5 c4 c3 c2 c1c0)000000000001001011010010110011011101100100111101101100110110001111 111010 k维维k重重k维维n重重 信息空间信息空间 码字空间码字空间 gk-1G=g1 g0c
8、=m G=mk-1,m1 m0 gk-1 g1 g0 T =mk-1 gk-1+m1 g1+m0 g0 生成矩阵生成矩阵G 是由是由k个行矢量组成的,其中的每个行矢量组成的,其中的每个行矢量个行矢量g i既是一个基底,也是一个码字。既是一个基底,也是一个码字。任何码字都是生成矩阵任何码字都是生成矩阵G的的k个行矢量的线性个行矢量的线性组合。组合。只要这只要这k个行矢量线性无关,就可以作为个行矢量线性无关,就可以作为k个个基底张成一个基底张成一个k维维n重空间,它是重空间,它是n维维n重空间的一重空间的一个子空间,子空间的所有个子空间,子空间的所有2k个矢量构成个矢量构成码集码集C。不同的生成矩
9、阵产生不同的码,生成矩阵的特不同的生成矩阵产生不同的码,生成矩阵的特点决定了码的特点。点决定了码的特点。由于构成同一空间的基底不是唯一的,所以不由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵可能生成同一码集。同的基底或生成矩阵可能生成同一码集。码集相同,编码不一定相同,因为编码涉及码码集相同,编码不一定相同,因为编码涉及码集和映射两个因素,码集一样而映射方法不同集和映射两个因素,码集一样而映射方法不同不能说是同样的编码。不能说是同样的编码。由于基底不是唯一的,因此允许将基底线性组合由于基底不是唯一的,因此允许将基底线性组合后挑出其中后挑出其中k个线性无关的矢量作为新的基底,依然可个
10、线性无关的矢量作为新的基底,依然可以张成同一个码空间。以张成同一个码空间。对应到生成矩阵,等效于允许对应到生成矩阵,等效于允许通过行运算(行交通过行运算(行交换、行的线性组合)改变生成矩阵的行而不改变码集,换、行的线性组合)改变生成矩阵的行而不改变码集,只要保证矩阵的秩仍是只要保证矩阵的秩仍是k(k行线性无关行线性无关)。所以,任何生成矩阵可通过行运算转化成所以,任何生成矩阵可通过行运算转化成“系统系统码码”形式形式。3.2 系统码 把信息组原封不动搬到码字前把信息组原封不动搬到码字前k位的位的(n,k)码码,其码字具有如下形式:其码字具有如下形式:c=(cn-1,cn-k,cn-k-1,c0
11、)=(mk-1,m1,m0,cn-k-1,c0)其生成矩阵具有如下形式:其生成矩阵具有如下形式:G=Ik P =3.3 校验矩阵校验矩阵 对对于于kn矩矩阵阵G,存存在在一一个个(n-k)n矩矩阵阵H,使使得得G的的行行空空间和间和H正交。正交。基基底底数数k的的码码空空间间C是是n维维n重重空空间间的的子子空空间间,若若能能找找出出全全部部n个个基基底底的的另另外外n-k个个基基底底,也也就就找找到到了了对对偶偶空空间间D。将将D空空间间的的n-k个个基基底底排排列列起起来来可可构构成成一一个个(n-k)n矩矩阵阵,称称为为是是码码空间空间C的的校验矩阵校验矩阵H,它与所有码字正交。,它与所
12、有码字正交。既既然然用用k个个基基底底能能产产生生一一个个(n,k)线线性性码码,那那么么也也能能用用其其余余n-k个个基基底底产产生生一一个个(n,n-k)线线性性码码,称称(n,n-k)线线性性码码是是(n,k)线线性性码码的的对对偶偶码码。C和和D的的对对偶偶是是相相互互的的,G是是C的的生生成成矩矩阵阵又又是是D的的校校验验矩矩阵阵,而而H是是D的的生生成成矩矩阵阵又又是是C的的校校验验矩矩阵。阵。n维维n重空间重空间R k维维k重重 k维维n重重 n-k维维n重重 信息组信息组 码空间码空间C 对偶空间对偶空间D 空间空间m G H 图图3-1 码空间与映射码空间与映射 c是是G空间
13、的一个码字,那么由正交性得到:空间的一个码字,那么由正交性得到:c HT=00代表零阵,它是代表零阵,它是1nn(n-k)=1(n-k)矢量。矢量。上上式式可可以以用用来来检检验验一一个个n重重矢矢量量是是否否为为码码字字:若若等等式式成立,该成立,该n重是码字,否则不是码字。重是码字,否则不是码字。由于生成矩阵的每行都是一个码字,因此有:由于生成矩阵的每行都是一个码字,因此有:GHT=0这里这里0代表一个代表一个 knn(n-k)=k(n-k)的零矩阵。的零矩阵。对于系统码,其校验矩阵也是规则的,必为:对于系统码,其校验矩阵也是规则的,必为:HPT In-k 因为:因为:GHT=IkP PT
14、In-k T =Ik P+P In-k =P+P =0 例例3.1 考虑一个考虑一个(7,4)码,其生成矩阵是:码,其生成矩阵是:G=I4 P 对于信息组对于信息组m=(1 0 1 1),编出的码字是什么?编出的码字是什么?画一个(画一个(7,4)分组码编码器原理图。)分组码编码器原理图。若接收到一个若接收到一个7位码位码r=(1 0 0 1 1 0 1),检验它是否码字?检验它是否码字?3.3 伴随式与译码伴随式与译码 线性分组码线性分组码 C=(cn-1,c1,c0),接收码接收码 R=(rn-1,r1,r0),差错图案差错图案:E=(e n1,,e 1,e0)=R C 对于二进制码,有对
15、于二进制码,有E=RC 及及R=CE RHT=(CE)HT=C HTE HT=0E HT=EHT 如收码无误,必有如收码无误,必有R=C 即即RHT=0,如信道差错如信道差错E 0,必有,必有RHT=EHT 0。定义定义伴随式伴随式S S:S=(s n-k-1,,s1,s0)=RHT=EHT S仅与仅与E有关,而与有关,而与C无关。无关。u从物理意义看,伴随式从物理意义看,伴随式S并不反映发送的码字是什么,而并不反映发送的码字是什么,而只反映信道对码字造成了怎样的干扰。只反映信道对码字造成了怎样的干扰。u伴随式伴随式S是一个是一个(n-k)重矢量,只有重矢量,只有2n-k种可能的组合;而差种可
16、能的组合;而差错图案错图案E是是n重矢量,共有重矢量,共有2n个可能的组合。因此,同一个可能的组合。因此,同一伴随式可能对应若干个不同的差错图案。伴随式可能对应若干个不同的差错图案。u在接收端我们并不知道发码在接收端我们并不知道发码C究竟是什么,但可以知道究竟是什么,但可以知道HT和接收码是和接收码是R什么,从而算出什么,从而算出S是什么。是什么。u译码最重要的任务:从伴随式译码最重要的任务:从伴随式S找出找出C的估值。的估值。一般的译码思路一般的译码思路 RHT=S E C=RE E m 编码 C RS=no 计算 输出 mG RH T=0?E R+E yes 输出R 图3-3 译码过程框图
17、 S=(s n-k-1,,s1,s0)=E HT=(e n1,e 1,e0)(3-18)展开成线性方程组形式,为:展开成线性方程组形式,为:sn-k-1=en-1h(n-k-1)(n-1)+e1 h(n-k-1)1+e0 h(n-k-1)0 s1 =en-1h1(n-1)+e1 h11+e0 h10s0 =en-1h0(n-1)+e1 h01+e0 h00方程组中有方程组中有n个未知数个未知数en1,e1,e0,却只有,却只有n-k个方程。个方程。在二元域中,少一个方程导致两个解,少两个方在二元域中,少一个方程导致两个解,少两个方程导致四个解程导致四个解少少n-(n-k)=k个方程导致有个方程
18、导致有2k个解。个解。在在E的的2k个解中选一,最合理的方法是个解中选一,最合理的方法是概率译码概率译码,它把,它把所有所有2k个解的重量个解的重量(差错图案差错图案E中中1的个数的个数)作比较,选作比较,选择其中最轻者作为择其中最轻者作为E的估值。的估值。该算法的理论根据该算法的理论根据就是最小汉明距离译码。就是最小汉明距离译码。3.4 3.4 标准阵列标准阵列某一个某一个(5,2)系统线性码的生成矩阵:系统线性码的生成矩阵:G=码集:码集:00000,10111,01101,11010S0=000E0+C0=00000C1=10111C2=01101C3=11010S1=111E1=100
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 第二
限制150内