信息论与编码第二讲精选PPT.ppt
《信息论与编码第二讲精选PPT.ppt》由会员分享,可在线阅读,更多相关《信息论与编码第二讲精选PPT.ppt(84页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、信息论与编码第二讲第1页,此课件共84页哦主要内容主要内容1234信道编码定理信道编码定理信道编码定理信道编码定理线性分组码的编译码线性分组码的编译码线性分组码的编译码线性分组码的编译码码的检、纠错能力码的检、纠错能力码的检、纠错能力码的检、纠错能力信道编码概念信道编码概念信道编码概念信道编码概念第2页,此课件共84页哦一、信道编码概念一、信道编码概念第3页,此课件共84页哦 1.1 通信系统模型通信系统模型第4页,此课件共84页哦信源编码器信源编码器 把消息转换成为二进制形式的信息序列,并且为了把消息转换成为二进制形式的信息序列,并且为了使传输有效,去掉了与传输信息无关的多余度。使传输有效,
2、去掉了与传输信息无关的多余度。纠错编码器纠错编码器 为了抗击传输过程中各种干扰,要人为地增加一些多为了抗击传输过程中各种干扰,要人为地增加一些多余度,使其具有自动检错或纠错能力。余度,使其具有自动检错或纠错能力。纠错码译码器纠错码译码器 由于信道干扰,该信息序列中可能有错误,经过纠由于信道干扰,该信息序列中可能有错误,经过纠错码译码器,对错误进行纠正。错码译码器,对错误进行纠正。第5页,此课件共84页哦 信信源源指指原原来来的的信信源源和和信信源源编编码码器器,其其输输出出是是二二(多多)进进制制信信息息序序列。列。信信道道包包括括发发射射机机、实实际际信信道道(或或称称传传输输媒媒质质)和和
3、接接收收机机在在内内的的广广义义信信道道,它它的的输输入入是是二二(多多)进进制制数数字字序序列列,输输出出是是二二(多多)进进制制数字序列。数字序列。1.2 编码信道编码信道第6页,此课件共84页哦第7页,此课件共84页哦二、信道编码定理二、信道编码定理第8页,此课件共84页哦2.1 信道编码理论信道编码理论 每每个个信信道道具具有有确确定定的的信信道道容容量量C,对对任任何何小小于于C的的码码率率Rs,存存在在有有速速率率为为Rs、码码长长为为n的的编编码码方方法法,若若用用最最大大似似然然译译码码,则则随随着着码码长长的的n增增加加其其译译码码错错误误概概率率Pe可可任任意小,意小,即即
4、:第9页,此课件共84页哦式中,式中,E(RS)为正实函数,称为误差指数,它与为正实函数,称为误差指数,它与RS、C的关的关系如下图所示。图中,系如下图所示。图中,C1、C2为信道容量,且为信道容量,且C1C2。第10页,此课件共84页哦2.2 信道编码基本思想信道编码基本思想 第11页,此课件共84页哦第12页,此课件共84页哦第13页,此课件共84页哦第14页,此课件共84页哦第15页,此课件共84页哦2.3译码平均错误概率译码平均错误概率 第16页,此课件共84页哦第17页,此课件共84页哦第18页,此课件共84页哦2.4 译码规则译码规则 第19页,此课件共84页哦2.4.1 最大后验
5、概率译码准则最大后验概率译码准则第20页,此课件共84页哦例例 题题第21页,此课件共84页哦第22页,此课件共84页哦2.4.2 极大似然译码准则极大似然译码准则第23页,此课件共84页哦例例 题题第24页,此课件共84页哦第25页,此课件共84页哦两种译码准则比较两种译码准则比较第26页,此课件共84页哦2.4.3 最小码距译码准则最小码距译码准则第27页,此课件共84页哦第28页,此课件共84页哦最小码距最小码距第29页,此课件共84页哦最小码距对错误概率的影响最小码距对错误概率的影响第30页,此课件共84页哦最小距离译码准则最小距离译码准则第31页,此课件共84页哦最小距离准则与最大似
6、然准则关系最小距离准则与最大似然准则关系第32页,此课件共84页哦例:重复码例:重复码v早期的检错码为重复码。该码用早期的检错码为重复码。该码用000000代表信息代表信息“0 0”,用,用111111代表信息代表信息“1 1”。v显然所增加的显然所增加的2 2个码元并不增多信息,是多余的个码元并不增多信息,是多余的,使传信率降低。此外,除使传信率降低。此外,除去传送信息的去传送信息的000000和和111111这这2 2种组合外种组合外,还有还有001,010,011,100,101,110001,010,011,100,101,110等等6 6种种组合没采用。组合没采用。v当信道上信噪比足
7、够大时当信道上信噪比足够大时,可认为可认为000000和和111111中产生的错误一般不会多于一中产生的错误一般不会多于一个码元。个码元。v如接收到如接收到001,010,100,001,010,100,在接收端怎么译码呢?根据最小码距译码准则,可在接收端怎么译码呢?根据最小码距译码准则,可判定实际上是判定实际上是000,000,即信息为即信息为0 0;同理;同理,如接收到如接收到011,110,101,011,110,101,在接收端也可在接收端也可判定判定111,111,即信息为即信息为1 1。v 可见可见,多余码元可检出并纠正一个错误,这样就提高了传信的可靠性。多余码元可检出并纠正一个错
8、误,这样就提高了传信的可靠性。第33页,此课件共84页哦三、线性分组码三、线性分组码第34页,此课件共84页哦第35页,此课件共84页哦m2m1m0C5C4C3C0C1C23.1 生成矩阵生成矩阵第36页,此课件共84页哦m2 m1 m0100111010110001011=c5 c4 c3 c2 c1 c0 m G =C100111010110001011张成码空间的三个基,张成码空间的三个基,本身也是码字。本身也是码字。第37页,此课件共84页哦第38页,此课件共84页哦信息空间到码空间的线性映射信息空间到码空间的线性映射信息组信息组(m2 m1 m0)码字码字(c5 c4 c3 c2 c
9、1c0)000000000001001011010010110011011101100100111101101100110110001111 111010 k维维k重重k维维n重重 信息空间信息空间 码字空间码字空间第39页,此课件共84页哦 gk-1G=g1 g0c=m G=mk-1,m1 m0 gk-1 g1 g0 T =mk-1 gk-1+m1 g1+m0 g0 第40页,此课件共84页哦 生成矩阵生成矩阵G 是由是由k个行矢量组成的,其中的每个个行矢量组成的,其中的每个行矢量行矢量g i既是一个基底,也是一个码字。既是一个基底,也是一个码字。任何码字都是生成矩阵任何码字都是生成矩阵G的
10、的k个行矢量的线性组合。个行矢量的线性组合。只要这只要这k个行矢量线性无关,就可以作为个行矢量线性无关,就可以作为k个基个基底张成一个底张成一个k维维n重空间,它是重空间,它是n维维n重空间的一个子重空间的一个子空间,子空间的所有空间,子空间的所有2k个矢量构成个矢量构成码集码集C。第41页,此课件共84页哦不同的生成矩阵产生不同的码,生成矩阵的特点决不同的生成矩阵产生不同的码,生成矩阵的特点决定了码的特点。定了码的特点。由于构成同一空间的基底不是唯一的,所以不同的由于构成同一空间的基底不是唯一的,所以不同的基底或生成矩阵可能生成同一码集。基底或生成矩阵可能生成同一码集。码集相同,编码不一定相
11、同,因为编码涉及码集和映码集相同,编码不一定相同,因为编码涉及码集和映射两个因素,码集一样而映射方法不同不能说是同样射两个因素,码集一样而映射方法不同不能说是同样的编码。的编码。第42页,此课件共84页哦 由于基底不是唯一的,因此允许将基底线性组合后挑由于基底不是唯一的,因此允许将基底线性组合后挑出其中出其中k个线性无关的矢量作为新的基底,依然可以张成个线性无关的矢量作为新的基底,依然可以张成同一个码空间。同一个码空间。对应到生成矩阵,等效于允许对应到生成矩阵,等效于允许通过行运算(行交换、通过行运算(行交换、行的线性组合)改变生成矩阵的行而不改变码集,只要保行的线性组合)改变生成矩阵的行而不
12、改变码集,只要保证矩阵的秩仍是证矩阵的秩仍是k(k行线性无关行线性无关)。所以,任何生成矩阵可通过行运算转化成所以,任何生成矩阵可通过行运算转化成“系统码系统码”形式形式。第43页,此课件共84页哦3.2 系统码 把信息组原封不动搬到码字前把信息组原封不动搬到码字前k位的位的(n,k)码,码,其码字具有如下形式:其码字具有如下形式:c=(cn-1,cn-k,cn-k-1,c0)=(mk-1,m1,m0,cn-k-1,c0)其生成矩阵具有如下形式:其生成矩阵具有如下形式:G=Ik P =第44页,此课件共84页哦3.3 校验矩阵校验矩阵 对对于于kn矩矩阵阵G,存存在在一一个个(n-k)n矩矩阵
13、阵H,使使得得G的的行行空空间间和和H正正交。交。基基底底数数k的的码码空空间间C是是n维维n重重空空间间的的子子空空间间,若若能能找找出出全全部部n个个基基底底的的另另外外n-k个个基基底底,也也就就找找到到了了对对偶偶空空间间D。将将D空空间间的的n-k个个基基底底排排列列起起来来可可构构成成一一个个(n-k)n矩矩阵阵,称称为为是是码码空空间间C的的校校验验矩矩阵阵H,它与所有码字正交。,它与所有码字正交。既既然然用用k个个基基底底能能产产生生一一个个(n,k)线线性性码码,那那么么也也能能用用其其余余n-k个个基基底底产产生生一一个个(n,n-k)线线性性码码,称称(n,n-k)线线性
14、性码码是是(n,k)线线性性码码的的对对偶偶码码。C和和D的的对对偶偶是是相相互互的的,G是是C的的生生成成矩矩阵阵又又是是D的的校校验验矩矩阵阵,而而H是是D的生成矩阵又是的生成矩阵又是C的校验矩阵。的校验矩阵。第45页,此课件共84页哦 n维维n重空间重空间R k维维k重重 k维维n重重 n-k维维n重重 信息组信息组 码空间码空间C 对偶空间对偶空间D 空间空间m G H 图图3-1 码空间与映射码空间与映射第46页,此课件共84页哦 c是是G空间的一个码字,那么由正交性得到:空间的一个码字,那么由正交性得到:c HT=00代表零阵,它是代表零阵,它是1nn(n-k)=1(n-k)矢量。
15、矢量。上上式式可可以以用用来来检检验验一一个个n重重矢矢量量是是否否为为码码字字:若若等等式式成成立立,该该n重是码字,否则不是码字。重是码字,否则不是码字。由于生成矩阵的每行都是一个码字,因此有:由于生成矩阵的每行都是一个码字,因此有:GHT=0这里这里0代表一个代表一个 knn(n-k)=k(n-k)的零矩阵。的零矩阵。第47页,此课件共84页哦对于系统码,其校验矩阵也是规则的,必为:对于系统码,其校验矩阵也是规则的,必为:HPT In-k 因为:因为:GHT=IkP PTIn-k T =Ik P+P In-k =P+P =0 第48页,此课件共84页哦例例3.1 考虑一个考虑一个(7,4
16、)码,其生成矩阵是:码,其生成矩阵是:G=I4 P 对于信息组对于信息组m=(1 0 1 1),编出的码字是什么?编出的码字是什么?画一个(画一个(7,4)分组码编码器原理图。)分组码编码器原理图。若接收到一个若接收到一个7位码位码r=(1 0 0 1 1 0 1),检验它是否码字?检验它是否码字?第49页,此课件共84页哦3.3 伴随式与译码伴随式与译码 线性分组码线性分组码 C=(cn-1,c1,c0),接收码接收码 R=(rn-1,r1,r0),差错图案差错图案:E=(e n1,,e 1,e0)=R C 对于二进制码,有对于二进制码,有E=RC 及及R=CE RHT=(CE)HT=C H
17、TE HT=0E HT=EHT 如收码无误,必有如收码无误,必有R=C 即即RHT=0,如信道差错如信道差错E 0,必有,必有RHT=EHT 0。定义定义伴随式伴随式S S:S=(s n-k-1,,s1,s0)=RHT=EHT S仅与仅与E有关,而与有关,而与C无关。无关。第50页,此课件共84页哦从物理意义看,伴随式从物理意义看,伴随式S并不反映发送的码字是什么,而只反映信道并不反映发送的码字是什么,而只反映信道对码字造成了怎样的干扰。对码字造成了怎样的干扰。伴随式伴随式S是一个是一个(n-k)重矢量,只有重矢量,只有2n-k种可能的组合;而差错图案种可能的组合;而差错图案E是是n重矢量,共
18、有重矢量,共有2n个可能的组合。因此,同一伴随式可能对个可能的组合。因此,同一伴随式可能对应若干个不同的差错图案。应若干个不同的差错图案。在接收端我们并不知道发码在接收端我们并不知道发码C究竟是什么,但可以知道究竟是什么,但可以知道HT和接收和接收码是码是R什么,从而算出什么,从而算出S是什么。是什么。译码最重要的任务:从伴随式译码最重要的任务:从伴随式S找出找出C的估值。的估值。第51页,此课件共84页哦 一般的译码思路一般的译码思路 RHT=S E C=RE E m 编码 C R S=no 计算 输出 mG RH T=0?E R+E yes 输出R 图3-3 译码过程框图 第52页,此课件
19、共84页哦S=(s n-k-1,,s1,s0)=E HT=(e n1,e 1,e0)(3-18)展开成线性方程组形式,为:展开成线性方程组形式,为:sn-k-1=en-1h(n-k-1)(n-1)+e1 h(n-k-1)1+e0 h(n-k-1)0 s1 =en-1h1(n-1)+e1 h11+e0 h10s0 =en-1h0(n-1)+e1 h01+e0 h00方程组中有方程组中有n个未知数个未知数en1,e1,e0,却只有,却只有n-k个方程。个方程。第53页,此课件共84页哦 在二元域中,少一个方程导致两个解,少两个方程在二元域中,少一个方程导致两个解,少两个方程导致四个解导致四个解少少
20、n-(n-k)=k个方程导致有个方程导致有2k个解。个解。在在E的的2k个解中选一,最合理的方法是个解中选一,最合理的方法是概率译码概率译码,它把所有,它把所有2k个解个解的重量的重量(差错图案差错图案E中中1的个数的个数)作比较,选择其中最轻者作作比较,选择其中最轻者作为为E的估值。的估值。该算法的理论根据该算法的理论根据就是最小汉明距离译码。就是最小汉明距离译码。第54页,此课件共84页哦3.4 3.4 标准阵列标准阵列第55页,此课件共84页哦某一个某一个(5,2)系统线性码的生成矩阵:系统线性码的生成矩阵:G=码集:码集:00000,10111,01101,11010S0=000E0+
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 第二 精选 PPT
限制150内