信息论与编码第三章.ppt

《信息论与编码第三章.ppt》由会员分享，可在线阅读，更多相关《信息论与编码第三章.ppt（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、现在学习的是第1页，共43页3.1 3.1 信道分类和表示参数信道分类和表示参数3.2 3.2 离散单个符号信道及其容量离散单个符号信道及其容量3.3 3.3 离散序列信道及其容量离散序列信道及其容量3.4 3.4 连续信道及其容量连续信道及其容量2现在学习的是第2页，共43页3现在学习的是第3页，共43页 信道：信息传输的通道 在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。 信息论不研究信号在信道中传输的物理过程,并假定信道的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。信 道输入量X(随机过程)输出量Y(随机过程)4现在学习的是第4页，共43页 按输

2、入/输出信号在和上的取值分类: 1、离散信道： 输入和输出的随机序列取值都是离散的信道 2、连续信道： 输入和输出的随机序列取值都是连续的信道 3、半离散(半连续)信道： 输入变量取值离散而输出变量取值连续 输入变量取值连续而输出变量取值离散 4、波形信道： 信道的输入和输出在时间上，取值上都连续的随机信号。 5现在学习的是第5页，共43页 按输入/输出之间关系的来分类： 1、无记忆信道： 信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关 2、有记忆信道： 信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关6现在学习的是第6页，共43页 按输入输出信号之间的关系是否是确定关

3、系 1、无干扰信道： 输入/输出符号之间有确定的一一对应关系。 2、有干扰信道： 输入/输出之间关系是一种的关系 -输入/输出的统计关系：用符号条件概率矩阵p(Y|X)来描述。7现在学习的是第7页，共43页 设信道的输入X=(X1, X2 Xi, ), Xi a1 an 输出Y= (Y1, Y2 Yj,), Yj b1 bm 信道转移概率矩阵p(Y|X)： 描述输入/输出的统计依赖关系,反映信道统计关系信 道XYp(Y|X)8现在学习的是第8页，共43页 1、无干扰(无噪声)信道 信道的输出信号Y与输入信号X之间有确定的关系Y=f (X),已知X后就确知Y 转移概率:)f()f(pXYXYXY

4、, 0, 1)|(9现在学习的是第9页，共43页 2、有干扰无记忆信道 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:)|()|()|()|(2211LLxypxypxyppXY 有干扰无记忆信道可分为:(1)离散无记忆信道(2)二进制离散信道(3)离散输入、连续输出信道(4)波形信道(不学）3、有干扰有记忆信道10现在学习的是第10页，共43页 信道输入是n元符号 Xa1, a2, , an 信道输出是m元符号 Yb1, b2, , bm 转移矩阵nnmnnmmmaaapppppppppPbbb2121222211121121a1a2anb1b2bm:p11p12p21p2

5、2pnmpij=p(bj|ai)11现在学习的是第11页，共43页 P: 已知X,信道输出Y表现出来的统计特性 完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率niabpmjij, 2 , 11)|(1)|()|()|()|()|()|()|()|()|(2122221112112121nmnnmmnmabpabpabpabpabpabpabpabpabpaaaPbbb12现在学习的是第12页，共43页 反信道转移概率矩阵 已知Y,信道输入X表现出来的统计特性)|()|()|()|()|()|()|()|()|(2122221112112121mnmmnnm

6、nbapbapbapbapbapbapbapbapbapbbbPaaa p(ai|bj):后向概率 已知信道输出端接收到符号bj但发送的输入符号为ai的概率。13现在学习的是第13页，共43页 二进制离散对称信道BSC 输入符号X取值0,1； 输出符号Y取值0,1 很重要的一种特殊信道 信道转移概率： p(0|0) = 1p p(1|1) = 1p p(0|1) = p p(1|0) = p0101pp1-p1-p101110ppppP无错误传输的概率传输发生错误的概率14现在学习的是第14页，共43页 二元删除信道BEC 输入符号X取值0,1； 输出符号Y取值0,1,2 转移矩阵02101p

7、1- pq1 - qqqppP100115现在学习的是第15页，共43页 我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R 平均互信息I (X;Y)： 接收到符号Y后平均每个符号获得的关于X的信息量。ijijijijypxypxypxpYXHXHYXI)()|(log)|()()|()();( 信道的信息传输率就是平均互信息 16现在学习的是第16页，共43页 信道容量C：（信道中平均每个符号所携带的最大信息量）(bit/符号) 最大的信息传输率);(max)(YXICiap 单位时间的信道容量：(信道中平均每秒所携带的最大信息量） (bit/ 秒)CTYXI

8、TCiapt1);(max1)()(iap 其 中 为信源 X的概率分布,即选择使得平均互信息最大的信源得到的最大信息传输率，即为信道容量。17现在学习的是第17页，共43页18现在学习的是第18页，共43页 设信道的输入XA=a1 an,输出YB=b1 bm信道 输入和输出符号之间有确定的一一对应关系) 3 , 2 , 1, (10)|()|(jijijibapabpjiijX100010001Pa1 b1 Ya2 b2a3 b311119现在学习的是第19页，共43页信道X0001001001001000Pa1 b1 Ya2 b2an-1 bn-1an bn1120现在学习的是第20页，共

9、43页信道 由)|(log),()|(ijijjixypyxpXYH)|(log),()|(jiijjiyxpyxpYXH 计算得： 噪声熵H(Y|X) = 0 损失熵（疑义度）H(X|Y) = 0)()(),(YHXHYXInYXICiap2)(log);(max21现在学习的是第21页，共43页信道 多个输入变成一个输出(nm)X1010010101Pa1 Ya2 b1a3a4 b2a51111101)|(01)|(或或jijibapabp输出Y是输入X的确定函数,但不是一一对应,而是多一对应关系。22现在学习的是第22页，共43页信道 多个输入变成一个输出(nm) 发送X符号后,对接受的

10、符号Y是完全确定的。 噪声熵H(Y|X) 0 损失熵(疑义度)H(X|Y) 0)()(),(XHYHYXI)(max);(max)(YHYXICiap01)|(01)|(或或jijibapabp23现在学习的是第23页，共43页信道 一个输入对应多个输出(nm)X b1 Ya1 b2 b3a2 b4 b51 / 31/31/31/43/43/1)|(3/1)|(3/1)|(131211abpabpabp 计算得1)|(1)|(1)|(312111bapbapbap1)|(1)|(5242bapbap 同理111003331300044P 由24现在学习的是第24页，共43页信道一个输入对应多个

11、输出(nm) 接收到符号Y后,对发送的X符号是完全确定的。 噪声熵H(Y|X) 0 损失熵(疑义度) H(X|Y)=0 )()(),(YHXHYXI)(max);(max)(XHYXICiap(|)10(|)10ijijp b ap ab或 ，或25现在学习的是第25页，共43页 对称离散无记忆信道： 对称性:（同时满足行置换，列置换） 每一行都是由同一集合 p1, p2,pm 的诸元素不同排列组成输入对称（行置换） 每一列都是由 q1, q2,qn集合的诸元素不同排列组成输出对称（列置换）2131616121313161213131616161613131PP满足对称性,所对应的信道是对称离

12、散信道。26现在学习的是第26页，共43页 反例：若信道矩阵 为以下形式7 . 01 . 01 . 02 . 02 . 07 . 03161316161613131PP 不具有对称性,因而所对应的信道不是对称离散信道。 27现在学习的是第27页，共43页 对称离散信道的平均互信息为()()()( , )( )(| )( )( |)max ( , )max( )(| )max( )( |)iiip ap ap aI X YH XH X YH YH Y XCI X YH XH X YH YH Y X1)(|)()(|)log (|)(|)log (|)(|)1,2,ijijiijjijijiH Y

13、 Xp ap bap bap bap baH Y ain ),()|()|(21mipppHaYHXYH2)( ):MaxH YY则信宿 为等概率分布即可logm28现在学习的是第28页，共43页 对称DMC信道的容量： 上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1, p2,pm 和输出符号集的个数m有关。121log(,)loglogmmijijjCmH pppmpp29现在学习的是第29页，共43页例某对称离散信道的信道矩阵为 3131616161613131P符号/082. 061log6161log6131log3131log312)61,61,31,3

14、1(4logbitHC信道容量为 30现在学习的是第30页，共43页若输入符号和输出符号个数相同,都等于n,且信道矩阵为pnpnpnppnpnpnppP111111111 此信道称为强对称信道 (均匀信道) 信道矩阵中各列之和也等于1 2log(1,)11ppCnHpnn信道容量：31现在学习的是第31页，共43页设二进制对称信道的输入概率空间信道矩阵：10PXppppppppP11ppabpapbpppabpapbpiiiiii)|()() 1()|()() 0(11010001YPpppp 32现在学习的是第32页，共43页)(loglog)|(log)|()|(log)|()()|(pH

15、ppppabpabpabpabpapXYHijjijijijiji( ; )( )( |)()( )max ( ; )max()( )log2( )1( )log(1, ),2)I X YH YH Y XHppH pCI X YHppH pH pH pmHp p m (因为是强对称，所以C=)(1log)(1log)()(ppHppppppppYH33现在学习的是第33页，共43页 当信道矩阵p固定时,I (X,Y) 是的 型上凸函数。I(XY)(1pHC BSC信道容量1-H(p) I (X,Y) 对存在一个极大值。34现在学习的是第34页，共43页pC)(1pHC 当固定信源的概率分布时,

16、I (X,Y) 是p的 型 下凸函数。0)21,21(1HC信道无噪声 当p = 0, C =10 = 1bit = H(X) 当p =1/2, 信道强噪声 BSC信道容量35现在学习的是第35页，共43页 定理： 给定转移概率矩阵P后,平均互信息I (X;Y)是输入信源的概率分布p(ai)的 型上凸函数。 定理： 给定信源的概率分布p(ai)，平均互信息 I(X;Y)是信道传递概率p(bj|ai)的 型下凸函数。 信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。36现在学习的是第36页，共43页)(1 pHrCst 当信源输入符号的速率为rs(符/秒), （最大信息传输率） 实

17、际信息传输速率Rt为 )|()(YXHXHrRst 进入信道输入端的信息速率 )(XHrDsin37现在学习的是第37页，共43页例BSC信道如图, rs=1000符号/秒,错误传递概率p=0.1求: 0Y0 .9 10.1sbispHrCst/531469. 01 1000)9 . 0log9 . 01 . 0log1 . 0(1 1000)(1 输入符号等概时有最大信息传输速率信道实际信息传输速率sbitXYHYHrRst/413)|()(sbitXHrDsin/811811. 01000)(38现在学习的是第38页，共43页 例3-3 设有两个离散BSC信道,串接如图,两个BSC信道的转

18、移矩阵为:ppppPP1121X00ZY111 - p1-p1-pp 串联信道的转移矩阵为:222221)1 ()1 (2)1 (2)1 (1111ppppppppppppppppPPP1-pp39现在学习的是第39页，共43页X00ZY11 求得:)1 (21);()(1);(ppHZXIpHYXI 在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。pp1-p1-p1 -p1-p40现在学习的是第40页，共43页 由信道2信道m信道1);();();()(WXIZXIYXIXH);(max)2 , 1 (ZXIC);(max)

19、 3 , 2 , 1 (WXIC 可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0XYZ41现在学习的是第41页，共43页 准对称信道 转移概率矩阵P是输入对称而输出不对称 将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵Pk是对称矩阵。 616131313161613131613161616131311P 它们满定对称性,所以P1所对应的信道为准对称信道。 42现在学习的是第42页，共43页 准对称信道1 . 01 . 07 . 02 . 02 . 07 . 07 . 01 . 01 . 02 . 02 . 07 . 02P),(log21mpppHmC 准对称信道容量43现在学习的是第43页，共43页