第三章离散信道及其信道容量课件.ppt

《第三章离散信道及其信道容量课件.ppt》由会员分享，可在线阅读，更多相关《第三章离散信道及其信道容量课件.ppt（69页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章第三章 离散信道及其信道容量离散信道及其信道容量主讲：易波老师主讲：易波老师3.1 离散信道的统计描述及分类离散信道的统计描述及分类离散信道的统计描述及分类离散信道的统计描述及分类 信道的输入和输出之间一般不是确定的函数关系，信道的输入和输出之间一般不是确定的函数关系，而是统计依赖的关系。只要知道信道的输入信号、输而是统计依赖的关系。只要知道信道的输入信号、输出信号，以及它们之间的统计依赖关系，那么信道的出信号，以及它们之间的统计依赖关系，那么信道的全部特性就确定了。全部特性就确定了。根据信道的用户多少，可以分为：根据信道的用户多少，可以分为：(1)两端两端(单用户单用户)信道。信道。它

2、是只有一个输入端和一它是只有一个输入端和一个输出端的单向通信的信道。个输出端的单向通信的信道。(2)多端多端(多用户多用户)信道。信道。它是在输入端或输出端至它是在输入端或输出端至少有一端有二个以上的用户，并且还可以双向通信的少有一端有二个以上的用户，并且还可以双向通信的信道。信道。根据输入和输出信号的特点，信道可以分为：根据输入和输出信号的特点，信道可以分为：(1)离散信道离散信道。指输入和输出的随机变量的取值都。指输入和输出的随机变量的取值都有是离散的信道。有是离散的信道。(2)连续信道连续信道。指输入和输出的随机变量的取值都。指输入和输出的随机变量的取值都是连续的信道。是连续的信道。(3

3、)半离散半连续信道半离散半连续信道。输入变量是离散型的但相。输入变量是离散型的但相应的输出变量是连续的信道，或者相反。应的输出变量是连续的信道，或者相反。(4)波形信道波形信道。信道的输入和输出都是一些时间上。信道的输入和输出都是一些时间上连续的随机信号。即信道输入和输出的随机变量的取连续的随机信号。即信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化。一般用随机过值是连续的，并且还随时间连续变化。一般用随机过程来描述其输入和输出。程来描述其输入和输出。信道信道干扰源干扰源X(t)Y(t)N(t)离散信道模型如图离散信道模型如图:信道用一信道矩阵来描述信道用一信道矩阵来描述:信道转移

4、矩阵信道转移矩阵 1.基本信道基本信道(最简单的信道最简单的信道)发端发端 X:a1,a2,aq 收端收端 Y:b1,b2,bm (m不一定等于不一定等于q)按有无噪声来分类按有无噪声来分类:(1)无干扰无干扰(无噪声无噪声)信道信道例例1 X=a1,a2,a3,a4这为收端与发端一一对应的情况。这为收端与发端一一对应的情况。(无扰无损无扰无损)例例2:XY不是一一对应不是一一对应,无扰有信息损失无扰有信息损失无扰有损信道无扰有损信道(2)有扰信道有扰信道例例3:a1b1a2b2X XY Y0.90.10.20.8有扰有信息损失有扰有信息损失,干扰严重干扰严重例例4:a1b1a2b2X XY

5、Y1/21/21/21/2 信息全部被信道损耗。信息全部被信道损耗。从信道有无损失的观点来看：从信道有无损失的观点来看：有扰全损信道！有扰全损信道！例例5：b1 b2 b3 b4 1/21/21/21/2a1a2XYB1B2有扰无信息损失有扰无信息损失2.扩展信道扩展信道(延长信道延长信道)一般离散信道输入和输出却是一系列时间一般离散信道输入和输出却是一系列时间(或空间或空间)离散的随机变量离散的随机变量,即随机序列。其信道模型如下：即随机序列。其信道模型如下：信信 道道扩展离散信道扩展离散信道(1)有无干扰的角度对信道分类有无干扰的角度对信道分类 a、无扰信道无扰信道例例1：X=a1=0，a

6、2=1 Y=b1=0，b2=1 N=2，2维扩展维扩展无干扰无信息损失。无干扰无信息损失。无干扰有信息损失。无干扰有信息损失。无扰不等于无损！无扰不等于无损！b、有扰信道有扰信道例例3：基本信道：基本信道 X=a1=0，a2=1 X=b1=0，b2=1有扰有信息损失的信道有扰有信息损失的信道(2)考虑到信道对前后码元的影响考虑到信道对前后码元的影响 a.无记忆信道无记忆信道b.有记忆的信道有记忆的信道 (前后码元有关联的信道前后码元有关联的信道)基本信道传输的平均信息量基本信道传输的平均信息量3.2 平均互信息及平均条件互信息平均互信息及平均条件互信息已知已知:信源信源信宿信宿 Y:b1,b2

7、,bj,bm,qm个概率个概率求求I(X;Y)=?收到集合后收到集合后收到集合后收到集合后,从从从从Y Y收到关于收到关于收到关于收到关于X X集合的平均信息量。集合的平均信息量。集合的平均信息量。集合的平均信息量。(先验的平均不确定性一观察到集合先验的平均不确定性一观察到集合Y后对后对X保留保留的不确定性的不确定性)I(X;Y)=H(X)-H(X/Y)(收到的收到的信息量信息量)(发出的发出的信息量信息量)(保留的可疑度保留的可疑度)-信道疑义度信道疑义度(又可看成信道损失的信息又可看成信道损失的信息)3.3 平均互信息的特性平均互信息的特性 1.非负性非负性 I(X;Y)0 即接收到的平均

8、互信息量大于等于即接收到的平均互信息量大于等于0,也就是说也就是说,从从总体而言总体而言,多多少少总可以收到一些信息量。多多少少总可以收到一些信息量。证明：方法一证明：方法一 H(X)H(X/Y)I(X;Y)=H(X)-H(X/Y)0 方法二方法二 logx为为 型凸函数型凸函数 Jensen不等式不等式Ef(x)fE(X)即即Elog x logE(X)即即Elog x logE(X)I(X;Y)0 logx为为 型凸函数型凸函数,只有当且仅当只有当且仅当p(x.y)=P(x)P(y),即即x和和Y统计独立时统计独立时I(X;Y)=0 H(X)-H(X/Y)=I(X;Y)=0 H(X)=H(

9、X/Y)即全损信道即全损信道 H(X/Y)=-P(X,Y)log(yj/xi)P(xi;yj)=P(xi)P(yj/xi)=P(xi)P(yj)即即:P(yj)=P(yj/xi)所有条件概率等于无条件概率时所有条件概率等于无条件概率时,信道为信道为全损信道。全损信道。2.极值性极值性 I(X;Y)H(X)。信道疑义度信道疑义度H(X/Y)总大于等于零总大于等于零,所以平均互信息量总等小于等于熵所以平均互信息量总等小于等于熵H(X)。无扰无损无扰无损有扰无损有扰无损3.对称性对称性I(X;Y)=I(Y;X)H(X)-H(X/Y)=H(Y)-H(Y/X)(接收到的总信息量接收到的总信息量)-(噪声

10、熵或散布度噪声熵或散布度)H(Y/X)=0 则为无噪声信道则为无噪声信道(无扰信道无扰信道)设设 P(a2/b1)=1/2,P(a3/b1)=P(a4/b1)=0 H(X/b1)=1bits H(X/b2)=1bits H(X/Y)=H(X/bi)=1bits (信息损失信息损失)4.凸状性凸状性 I(X;Y)具有极大值或极小值具有极大值或极小值 I(X;Y)=H(Y)-H(Y/X)H(Y)为为P(xi),P(yj/xi)的函数的函数(i=1,2,q;j=1,2,m)H(Y/X)也为也为P(xi),P(yj/xi)的函数的函数 所以所以,I(X;Y)是先验分布是先验分布P(xi)及信道矩阵中及

11、信道矩阵中的的 P(yj/xi)(的分布的分布)函数。函数。定理定理3-1：在转移矩阵给定的条件下，在转移矩阵给定的条件下，I(X;Y)为为P(X)(先验分布先验分布)的的 型凸函数型凸函数。某一组特殊某一组特殊P(xi)的情况下的情况下,平均信息有最大值。平均信息有最大值。例：设有一二元对称信道例：设有一二元对称信道 a1a2b2b1YX/PPP/P信信 源源I(X;Y)=H(Y)-H(Y/X)当信道固定当信道固定,即即P为一个固定常数时为一个固定常数时,可得出可得出I(X;Y)是信源输是信源输入入 分布分布w的上凸函数的上凸函数.对于固定的信道对于固定的信道,输入符号集输入符号集X概率分布

12、概率分布不同时不同时,在接受端平均每个符号所获得的信息量就不同在接受端平均每个符号所获得的信息量就不同.输入输入等概分布时等概分布时,平均互信息量为最大值。平均互信息量为最大值。证明：证明：I(X;Y)是否满足上凸函数的定义是否满足上凸函数的定义 因为：因为：I(X;Y)=IP(x),P(y/x)在在P(y/x)给定的条件下有给定的条件下有:I(X;Y)=IP(x)现选两种输入分布现选两种输入分布P1(x),P2(x),其对应信息量为其对应信息量为:P1(x,y)=P1(x)P(y/x)P2(x,y)=P2(x)P(y/x)再选另一种输入分布再选另一种输入分布P(x)：P(x)=tP1(x)+

13、(1-t)P2(x)，0tq I(X;Y)=H(Y)-H(Y/X)(有扰：有扰：噪声熵不为零噪声熵不为零)I(X;Y)=H(X)-H(X/Y)(无损：无损：信息损失熵为零信息损失熵为零)I(X;Y)=H(Y)-H(Y/X)(无扰：无扰：噪声熵为零噪声熵为零)I(X;Y)=H(X)-H(X/Y)(有损：有损：信息损失不为零信息损失不为零)C=maxH(Y)=log2m (m=信宿个数信宿个数)(3)无扰、有损信道无扰、有损信道X：a1，a2，aqY：b1，b2，bm 其中其中qm小结小结:四种信道四种信道H(X)=I(X;Y)H(Y)H(Y/X)0H(Y)=I(X;Y)H(X)H(X/Y)0无噪

14、有损信道无噪有损信道H(Y/X)=0有噪无损信道有噪无损信道H(X/Y)=0I(X;Y)I(X;Y)H(Y)H(X)I(X;Y)=H(X)-H(X/Y)I(X;Y)=H(X)-H(X/Y)I(X;Y)=H(Y)-H(Y/X)I(X;Y)=H(Y)-H(Y/X)2.对称离信道容量的计算对称离信道容量的计算X：a1，a2，arY：b1，b2，bs 例：例：定义定义:若信道转移矩阵中所有行矢都是第一行若信道转移矩阵中所有行矢都是第一行的一种置换的一种置换,就称置换就称置换,就称对于输入是对称的。就称对于输入是对称的。可以证明：准对称信道，对输入为对称时，信道容可以证明：准对称信道，对输入为对称时，信

15、道容量的输入分布为等概分布，量的输入分布为等概分布，P(ai)=1/q.I(X;Y)=H(Y)-H(Y/X)定义：定义：若信道转移概率矩阵中所有列都是第一若信道转移概率矩阵中所有列都是第一列的一种置换，就称信道对于输出为对称的。列的一种置换，就称信道对于输出为对称的。例：例：性质：若信道输出为对称的，当输入事件等概性质：若信道输出为对称的，当输入事件等概时，则输出概率时，则输出概率P(bj)为为:定义定义:若信道输出集若信道输出集Y可以切分成几个子集可以切分成几个子集,而每而每个子集所对应的信道转移矩阵个子集所对应的信道转移矩阵P中的列所组成的子阵中的列所组成的子阵具有下述性质具有下述性质:1

16、.每一行都是第一行的置换每一行都是第一行的置换 2.每一列都是第一列的置换每一列都是第一列的置换则称该信道为则称该信道为准对称信道准对称信道。例：例：特别：特别：当输出集当输出集Y划分的子集，只需划分一个，此划分的子集，只需划分一个，此信道对于输入和输出都是对称的，称它为对称信道。信道对于输入和输出都是对称的，称它为对称信道。定义：定义：若输入符号和输出符号个数相同若输入符号和输出符号个数相同,都等于都等于r,而且信道矩阵为而且信道矩阵为:则称此信道为强对称信道或均匀信道。则称此信道为强对称信道或均匀信道。(1)在对称信道情况下的信道容量在对称信道情况下的信道容量在对称信道条件下在对称信道条件

17、下:在强对称信道情况下在强对称信道情况下(2)准对称信道的信道容量准对称信道的信道容量容量容量C 输入概率为等概分布输入概率为等概分布 3.5一般离散信道的信道容量的计算一般离散信道的信道容量的计算 一般情况下一般情况下,当信道不具有对称性时当信道不具有对称性时,求解信道容量就求解信道容量就不容易了不容易了,若信道转移概率矩阵是非奇异方阵时若信道转移概率矩阵是非奇异方阵时(此时此时m=q)可按下述方法求解可按下述方法求解:步骤步骤:下面我们对一般的式子作进一步的讨论下面我们对一般的式子作进一步的讨论:第一步第一步:引进一个新函数引进一个新函数第二步第二步:求偏导数解方程组求偏导数解方程组 假设

18、对上述方程组求解得到使假设对上述方程组求解得到使I(X;Y)达到极值的概达到极值的概率分布是率分布是P1,P2,Pq,然后把上式中前面然后把上式中前面q个方程式两个方程式两边分别乘以达到极值的输入概率并求知得边分别乘以达到极值的输入概率并求知得:上式左边即为信道容量上式左边即为信道容量C C=+logeC=+loge 由于是待定常数由于是待定常数,故并来求得真正的计算结果故并来求得真正的计算结果,要真正求解出信道容量要真正求解出信道容量C,尚应作进一步假设。但作尚应作进一步假设。但作进一步的假设，运算仍将十分复杂，几乎不能得到进一步的假设，运算仍将十分复杂，几乎不能得到准确答案。准确答案。定理

19、：一般离散信道的平均互信息定理：一般离散信道的平均互信息I(X;Y)达到达到极大值极大值(即等于信道容量即等于信道容量)的充要条件是输入概率分的充要条件是输入概率分布布Pi满足满足:I(ai;Y)=C 对于所有对于所有i,其其Pi0 I(ai;Y)C 对于所有对于所有i,其其Pi=0 这时这时常数常数C就是所求的信道容量。就是所求的信道容量。3.6 扩展信道的信道容量扩展信道的信道容量 信信 道道对于基本信道而言：对于基本信道而言：X：a1，a2，ai，aqY：b1，b2，bi，bq对于扩展信道而言：对于扩展信道而言：离散无记忆离散无记忆N次扩展信道的信道容量次扩展信道的信道容量 当各分信源同

20、时取得最佳分布时：当各分信源同时取得最佳分布时：离散无记忆信道的离散无记忆信道的N次扩展信道的信道容量次扩展信道的信道容量信信 道道定理定理:设离散信道的输入序列为设离散信道的输入序列为 通通过信道传输，接收到的随机序列为过信道传输，接收到的随机序列为 ，而信道的转移概率为而信道的转移概率为 。1、若信道是无记忆的，则有：、若信道是无记忆的，则有：当信道无记忆时，拆开传输相当于此当信道无记忆时，拆开传输相当于此信源无记忆，那么此时获取的信息显信源无记忆，那么此时获取的信息显然是比捆绑在一起传输要大。然是比捆绑在一起传输要大。2、若信源是无记忆、若信源是无记忆的，则有：当当信信源源无无记记忆忆时

21、时，则则主主要要考考虑虑信信道道的的情情况况，那那么么显显然然捆捆绑绑在在一一起起传传输输时时在在信信道道中中的的损损失失要要比比单单个个传传输输时时损损失失得得少少，所所以以此此时时捆捆绑绑在在一起得互信息要大些。一起得互信息要大些。3 3、信源与信道都是无记忆的，则有：、信源与信道都是无记忆的，则有：无记忆无记忆 无记忆无记忆 无记忆无记忆 有记忆有记忆 有记忆有记忆 无记忆无记忆 有记忆有记忆 有记忆有记忆小结：小结：信信 源源 信道信道 3.7 3.7独立并联信道独立并联信道 等效成一个等效成一个N N次扩展信道，等效信道无记忆的，平均互信息量满足次扩展信道，等效信道无记忆的，平均互信

22、息量满足 独立并联信道的信道容量为独立并联信道的信道容量为 信道信道1 1 信道2信道N 3.8 串联信道的信息传输问题串联信道的信息传输问题从从信道的角度来理解、研究信道的角度来理解、研究X、Y、Z的情况的情况 在一些实在一些实际通信系统中际通信系统中常常出现串联常常出现串联信道的情况，信道的情况，如微波中继接如微波中继接力通信就是一力通信就是一种串联信道。种串联信道。这里将研究串这里将研究串联信道的联信道的互信互信息息问题。问题。(1)条件互信息条件互信息(2)条件平均互信息条件平均互信息(从从yj中获得中获得xi的信息的信息)+(在已知在已知yj的条件下从的条件下从ZK中获得中获得xi信

23、息信息)(3)联合事件互信息联合事件互信息(4)联合事件的平均互信息联合事件的平均互信息定理定理:当当且仅当且仅当P(z/x,y)=P(z/y)(对于所有对于所有x,y,z都成立时都成立时)I(XY;Z)=I(X;Z)定理定理:设设X,Y,Z构成一构成一Markov链链,则则 I(X;Z)I(X;Y)I(X;Z)I(Y;Z)等式成立的条件是等式成立的条件是P(z/xy)=P(z/y)信道信道1信道信道2XYZP(Y/X)P(z/y)=P(z/xy)串联信道的总的信道矩阵等于第一级信道矩阵串联信道的总的信道矩阵等于第一级信道矩阵时时,通过串联信道传输后不会增加信息的损失通过串联信道传输后不会增加

24、信息的损失3.7 信源与信道的匹配信源与信道的匹配 信源编码就是将信源输出的消息变换成新信源信源编码就是将信源输出的消息变换成新信源的消息来传输的消息来传输,而使新信源的熵接近最大熵而使新信源的熵接近最大熵,这样这样,新信源的消息通过信道的信息传输率接近最大值新信源的消息通过信道的信息传输率接近最大值,信道剩余度接近于零信道剩余度接近于零,信道得到充分利用。信道得到充分利用。对于无损信道，其信道剩余度与信源对于无损信道，其信道剩余度与信源剩余度完全等价，信源剩余度减少多少，剩余度完全等价，信源剩余度减少多少，则信道剩余度也减少多少，为了减少信道则信道剩余度也减少多少，为了减少信道剩余度，可以对

25、信源进行压缩编码，提高剩余度，可以对信源进行压缩编码，提高信源的熵，使信道信息传输率尽可能地接信源的熵，使信道信息传输率尽可能地接近信道容量，从而使信源与信道匹配，信近信道容量，从而使信源与信道匹配，信道得到充分利用。道得到充分利用。香农信息论对信源编码的指导意义有效性是指在一定时间内如何传输尽可能多有效性是指在一定时间内如何传输尽可能多的信息量。或在每一个传送符号内携带尽可的信息量。或在每一个传送符号内携带尽可能多的信息量。能多的信息量。对信源进行高效编码，去除信源中多余度。对信源进行高效编码，去除信源中多余度。信源多余度有：统计多余度、结构多余度、信源多余度有：统计多余度、结构多余度、视觉

26、多余度、时间多余度、空间多余度等，视觉多余度、时间多余度、空间多余度等，需要采用不同方法消除。需要采用不同方法消除。香农信息论讨论的是统计多余度。香农信息论讨论的是统计多余度。统计多余度包括信源前后符号间相关性统计多余度包括信源前后符号间相关性带来的多余度和信源符号分布不均匀导带来的多余度和信源符号分布不均匀导致的多余度。致的多余度。香农第一定理和第三定理分别从理论上香农第一定理和第三定理分别从理论上给出无失真信源编码与限失真信源编码给出无失真信源编码与限失真信源编码的压缩极限。的压缩极限。香农的贡献19481948年发表年发表“通信的数学理论通信的数学理论”，标志着信息，标志着信息论的诞生；论的诞生；19491949年发表年发表“保密通信的信息理论保密通信的信息理论”，首先用，首先用信息论的观点对信息保密问题作了全面的论述；信息论的观点对信息保密问题作了全面的论述；19591959年发表年发表“保真度准则下的离散信源编码定保真度准则下的离散信源编码定理理”-提出信息率失真理论，为信源压缩编码提出信息率失真理论，为信源压缩编码研究奠定理论基础；研究奠定理论基础；19611961年发表年发表“双路通信信道双路通信信道”，开拓了多用户，开拓了多用户信息理论（网络信息论）的研究；信息理论（网络信息论）的研究；