离散信道的信道容量.ppt

《离散信道的信道容量.ppt》由会员分享，可在线阅读，更多相关《离散信道的信道容量.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章第五章离散信道的信道容量离散信道的信道容量1 1第五章第五章离散信道的信道容量离散信道的信道容量内容提要：内容提要：信道对于信息率的容纳并不是无限制的，信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，在信道中传输的每个符号所携带的信息量，并定义信道容量。并定义信道

2、容量。本章重点：本章重点：本章重点：本章重点：1.信道容量的定义；信道容量的定义；2.平均互信息量达到信道容量的充要条件；平均互信息量达到信道容量的充要条件；3.几种特殊离散信道信道容量的计算。几种特殊离散信道信道容量的计算。35.1信道容量的定义信道容量的定义信息传输率是衡量通信质量的一个重要指标，由定理2.1知：对于固定信道，总存在某种输入概率分布q(x)，使I（X;Y）达到最大值，定义这个最大值为信信道容量道容量，记为C。（比特/码符号）（5-2）使I（X;Y）达到信道容量的分布q(x)为最佳分布。5.2离散无记忆信道容量的计算离散无记忆信道容量的计算定定理理5.1如果信道是离散无记忆（

3、DMC）的，则CN NC，其中C是同一信道传输单符号时的信道容量。下面一条定理给出了一维信道和N维信道的信道容量之间的关系。若信道离散无记忆，则根据定理2.4有：若（1）输入的N个符号统计独立，即信源离散无记忆,根据定理2.3有：（2）对每个i,输入分布q(xi)可使I(Xi;Yi)达到信道容量C，则：=NCCN NC(5-5)综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，有CN =NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。5.2.1达到信道容量的充要条件达到信道容量的充要条件定定理理5.2使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输

4、入概率分布，简记为q(X)=q(x1),q(x2),q(xM)满足：(5-6)介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。【例例5.2】无损信道无损信道无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图5-2所示，信道输入符号集X=x1,x2,x3，输出符号集Y=y1,y2,y3,y4,y5,y6，其信道转移概率矩阵记为，计算该信道的信道容量。图5-2无损信道x1x2x3y1y2y3y5y62/61/63/61/21/21y42.根据定义计算信道容量C从上式可看出，求信道容量

5、C的问题转化为寻找某种分布q(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时，熵值达到最大，即有1.先考察平均互信息量I（X;Y）=H（X）-H（XY），在无噪信道条件下，H（XY）=0，则平均互信息量I（X;Y）=H（X）3.根据平均互信息量I（X;Y）达到信道容量的充要条件式（5-6）对C进行验证：先根据计算出(yj)，j=1,2,3,4,5,6再计算出：5.2.2几类特殊的信道几类特殊的信道定义定义5.1如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。定义定义5.2如果信道转移概率矩阵P中，每一列元素都是另一列相同

6、元素的不同排列，则称该信道关于列（输出）对称。定义定义5.3如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。1.准对称信道准对称信道【例例5.6】信道输入符号集X=x1,x2，输出符号集Y=y1,y2,y3,y4，给定信道转移概率矩阵，求该信道的信道容量C。这是一个准对称信道，根据定理5.3，当X等概分布，时，信道容量平均互信息量I（X;Y）=H（Y）-H（YX）(5-7)定理定理5.3实现DMC准对称信道的信道容量的分布为等概分布。由，先算出(5-8)将式(5-8)和代入式(5-7)，可算得信道容量=0.0325(比特/符号)【

7、例例5.8】信道输入符号集X=x1,x2，输出符号集Y=y1,y2,y3，给定信道转移概率矩阵，求信道容量C。设使平均互信息量达到信道容量的信源分布为q(x1)=，q(x2)=1-。由可算出 2.信源只含两个消息信源只含两个消息平均互信息量I(X;Y)=H(Y)H(YX)=-(1-q)log+(1-)log(1-)根据定义，求C的问题就转化为为何值时，I(X;Y)达到最大值。令则信道容量C=I(X;Y)a=0.5=1-q计算信道容量C按下面步骤进行：(1)先验证信道转移概率矩阵P=p(yjxi)是方阵，且矩阵P的行列式p(yjxi)0；3.信道转移概率矩阵为非奇异方阵信道转移概率矩阵为非奇异方

8、阵(2)计算出逆矩阵P-1=p-1(yjxk)；(3)根据式（5-17），计算出；(4)根据式（5-18），计算出信道容量C；(5)验证是否满足q(xi)0，i=1,2,K。l先由式（5-16）计算出（yk）k=1,2,Kl再由式（5-21）计算【例例5.9】给出信道转移概率矩阵，求信道容量C。（1）P矩阵的行列式，说明P是一个非奇异方阵。（2）P的逆矩阵（3）算出（4）信道容量（奈特/码符号）（5）下面验证是否q(xi)0，i=1,2先根据算出再算得图5-9两个信道5.3组合信道的容量组合信道的容量考虑有两个信道。信道1信道2：信道编码器XY信道译码器X /Y/5.3.1独立并行信道独立并行

9、信道在这种情况下，二个信道作为一个信道使用，传送符号，接收符号，根据定理2.4，对于离散无记忆信道，下式成立（5-22）对上面不等式两边取最大值，得 CC1+C2（5-23）推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck(k=1,2,N)为第k个信道的信道容量，C为组合信道的总容量，则有（5-24）等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。5.3.2和信道和信道两个信道轮流使用，使用概率分别为p1,p2，且p1+p2=1，记概率分布P=（p1,p2），和信道的平均互信息计算如下 I（P）=I（p1,p2）=p1I（X;Y）+p2I（X/;Y/）+H 2（P

10、）式中：H 2(P)=-p1logp1-p2logp2。根据定义，有（5-26）求使式(5-26)取极大值的P令，对数以2为底，注意到p2=1-p1，得记C1-logp1=C2-logp2=（为待定常数）（5-27）从式（5-27）中解出：（5-28）将式(5-28)代入条件p1+p2=1，得（5-29）式（5-28）中的p1,p2就是使平均互信息量I（p1,p2）达到最大的取值，将其代入式（5-26），得：=（p1+p2）=将式（5-29）代入式（5-30）得：推广到N个信道轮流使用的情况,当N个信道以不同概率轮流使用时，记Ck(k=1,2,N)为第k个信道的信道容量，C为组合信道的总容量，

11、则有（5-31）5.3.3串行信道串行信道将两个信道级联，有X/=Y，如图5-10所示。X信道1信道2Y/Y=X /图5-10串行信道串行信道的信道转移概率用矩阵表示为：（5-32）串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。若将N个转移概率相同的信道级联，当N 时，其总信道容量将趋于零。信道1：P1=p(yx)，信道2：P2=p(yx)，信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2=p(yx)有关，而与X无关。因此信道1和信道2串连就构成了一个马马尔尔可可夫链夫链，对于马尔可夫链有如下定理：X信道1信道2ZY图5-11马尔可夫链数据处理定理数据处理定理

12、：无论经过何种数据处理，都不会使信息量增加。定理定理5.4若随机变量X、Y、Z组成一个马尔可夫链，如图5-11所示，则有 I（X;Z）I（X;Y）（5-33）I（X;Z）I（Y;Z）（5-34）【例例5.11】两个离散信道，将它们串行连接使用，如图5-10，计算总信道容量C。（1）先计算总信道的信道转移概率矩阵串联信道的总信道矩阵P等于第一级信道的信道矩阵P1，从而概率满足p(yx)=p(zx)(对所有的x，y，z)（5-36）对式（5-36）两边关于x求和，得p(y)=p(z)（5-37）利用式（5-37），由式（5-36）得(2)计算信道容量C在例5.11中，第一个信道是输入只有两个消息的

13、情况，设最佳分布为q(x1)=，q(x2)=1-，仿照例5.8可算出=0.4，则信道容量C=C1=0.32(比特/符号)。本章主要定义了信道容量及讨论了信道容量的计算方法。讨论并证明了使平均互信息量达到信道容量的充要条件，并给出如下几种情况下信道容量的计算方法（1）准对称信道（2）信源只含两个消息（3）信道转移概率矩阵为可逆方阵还讨论了多个信道组合使用情况下，总信道容量的计算方法，讨论了以下几种情况：（1）N个信道独立并行使用：记每个信道单独使用时的信道容量为Ck，k=1,2,N，则总信道容量C满足，当N个信道独立输入且独立使用时等号成立。（2）N个信道轮流使用：各信道使用概率为pk，k=1,2,N，总信道容量为，每个信道的使用概率为本本 章章 小小 结结（3）N个信道串联使用：记各个信道的信道转移概率矩阵为Pk，k=1,2,N，则总信道的信道转移概率矩阵P等于各信道转移概率矩阵相乘，即P=P1 P2 PN，矩阵的乘法要满足：左乘矩阵的列数应等于右乘矩阵的行数，且矩阵相乘不满足交换率。