数据通信与计算机网络参考.ppt

《数据通信与计算机网络参考.ppt》由会员分享，可在线阅读，更多相关《数据通信与计算机网络参考.ppt（59页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、2022/10/191 思维世界的发展，在某种思维世界的发展，在某种意义上说，就是对惊奇的不意义上说，就是对惊奇的不断摆脱。断摆脱。-爱因斯坦（美国）爱因斯坦（美国）2022/10/1924.2.3 离散信道容量的一般计算方法(1)离散信道容量的计算方法离散信道容量的计算方法(2)用拉格朗日乘子法求信道容量用拉格朗日乘子法求信道容量(3)一般离散信道容量计算步骤一般离散信道容量计算步骤(4)举例举例2022/10/193(1)离散信道容量的计算方法对一般离散信道求信道容量，就是在固定信道条件下，对一般离散信道求信道容量，就是在固定信道条件下，对所有可能的输入概率分布对所有可能的输入概率分布p(

2、xi)，求平均互信息的极，求平均互信息的极大值。大值。由于由于I(X;Y)是输入概率分布是输入概率分布p(xi)的上凸函数，所以极的上凸函数，所以极大值一定存在。大值一定存在。因为因为I(X;Y)是是n个变量个变量p(x1),p(x2),p(xn)的多元函数，的多元函数，并满足并满足 ，所以可用拉格朗日乘子法计算这个，所以可用拉格朗日乘子法计算这个条件极值。条件极值。2022/10/194(2)用拉格朗日乘子法求信道容量引进一个新函数引进一个新函数 其中其中为拉格朗日乘子，解方程组为拉格朗日乘子，解方程组 可得一般信道容量可得一般信道容量C。2022/10/195将将I(X;Y)的表达式代入的

3、表达式代入(4.2.21)得得整理得整理得(2)(2)用拉格朗日乘子法求信道容量2022/10/196式式(4.2.24)左边为平均互信息的极大值，即左边为平均互信息的极大值，即(2)(2)用拉格朗日乘子法求信道容量2022/10/197(2)(2)用拉格朗日乘子法求信道容量2022/10/198(3)一般离散信道容量计算步骤一般离散信道容量对计算步骤总结如下：一般离散信道容量对计算步骤总结如下：2022/10/199注意：注意：在第在第步信道容量步信道容量C被求出后，计算并没有结束，必被求出后，计算并没有结束，必须解出相应的须解出相应的p(xi)，并确认所有的，并确认所有的p(xi)0时，所

4、求的时，所求的C才存在。才存在。在对在对I(X;Y)求偏导时，仅限制求偏导时，仅限制 ，并没有限，并没有限制制p(xi)0，所以求出的，所以求出的p(xi)有可能为负值，此时有可能为负值，此时C就就不存在，必须对不存在，必须对p(xi)进行调整，再重新求解进行调整，再重新求解C。近年来人们一般采用计算机，运用迭代算法求解。近年来人们一般采用计算机，运用迭代算法求解。(3)(3)一般离散信道容量计算步骤2022/10/1910(4)举 例例例4.2.2有一信道矩阵有一信道矩阵 ，求信道容量，求信道容量C。解：解：解：解：2022/10/1911因为因为是条件转移概率是条件转移概率p(y1/x2)

5、，所以，所以01，从而有，从而有 p(x1)0，p(x2)0，保证了，保证了C的存在。的存在。(4)举 例2022/10/19124.3 多符号离散信道 如果在不同时刻有多个来自于同一信源的随机变量（多如果在不同时刻有多个来自于同一信源的随机变量（多符号信源）通过离散信道传输，称这种信道为符号信源）通过离散信道传输，称这种信道为多符号离散多符号离散信道信道。4.3.1 多符号离散信道的数学模型多符号离散信道的数学模型4.3.2 离散无记忆信道和独立并联信道的信道容量离散无记忆信道和独立并联信道的信道容量2022/10/19134.3.1 多符号离散信道的数学模型l多符号离散信道定义多符号离散信

6、道定义定义：多符号离散信源定义：多符号离散信源X=X1X2XN在在N个不同时刻分别通过单个不同时刻分别通过单符号离散信道符号离散信道X P(Y/X)Y，则在输出端出现相应的随机序列，则在输出端出现相应的随机序列Y=Y1Y2YN，这样形成一个新的信道称为，这样形成一个新的信道称为多符号离散信道多符号离散信道。由于新信道相当于单符号离散信道在由于新信道相当于单符号离散信道在N个不同时刻连续运用了个不同时刻连续运用了N次，所以也称为单符号离散信道次，所以也称为单符号离散信道X P(Y/X)Y的的N次扩展。次扩展。l多符号离散信道数学模型多符号离散信道数学模型设信源矢量设信源矢量X的每一个随机变量的每

7、一个随机变量Xk(k=1,2,N)均取自并取遍于信均取自并取遍于信道的输入符号集道的输入符号集x1,x2,xn，则信源共有，则信源共有nN个不同的元素个不同的元素ai(i=1,2,nN)。4.3 多符号离散信道2022/10/1914该信源通过多符号离散信道该信源通过多符号离散信道X P(Y/X)Y后，相对于每一个后，相对于每一个ai，信，信道输出端输出一个相应的、由道输出端输出一个相应的、由N个符号组成的输出符号序列个符号组成的输出符号序列bj。4.3.1 多符号离散信道的数学模型4.3 多符号离散信道 多符号离散信道多符号离散信道/单符号离散信单符号离散信 道的道的N次扩展信道数学模型如次

8、扩展信道数学模型如 图所示。图所示。它的输入输出关系可表示为它的输入输出关系可表示为 信道矩阵：信道矩阵：2022/10/1915l单符号离散信道的单符号离散信道的N次扩展信道的数学模型次扩展信道的数学模型 单符号离散信道的单符号离散信道的N次扩展信道数学模型如图所示次扩展信道数学模型如图所示4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道2022/10/1916l单符号离散无记忆信道与其单符号离散无记忆信道与其N次扩展信道传递概次扩展信道传递概率之间的关系率之间的关系无记忆性无记忆性：离散信道在时刻：离散信道在时刻k的输出随机变量的输出随机变量Yk只与时刻只与时刻k的

9、输入的输入随机变量随机变量Xk(k=1,2,N)有关，与有关，与k时刻之前的输入随机变量时刻之前的输入随机变量X1X2Xk-1和输出随机变量和输出随机变量Y1Y2Yk-1无关。无关。无预感性无预感性：k时刻之前的输出随机变量序列时刻之前的输出随机变量序列Y1Y2Yk-1只与只与k时刻时刻之前的输入随机变量序列之前的输入随机变量序列X1X2Xk-1有关，与以后的第有关，与以后的第k时刻的输时刻的输入随机变量入随机变量Xk无关。无关。离散无记忆信道的离散无记忆信道的N次扩展信道次扩展信道4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道2022/10/1917离散无记忆信道的

10、离散无记忆信道的N次扩展信道的传递概率等于各单位时刻相应次扩展信道的传递概率等于各单位时刻相应的单符号离散无记忆信道的传递概率的连乘。的单符号离散无记忆信道的传递概率的连乘。离散无记忆信道的离散无记忆信道的N次扩展信道既是无记忆的，又是无预感的。次扩展信道既是无记忆的，又是无预感的。即输出随机变量即输出随机变量Yk只与对应的输入随机变量只与对应的输入随机变量Xk有关。有关。离散无记忆信道的离散无记忆信道的N次扩展信道的数学模型可以用下图表示次扩展信道的数学模型可以用下图表示4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道2022/10/1918l单符号离散无记忆信道与其

11、单符号离散无记忆信道与其N次扩展信道平均互次扩展信道平均互信息之间的关系信息之间的关系离散无记忆信道离散无记忆信道N次扩展信道两端的平均互信息为次扩展信道两端的平均互信息为I(X;Y)=H(Y)H(Y /X)平均互信息公式平均互信息公式4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道2022/10/1919第第k个随机变量个随机变量Xk单独通过单符号离散信道时的平均互信息单独通过单符号离散信道时的平均互信息N个输入、输出变量的平均互信息之和为个输入、输出变量的平均互信息之和为上两式相减得上两式相减得4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道

12、2022/10/1920当且仅当信源当且仅当信源X =X1X2XN无记忆，或者说信源无记忆，或者说信源X是离散无记忆信源是离散无记忆信源X的的N次扩展信源次扩展信源XN=X1X2XN时，即时，即即输出端各即输出端各Yk(k=1,2,N)相互独立。相互独立。4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道 结论1：离散无记忆信道的N次扩展信道的平 均互信息，不大于N个随机变量X1X2XN单 独通过信道X P(Y/X)Y的平均互信息之和。2022/10/1921这时有 结论2：离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变

13、量单独通过信道的平均互信息之和。4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道2022/10/1922l单符号离散无记忆信道与其单符号离散无记忆信道与其N次扩展信道信道容次扩展信道信道容量之间的关系量之间的关系由于离散无记忆信源的由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符次扩展信源中的随机变量都取自同一符号集号集Xkx1x2xN(k=1,2,N)，并具有相同的概率分布，而，并具有相同的概率分布，而且都通过同一个离散无记忆信道且都通过同一个离散无记忆信道X P(Y/X)Y，信道输出端随机变量序列中的随机变量信道输出端随机变量序列中的随机变量Yk(k=1,2

14、,N)也取自同也取自同 一符号集并具有相同的概率分布，而且相互统计独立。一符号集并具有相同的概率分布，而且相互统计独立。所以所以 I(Xk;Yk)=I(X;Y)结论：结论：离散无记忆信道的离散无记忆信道的N次扩展信道，如果信源也是离散无次扩展信道，如果信源也是离散无记忆信源的记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的无记忆信道平均互信息的N倍倍。4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道2022/10/1923结论的说明：因为离散无记忆信道结论的说明：因为离散无记忆信道N次扩展信道可以

15、次扩展信道可以用用N个单符号离散信道来等效，这个单符号离散信道来等效，这N个信道之间没有个信道之间没有任何关联关系，若输入端的任何关联关系，若输入端的N个随机变量之间也没有个随机变量之间也没有任何关联关系的话，就相当于任何关联关系的话，就相当于N个毫不相干的单符号个毫不相干的单符号离散信道在分别传送各自的信息，所以在扩展信道的离散信道在分别传送各自的信息，所以在扩展信道的输出端得到的平均信息量必然是单个信道的输出端得到的平均信息量必然是单个信道的N倍。倍。用用C表示离散无记忆信道容量，用表示离散无记忆信道容量，用CN表示其扩展信道表示其扩展信道容量，容量，CN=NC4.3.2 离散无记忆信道和

16、独立并联信道的信道容量4.3 多符号离散信道2022/10/1924l独立并联信道独立并联信道独立并联信道独立并联信道/独立并列独立并列/独立平行独立平行/积信道积信道：输入和输出随：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。了独立并联信道。是离散无记忆信道的是离散无记忆信道的N次扩展信道的推广次扩展信道的推广。p输入随机序列输入随机序列X=X1X2XN，Xkx1k,x2k,xnkp输出随机序列输出随机序列Y=Y1Y2YN，Yky1k,y2k,ynkpN个独立并联信道的容量个独立并联信道的容量CNp第第k个单符号离散

17、无记忆信道的信道容量个单符号离散无记忆信道的信道容量Ckp当输入端各随机变量统计独立，且每个输入随机变量当输入端各随机变量统计独立，且每个输入随机变量Xk(k=1,2,N)的概率分布达到各自信道容量的概率分布达到各自信道容量Ck(k=1,2,N)的的最佳分布时，最佳分布时，CN达到其最大值：达到其最大值：4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道2022/10/1925独立并联信道推广到更一般情况：独立并联信道推广到更一般情况：p输入各随机变量不但取值于不同的符号集，而且各集合的元素输入各随机变量不但取值于不同的符号集，而且各集合的元素个数也不相同；个数也不相同；

18、p输出随机变量也取值于不同的符号集合，各集合的元素个数也输出随机变量也取值于不同的符号集合，各集合的元素个数也不相同；不相同；p这种更一般的信道可得到与上述类似的结论。这种更一般的信道可得到与上述类似的结论。可以把可以把N个变量的独立并联信道看成是离散无记忆个变量的独立并联信道看成是离散无记忆信道的信道的N次扩展信道的推广，也可以把离散信道的次扩展信道的推广，也可以把离散信道的N次次扩展看成是独立并联信道的特例扩展看成是独立并联信道的特例。4.3.2 离散无记忆信道和独立并联信道的信道容量4.3 多符号离散信道2022/10/1926l单路通信系统单路通信系统：不论是单符号的还是多符号的，都只

19、有一个输入端：不论是单符号的还是多符号的，都只有一个输入端和一个输出端的信道称为单用户信道，相应的通信系统称为单路通和一个输出端的信道称为单用户信道，相应的通信系统称为单路通信系统。信系统。l多路通信系统多路通信系统：为了提高通信效率，通信网中的信道往往有多个输：为了提高通信效率，通信网中的信道往往有多个输入端和多个输出端，这种信道称为多用户信道，相应的通信系统称入端和多个输出端，这种信道称为多用户信道，相应的通信系统称为多路通信系统。为多路通信系统。l网络信息论网络信息论/多用户信息论：研究多路通信系统信息传递的理论。多用户信息论：研究多路通信系统信息传递的理论。实际的信道大部分是多用户信道

20、。例如：计算机通信、卫星通信、实际的信道大部分是多用户信道。例如：计算机通信、卫星通信、广播通信、有线电视等。广播通信、有线电视等。4.4.1 多址接入信道多址接入信道4.4.2 广播信道广播信道4.4.3 相关信源的多用户信道问题相关信源的多用户信道问题4.4 多用户信道2022/10/1927l定义及信道模型定义及信道模型多址接入信道多址接入信道/多元接入信道：多个用户的信息用多个编码器分多元接入信道：多个用户的信息用多个编码器分别编码以后，送入同一信道传输，在接收端用一个译码器译码，别编码以后，送入同一信道传输，在接收端用一个译码器译码，然后分送给不同的用户。这是有多个输入端但只有一个输

21、出端然后分送给不同的用户。这是有多个输入端但只有一个输出端的多用户信道。的多用户信道。多址接入信道模型如下图所示多址接入信道模型如下图所示4.4.1 多址接入信道4.4 多用户信道2022/10/1928l二址接入信道的信道容量二址接入信道的信道容量最简单的多址接入信道是只有两个输入端和一个输出端的二址最简单的多址接入信道是只有两个输入端和一个输出端的二址接入信道，如下图所示。接入信道，如下图所示。U1至至U1的信息率的信息率R1，信道容量，信道容量C1U2至至U2的信息率的信息率R2，信道容量，信道容量C2总信道容量总信道容量C124.4.1 多址接入信道4.4 多用户信道2022/10/1

22、929二址接入信道信息率和信道容二址接入信道信息率和信道容量之间满足如下条件量之间满足如下条件这些条件确定了二址接入信道这些条件确定了二址接入信道以以R1和和R2为坐标的二维空间中为坐标的二维空间中的某个区域（图中阴影部分），的某个区域（图中阴影部分），这个区域的界线就是二址接入这个区域的界线就是二址接入信道的容量。信道的容量。4.4.1 多址接入信道4.4 多用户信道当当X1和和X2相互独立时有相互独立时有 max(C1,C2)C12C1+C22022/10/1930l多址接入信道的信道容量多址接入信道的信道容量二址接入信道的结论很容易推广到多址接入信道；二址接入信道的结论很容易推广到多址接

23、入信道；多址接入信道参数多址接入信道参数p多址接入信道数多址接入信道数Np第第r个编码器的信息率为个编码器的信息率为Rrp相应的信道容量为相应的信道容量为Cr；p信道总容量为信道总容量为C4.4.1 多址接入信道4.4 多用户信道2022/10/1931当输入各信源独立时有当输入各信源独立时有4.4.1 多址接入信道4.4 多用户信道 这些限制条件规定了一个在N维空间的体积，这个体积的外型是一个截去角的多面体，多面体内是信道允许的信息率，多面体的上界就是多址接入信道的容量。2022/10/1932l定义：定义：具有一个输入和多个输出的信道称为广播信道。具有一个输入和多个输出的信道称为广播信道。

24、l最简单的广播信道是单输入双输出广播信道，如下图所示：最简单的广播信道是单输入双输出广播信道，如下图所示：l对于一般的广播信道，很难用系统的方法求出其信息率可达区域，对于一般的广播信道，很难用系统的方法求出其信息率可达区域，只在某些特殊的情况下，能够证明信道容量的容量界线是可以达只在某些特殊的情况下，能够证明信道容量的容量界线是可以达到的。到的。4.4.2 广播信道4.4 多用户信道2022/10/1933l定义：定义：由多个单用户信道组成的并联信道，传送相互有关的多路信由多个单用户信道组成的并联信道，传送相互有关的多路信息的信道。这种信道有多个输入和多个输出，且输入端各信源之间息的信道。这种

25、信道有多个输入和多个输出，且输入端各信源之间有关联关系。有关联关系。l两个相关信源用两个独立信道传送的多用户信道模型。两个相关信源用两个独立信道传送的多用户信道模型。l随着网络技术的发展，多用户信息论在近代信息论中越来越为大家随着网络技术的发展，多用户信息论在近代信息论中越来越为大家关注，不过许多问题还没有找到系统的解决方法。关注，不过许多问题还没有找到系统的解决方法。4.4.3 相关信源的多用户信道问题4.4 多用户信道2022/10/1934l定义：当信源与信道连接时，若信息传输率达到了信道定义：当信源与信道连接时，若信息传输率达到了信道容量，我们称此容量，我们称此信源与信道达到匹配信源与

26、信道达到匹配。否则，认为信道。否则，认为信道有剩余。有剩余。l信道冗余度定义：信道冗余度定义：信道冗余度信道冗余度C-I(X;Y)C表示该信道的信道容量，表示该信道的信道容量，I(X;Y)表示信源通过该信道表示信源通过该信道实际传输的平均信息量。实际传输的平均信息量。信道相对冗余度信道相对冗余度一般通信系统中，信源发出的消息（符号）必须转换成适合信道传一般通信系统中，信源发出的消息（符号）必须转换成适合信道传输的符号（信号）来传输。对于离散无损信道，如何进行转换，才输的符号（信号）来传输。对于离散无损信道，如何进行转换，才能使信道的信息传输率达到信道容量，达到信源与信道的匹配呢？能使信道的信息

27、传输率达到信道容量，达到信源与信道的匹配呢？香农无失真信源编码定理。香农无失真信源编码定理。4.4.4 信源与信道的匹配4.4 多用户信道 无失真信源编码就是将信源输出的无失真信源编码就是将信源输出的无失真信源编码就是将信源输出的无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息变换成适合信道传输的新信源的消息变换成适合信道传输的新信源的消息变换成适合信道传输的新信源的消息（符号）来传输，而使新信源的消息（符号）来传输，而使新信源的消息（符号）来传输，而使新信源的消息（符号）来传输，而使新信源的符号接近等概分布，新信源的熵接近符号接近等概分布，新信源的熵接近符号接近等概分布，新

28、信源的熵接近符号接近等概分布，新信源的熵接近最大熵最大熵最大熵最大熵loglog2 2r,r,这样，信道传输的信息量这样，信道传输的信息量这样，信道传输的信息量这样，信道传输的信息量达到最大，信道剩余度接近于零，使达到最大，信道剩余度接近于零，使达到最大，信道剩余度接近于零，使达到最大，信道剩余度接近于零，使信源与信道达到匹配，信道得到充分信源与信道达到匹配，信道得到充分信源与信道达到匹配，信道得到充分信源与信道达到匹配，信道得到充分利用。利用。利用。利用。2022/10/19354.5.1 连续信道的定义及数学模型连续信道的定义及数学模型4.5.2 连续信道的信道容量连续信道的信道容量4.5

29、.3 加性连续信道的信道容量加性连续信道的信道容量4.5.4 高斯加性连续信道的信道容量高斯加性连续信道的信道容量4.5.5 平均功率受限的加性信道的信道容量平均功率受限的加性信道的信道容量4.5.6 结论结论4.5 连续信道2022/10/1936l连续信道定义连续信道定义：输入和输出随机变量都取值于连续集合：输入和输出随机变量都取值于连续集合的信道。的信道。l信道传递特性信道传递特性：传递特性用条件转移概率密度函数：传递特性用条件转移概率密度函数p(y/x)表示。表示。l连续信道数学模型连续信道数学模型：X p(y/x)Y，如下图所示。，如下图所示。4.5.1 连续信道的定义及数学模型4.

30、5 连续信道2022/10/1937l连续随机变量之间的平均互信息满足非负性连续随机变量之间的平均互信息满足非负性，并可以证，并可以证明，它是信源概率密度函数明，它是信源概率密度函数p(x)的上凸函数。的上凸函数。l连续信道的信道容量连续信道的信道容量C：信源：信源X等于某一概率密度函数等于某一概率密度函数p0(x)时，信道平均互信息的最大值，即时，信道平均互信息的最大值，即l一般连续信道的容量并不容易计算，当信道为加性信道一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。时，情况要简单一些。4.5.2 连续信道的信道容量4.5 连续信道2022/10/1938l加性连续信道

31、加性连续信道：噪声为连续随机变量：噪声为连续随机变量N，且与，且与X相互统计相互统计独立的信道。独立的信道。l这种信道的噪声对输入的干扰作用表现为噪声和输入线这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即性叠加，即Y=X+N。如下图所示。如下图所示。4.5.3 加性连续信道的信道容量4.5 连续信道2022/10/1939l对于加性连续信道，信道的条件概率密度函数等于噪声对于加性连续信道，信道的条件概率密度函数等于噪声的概率密度的概率密度 p(y/x)=p(n)这进一步说明信道的传递概率是由于噪声熵所引起的。这进一步说明信道的传递概率是由于噪声熵所引起的。4.5.3 加性连续信道的

32、信道容量4.5 连续信道2022/10/1940l加性连续信道的条件熵等于其噪声熵。说明加性连续信道的条件熵等于其噪声熵。说明Hc(Y/X)是由是由噪声引起的，故称噪声引起的，故称Hc(N)为噪声熵。为噪声熵。该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确定性，即噪声信源的熵，所以称它为噪声熵。源的不确定性，即噪声信源的熵，所以称它为噪声熵。4.5.3 加性连续信道的信道容量4.5 连续信道2022/10/1941l加性连续信道的信道容量：加性连续信道的信道容量：l加性噪声加性噪声N和信源和信源X相互统计独立，相互统

33、计独立，X的概率密度函数的概率密度函数p(x)的变动不会引起噪声熵的变动不会引起噪声熵Hc(N)的改变，所以加性信道的容的改变，所以加性信道的容量量C就是选择就是选择p(x)，使输出熵，使输出熵Hc(Y)达到最大值，即达到最大值，即l上式说明：上式说明：加性连续信道容量取决于噪声加性连续信道容量取决于噪声N（即信道）的（即信道）的统计特性和输入随机变量统计特性和输入随机变量X所受的限制条件所受的限制条件。（对于不同的（对于不同的限制条件，连续随机变量具有不同都最大熵值。）限制条件，连续随机变量具有不同都最大熵值。）4.5 连续信道4.5.3 加性连续信道的信道容量2022/10/1942l高斯

34、加性连续信道：高斯加性连续信道：高斯噪声为高斯噪声为N，均值为，均值为0，方差为，方差为2，噪声功率为，噪声功率为PN；l信道的传递概率密度函数：信道的传递概率密度函数：p(y/x)=p(n)l如果把如果把x看成是一个常数，则上式就变成了随看成是一个常数，则上式就变成了随y变化的高变化的高斯函数，即当已知斯函数，即当已知X=x时，时，Y也是一个高斯变量，均值为也是一个高斯变量，均值为x，方差为，方差为2。4.5.4 高斯加性连续信道的信道容量4.5 连续信道2022/10/1943l因此高斯加性信道的容量为因此高斯加性信道的容量为4.5 连续信道4.5.4 高斯加性连续信道的信道容量2022/

35、10/1944l输入概率密度函数输入概率密度函数p(x)是什么样的函数时，才能使是什么样的函数时，才能使Y呈高呈高斯分布？斯分布？l设限定输入平均功率设限定输入平均功率PX，噪声平均功率，噪声平均功率PN=2，l则输出随机变量则输出随机变量Y的平均功率的平均功率PY也是受限的。也是受限的。l根据最大连续熵定理，要使根据最大连续熵定理，要使Hc(Y)达到最大，达到最大，Y必须是一必须是一个个均值为均值为0、方差为、方差为2Y=PY的高斯随机变量。的高斯随机变量。l高斯加性信道中输入高斯加性信道中输入X和噪声和噪声N相互统计独立，且相互统计独立，且Y=X+N。由概率论可知：若输入由概率论可知：若输

36、入X是均值为是均值为0、方差为、方差为2X=PX的高的高斯随机变量，即斯随机变量，即X的概率密度函数为的概率密度函数为p(x)，则可以证明，则可以证明，输出输出Y的概率密度函数就等于的概率密度函数就等于4.5.5 平均功率受限的加性信道的信道容量4.5 连续信道2022/10/1945l即当输入随机变量即当输入随机变量X的概率密度是均值为的概率密度是均值为0、方差、方差2X的高的高斯随机变量；斯随机变量；l加性信道的噪声加性信道的噪声N是均值为是均值为0、方差为、方差为2的高斯随机变量的高斯随机变量时；时；l输出随机变量输出随机变量Y也是一个高斯随机变量，其均值为也是一个高斯随机变量，其均值为

37、0、方、方差为差为2Y=2X+2=PY。4.5.5 平均功率受限的加性信道的信道容量4.5 连续信道2022/10/1946l这时输出端的连续熵这时输出端的连续熵Hc(Y)达到最大值，即达到最大值，即l(PX/PN)称为信道的称为信道的信噪功率比信噪功率比。4.5.5 平均功率受限的加性信道的信道容量4.5 连续信道2022/10/1947l设信道的频带限于设信道的频带限于(0,W)；l根据采样定理，如果每秒传送根据采样定理，如果每秒传送2W个采样点，在接收端可无个采样点，在接收端可无失真地恢复出原始信号；失真地恢复出原始信号；l香农公式香农公式：把信道的一次传输看成是一次采样，由于信道：把信

38、道的一次传输看成是一次采样，由于信道每秒传输每秒传输2W个样点，所以单位时间的信道容量为个样点，所以单位时间的信道容量为 (Ct：最大的信息传输速率：最大的信息传输速率/单位时间内单位时间内)4.5.6 结 论4.5 连续信道2022/10/1948l香农公式推出的条件：香农公式推出的条件：连续消息是平均功率受限的高斯随机过程，平均功率为连续消息是平均功率受限的高斯随机过程，平均功率为PX。被取样后的样值同样呈高斯分布，样值之间彼此独。被取样后的样值同样呈高斯分布，样值之间彼此独立；立；噪声为加性噪声为加性WGN，平均功率为，平均功率为PN；信号的有效带宽为信号的有效带宽为W。4.5.6 结

39、论4.5 连续信道2022/10/1949l香农公式说明：香农公式说明：当信道容量一定时，增大信道带宽，可以降低对信噪功当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿信噪功率比来补偿。当信道频带无限时，其信道容量与信号功率成正比当信道频带无限时，其信道容量与信号功率成正比。4.5.6 结 论4.5 连续信道2022/10/1950l香农公式的意义：香农公式的意义：信道容量与所传输信号的有效带宽成正比，信号的有效信道容量与所传输信号的有效带宽成正比，信号的有效带宽越宽，信道容量越大带

40、宽越宽，信道容量越大；信道容量与信道上的信号噪声比有关，信噪比越大，信信道容量与信道上的信号噪声比有关，信噪比越大，信道容量也越大，但其制约规律呈对数关系道容量也越大，但其制约规律呈对数关系；信道容量信道容量C,有限带宽有限带宽W和信噪比可以相互起补偿作用，和信噪比可以相互起补偿作用，即可以互换。应用极为广泛的扩展频谱通信，多相位调即可以互换。应用极为广泛的扩展频谱通信，多相位调制等都是以此为理论基础。制等都是以此为理论基础。当信道上的信噪比小于当信道上的信噪比小于1时（低于时（低于0db），信道的信道容），信道的信道容量并不等于量并不等于0，这说明此时信道仍具有传输消息的能力。，这说明此时信

41、道仍具有传输消息的能力。也就是说信噪比小于也就是说信噪比小于1时仍能进行可靠的通信，这对于时仍能进行可靠的通信，这对于卫星通信卫星通信、深空通信等具有特别重要的意义。、深空通信等具有特别重要的意义。4.5.6 结 论4.5 连续信道2022/10/1951l香农公式的意义：香农公式的意义：是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或在任意低的信噪比情况下仍能实现可靠的通信呢？尽管从香农公式在任意低的信噪比情况下仍能实现可靠的通信呢？尽管从香农公式不能直接看出，但它隐含着否定的回答不能直接看出，但它隐含着否定的回答；这说明此

42、时的信道容量这说明此时的信道容量C趋于有限值，取决于发射功率和信道白色高斯趋于有限值，取决于发射功率和信道白色高斯噪声的功率谱密度之比。尽管此时的噪声的功率谱密度之比。尽管此时的C仍大于仍大于0，尚可进行通信，但由，尚可进行通信，但由于信道容量与发射功率成正比，已与加大信号有效带宽的初衷相悖，于信道容量与发射功率成正比，已与加大信号有效带宽的初衷相悖，因此用无限的带宽换取信道容量是否合算，值得推敲，况且物理上不因此用无限的带宽换取信道容量是否合算，值得推敲，况且物理上不可能提供无限带宽进行通信。可能提供无限带宽进行通信。该结论实际上指出了信号有效带宽与发该结论实际上指出了信号有效带宽与发射功率

43、互换的有效性问题。信道容量是通信系统的最大信息传输速率，射功率互换的有效性问题。信道容量是通信系统的最大信息传输速率，通常是系统的设计指标，因此通常是系统的设计指标，因此C往往是给定的。这时可以根据信道特性往往是给定的。这时可以根据信道特性来权衡发射功率和信号有效带宽的互换，使系统的设计趋于最佳。来权衡发射功率和信号有效带宽的互换，使系统的设计趋于最佳。4.5.6 结 论4.5 连续信道2022/10/1952l香农公式的意义：香农公式的意义：香农公式是在噪声为加性香农公式是在噪声为加性WGN情况下推得的，由于白情况下推得的，由于白色高斯噪声是危害最大的信道干扰，因此对那些不是白色高斯噪声是危

44、害最大的信道干扰，因此对那些不是白色高斯噪声的信道干扰而言，其信道容量应该大于按香色高斯噪声的信道干扰而言，其信道容量应该大于按香农公式计算的结果。农公式计算的结果。4.5.6 结 论4.5 连续信道2022/10/1953l信道编码定理：信道编码定理：若有一离散无记忆平稳信道，其容量为若有一离散无记忆平稳信道，其容量为C，输入序列长度为输入序列长度为L，只要待传送的信息率，只要待传送的信息率RC，总可以找到一种编，总可以找到一种编码，当码，当L足够长时，译码差错概率足够长时，译码差错概率PeC时，任何编码的时，任何编码的Pe必大于零，当必大于零，当L，Pe1。l信道编码定理说明：信道编码定理

45、说明：同无失真信源编码定理类似，信道编同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，临界值，只要信息传输率不超过这个临界值，信道就可几乎无失只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真真地把信息传送过去，否则就会产生失真。l连续信道也有类似结论。连续信道也有类似结论。4.6 信道编码定理2022/10/1954l香农第二定理指出，若香农第二定理指出，若RC，则可以使传输错误概率任意小的编码，则可以使传输错误概率任意小的编码不存在。不存在。l它从理论上

46、证明平均错误译码概率它从理论上证明平均错误译码概率Pe趋于零趋于零、信道信息传输速率信道信息传输速率R无无限接近于信道容量限接近于信道容量C的抗干扰信道编码是存在的。的抗干扰信道编码是存在的。l但从实用观点来看，理论的证明尚不能令人满意。因为在证明的过程但从实用观点来看，理论的证明尚不能令人满意。因为在证明的过程中是完全中是完全“随机地随机地”去选择一个码。这个码是完全无规律的，因此，去选择一个码。这个码是完全无规律的，因此，就无法具体构造这个码，也就无法实现和应用。但人们在理论指导下，就无法具体构造这个码，也就无法实现和应用。但人们在理论指导下，赋予码以各种形式的代数结构，出现了代数编码赋予

47、码以各种形式的代数结构，出现了代数编码、卷积码等。卷积码等。l平均误码率平均误码率Pe：指接收的错误符号数与接收的总符号数的比值，：指接收的错误符号数与接收的总符号数的比值，这里的错误符号是指无论用什么方法都不能纠正的那些码。在工这里的错误符号是指无论用什么方法都不能纠正的那些码。在工程上，程上，Pe通常指二进制信道的误比特率，有时也称误码率。通常指二进制信道的误比特率，有时也称误码率。4.7 信道编码定理的应用2022/10/1955l从编码的角度来看，平均误码率从编码的角度来看，平均误码率与信道编码的码字长度与信道编码的码字长度N有关，同有关，同时也与信道上所传消息的信息传输速率时也与信道

48、上所传消息的信息传输速率R有关，因此可以建立它们有关，因此可以建立它们之间的函数关系，即之间的函数关系，即Pe fN,R，其中的一种表示如下：，其中的一种表示如下：Pe exp-NEr(R)其中其中Er(R)是一个人为设置的函数，称为可靠性函数，它仅与信道有关，是是一个人为设置的函数，称为可靠性函数，它仅与信道有关，是R的函数。的函数。其值越大，其值越大，Pe越小，可靠性越高。越小，可靠性越高。l由上式可知，要减少误码率由上式可知，要减少误码率Pe就应当增大码长就应当增大码长N或增大可靠性函数或增大可靠性函数Er(R)。而对于同样的信息传输速率，信道容量。而对于同样的信息传输速率，信道容量C大

49、者其可靠性函大者其可靠性函数肯定越大；对于同样的信道容量数肯定越大；对于同样的信道容量C,R小者其可靠性函数小者其可靠性函数Er(R)则大。则大。因此，想增大因此，想增大Er(R)就要加大信道容量就要加大信道容量C或减少信息传输速率或减少信息传输速率R。l鉴于以上分析，可采取以下措施来减少误码率：鉴于以上分析，可采取以下措施来减少误码率：增大信道容量增大信道容量C;减小减小信息传输速率信息传输速率R;增加码长增加码长N。4.7 信道编码定理的应用 当前，通过增加码长当前，通过增加码长当前，通过增加码长当前，通过增加码长N N来提高可靠性来提高可靠性来提高可靠性来提高可靠性已经成为纠错编码的主要

50、途径之一。已经成为纠错编码的主要途径之一。已经成为纠错编码的主要途径之一。已经成为纠错编码的主要途径之一。它实际上是用设备的复杂度来换取它实际上是用设备的复杂度来换取它实际上是用设备的复杂度来换取它实际上是用设备的复杂度来换取可靠性的，从这个意义上说，妨碍可靠性的，从这个意义上说，妨碍可靠性的，从这个意义上说，妨碍可靠性的，从这个意义上说，妨碍数字通信系统性能提高的真正限制数字通信系统性能提高的真正限制数字通信系统性能提高的真正限制数字通信系统性能提高的真正限制因素是设备的复杂性。因素是设备的复杂性。因素是设备的复杂性。因素是设备的复杂性。2022/10/1956 信道达到充分利用时，输入和输