信息论信道容量 PPT课件.ppt

关于信息论 信道容量 第一张，PPT共八十三页，创作于2022年6月3.2.3 3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法 对一般离散信道而言，求信道容量，就是在固定信道的条件下，对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布对所有可能的输入概率分布p(xi)，求平均互信息的极大值。采，求平均互信息的极大值。采用拉各朗日乘子法来计算。用拉各朗日乘子法来计算。第二张，PPT共八十三页，创作于2022年6月第三张，PPT共八十三页，创作于2022年6月第四张，PPT共八十三页，创作于2022年6月(1)两边乘两边乘p(ai)，并求和，则有：，并求和，则有：第五张，PPT共八十三页，创作于2022年6月(2)第六张，PPT共八十三页，创作于2022年6月将（将（2 2）代入（）代入（1 1），则有：），则有：（3）第七张，PPT共八十三页，创作于2022年6月（4）则（则（3）变为：）变为：第八张，PPT共八十三页，创作于2022年6月（5）（6）（7）第九张，PPT共八十三页，创作于2022年6月总结总结C C的求法，过程如下：的求法，过程如下：（8）（9）第十张，PPT共八十三页，创作于2022年6月例例：信道矩阵如下，求：信道矩阵如下，求C C。第十一张，PPT共八十三页，创作于2022年6月1第十二张，PPT共八十三页，创作于2022年6月23第十三张，PPT共八十三页，创作于2022年6月4第十四张，PPT共八十三页，创作于2022年6月第十五张，PPT共八十三页，创作于2022年6月第十六张，PPT共八十三页，创作于2022年6月第三章信道容量2006-10-2317 注意：在第步信道容量C被求出后，计算并没有结束，必须解出相应的p(ai)，并确认所有的p(ai)0时，所求的C才存在。在对I(X;Y)求偏导时，仅限制 ，并没有限制p(ai)0，所以求出的p(ai)有可能为负值，此时C就不存在，必须对p(ai)进行调整，再重新求解C。近年来人们一般采用计算机，运用迭代算法求解。一般离散信道容量计算步骤第十七张，PPT共八十三页，创作于2022年6月2006-10-1861第三章信道容量典型无扰离散信道的信道容量1.均匀编码信道的信道容量定义：基本符号时间等长的信道称为均匀编码信道，这种等长的基本符号称为码元。码元通常是持续时间为b秒的D进制脉冲（Pulse），D进制表示该码元有D种等间隔数值。第十八张，PPT共八十三页，创作于2022年6月2006-10-1862第三章信道容量典型无扰离散信道的信道容量例3.1 用8kHz的取样速率对模拟信号取样，若对每一样值做256 级量化且样值是各态历经的，求传输此信号的信道容量。解：由题意可知，每秒钟有8000个样值，即n=8000（信源消息），信道基本符号数D=256，故每秒钟构成的不同消息的总数目为N=2568000，有这就是传送PCM信号需要的信道容量第十九张，PPT共八十三页，创作于2022年6月2006-10-1863第三章信道容量典型无扰离散信道的信道容量一般地，若每个信道基本符号的长度为b秒，每秒钟内信道上可传送的信道基本符号数为n，则n=1/b；T秒钟内信道上可构成的不同消息数为N(T)=DnT，其中nT为T 秒钟内信道上可传送的信道基本符号数。于是Ct=nlog Dbps(5.6)如果不以秒而是以一个码元的时间作为标准，则C=Ct/n=log Dbit/码元时间(5.7)第二十张，PPT共八十三页，创作于2022年6月2006-10-1864第三章信道容量典型无扰离散信道的信道容量2.无固定约束的不均匀编码信道的信道容量无固定约束的不均匀编码信道的基本符号是等幅的不等长脉冲，用脉冲占有时间的不同来携带信息。例3.2 求传输脉冲时间调制信号的信道容量。解 求信道容量，主要是求在T时间内能构成的不同消息数N(T)。若以最窄的脉冲作为单位码元而其它脉冲的宽度都是它的倍数，则PTM脉冲宽度量化为有限种信道基本符号。设有D种信道基本符号，分别为：a1,a2,aD ；对应的占用时间分别为：t1,t2,tD ；则在时间T内可能构成的符号总数N(T)有如下表达式：第二十一张，PPT共八十三页，创作于2022年6月2006-10-1865第三章信道容量典型无扰离散信道的信道容量式中第1行的表示除a1外的D 1个信道基本符号的全排列，其余类推。利用递推的方法或其它方法可得C=log rmax bit/单位码元时间(5.9)的最大正实根。N(T)=a1 +a 2 +a D =a1+a 2+a D=N(T t1)+N(T t 2)+N(T t D)+r+rr(5.10)1=0 t D其中rmax是N(T)的特征方程 t1 t2(5.8)(续)第二十二张，PPT共八十三页，创作于2022年6月2006-10-1866第三章信道容量典型无扰离散信道的信道容量3.有固定约束的不均匀编码信道的信道容量假如编码不满足遍历性，即由转移不受限制变为转移受限制，传输它的信道就成为有固定约束的不均匀编码信道。传输莫尔斯（Morse）电码的信道是一种典型的有固定约束的不均匀编码信道，下面通过对它的分析来看这种信道的信道容量。第二十三张，PPT共八十三页，创作于2022年6月基本符号构成持续时间具体实现点t1=2清脆响一短声划 t2=4响一长声，声长三倍点字母间隔t3=33个单位码元时间不发声单词间隔t4=66个单位码元时间不发声2006-10-1867第三章信道容量典型无扰离散信道的信道容量例5.3 电报员发报用Morse电码；Morse电码由点、划、字母间隔和单词间隔四种基本符号构成，见表5.1，表中的“”表示按键合上，“”表示按键断开，分别相应于发声与不发声状态；试求Morse信道的信道容量。表5.1 Morse电码的构成表第二十四张，PPT共八十三页，创作于2022年6月2006-10-1868第三章信道容量典型无扰离散信道的信道容量解 通过点、划可构成无穷多种组合，形成明码或密码。设四种基本符号分别为a1,a2,a3,a4，点、划为状态1，字母及单词间隔作为状态2，t 6的间隔均看作单词间隔。由于发报期间，不允许出现2个及2个以上的字母间隔或单词间隔，即“间隔”不能连用，因此Morse信道存在有固定约束，其状态转移图为图5.2。a3a4a1状态1状态2a1a2a2图5.2 例5.3的状态转移图第二十五张，PPT共八十三页，创作于2022年6月表示在T时间内发的最后一个符号2006-10-1869第三章信道容量典型无扰离散信道的信道容量先求在时间T内从状态1转移到状态2或从状态1、2转移到状态1的各种可能消息的总数目，分别用N1(T)和N2(T)表示。则式中是a3并使状 从状态1改变到状态2的各种可能消息的总数，而a3用的时间为b12；其余类推。第二十六张，PPT共八十三页，创作于2022年6月推广之，设从状态i到状态j发的符号为ak，所用的时间为 ，则b11 从状态1到状态1，有两种可能：b21 从状态2到状态1，有两种可能：2006-10-1870第三章信道容量典型无扰离散信道的信道容量b22 从状态2到状态2，无此可能。根据表5.1，有b12从状态1到状态2，有两种可能：第二十七张，PPT共八十三页，创作于2022年6月C=lim=logWmaxT2006-10-1871第三章信道容量典型无扰离散信道的信道容量在T时间里构成的消息总数N(T)为式中Wmax 为差分方程的特征方程的最大正实根。因此，求出这个最大正实根，也就求出了C。采用迭代法，略去中间过程，可解得，Wmax=1.453，故有C=log1.453=0.539 比特/符号时间N(T)=N1(T)+N2(T)(5.14)上式又是一个线性差分方程，由这个差分方程，可得logN(T)(5.15)T 第二十八张，PPT共八十三页，创作于2022年6月3.1 信道的数学模型和分类信道的数学模型和分类3.2 单单符号离散信符号离散信道道3.3 多符号离散信道多符号离散信道3.4 多用户信道多用户信道3.5 信道编码定理信道编码定理第二十九张，PPT共八十三页，创作于2022年6月3.3 多多符号离散信符号离散信道道3.3.1 多符号离散信道的数学模型多符号离散信道的数学模型3.3.2 离散无记忆信道的离散无记忆信道的N次扩展信道次扩展信道和独立并联信道的信道容量和独立并联信道的信道容量第三十张，PPT共八十三页，创作于2022年6月多符号离散信道多符号离散信道 多符号信源通过离散信道传输形成多多符号信源通过离散信道传输形成多符号离散信道。符号离散信道。第三十一张，PPT共八十三页，创作于2022年6月3.3.1 多符号离散信道的数学模型多符号离散信道的数学模型输入输入输出输出第三十二张，PPT共八十三页，创作于2022年6月第三十三张，PPT共八十三页，创作于2022年6月3.3 多多符号离散信符号离散信道道3.3.1 多符号离散信道的数学模型多符号离散信道的数学模型3.3.2 3.3.2 离散无记忆信道的离散无记忆信道的N N次扩展次扩展信道和独立并联信道的信道容量信道和独立并联信道的信道容量第三十四张，PPT共八十三页，创作于2022年6月3.3.2 离散无记忆信道的离散无记忆信道的N次扩展次扩展信道和独立并联信道的信道容量信道和独立并联信道的信道容量无记忆：无记忆：YK仅与仅与XK有关有关第三十五张，PPT共八十三页，创作于2022年6月1YNY第三十六张，PPT共八十三页，创作于2022年6月第三十七张，PPT共八十三页，创作于2022年6月第三十八张，PPT共八十三页，创作于2022年6月(a)=-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()().()/().()/()();(rrrrr第三十九张，PPT共八十三页，创作于2022年6月第四十张，PPT共八十三页，创作于2022年6月I(X;Y)=I(X k k)=NI(X;Y)30单符号离散无记忆信道与其N次扩展信道信道容量之间的关系由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符号集Xka1a2aN(k=1,2,N)，并具有相同的概率分布，而且都通过同一个离散无记忆信道X P(Y/X)Y，信道输出端随机变量序列中的随机变量Yk(k=1,2,N)也取自同一符号集并具有相同的概率分布，而且相互统计独立。所以I(Xk;Yk)=I(X;Y);YNk=13.3.2 离散无记忆信道和独立并联信道的信道容量第四十一张，PPT共八十三页，创作于2022年6月结论结论：离离 散散 无无 记记 忆忆 信信 道道 的的N次次 扩扩 展展 信信 道道，如如 果果 信信 源源 也也 是是 离离 散散 无无记记 忆忆 信信 源源 的的N次次 扩扩 展展 信信 源源，则则 信信 道道 总总 的的 平平 均均 互互 信信 息息 是是 单单 符符 号号 离离 散无散无记忆记忆信道平均互信道平均互信息的信息的N倍。倍。第四十二张，PPT共八十三页，创作于2022年6月第三章信道容量2006-10-2331结论的说明：因为离散无记忆信道N次扩展信道可以用N个单符号离散信道来等效，这N个信道之间没有任何关联关系，若输入端的N个随机变量之间也没有任何关联关系的话，就相当于N个毫不相干的单符号离散信道在分别传送各自的信息，所以在扩展信道的输出端得到的平均信息量必然是单个信道的N倍。用C表示离散无记忆信道容量，用CN表示其扩展信道容量，CN=NC3.3多符号离散信道3.3.2 离散无记忆信道和独立并联信道的信道容量第四十三张，PPT共八十三页，创作于2022年6月+CN =Ck第三章信道容量2006-10-2332独立并联信道独立并联信道/独立并列/独立平行/积信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成3.3多符号离散信道了独立并联信道。是离散无记忆信道的N次扩展信道的推广。输入随机序列X=X1X2XN，Xka1k,a2k,ank输出随机序列Y=Y1Y2YN，Ykb1k,b2k,bnkN个独立并联信道的容量CN第k个单符号离散无记忆信道的信道容量CkNCN C1+C2+k=13.3.2 离散无记忆信道和独立并联信道的信道容量当输入端各随机变量统计独立，且每个输入随机变量Xk(k=1,2,N)的概率分布达到各自信道容量Ck(k=1,2,N)的最佳分布时，CN达到其最大值：第四十四张，PPT共八十三页，创作于2022年6月第三章信道容量2006-10-2333独立并联信道推广到更一般情况：输入各随机变量不但取值于不同的符号集，而且各集合的元素个数也不相同；输出随机变量也取值于不同的符号集合，各集合的元素个数也不相同；这种更一般的信道可得到与上述类似的结论。可以把N个 变 量 的 独 立 并 联 信 道 看 成 是 离 散 无 记 忆信 道 的N次 扩 展 信 道 的 推 广，也 可 以 把 离 散 信 道 的N次扩展看成是独立并联信道的特例。3.3.2 离散无记忆信道和独立并联信道的信道容量第四十五张，PPT共八十三页，创作于2022年6月3.1 信道的数学模型和分类信道的数学模型和分类3.2 单单符号离散信符号离散信道道3.3 多多符号离散信符号离散信道道3.4 3.4 多用户信道多用户信道3.5 信道编码定理信道编码定理第四十六张，PPT共八十三页，创作于2022年6月第三章信道容量2006-10-2334单路通信系统：不论是单符号的还是多符号的，都只有一个输入和一个输出端的信道称为单用户信道，相应的通信系统称为单路信系统。多路通信系统：为了提高通信效率，通信网中的信道往往有多个入端和多个输出端，这种信道称为多用户信道，相应的通信系统为多路通信系统。网络信息论/多用户信息论：研究多路通信系统信息传递的理论。实际的信道大部分是多用户信道。例如：计算机通信、卫星通信、广播通信、有线电视等。3.4.1 多址接入信道3.4.2 广播信道3.4.3 相关信源的多用户信道问题3.4 多用户信道第四十七张，PPT共八十三页，创作于2022年6月3.4 3.4 多用户信道多用户信道3.4.1 多址接入信道多址接入信道3.4.2 广播信道广播信道3.4.3 相关信源的多用户信道相关信源的多用户信道第四十八张，PPT共八十三页，创作于2022年6月第三章信道容量2006-10-2335定义及信道模型多 址 接 入 信 道/多元接入信道：多个用户的信息用多个编码器分别编码以后，送入同一信道传输，在接收端用一个译码器译码，然后分送给不同的用户。这是有多个输入端但只有一个输出端的多用户信道。多址接入信道模型如图3.4.1所示3.4.1 多址接入信道3.4多用户信道第四十九张，PPT共八十三页，创作于2022年6月第三章信道容量2006-10-2336二址接入信道的信道容量最简单的多址接入信道是只有两个输入端和一个输出端的二址接入信道，如图3.4.2所示。U1至U1的信息率R1，信道容量C1U2至U2的信息率R2，信道容量C2总信道容量C123.4多用户信道3.4.1 多址接入信道第五十张，PPT共八十三页，创作于2022年6月3.4.1 多址接入信道多址接入信道多入单出信道多入单出信道信源信源1 1信源信源2 2编码器编码器1 1编码器编码器2 2译译码码二址接入信道模型第五十一张，PPT共八十三页，创作于2022年6月第五十二张，PPT共八十三页，创作于2022年6月第五十三张，PPT共八十三页，创作于2022年6月 C第三章信道容量2006-10-2337这些条件确定了二址接入信道以R1和R2为坐标的二维空间中的某个区域（图中阴影部分），这个区域的界线就是二址接入信道的容量。二址接入信道信息率和信道容量之间满足如下条件 R1 C1 R2 2R1+R2 C123.4多用户信道3.4.1 多址接入信道当X1和X2相互独立时有max(C1,C2)C12C1+C2第五十四张，PPT共八十三页，创作于2022年6月R第三章信道容量2006-10-2338多址接入信道的信道容量二址接入信道的结论很容易推广到多址接入信道；多址接入信道参数多址接入信道数N第r个编码器的信息率为Rr相应的信道容量为Cr；信道总容量为C3.4.1 多址接入信道3.4多用户信道I(X 1X N;Y)rX N)I(X r;Y/X 1maxP(X 1)P(X N)maxP(X 1)P(X N)Nr=1X r 1 X r+1Rr Cr =C =第五十五张，PPT共八十三页，创作于2022年6月 C第三章信道容量2006-10-2339当输入各信源独立时有3.4.1 多址接入信道3.4多用户信道rN r=1 C max Crr这些限制条件规定了一个在N维空间的体积，这个体积的外型是一个截去角的多面体，多面体内是信道允许的信息率，多面体的上界就是多址接入信道的容量。第五十六张，PPT共八十三页，创作于2022年6月3.4 3.4 多用户信道多用户信道3.4.1 多址接入信道多址接入信道3.4.2 广播信道广播信道3.4.3 相关信源的多用户信道相关信源的多用户信道第五十七张，PPT共八十三页，创作于2022年6月第三章信道容量2006-10-2340定义：具有一个输入和多个输出的信道称为广播信道。最简单的广播信道是单输入双输出广播信道，如图3.4.4所示：3.4多用户信道3.4.2 广播信道1221U1U2XY1U1U23.4.4对于一般的广播信道，很难用系统的方法求出其信息率可达区域，只在某些特殊的情况下，能够证明信道容量的容量界线是可以达到的。Y2第五十八张，PPT共八十三页，创作于2022年6月退化广播信道（串联）图3.4.5 退化的广播信道模型第五十九张，PPT共八十三页，创作于2022年6月构成马尔可夫链第六十张，PPT共八十三页，创作于2022年6月不变，保持最大第六十一张，PPT共八十三页，创作于2022年6月3.4 3.4 多用户信道多用户信道3.4.1 多址接入信道多址接入信道3.4.2 广播信道广播信道3.4.3 相关信源的多用户信道相关信源的多用户信道第六十二张，PPT共八十三页，创作于2022年6月第三章信道容量2006-10-2341定义：由多个单用户信道组成的并联信道，传送相互有关的多路息的信道。这种信道有多个输入和多个输出，且输入端各信源之间有关联关系。两个相关信源用两个独立信道传送的多用户信道模型。随着网络技术的发展，多用户信息论在近代信息论中越来越为大家关注，不过许多问题还没有找到系统的解决方法。3.4多用户信道3.4.3 相关信源的多用户信道问题第六十三张，PPT共八十三页，创作于2022年6月模型13.4.3 3.4.3 相关信源的多用户信道相关信源的多用户信道信信源源编码器编码器1 1编码器编码器2 2信道信道1 1信道信道2 2译码器译码器1 1译码器译码器2 2相关信源多用户信道第六十四张，PPT共八十三页，创作于2022年6月第六十五张，PPT共八十三页，创作于2022年6月C2C1第六十六张，PPT共八十三页，创作于2022年6月E1C1D1x1x2边信息边信息模型模型2RE1E2C1C2D1D2x1x2E0C0w第六十七张，PPT共八十三页，创作于2022年6月W:公信息公信息要求要求R0尽可能小，并且在尽可能小，并且在W条件下，条件下，X1X2无关无关第六十八张，PPT共八十三页，创作于2022年6月3.1 3.1 信道的数学模型和分类信道的数学模型和分类3.2 3.2 单符号离散信道单符号离散信道3.3 3.3 多符号离散信道多符号离散信道3.4 3.4 多用户信道多用户信道3.5 3.5 连续信道连续信道第六十九张，PPT共八十三页，创作于2022年6月l连续信道连续信道：输入和输出随机变量都取值于连续集合的信道。：输入和输出随机变量都取值于连续集合的信道。l信道传递特性信道传递特性：传递特性用条件转移概率密度函数：传递特性用条件转移概率密度函数p(y/x)表示。表示。l连续信道数学模型连续信道数学模型：X p(y/x)Y，如图所示：，如图所示：连续信道连续信道第七十张，PPT共八十三页，创作于2022年6月l连续随机变量之间的平均互信息满足非负性，并可以证明，它连续随机变量之间的平均互信息满足非负性，并可以证明，它是信源概率密度函数是信源概率密度函数p(x)的上凸函数。的上凸函数。l连续信道的信道容量连续信道的信道容量C：信源：信源X等于某一概率密度函数等于某一概率密度函数p0(x)时，时，信道平均互信息的最大值，即信道平均互信息的最大值，即l一般连续信道的容量并不容易计算，当信道为加性信道时，情况一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。要简单一些。连续信道的信道容量连续信道的信道容量第七十一张，PPT共八十三页，创作于2022年6月l加性连续信道：噪声为连续随机变量加性连续信道：噪声为连续随机变量N，且与，且与X相互统计独相互统计独立的信道。立的信道。l这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即Y=X+N。如图所示：。如图所示：加性连续信道的信道容量加性连续信道的信道容量第七十二张，PPT共八十三页，创作于2022年6月l加性连续信道的条件概率密度函数等于噪声的概率密度加性连续信道的条件概率密度函数等于噪声的概率密度 p(y/x)=p(n)，这，这进一步说明信道的传递概率是由于噪声熵所引起的。进一步说明信道的传递概率是由于噪声熵所引起的。l加性连续信道的条件熵等于噪声熵加性连续信道的条件熵等于噪声熵Hc(Y/X)=Hc(N)。说明。说明Hc(Y/X)是由噪声引起是由噪声引起的，故称的，故称Hc(N)为噪声熵。为噪声熵。l该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确定性，即该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确定性，即噪声信源的熵，所以称它为噪声熵。噪声信源的熵，所以称它为噪声熵。加性连续信道的信道容量加性连续信道的信道容量第七十三张，PPT共八十三页，创作于2022年6月l加性连续信道的信道容量：加性连续信道的信道容量：l加性噪声加性噪声N和信源和信源X相互统计独立，相互统计独立，X的概率密度函数的概率密度函数p(x)的变动不会引起噪声熵的变动不会引起噪声熵Hc(N)的改变，所以加性信的改变，所以加性信道的容量道的容量C就是选择就是选择p(x)，使输出熵，使输出熵Hc(Y)达到最大值，达到最大值，即即l上式说明：加性连续信道容量取决于噪声上式说明：加性连续信道容量取决于噪声N（即信道）（即信道）的统计特性和输入随机变量的统计特性和输入随机变量X所受的限制条件。所受的限制条件。（对于不同（对于不同的限制条件，连续随机变量具有不同的最大熵值。）的限制条件，连续随机变量具有不同的最大熵值。）第七十四张，PPT共八十三页，创作于2022年6月l高斯加性连续信道：高斯加性连续信道：高斯噪声为高斯噪声为N，均值为，均值为0，方差为，方差为2，噪声功率为，噪声功率为PN；l信道的传递概率密度函数：信道的传递概率密度函数：p(y/x)=p(n)l如果把如果把x看成是一个常数，则上式就变成了随看成是一个常数，则上式就变成了随y变化的高斯函数，即当变化的高斯函数，即当已知已知X=x时，时，Y也是一个高斯变量，均值为也是一个高斯变量，均值为x，方差为，方差为2。高斯加性连续信道的信道容量高斯加性连续信道的信道容量第七十五张，PPT共八十三页，创作于2022年6月l因此高斯加性信道的容量为因此高斯加性信道的容量为第七十六张，PPT共八十三页，创作于2022年6月l输入概率密度函数输入概率密度函数p(x)是什么样的函数时，才能使是什么样的函数时，才能使Y呈高斯分布？呈高斯分布？l设限定输入平均功率设限定输入平均功率PX，噪声平均功率，噪声平均功率PN=2，则输出随机变量，则输出随机变量Y的平均功率的平均功率PY也是受限的。也是受限的。l根据最大连续熵定理，要使根据最大连续熵定理，要使Hc(Y)达到最大，达到最大，Y必须是一个均值为必须是一个均值为0、方差为、方差为2Y=PY的高斯随机变量。的高斯随机变量。l高斯加性信道中输入高斯加性信道中输入X和噪声和噪声N相互统计独立，且相互统计独立，且Y=X+N。由概率。由概率论可知：若输入论可知：若输入X是均值为是均值为0、方差为、方差为2X=PX的高斯随机变量，即的高斯随机变量，即X的概率密度函数为的概率密度函数为p(x)，则可以证明，输出，则可以证明，输出Y的概率密度函数就的概率密度函数就等于（接下页）等于（接下页）平均功率受限的加性信道的信道容量平均功率受限的加性信道的信道容量第七十七张，PPT共八十三页，创作于2022年6月续上页续上页l即当输入随机变量即当输入随机变量X的概率密度是均值为的概率密度是均值为0、方差、方差2X的高斯随机变量；的高斯随机变量；加性信道的噪声加性信道的噪声N是均值为是均值为0、方差为、方差为2的高斯随机变量时；输出随机变的高斯随机变量时；输出随机变量量Y也是一个高斯随机变量，其均值为也是一个高斯随机变量，其均值为0、方差为、方差为2Y=2X+2=PY。l这时输出端的连续熵这时输出端的连续熵Hc(Y)达到最大值，即达到最大值，即l(PX/PN)称为信道的信噪功率比。称为信道的信噪功率比。第七十八张，PPT共八十三页，创作于2022年6月l设信道的频带限于设信道的频带限于(0,W)；l根据采样定理，如果每秒传送根据采样定理，如果每秒传送2W个采样点，在接收端可无失真地恢复出个采样点，在接收端可无失真地恢复出原始信号；原始信号；l香农公式：把信道的一次传输看成是一次采样，由于信道每秒传输香农公式：把信道的一次传输看成是一次采样，由于信道每秒传输2W个样点，所以单位时间的信道容量为个样点，所以单位时间的信道容量为 (Ct：最大的信息传输速率：最大的信息传输速率/单位时间内单位时间内)香农信道容量公式香农信道容量公式第七十九张，PPT共八十三页，创作于2022年6月l香农公式说明：香农公式说明：当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。之，当信道频带较窄时，可以通过提高信噪功率比来补偿。当信道当信道频带无限宽频带无限宽时，其信道容量与信号功率成正比。时，其信道容量与信号功率成正比。第八十张，PPT共八十三页，创作于2022年6月n信道容量信道容量C随频带随频带W的变化曲线如下图：的变化曲线如下图：n在开始阶段，在开始阶段，C随随W增长较快，当增长较快，当W超过超过S/No点后，点后，C随随W增长的速度下降。增长的速度下降。n当当W趋于趋于时，时，C趋于渐近值趋于渐近值1.44(S/No)第八十一张，PPT共八十三页，创作于2022年6月n香农定理还指出带宽和功率的互换性。当带宽为无限大香农定理还指出带宽和功率的互换性。当带宽为无限大时，时，S/N0S/N0趋于趋于-1.6dB-1.6dB，这就是香农极限。这就是香农极限。n如何实现带宽和功率的互换，香农定理本身没有指明。如何实现带宽和功率的互换，香农定理本身没有指明。n能否用扩频技术实现带宽与功率的互换？不能！在高斯白噪能否用扩频技术实现带宽与功率的互换？不能！在高斯白噪声信道上，扩频技术没有任何功率增益。声信道上，扩频技术没有任何功率增益。n要实现带宽和功率的互换，可以采用纠错编码技术。纠错要实现带宽和功率的互换，可以采用纠错编码技术。纠错编码属于一种信道编码。编码属于一种信道编码。第八十二张，PPT共八十三页，创作于2022年6月3.6 3.6 信道编码定理信道编码定理 若一离散平稳无记忆信道，其容量为C，输入序列长度为L，只要待传送的信息率RC,RC,任何编码的必大于0，当第八十三张，PPT共八十三页，创作于2022年6月