第3章 信道.ppt
总结：信道容量总结：信道容量信道的信息率：信道的信息率：信道容量描述的是信道的最大通过能力；信道容量描述的是信道的最大通过能力；信道容量是信道的固有参数，只与信道转移概率有关。信道容量是信道的固有参数，只与信道转移概率有关。衡量信息传输系统好坏的指标是：衡量信息传输系统好坏的指标是：1）数量（速度）指标：信息（传输）率）数量（速度）指标：信息（传输）率R；2）质量指标：平均差错率）质量指标：平均差错率Pe。信道的信息速率：信道的信息速率：信息容量：信息容量：最佳输入概率分布：最佳输入概率分布：总结：特殊信道的总结：特殊信道的C无损信道无损信道无损信道无损信道确定信道确定信道确定信道确定信道无损确定信道无损确定信道无损确定信道无损确定信道最佳输入概率分布存在但不唯一最佳输入概率分布存在但不唯一最佳输入概率分布存在但不唯一最佳输入概率分布存在但不唯一 。离散对称信道离散对称信道离散对称信道离散对称信道输入等概分布时，输出也等概分布。输入等概分布时，输出也等概分布。输入等概分布时，输出也等概分布。输入等概分布时，输出也等概分布。离散准对称信道离散准对称信道离散准对称信道离散准对称信道最佳输入分布为等概率分布，但此时输出不等概最佳输入分布为等概率分布，但此时输出不等概最佳输入分布为等概率分布，但此时输出不等概最佳输入分布为等概率分布，但此时输出不等概 。总结：离散信道的扩展总结：离散信道的扩展扩展信源的平均互信息量：扩展信源的平均互信息量：扩展信源的数学模型：扩展信源的数学模型：若信道无记忆，若信道无记忆，若信源无记忆，若信源无记忆，若若信道和信道和信源无记忆，信源无记忆，DMC的的N次扩展信道的信道容量：次扩展信道的信道容量：总结：信道组合与匹配总结：信道组合与匹配独立并联信道独立并联信道串联信道串联信道转移概率矩阵：转移概率矩阵：信息不增性原理信息不增性原理信息不增性原理信息不增性原理：通过信道的信息不会增加。：通过信道的信息不会增加。：通过信道的信息不会增加。：通过信道的信息不会增加。数据处理定理数据处理定理数据处理定理数据处理定理：数据经过处理之后，不会使信息增加，随着数：数据经过处理之后，不会使信息增加，随着数：数据经过处理之后，不会使信息增加，随着数：数据经过处理之后，不会使信息增加，随着数据的不断处理，从处理后的数据中所得的原始信息会愈来愈少。据的不断处理，从处理后的数据中所得的原始信息会愈来愈少。据的不断处理，从处理后的数据中所得的原始信息会愈来愈少。据的不断处理，从处理后的数据中所得的原始信息会愈来愈少。1 1 1 1）符号匹配符号匹配符号匹配符号匹配：信源输出的符号必须是信道能够传送的符号，即要求信源符：信源输出的符号必须是信道能够传送的符号，即要求信源符：信源输出的符号必须是信道能够传送的符号，即要求信源符：信源输出的符号必须是信道能够传送的符号，即要求信源符号集就是信道的入口符号集或入口符号集的子集。号集就是信道的入口符号集或入口符号集的子集。号集就是信道的入口符号集或入口符号集的子集。号集就是信道的入口符号集或入口符号集的子集。2 2 2 2）信息匹配信息匹配信息匹配信息匹配：信源与信道：信源与信道：信源与信道：信源与信道(信息信息信息信息)匹配的程度可用信道剩余度来衡量。匹配的程度可用信道剩余度来衡量。匹配的程度可用信道剩余度来衡量。匹配的程度可用信道剩余度来衡量。信道绝对剩余度信道绝对剩余度信道绝对剩余度信道绝对剩余度 信道相对剩余度信道相对剩余度信道相对剩余度信道相对剩余度 总结：连续信道总结：连续信道加性高斯噪声信道的信道容量加性高斯噪声信道的信道容量一般加性噪声信道的信道容量的界一般加性噪声信道的信道容量的界加性噪声信道加性噪声信道输入输入X X与干扰与干扰Z Z无关，且无关，且（1 1 1 1）在能源很珍贵的场合，可用频带换取信噪比，即采用扩频通信的方法）在能源很珍贵的场合，可用频带换取信噪比，即采用扩频通信的方法）在能源很珍贵的场合，可用频带换取信噪比，即采用扩频通信的方法）在能源很珍贵的场合，可用频带换取信噪比，即采用扩频通信的方法来增加信道容量：在信噪比来增加信道容量：在信噪比来增加信道容量：在信噪比来增加信道容量：在信噪比P PS S/P PN N=P PS S/N N0 0B B不变的前提下，增大频带不变的前提下，增大频带不变的前提下，增大频带不变的前提下，增大频带B B B B，可增，可增，可增，可增大信道容量大信道容量大信道容量大信道容量C C C C。但但但但扩频通信作用扩频通信作用扩频通信作用扩频通信作用有限有限有限有限：（2 2 2 2）在频率资源受限制的场合，可）在频率资源受限制的场合，可）在频率资源受限制的场合，可）在频率资源受限制的场合，可用信噪比换取频带用信噪比换取频带用信噪比换取频带用信噪比换取频带：在频带：在频带：在频带：在频带B B B B不变的前提不变的前提不变的前提不变的前提下，增大信噪比下，增大信噪比下，增大信噪比下，增大信噪比P PS S/P PN N，可增大信道容量，可增大信道容量，可增大信道容量，可增大信道容量C C C C。这种方法也有局限性。这种方法也有局限性。这种方法也有局限性。这种方法也有局限性。因为因为因为因为增大信噪比增大信噪比增大信噪比增大信噪比P PS S/P PN N是靠加大输入功率是靠加大输入功率是靠加大输入功率是靠加大输入功率P PS S来实现的。而来实现的。而来实现的。而来实现的。而可见，当可见，当可见，当可见，当P PS S增大到一定程度之后，即使增大到一定程度之后，即使增大到一定程度之后，即使增大到一定程度之后，即使P PS S增加很多，增加很多，增加很多，增加很多，C C(P PS S)的增长幅度却很的增长幅度却很的增长幅度却很的增长幅度却很小，得不偿失。小，得不偿失。小，得不偿失。小，得不偿失。总结：波形信道总结：波形信道带限加性高斯白噪声信道的信道容量带限加性高斯白噪声信道的信道容量填空题填空题1.对于无记忆加性噪声信道，假设输入信号服从高斯分布，且噪声的平均功率受限，则服从高斯分布的噪声使信道平均互信息量达到最 。2.在加性高斯噪声信道中传输信息，分布的输入信号是最有效的。3.波形信道的信道容量与信噪比有关，提高信噪比可以 信道容量。4.波形信道的信道容量与频带B有关，若信噪比不变，5.则 频带B可使信道容量增大。5.给定信源X，信道输出为Y，I(X;Y)是输入概率的 凸函数。6.对称信道的最佳分布是 。7.离散无记忆信道的统计特性是由 概率分布来描述的。8.某离散无记忆信道的信道容量为C，则其N次扩展信道的信道容量为 。填空题填空题9.信道2秒钟传一个符号，信道的I(X;Y)=3bit，Rt=bit/秒。10.给定信源X，信道输出为Y，I(X;Y)是 概率的下凸函数。11.离散对称信道输入 时，输出为 分布，达到信道容量。12.有记忆信道的当前输出不仅与 输入有关，还与 输入有关。13.通常把H(X|Y)称为信道的 或 。14.通常把H(Y|X)称为信道的 或 。15.衡量一个信息传输系统的好坏，有两个主要指标：其一，；其二，；16.若信源离散无记忆，则N维序列有H(X)，I(X;Y)。（填不等号）17.对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 ；最大信息传输率为 。18.对于理想信道，H(X|Y)=，I(X;Y)=。20.H(X|Y)与H(X)的关系式为 。19.对于强噪声信道，H(X|Y)=。判断题判断题1.离散无记忆信道X,PY/X,Y是无损的，意味着H(X|Y)=0。2.加性高斯噪声信道的最佳输入分布仍为高斯分布。3.对于无记忆加性噪声信道，若输入信号服从高斯分布，且平均功率受限，则服从高斯分布的噪声是最有害的。4.有噪信道串联，串联环节增加不影响串联信道的平均互信息量。5.信道剩余度大，意味着信源与信道（信息）匹配程度高。6.串联信道的转移概率矩阵是各单元信道转移概率矩阵之积。7.数据处理过程中，随着数据的不断处理，从处理后的数据中所得的原始信息不会增加。8.信道容量C不仅与信道转移概率有关，也与信道的输入分布有关。9.离散对称信道输入等概率分布时，输出未必等概率分布。10.一般DMC达到信道容量的充要条件为各信源符号的偏互信息均等于信道容量。问答题问答题信源编码和信道编码的目的是什么。什么是香农容量公式，为保证足够大的信道容量，可采用哪两种方法。香农信道容量公式为式中，信噪比PS/PN=PS/N0B。试根据香农信道容量公式，讨论在能源很珍贵的场合增大信道容量的方法以及方法的局限性。试根据香农信道容量公式，讨论在频率资源受限的场合增大信道容量的方法以及方法的局限性。问答题问答题设DMC的转移矩阵为 ，求该信道的2次扩展信道的转移矩阵。一家快餐店提供汉堡包和牛排，当顾客进店以后只需向厨房喊一声“B”或“Z”就表示他点的是汉堡包或牛排，不过通常情况下厨师听错的可能性为8%。一般进店的顾客有90%会点汉堡包。问：（1）这个信道的信道容量；（2）每次顾客点菜时提供的信息；（3）这个信道能否正确传递顾客点菜的信息？设离散无记忆信源X通过离散无记忆信道 传送信息，设信源的概率分布和信道的线图分别为，求：1）信源X和信道输出Y的熵；2）信道疑义度H(X|Y)和噪声熵H(Y|X)。3）信源X的符号a1和a2分别含有的自信息；4）从输出符号 分别所获得的关于输入符号 的信息量；a1a2b1b20.80.10.20.9二进制删除信道（BEC），输入概率为：，（注：写出表达式即可，不必要计算对数（注：写出表达式即可，不必要计算对数值）值）求 及 。三个特殊的DMC的转移矩阵如下：分别判断各信道属何种信道（无损、确定、无损确定、对称、准对称、一般），求出各信道的最佳输入分布和信道容量。（注：,）设信道转移矩阵为试列出能够解出信道容量的方程组。（不要求求出结果）设有一离散无记忆信源，其概率空间为通过信道BSC(0.05)，该信道以1000二元符号/秒的速度传输输入符号，求：1）H(X)、H(Y|X)和I(X;Y);2）从信息传输的角度来考虑，10秒钟内能否将9300个信源符号无失真地传送完？对称DMC信道具有如下性质：信道的条件熵H(Y/X)与信道输入符号的概率分布P(xi)无关；
