第四章信道及信道容量精选文档.ppt

第四章信道及信道容量北京邮电大学出版社北京邮电大学出版社Beijing University of Posts and Telecommunications Press本讲稿第一页，共三十七页 BUPT Press 信信道道是指信息传输的通道，包括空空间间传传输输和时时间间传传输输。我们在实际通信中所利用的各种物理通道是空间传输信道的最典型的例子，时间传输是指将信息保存，在以后读取，如磁带、光盘等在时间上将信息进行传输的信道。有时我们把为了某种目的而使信息不得不经过的通道也看作信道，这里最关键的是信道有一个输入以及一个与输入有关的输出。至于信道本身的物理结构可能是千差万别的，信息论研究的信道其输入点和输出点在一个实际物理通道中所处位置的选择完全取决于研究的目的。关于信道的主要问题有：1.信道的建模（信道的统计特性的描述）2.信道容量的计算 3.在有噪信道中能不能实现可靠传输？怎样实现可靠传输？本讲稿第二页，共三十七页 BUPT Press4.1 信道的分类信道的分类 信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性是已知的，这样信道就可以用图4.1所示的抽象的数学模型来描述。在信息论中，信道通常表示成：，即信道输入随机变量X、输出随机变量Y以及在输入已知的情况下，输出的条件概率分布 。根据实际应用的需要，信道有几种 分类方法：(1)按其输入/输出信号在幅度和时间 上的取值是离散或连续来划分 如表4.1所示：图4.1 信道模型本讲稿第三页，共三十七页 BUPT Press 表表4.1 按其输入按其输入/输出信号在幅度和时间上的取值是离散或连续来划分输出信号在幅度和时间上的取值是离散或连续来划分 （2）按其输入/输出信号之间关系的记忆特性分为有记忆信道有记忆信道和 无记忆信道无记忆信道。（3）按输入/输出信号之间的关系是否确定关系分为有噪声信道有噪声信道 和无噪声信道无噪声信道。幅度幅度时间时间信道名称信道名称离散离散离散信道（数字信道）连续离散连续信道连续连续模拟信道（波形信道）离散连续（理论和实用价值均很小）本讲稿第四页，共三十七页 BUPT Press（4）另外，根据信道输入和输出的个数可分为 两端信道两端信道（单用户信道单用户信道）：只有一个输入端和一个输出端的单 向通信的信道。多端信道多端信道（多用户信道多用户信道）：双向通信或三个或更多个用户之间 相互通信的情况。本课程主要研究两端信道的情况。（5）根据信道的统计特性是否随时间变化分为：恒参信道恒参信道（平稳信道平稳信道）：信道的统计特性不随时间变化。卫星通 信信道在某种意义下可以近似为恒参信道。随参信道随参信道（非平稳信道非平稳信道）：信道的统计特性随时间变化。如短波 通信中，其信道可看成随参信道。本课程主要研究恒参信道的情况。本讲稿第五页，共三十七页 BUPT Press4.2 离散单符号信道及其信道容量离散单符号信道及其信道容量 4.2.1 离散单符号信道的数学模型离散单符号信道的数学模型 信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道离散单符号信道。设离散单符号信道的输入随机变量为 ，输出随机变量为 ，由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率 来描述：信道传递概率实际上是一个传递概率矩阵，称为信道矩阵信道矩阵，记为：本讲稿第六页，共三十七页 BUPT Press为了表述简便，常常写成本讲稿第七页，共三十七页 BUPT Press 下面推导一般离散单符号信道的一些概率关系：（1）输入输出随机变量的联合概率分布为 则有 其中 是信道传递概率，即输入为 ，通过信道传输输出 的概率，通常称为前向概率前向概率。它是由于信道噪声引起的，所 以通常用它描述信道噪声的特性。而 是已知信道输出符号 ，输入符号为 的概率，称为后向概率后向概率。有时把 称为输入 符号的先验概率先验概率。而对应的把 称为输入符号的后验概率后验概率。本讲稿第八页，共三十七页 BUPT Press （2）由全概率公式，可从先验概率和信道传递概率求输出符号的 概率：写成向量的形式：或记成 （3）根据贝叶斯公式，可由先验概率和信道的传递概率求后向 概率：本讲稿第九页，共三十七页 BUPT Press4.2.2 信道容量的概念信道容量的概念 平平均均互互信信息息 是接收到输出符号集 后所获得的关于输入符号集 的信息量。信源的不确定性为 ，由于干扰的存在，接收端收到 后对信源仍然存在的不确定性为 ，又称为信信道道疑疑义义度度。信宿所消除的关于信源的不确定性，也就是获得的关于信源的信息为 ，它是平均意义上每传送一个符号流经信道的信息量，从这个意义上来说，平均互信息又称为信道的信信息息传传输率输率，通常用 表示。即 有时我们所关心的是信道在单位时间内平均传输的信息量。如果平均传输一个符号为t秒，则信道平均每秒钟传输的信息量为 一般称为信息传输速率信息传输速率。比特/符号比特/秒本讲稿第十页，共三十七页 BUPT Press 对于固定的信道，总存在一种信源（某种输入概率分布），使信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量信道容量，而相应的输入概率分布称为最佳输入分布最佳输入分布。定义定义4.1 信道容量为平均互信息对于输入概率分布的最大值：单位依所用的对数底不同可以是比特/符号、奈特/符号等。若平均传输一个符号需要t t秒钟，则信道在单位时间内平均传输的最大信息量 信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。本讲稿第十一页，共三十七页 BUPT Press 图4.3 表示不同的二元对称信 道，其传递概率p不同，信道 容量也不同。当p=1/2时，是一种最坏的信 道，这时C=0，即该信道不能 传递任何信息，信息全部损失 在信道中了。而当p=0 或p=1 时，C=1，这是最好的情况，信道能够无失真的传送信源信 息。图4.3 BSC的信道容量本讲稿第十二页，共三十七页 BUPT Press4.2.3 几种几种特殊信道特殊信道的信道容量的信道容量1.具有扩展性能的无损信道具有扩展性能的无损信道 无损信道是一个输入对应多个输出。如图4.4所示，信道矩阵为 无损信道信道矩阵中每一列只有一个非 零元素，接收到信道输出符号后对输入 符号将不存在不确定性。图4.4 无损信道本讲稿第十三页，共三十七页 BUPT Press2.具有归并性能的无噪信道具有归并性能的无噪信道 无噪信道是一个输出对应多个输入。如图4.5所示，信道矩阵为 无噪信道每一行只有一个非零元素1，信道矩阵元素非零即1。已知信道输 入符号，必能确定输出符号。图4.5 无噪信道本讲稿第十四页，共三十七页 BUPT Press 3.具有一一对应关系的无噪无损信道具有一一对应关系的无噪无损信道 无噪无损信道输入、输出之间有确定的一一对应关系，即 。信道传递概率为 如图4.6所示，信道矩阵为 无噪无损信道每一行、每一列只有一个 “1”，已知 X后对Y不存在不确定性，收 到 Y后对X也不存在不确定性。图4.6 无噪无损信道本讲稿第十五页，共三十七页 BUPT Press4.2.4 离散对称信道的信道容量离散对称信道的信道容量 离散信道中有一类特殊的信道，其特点是信道矩阵具有行对称性，利用这个对称性我们可以简化信道容量的计算。定义定义4.2 若信道矩阵中，每行都是第一行元素的不同排列，则称此类信道为行对称信道行对称信道。定义定义4.3 若信道矩阵中，不仅每行都是第一行元素的不同排列，而且每列都是第一列元素的不同排列，这类信道称为对称信道对称信道。定义定义4.4 若信道矩阵中，每行都是第一行元素的不同排列，每列并不都是第一列元素的不同排列，但是可以按照信道矩阵的列将信道矩阵划分成若干对称的子矩阵，则称这类信道为准对称信道准对称信道。本讲稿第十六页，共三十七页 BUPT Press 定义定义4.5 若对称信道中输入符号和输出符号个数相同，且信道中总的错误概率为p，对称地平均分配给r-1个输出符号，r为输入输出符号的个数，即信道矩阵为 则称此信道为强对称信道强对称信道或均匀信道均匀信道。本讲稿第十七页，共三十七页 BUPT Press 二元对称信道就是r=2的均匀信道。一般信道的信道矩阵中各行之和为1，但各列之和不一定等于1，而均匀信道中各列之和亦等于1。定定理理4.1 对于对称信道，当输入分布为等概分布时，输出分布必能达到等概分布。定定理理4.2 若一个离散对称信道具有r个输入符号，s个输出符号，则当输入为等概分布时达到信道容量，且 其中 为信道矩阵中的任一行。推论：推论：均匀信道的信道容量为 本讲稿第十八页，共三十七页 BUPT Press 当输入为等概分布时，输出为等概分布，信道达到信道容量。当r=2 时的均匀信道常称为二元对称信道二元对称信道，这时C=1H(p)。对于一般的离散行对称信道，信道容量C仍然可以写成：但是不一定存在一种输入分布能使输出达到等概分布，此时的信道容量 。而离散对称信道的信道矩阵中每一列都是由同一组元素的不同排列组成，所以保证了当输入符号X为等概分布时，输出符号Y一定也是等概分布，输出随机变量熵可以达到 。对于离散准对称信道，但是可以证明当输入为等概分布时，可以达到信道容量 本讲稿第十九页，共三十七页 BUPT Press4.2.5 一般离散信道的信道容量一般离散信道的信道容量 平均互信息 是输入概率分布p(x)的上凸函数，因此极大值必定存在。在信道固定的条件下，平均互信息是r个变量 的多元函数，且满足约束条件 ，故可用拉格朗日乘子法来求这个条件极值。即在 设辅助函数：，当 时求得的 的值即为信道容量。通过计算可得平均互信息的极大值 ，即的条件下求 的极值。本讲稿第二十页，共三十七页 BUPT Press 这样得到的信道容量有一个参数 。在某些情况下可以消去 得到信道容量值。1当输入概率分布只有一个变量时，例如r=2，可以设输入概率分布为 和 ，因此输入概率分布只有一个变量，这时我们可以直接对 求导求出，从而得出 的极大值C。2对于信道矩阵为可逆矩阵的信道，我们可以采用解方程组的方法。在一般信道的信道容量的推导中我们推出了下式：本讲稿第二十一页，共三十七页 BUPT Press 移项得 当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。这时就可以求出 ，然后根据 求出信道容量：令则所以本讲稿第二十二页，共三十七页 BUPT Press由 和C就可以求得输出概率分布（1）由 列方程组求出 ；（2）由 求出C；（3）由 求出 ；（4）由 列方程组求 。再根据列方程组求将计算步骤总结如下：本讲稿第二十三页，共三十七页 BUPT Press4.2.6 信道容量定理信道容量定理 从以上的讨论可知，求信道容量的问题实际上是在约束条件下求多元函数极值的问题，在通常情况下，计算量是非常大的。下面我们介绍一般离散信道的平均互信息 达到信道容量的充要条件，在某些情况下它可以帮助我们较快地找到极值点。定定理理4.3 设有一般离散信道，它有r个输入信号，s个输出信号。当且仅当存在常数C使输入分布 满足：(1)当 (2)当 其中，它表示信道输入 时，所给出关于输出Y的信息量。常数C即为所求的信道容量。时，达到最大值。本讲稿第二十四页，共三十七页 BUPT Press 信道容量定理信道容量定理告诉我们，平均互信息 取到极大值也就是信道容量时，对于任意 ，只要它出现的概率大于0，都相等。信道容量定理只给出了达到信道容量时，最佳输入概率分布应满足的条件，并没有给出最佳输入概率分布值，也没有给出信道容量的数值。另外，定理本身也隐含着达到信道容量的最佳分布不一定是唯一的，只要输入概率分布满足充要条件式，就是信道的最佳输入分布。在一些特殊情况下，我们常常利用这一定理寻求输入分布和信道容量值。本讲稿第二十五页，共三十七页 BUPT Press4.3 离散多符号信道及其信道容量离散多符号信道及其信道容量 实际离散信道的输入和输出常常是随机变量序列，用随机矢量来表示，称为离散多符号信道，离散多符号信道，如图4.8所示。实际离散信道往往是有记忆信道，为了简化起见，我们主要研究离散无记忆信道。定定义义4.6 若在任意时刻信道的输出只与此时刻信道的输入有关，而与其他时刻的输入和输出无关，则称之为离离散散无无记记忆忆信信道道，简称为DMC(discrete memoryless channel)。输入、输出随机序列的长度为N的离 散无记忆平稳信道通常称为离散无记 忆信道的N次扩展信道。N次扩展信道的信道矩阵是一个 的矩阵。图4.8 离散多符号信道本讲稿第二十六页，共三十七页 BUPT Press 离散无记忆信道的数学模型仍然表示为：，注意这时输入、输出均为随机矢量。根据信道无记忆的特性，其转移概率 定理定理4.4 若信道的输入和输出分别是N长序列X和Y，且信道是无记忆的，则存在 这里Xk、Yk分别是序列X和Y中第k位随机变量。本讲稿第二十七页，共三十七页 BUPT Press 对于离散无记忆N次扩展信道，当信源是平稳无记忆信源时，其平均互信息 等于单符号信道的平均互信息的N倍。离散无记忆信道的N次扩展信道的信道容量为 因为现在输入随机序列在同一信道中传输，所以任何时刻通过离散无记忆信道传输的最大信息量都相同，即 所以 当信源也是无记忆信源并且每一时刻的输入分布各自达到最佳输入分布时，才能达到这个信道容量NC。一般情况下，消息序列在离散无记忆N次扩展信道中传输时，其平均互信息量 本讲稿第二十八页，共三十七页 BUPT Press4.4 组组合信道及其信道容量合信道及其信道容量 前面我们分析了单符号离散信道和离散无记忆信道的扩展信道。实际应用中常常会遇到两个或更多个信道组合在一起使用的情况。例如，待发送的消息比较多时，可能要用两个或更多个信道并行发送，这种组合信道称为并并联联信信道道；有时消息会依次地通过几个信道串联发送，例如无线电中继信道，数据处理系统，这种组合信道称为级级联联信信道道。在研究较复杂信道时，为使问题简化，往往可以将它们分解成几个简单的信道的组合。这一节我们将讨论这两种组合信道的信道容量与其组成信道的信道容量之间的关系。本讲稿第二十九页，共三十七页 BUPT Press4.4.1 独立并独立并联联信道信道 一般独立并联信道如图4.10所示。可以把定理4.2的结论推广到N个独 立并联信道中来：只有当每个输入随机变量的概率分布 均达到各自信道的最佳输入分布时，独立并联信道的信道容量才等于各信 道容量之和：当N个独立并联信道的信道容量都相同时，图4.10 独立并联信道本讲稿第三十页，共三十七页 BUPT Press4.4.2 级联级联信道信道 级联信道是信道最基本的组合形式，许多实际信道都可以看成是其组成信道的级联。图4.11是由两个单符号信道组成的最简单的级联信道。XYZ 组成一个马尔可夫链。根据马尔可夫链的性质，级联信道的总的信道矩阵等于这两个串接信道的信道矩阵的乘积。求得级联信道的总的信道矩阵后，级联信道的信道容量就可以用求离散单符号信道的信道容量的方法计算。图4.11 级联信道 本讲稿第三十一页，共三十七页 BUPT Press*4.5 连续信道及其信道容量连续信道及其信道容量 4.5.1 连续随机变量的互信息连续随机变量的互信息 连续随机变量和之间的平均互信息定义为 连续随机变量的平均互信息具有和离散随机变量的平均互信息一样的性质：1对对称性称性：2非负性：非负性：当且仅当随机变量和统计独立时等号成立。本讲稿第三十二页，共三十七页 BUPT Press4.5.2 高斯加性信道的信道容量高斯加性信道的信道容量 高斯信道是最差的信道，实际应用中往往把噪声视为高斯噪声。噪声源为高斯白噪声的加性信道。其信道容量 如果噪声N是均值为0、方差为 的高斯随机变量，即 表示噪声N的平均功率。这种信道称为高斯加性连续信道高斯加性连续信道。本讲稿第三十三页，共三十七页 BUPT Press 当输入随机变量X的概率密度是均值为0、方差为 的高斯随机变量，加性信道的噪声N是均值为0、方差为 的高斯随机变量时，输出随机变量Y也是一个高斯随机变量，其均值为0、方差为 ，此时输出随机变量的熵 达到最大，而信道达到信道容量：其中 称为信道的信噪比。本讲稿第三十四页，共三十七页 BUPT Press4.5.3 多维高斯加性信道的信道容量多维高斯加性信道的信道容量 当信道为多维高斯加性信道时，由于加性噪声信道必然是一个无记忆信道，所以 当且仅当输入随机矢量X中各分量统计独立，并且均为高斯变量时达到信道容量。如果在每个抽样时刻信源和噪声是均值为0、方差分别为 和 的高斯随机变量，因此则比特/n个样值本讲稿第三十五页，共三十七页 BUPT Press*4.6 波形信道及其信道容量波形信道及其信道容量 波形信道通常根据抽样定理转化成多维连续信道进行处理。一般来说，信道的带宽总是有限的。假设某信道的频带限于（0，B），则其输入、输出信号和噪声都是限频的随机过程，频带限于（0，B）。根据抽样定理，可把一个时间连续的信道变换成时间离散的随机序列信道来处理，即用每隔 秒时间的采样值来 表示输入、输出信号和噪声。我们把一次采样看成信道的一次传输，由于每秒传送2B个样值，所以单位时间的信道容量为 当噪声是双边功率谱密度为 的高斯白噪声时，比特/秒本讲稿第三十六页，共三十七页 BUPT Press 这就是著名的香香农农公公式式，它适用于加性高斯白噪声信道。从前面的讨论可知，只有当输入信号为功率受限的高斯白噪声信号时，才能达到该信道容量。香农公式说明，当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。上式表明当频带很宽时，信道容量正比于信号功率与噪声谱密度之比。上式是加性高斯噪声信道信息传输率的极限值。当 时，则本讲稿第三十七页，共三十七页