教学课件：第6章-离散信道及其容量.ppt

1/78离散信道及其容量第第 6 6 章章北京邮电大学北京邮电大学北京邮电大学北京邮电大学 信息与通信工程学院信息与通信工程学院信息与通信工程学院信息与通信工程学院 许文俊许文俊许文俊许文俊2/78信信道道是是信信号号的的传传输输媒媒介介，是是传传送送信信息息的的物理物理通道。通道。(举例举例)研研究究信信道道的的目目的的主主要要是是为为了了解解决决信信息息如何有效、可靠地传输的问题。如何有效、可靠地传输的问题。本本章章重重点点解解决决某某些些特特殊殊信信道道容容量量的的计计算问题。算问题。第第6 6章章 离散信道及其容量离散信道及其容量3/78 概述 单符号离散信道及其容量 级联信道及其容量 信道容量的迭代计算本章主要内容本章主要内容 多维矢量信道及其容量4/786.1 6.1 概述概述 信道的分类 离散信道的数学模型 信道容量的定义5/786.1.1 6.1.1 信道的分类信道的分类 数字通信系统的基本模型数字通信系统的基本模型 依据不同的条件，不同模块之间的通道可以依据不同的条件，不同模块之间的通道可以划分为不同的信道划分为不同的信道6/786.1.1 6.1.1 信道的分类信道的分类 按输入、输出集合的取值分类按输入、输出集合的取值分类 按输入、输出集合的个数分类按输入、输出集合的个数分类 按信道转移概率的性质分类按信道转移概率的性质分类 根据信道统计特性划分根据信道统计特性划分 根据信道噪声性质划分根据信道噪声性质划分7/786.1.1 6.1.1 信道的分类信道的分类1)1)离散信道：输入和输出均为离散集，如离散信道：输入和输出均为离散集，如B-BB-B2)2)连续信道：输入和输出均为连续集，也称波形信道，连续信道：输入和输出均为连续集，也称波形信道，其特点是时间与取值都连续，如其特点是时间与取值都连续，如C-CC-C3)3)半连续（或半离散）信道：输入和输出一个为连续、半连续（或半离散）信道：输入和输出一个为连续、一个为离散，如一个为离散，如B-CB-C或或C-BC-B4)4)时间离散连续信道：连续取值但时间离散，例如信道时间离散连续信道：连续取值但时间离散，例如信道的输入和输出为模拟信号抽样的情况。的输入和输出为模拟信号抽样的情况。按输入、输出集合的取值分类按输入、输出集合的取值分类8/786.1.1 6.1.1 信道的分类信道的分类1)1)单用户信道：单用户信道：X,YX,Y中各有一个事件集，称单路或单端信道中各有一个事件集，称单路或单端信道2)2)多用户信道：多用户信道：X,YX,Y中至少有一端是多个事件集，也称多中至少有一端是多个事件集，也称多端信道。多用户信道包含两种特殊的信道，即多元接端信道。多用户信道包含两种特殊的信道，即多元接入信道和广播信道。入信道和广播信道。多元接入信道就是多个输入、单个输出的信道多元接入信道就是多个输入、单个输出的信道 广播信道就是单个输入、多个输出的信道广播信道就是单个输入、多个输出的信道 按输入、输出集合的个数分类按输入、输出集合的个数分类9/78无损信道无损信道（每个输入对应多个输出）（每个输入对应多个输出）确定信道确定信道（多个输入对应单个输出）（多个输入对应单个输出）无扰信道无扰信道（一个输入对应一个输出）（一个输入对应一个输出）按信道转移概率的性质分类按信道转移概率的性质分类6.1.1 6.1.1 信道的分类信道的分类1 1）无噪声信道）无噪声信道2 2）有噪声信道）有噪声信道无记忆信道无记忆信道 给定时间输出仅依赖于当前输入给定时间输出仅依赖于当前输入有记忆信道有记忆信道 输出值不仅依赖于当前输入又依输出值不仅依赖于当前输入又依赖于以前的输入赖于以前的输入10/78 根据信道统计特性划分根据信道统计特性划分1 1）恒参信道）恒参信道6.1.1 6.1.1 信道的分类信道的分类2 2）变参信道）变参信道统计特性不随时间变化（也称平稳信道）统计特性不随时间变化（也称平稳信道）例如：卫星通信信道例如：卫星通信信道统计特性随时间变化。例如：短波，移动统计特性随时间变化。例如：短波，移动通信信道通信信道11/78 根据信道噪声性质划分根据信道噪声性质划分1 1）高斯噪声信道）高斯噪声信道6.1.1 6.1.1 信道的分类信道的分类2 2）非高斯噪声信道）非高斯噪声信道信道噪声为高斯分布（白噪声或有色噪声）信道噪声为高斯分布（白噪声或有色噪声）信道噪声分布不是高斯分布信道噪声分布不是高斯分布12/786.1.2 6.1.2 离散信道的数学模型离散信道的数学模型13/78离散无记忆信道离散无记忆信道 一般的信道数学模型 离散无记忆信道 平稳（或恒参）信道 单符号离散信道14/78一般信道的数学模型一般信道的数学模型信道模型信道模型15/78离散无记忆信道离散无记忆信道则称为此信道为离散无记忆信道（则称为此信道为离散无记忆信道（DMCDMC），其数学模），其数学模型为：（型为：（Discrete Memoryless Channel)Discrete Memoryless Channel)利用给定时刻的输出符号仅依赖于当前输入符号的条利用给定时刻的输出符号仅依赖于当前输入符号的条件可以推出。件可以推出。若信道的转移概率满足若信道的转移概率满足16/78平稳平稳(或恒参或恒参)信道信道 如果对于任意正整数如果对于任意正整数m m、n n，和，和 离散无记忆信道的转移概率满足：离散无记忆信道的转移概率满足：则称为平稳或恒参信道则称为平稳或恒参信道可见，对于平稳信道，可见，对于平稳信道，不随时间变不随时间变化。这样，平稳信道的模型就是化。这样，平稳信道的模型就是 17/78其中，信道的输入其中，信道的输入X X与输出与输出Y Y都是一维随机变量集合，都是一维随机变量集合，xXxX，取自字母表，取自字母表,。yYyY，取自字母，取自字母表表单符号离散信道单符号离散信道 对于对于离散平稳无记忆信道离散平稳无记忆信道，可以用一维条件，可以用一维条件概率描述概率描述 这种用一维条件概率描述的信道为：单符号这种用一维条件概率描述的信道为：单符号离散信道离散信道 信道转移概率简记为：信道转移概率简记为：18/78单符号离散信道单符号离散信道 信道转移概率矩阵信道转移概率矩阵19/78单符号离散信道单符号离散信道二元对称信道二元对称信道(BSCBSC)，输入与输出符号集分别为，输入与输出符号集分别为 ，信道转移概率，信道转移概率p(y/x)p(y/x)满足满足 ，称为错误率称为错误率。写出信道的转移概率矩阵并写出信道的转移概率矩阵并画出转移概率图。画出转移概率图。例例解：解：解：解：转移概率矩阵转移概率矩阵转移概率图转移概率图01-1011-Binary Symmetric Channel 20/78单符号离散信道单符号离散信道二元删除信道：其中二元删除信道：其中A=0,1,B=0,2,1A=0,1,B=0,2,1画画出转移概率图和转移概率矩阵。出转移概率图和转移概率矩阵。例例解：解：解：解：转移概率矩阵转移概率矩阵转移概率图转移概率图01-p1011-q2qp21/78单符号离散信道单符号离散信道例例解：解：解：解：四个等概消息，编成的码字为四个等概消息，编成的码字为 ，当通过，当通过下下图所示二进制对称图所示二进制对称无记忆信道传输时，求无记忆信道传输时，求:1 1)“接收到第一个数字为接收到第一个数字为0 0”与与“发发M M1 1”的互信息的互信息2 2)当当“接收到第二个数字也为接收到第二个数字也为0 0”时，关于时，关于M M1 1的附加信息的附加信息3 3)当当“接收到第三个数字也为接收到第三个数字也为0 0”时，又增加多少关于时，又增加多少关于M M1 1的信息？的信息？1)1)01-1011-22/782)2)3)3)单符号离散信道单符号离散信道23/786.1.3 6.1.3 信道容量的定义信道容量的定义 平稳离散无记忆信道的容量平稳离散无记忆信道的容量C C定义为输入与定义为输入与输出平均互信息输出平均互信息I(X;Y)I(X;Y)的最大值：的最大值：1 1）单位为）单位为:比特比特/信道符号（奈特信道符号（奈特/信道符号信道符号)2 2）当信道给定后）当信道给定后,p(y|x)p(y|x)就固定就固定3 3）C C 仅与仅与p(y|x)p(y|x)有关，而与有关，而与p(x)p(x)无关无关4 4）C C是信道传输最大信息速率能力的度量是信道传输最大信息速率能力的度量24/78多维矢量信道多维矢量信道若若 和和 分别为信道的分别为信道的N N维输入与输出随机维输入与输出随机矢量集合，则信道容量定义为：矢量集合，则信道容量定义为：其中，其中，为信道输入矢量的联合概率为信道输入矢量的联合概率25/786.2 6.2 单符号离散信道及其容量单符号离散信道及其容量 离散无噪信道的容量离散无噪信道的容量 一般离散信道的容量一般离散信道的容量 离散对称信道的容量离散对称信道的容量26/786.2.1 6.2.1 离散无噪信道的容量离散无噪信道的容量 无损信道：无损信道：输出符号只对应一个输入符号。输出符号只对应一个输入符号。其中其中r r为输入符号集的大小为输入符号集的大小27/786.2.1 6.2.1 离散无噪信道的容量离散无噪信道的容量 确定信道：确定信道：每个输入符号都对应一个输出符号每个输入符号都对应一个输出符号其中其中s s为输出符号集的大小为输出符号集的大小28/78 无损确定信道：无损确定信道：输入符号与输出符号是一一对应关系输入符号与输出符号是一一对应关系其中其中r r、s s为输入与输出字母表的大小，且为输入与输出字母表的大小，且r=sr=s6.2.1 6.2.1 离散无噪信道的容量离散无噪信道的容量结论：离散无噪信道的容量为离散无噪信道的容量为 若一个信道的转移概率矩阵按若一个信道的转移概率矩阵按 输出输出输出输出 可分为若干子集，可分为若干子集，其中每个子集都有如下特性：即每一行是其他行的置换，其中每个子集都有如下特性：即每一行是其他行的置换，每一列是其他列的置换，则信道称为每一列是其他列的置换，则信道称为 对称信道对称信道29/786.2.2 6.2.2 离散对称道的容量离散对称道的容量例例分析分析下下图信道的对称性图信道的对称性30/786.2.2 6.2.2 离散对称道的容量离散对称道的容量解：解：解：解：(a)(a)可分成两个子矩阵可分成两个子矩阵所以为所以为 对称信道对称信道(b)(b)的概率转移矩阵为的概率转移矩阵为所以不是对称信道所以不是对称信道 有时将转移概率矩阵可分成多个子集的对称信道为有时将转移概率矩阵可分成多个子集的对称信道为准对称或弱对称信道准对称或弱对称信道，而只有一个子集的对称信道称，而只有一个子集的对称信道称强对称信道强对称信道31/786.2.2 6.2.2 离散对称道的容量离散对称道的容量 定理定理6.2.1 6.2.1 对于离散对称信道，当输入等概对于离散对称信道，当输入等概率时达到信道容量：率时达到信道容量：H(Y)H(Y)为输入等概率时输出的熵为输入等概率时输出的熵 H(pH(p1 1,p,p2 2,p,ps s)为信道转移概率矩阵某行元素为信道转移概率矩阵某行元素注释注释:对强对称信道对强对称信道,输入等概率时达到容量，此时输出输入等概率时达到容量，此时输出等概率。等概率。32/786.2.2 6.2.2 离散对称道的容量离散对称道的容量例例解：解：解：解：一信道的转移概率矩阵一信道的转移概率矩阵如图，如图，求信道容量和达求信道容量和达到容量时的输出概率。到容量时的输出概率。设输出概率为设输出概率为 。由于信。由于信道为强对称信道，故当输入等概率道为强对称信道，故当输入等概率时达到容量时达到容量C C，此时输出也等概率，此时输出也等概率33/786.2.2 6.2.2 离散对称道的容量离散对称道的容量例例解：解：解：解：一信道的转移概率矩阵一信道的转移概率矩阵如图，如图，求信道容量和达求信道容量和达到容量时的输到容量时的输入入概率。概率。设输入输出概率为设输入输出概率为 由于信道为强对称信道，故当由于信道为强对称信道，故当 时时,达到容量。达到容量。特别是，当特别是，当r=2r=2时，信道容量为时，信道容量为C=1-H(p)C=1-H(p)比特比特/符号。符号。34/786.2.2 6.2.2 离散对称道的容量离散对称道的容量例例解：解：解：解：一信道的转移概率矩阵一信道的转移概率矩阵如图，如图，求信道容量和达求信道容量和达到容量时的输出概率。到容量时的输出概率。设输出概率为设输出概率为 准对称信道，当输入等概率时达到准对称信道，当输入等概率时达到信道容量。可计算输出概率为信道容量。可计算输出概率为35/786.2.3 6.2.3 一般离散信道的容量一般离散信道的容量求信道容量归结为求有约束极值的问题求信道容量归结为求有约束极值的问题求信道容量归结为求有约束极值的问题求信道容量归结为求有约束极值的问题信道转移概率矩阵可逆信道转移概率矩阵可逆信道转移概率矩阵可逆信道转移概率矩阵可逆36/786.2.3 6.2.3 一般离散信道的容量一般离散信道的容量37/786.2.3 6.2.3 一般离散信道的容量一般离散信道的容量38/78验证C的正确性6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量39/78用矩阵表示用矩阵表示用矩阵表示用矩阵表示6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量40/78例例一信道的转移概率如图所示，求信道容量和达一信道的转移概率如图所示，求信道容量和达到容量时的输出概率。到容量时的输出概率。0120121/21/21/41/4 1/41/416.2.3 6.2.3 一般离散信道的容量一般离散信道的容量41/78解：解：解：解：6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量42/78例例解：解：解：解：利利用用 求例求例6.1.6.1.1 1中二元对称信道中二元对称信道容量。容量。6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量43/78信道信道容量容量为为对应的输入概率为对应的输入概率为6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量44/78 定理定理6.2.2 6.2.2 对于离散无记忆信道，当且仅当对于离散无记忆信道，当且仅当I(X;Y)I(X;Y)达到最大值，此时达到最大值，此时C C为信道容量为信道容量6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量45/78例例解：解：解：解：信道的转移概率如信道的转移概率如下图下图所示，求信道容量和达所示，求信道容量和达到容量时的输入出概率。到容量时的输入出概率。设输入、输出概率为设输入、输出概率为p p0 0,p,p1 1,p,p2 2.q.q0 0,q,q1 11 1）达到容量时，若输入概率全不为零）达到容量时，若输入概率全不为零解得解得 ，C=1C=1比特，但将结果代入第比特，但将结果代入第2 2式，式，使该式左边的值为使该式左边的值为0 0，出现矛盾。，出现矛盾。6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量46/782 2）设）设p p2 2=0=0，p p0 0,p,p1 1,不为零不为零将结果代入第将结果代入第2 2式式，该式左边的值为该式左边的值为0C0C。所以，信道容量。所以，信道容量C=1C=1比特比特/符号，达到容量时的输入概率为概率为符号，达到容量时的输入概率为概率为6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量47/786.3 6.3 级联信道及其容量级联信道及其容量 级联的含义是被连接的信道输入只依赖于前面相邻信级联的含义是被连接的信道输入只依赖于前面相邻信道的输出而和前面的其它信道的输出无直接关系道的输出而和前面的其它信道的输出无直接关系 若随机变量集合若随机变量集合(X,Y,Z)(X,Y,Z)构成马氏链，则称信构成马氏链，则称信道道X-YX-Y与与Y-ZY-Z构成级联信道。由于当构成级联信道。由于当Y Y给定时，给定时，Z Z不依赖于不依赖于X X，即，即P(z|y)=P(z|xy)P(z|y)=P(z|xy)48/78证证 定理定理6.3.1 6.3.1 若若X,Y,ZX,Y,Z构成一马氏链，则：构成一马氏链，则：6.3 6.3 级联信道及其容量级联信道及其容量同理可证49/78 通信系统模型各部分的级联通信系统模型各部分的级联信道传输后，译码器收到信道传输后，译码器收到N N长序列为长序列为 ，译码后传给信宿，译码后传给信宿的消息序列为的消息序列为 。6.3 6.3 级联信道及其容量级联信道及其容量50/78证证 定理定理(数据处理定理数据处理定理)定理的含义：从信宿得到的关于信源的信息经过编定理的含义：从信宿得到的关于信源的信息经过编 译码器、信道的处理后会减少，而且处理的次数越译码器、信道的处理后会减少，而且处理的次数越 多，减少得越多。多，减少得越多。6.3 6.3 级联信道及其容量级联信道及其容量51/78级联信道为马氏链级联信道为马氏链 级联信道的转移概率矩阵级联信道的转移概率矩阵一级级联相当于状态的一步转移一级级联相当于状态的一步转移级联信道的转移概率矩阵为级级联信道的转移概率矩阵为级联信道中各矩阵依次相乘联信道中各矩阵依次相乘6.3 6.3 级联信道及其容量级联信道及其容量 级联信道的容量级联信道的容量 根据级联信道的转移矩阵特点，按照前面介绍的根据级联信道的转移矩阵特点，按照前面介绍的离散信道容量的计算方法即可计算其信道容量。离散信道容量的计算方法即可计算其信道容量。52/78给定二元对称信道其状态转移矩阵如下，计算给定二元对称信道其状态转移矩阵如下，计算两级级联信道的概率转移矩阵。如果信道输入两级级联信道的概率转移矩阵。如果信道输入 0 0、1 1 等概率，求在两级级联和三级级联情况下等概率，求在两级级联和三级级联情况下输入与输出的平均互信息。输入与输出的平均互信息。例例解：解：解：解：1)1)两级级联信道的概率转移矩阵两级级联信道的概率转移矩阵6.3 6.3 级联信道及其容量级联信道及其容量53/782)2)设原信道输入与输出集分别为设原信道输入与输出集分别为X X、Y Y，两级级联和三级，两级级联和三级级联情况下输出集合分别为级联情况下输出集合分别为Z Z、U U其中其中类似地类似地,可计算三级信，级联的情况：可计算三级信，级联的情况：结论：信道串联后增加信息损失，串联级数越多，损失越大。结论：信道串联后增加信息损失，串联级数越多，损失越大。6.3 6.3 级联信道及其容量级联信道及其容量54/78设错误概率设错误概率为为1/31/3，计算两级级联信道的，计算两级级联信道的容量及达到容量时的输出概率。容量及达到容量时的输出概率。6.3.1(6.3.1(续续)例例解：解：解：解：两级级联信道的转移矩阵为两级级联信道的转移矩阵为6.3 6.3 级联信道及其容量级联信道及其容量该级联信道是一个强对称信道，因此当输入等概时达到该级联信道是一个强对称信道，因此当输入等概时达到信道容量，此时输出也等概。所以信道容量，此时输出也等概。所以比特比特比特比特/符号符号符号符号 55/78多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质并联信道及其容量并联信道及其容量离散无记忆扩展信道及其容量离散无记忆扩展信道及其容量6.4 6.4 多维矢量信道及其容量多维矢量信道及其容量和信道及其容量和信道及其容量56/786 6.4 4.1 1 多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质 对于对于多维矢量信道多维矢量信道，输入与输出平均互信息为，输入与输出平均互信息为:57/78 引理引理6.4.1 6.4.1 设信道的输入输出分别为设信道的输入输出分别为 ，其中，其中 ，则：，则：1 1）2 2）6 6.4 4.1 1 多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质58/78 定理定理6.4.1 6.4.1 对于离散无记忆信道，有：对于离散无记忆信道，有：证证仅当输出独立时等式成立。仅当输出独立时等式成立。6 6.4 4.1 1 多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质59/78当输入独立时当输入独立时即当信源信道都无记忆时，等式成立。即当信源信道都无记忆时，等式成立。6 6.4 4.1 1 多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质60/78证证 定理定理6.4.2 6.4.2 对于无记忆信源，有：对于无记忆信源，有：等式成立条件：等式成立条件：6 6.4 4.1 1 多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质61/78当信道无记忆时当信道无记忆时即当信源信道都无记忆时，等式成立。即当信源信道都无记忆时，等式成立。6 6.4 4.1 1 多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质62/78 结论：结论：1 1）对于无记忆信源和无记忆信道，有：对于无记忆信源和无记忆信道，有：2 2）对于平稳信源，因为对于平稳信源，因为X Xi i、Y Yi i同分布同分布,因此：因此：对于平稳离散无记忆信道对于平稳离散无记忆信道(DMC)(DMC)的的N N次扩展信道，当信源次扩展信道，当信源无记忆时无记忆时,有有6 6.4 4.1 1 多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质63/78设无记忆信源设无记忆信源X X的的熵为熵为H H，X X的的5 5次扩展源为次扩展源为X X5 5，信，信道为下面矩阵所示的置换信道，其中第道为下面矩阵所示的置换信道，其中第1 1行为输行为输入的序号，第入的序号，第2 2行为信道输出的序号，例如行为信道输出的序号，例如X X1 1输输出到出到Y Y4 4(P120)(P120)，X X2 2输出到输出到Y Y2 2等等。计算计算例例解：解：解：解：6 6.4 4.1 1 多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质64/78例例解：解：解：解：设设离散离散无记忆信无记忆信道的输入道的输入 ，输出，输出 ，且有，且有计算计算6 6.4 4.1 1 多维矢量信道输入与输出的性质多维矢量信道输入与输出的性质65/78 N N次扩展信道次扩展信道单符号离散信道单符号离散信道单符号离散信道单符号离散信道N N长的随机序列长的随机序列 N N长的随机序列长的随机序列 新信道新信道新信道新信道原序列的原序列的N N次扩展信道次扩展信道6.4.2 6.4.2 离散无记忆扩展信道及其容量离散无记忆扩展信道及其容量66/78 N N次扩展信道的描述要满足一般的信道数学模型的次扩展信道的描述要满足一般的信道数学模型的描述，但符号集为同分布符号的扩展，即各描述，但符号集为同分布符号的扩展，即各X Xi i的分的分布都相同布都相同 信道可通过下式来计算信道可通过下式来计算 信道的输入和输出集合分别为信道的输入和输出集合分别为 和和 ，所包含的矢量分别为，所包含的矢量分别为 6.4.2 6.4.2 离散无记忆扩展信道及其容量离散无记忆扩展信道及其容量67/78 一个信道的一个信道的N N次扩展信道是次扩展信道是N N个原信道的个原信道的KroneckKroneck乘积乘积例例设输入与输出符号集的尺寸分别为设输入与输出符号集的尺寸分别为r r、s s，则则N N次扩展次扩展信道的输入与输出符号集的尺寸分别为信道的输入与输出符号集的尺寸分别为则，信道的转移概率为：信道的转移概率为：6.4.2 6.4.2 离散无记忆扩展信道及其容量离散无记忆扩展信道及其容量68/78求错误概率为求错误概率为p p的二元对称信道的二次扩展信道的二元对称信道的二次扩展信道的转移概率矩阵。的转移概率矩阵。例例解：解：解：解：2 2次扩展信道的转移概率矩阵：次扩展信道的转移概率矩阵：6.4.2 6.4.2 离散无记忆扩展信道及其容量离散无记忆扩展信道及其容量69/786.4.2 6.4.2 离散无记忆扩展信道及其容量离散无记忆扩展信道及其容量当信源为无记忆时，等式成立当信源为无记忆时，等式成立 离散无记忆离散无记忆N N次扩展信道的容量次扩展信道的容量当信道平稳时：当信道平稳时：70/78求该二次扩展信道的容量求该二次扩展信道的容量。6.4.3(6.4.3(续续)例例解：解：解：解：由例可得，错误概率为由例可得，错误概率为p p的二元对称信道的容量的二元对称信道的容量 ，根据式，根据式(6.4.6),(6.4.6),该信道的二次扩展信道容量为该信道的二次扩展信道容量为6.4.2 6.4.2 离散无记忆扩展信道及其容量离散无记忆扩展信道及其容量71/786.4.3 6.4.3 并联信道及其容量并联信道及其容量并联信道的定义并联信道的定义pp 由若干并行的单符号子信道组成由若干并行的单符号子信道组成pp 在每单位时间，发送端都同时通过每个子信道发送不在每单位时间，发送端都同时通过每个子信道发送不同符号集的消息同符号集的消息pp 每子信道的输出仅与该子信道的输入有关每子信道的输出仅与该子信道的输入有关各子信道输入相互独立时达到信道容量各子信道输入相互独立时达到信道容量72/78求下图信道的容量和达到容量时的输入概率分布求下图信道的容量和达到容量时的输入概率分布。例例解：解：解：解：从信道的转移概率图可以看出，两个子信道是独立的，从信道的转移概率图可以看出，两个子信道是独立的，所以构成一个二维并联信道。所求信道容量为所以构成一个二维并联信道。所求信道容量为6.4.3 6.4.3 并联信道及其容量并联信道及其容量比特比特比特比特/符号符号符号符号 达到容量时，输入达到容量时，输入 相互独立，且均为等概率分布相互独立，且均为等概率分布。73/786.4.4 6.4.4 和信道及其容量和信道及其容量和信道的定义和信道的定义pp一个信道分为若干子信道，且各子信道输入之间互不一个信道分为若干子信道，且各子信道输入之间互不相交，输出之间也互不相交相交，输出之间也互不相交pp信道总的输出与输入集合分别为各子信道输出与输入信道总的输出与输入集合分别为各子信道输出与输入之并集之并集pp每次传输只能用一个子信道每次传输只能用一个子信道74/78定理定理6.4.3 6.4.3 对于和信道，信道容量为对于和信道，信道容量为 比特比特/符号，符号，其中其中 C Ci i 为每个子信道的容量，第为每个子信道的容量，第i i个子信道使用概率为个子信道使用概率为 ，达到容量的输入概率为各子信道达到容量时的概率再，达到容量的输入概率为各子信道达到容量时的概率再乘以乘以 。6.4.4 6.4.4 和信道及其容量和信道及其容量75/78例例一信道的转移概率如图所示，求信道容量和达一信道的转移概率如图所示，求信道容量和达到容量时的输入概率。到容量时的输入概率。解：解：解：解：其中其中其中其中p p p p为不大于为不大于为不大于为不大于1 1 1 1的正数的正数的正数的正数6.4.4 6.4.4 和信道及其容量和信道及其容量76/78 信道达到容量时的输入概率分布不一定唯一。信道达到容量时的输入概率分布不一定唯一。（对于对称信道是唯一的（对于对称信道是唯一的)关于信道容量的注释关于信道容量的注释 对应于信道容量的输出概率是唯一的。对应于信道容量的输出概率是唯一的。达到容量时的输出概率严格为正。达到容量时的输出概率严格为正。对于任意的离散信道的转移概率分布，要利用对于任意的离散信道的转移概率分布，要利用迭代算法进行计算。迭代算法进行计算。77/78本本 章章 小小 结结1 1平稳离散无记忆信道模型：平稳离散无记忆信道模型：2 2平稳离散无记忆信道的容量：平稳离散无记忆信道的容量：3 3特殊离散无记忆信道的容量的计算特殊离散无记忆信道的容量的计算 对称信道：输入等概率时达到容量，且对称信道：输入等概率时达到容量，且 一般离散信道一般离散信道PP有逆阵时有逆阵时78/78本本 章章 小小 结结利用定理列方程组求解利用定理列方程组求解 和信道和信道 并联信道并联信道 离散平稳无离散平稳无记记忆忆N N次扩展信道次扩展信道当信源无记忆时信道达到容量当信源无记忆时信道达到容量 级联信道级联信道：转移概率矩阵为各级联信道矩阵的乘积，：转移概率矩阵为各级联信道矩阵的乘积，再计算容量。再计算容量。达到容量的输入概率为各子信道达到容量时达到容量的输入概率为各子信道达到容量时的概率再乘以的概率再乘以