(精品)信息论与编码基础教程第五章.ppt

《(精品)信息论与编码基础教程第五章.ppt》由会员分享，可在线阅读，更多相关《(精品)信息论与编码基础教程第五章.ppt（152页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1月15日信息论与编码基础教程信息论与编码基础教程第第5 5章章 信道及信道容量信道及信道容量1月15日本章主要内容本章主要内容5.15.1信道分类信道分类5.25.2离散单符号信道及容量离散单符号信道及容量5.2.15.2.1数学模型数学模型5.2.25.2.2信道容量信道容量5.35.3离散序列符号信道及容量离散序列符号信道及容量5.4 5.4 信源与信道的匹配信源与信道的匹配5.5*5.5*连续信道及其容量连续信道及其容量5.5.15.5.1连续单符号加性信道连续单符号加性信道5.5.25.5.2多维无记忆加性连续信道多维无记忆加性连续信道5.5.35.5.3加性高斯白噪声波形信道加性高

2、斯白噪声波形信道1月15日 本次课内容本次课内容5.15.1信道分类信道分类5.25.2离散单符号信道及容量离散单符号信道及容量5.2.15.2.1数学模型数学模型5.2.25.2.2信道容量信道容量Page 4第第5 5章章 信道及信道容量信道及信道容量信道信道(information channels)(information channels)：是信号的传输媒质。是信号的传输媒质。信道的作用：信道的作用：把携有信息的信号从它的输入端传递到输把携有信息的信号从它的输入端传递到输出端。出端。它的最重要特征参数是信息传递能力，即它的最重要特征参数是信息传递能力，即信道容量问题。信道容量问题。相

3、关知识复习Page 5第第5 5章章 信道及信道容量信道及信道容量在高斯信道下，信道的信息通过能力与在高斯信道下，信道的信息通过能力与信道的频带宽度、信道的工作时间、信道的信道的频带宽度、信道的工作时间、信道的噪声功率密度有关。噪声功率密度有关。频带越宽，工作时间越长，信号、噪声频带越宽，工作时间越长，信号、噪声功率比越大，信道的通过能力就越强，信道功率比越大，信道的通过能力就越强，信道容量越大。容量越大。相关知识复习Page 6第第5 5章章 信道及信道容量信道及信道容量 本章主要讨论离散信道的统计特性和数学模本章主要讨论离散信道的统计特性和数学模型，定量的研究信道传输的平均互信息及其重要型

4、，定量的研究信道传输的平均互信息及其重要性质，导出信道容量的概念和几种比较典型的信性质，导出信道容量的概念和几种比较典型的信道的信道容量计算方法。道的信道容量计算方法。本章重点在于研究一个输入端和一个输出端本章重点在于研究一个输入端和一个输出端的信道，即单用户信道。以无记忆、无反馈、固的信道，即单用户信道。以无记忆、无反馈、固定参数的离散信道为重点内容讨论。定参数的离散信道为重点内容讨论。相关知识复习Page 7第第5 5章章 信道及信道容量信道及信道容量X=X0,X1,X2Xr-1含含r个元个元素的输入符号集素的输入符号集Y=y0,y1,y2ys-1含含S个个元素的输出符号元素的输出符号r与

5、与s得值不同信道模型不同得值不同信道模型不同5.15.1信道分类信道分类Page 8第第5 5章章 信道及信道容量信道及信道容量5.1信道分类Page 9第第5 5章章 信道及信道容量信道及信道容量信道分信道分类：类：1.1.有线信道和无线信道有线信道和无线信道 有线信道：有线信道：明线、对称电缆、同轴电缆及明线、对称电缆、同轴电缆及 光缆等光缆等。无线信道：无线信道：地波传播、短波电离层反射、地波传播、短波电离层反射、超短波或微波视距中继、人造超短波或微波视距中继、人造 卫星中继以及各种散射信道等。卫星中继以及各种散射信道等。5.1信道分类Page 10第第5 5章章 信道及信道容量信道及信

6、道容量2 2恒参信道和随参信道恒参信道和随参信道u恒参信道：恒参信道：信道的统计特性不随时间而变化。如信道的统计特性不随时间而变化。如明线、对称电缆、同轴电缆、光缆、卫星中继信明线、对称电缆、同轴电缆、光缆、卫星中继信道一般被视为恒参信道。道一般被视为恒参信道。u随参信道：随参信道：信道的统计特性随时间而变化。大多信道的统计特性随时间而变化。大多数的信道都是随参信道，统计特性随着环境、温数的信道都是随参信道，统计特性随着环境、温度、湿度而变化。如短波电离层反射信道、对流度、湿度而变化。如短波电离层反射信道、对流层散射信道等。层散射信道等。5.1信道分类Page 11第第5 5章章 信道及信道容

7、量信道及信道容量 3 3单用户信道和多用户信道单用户信道和多用户信道u单用户信道：单用户信道：信道只有一个输入端和一个输出信道只有一个输入端和一个输出端，且只能进行单方向的通信。端，且只能进行单方向的通信。u多用户信道：多用户信道：又称多端信道，输入端或者输出又称多端信道，输入端或者输出端至少有一端具有两个或者两个以上用户，并端至少有一端具有两个或者两个以上用户，并且可以实现双向通信，目前大多数信道都是多且可以实现双向通信，目前大多数信道都是多端信道。端信道。5.1信道分类Page 12第第5 5章章 信道及信道容量信道及信道容量4 4离散信道、连续信道、半离散半连续信道和离散信道、连续信道、

8、半离散半连续信道和波形信道波形信道u离散信道：离散信道：又称数字信道，该类信道中输入空又称数字信道，该类信道中输入空间、输出空间均为离散时间集合，集合中事件间、输出空间均为离散时间集合，集合中事件的数量是有限的，或者无限的，随机变量取值的数量是有限的，或者无限的，随机变量取值都是离散的。都是离散的。n波形信道：波形信道：也称为时间连续信道，信道输入、也称为时间连续信道，信道输入、输出都是时间的函数，而且随机变量的取值都输出都是时间的函数，而且随机变量的取值都取自连续集合，且在时间上的取值是连续的。取自连续集合，且在时间上的取值是连续的。5.1信道分类Page 13第第5 5章章 信道及信道容量

9、信道及信道容量n连续信道：连续信道：又又称为模拟信道，输入空间、输出称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限的、不可数的，即随机变量的取值数量是无限的，或者不可数的。无限的，或者不可数的。n半离散半连续信道：半离散半连续信道：输入空间、输出空间一个输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个即输入、输出随机变量一个是离散的，另一个是连续的。是连续的。5.1信道分类Page 14第第5

10、 5章章 信道及信道容量信道及信道容量5 5随机差错信道和突发差错信道。随机差错信道和突发差错信道。n 随机差错信道：随机差错信道：信道中传输码元所遭受的噪声信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不具有是随机的、独立的，这种噪声相互之间不具有关联性，码元错误不会成串出现关联性，码元错误不会成串出现。n如：如：高斯白噪声信道。高斯白噪声信道。n 突发差错信道：突发差错信道：信道中噪声或干扰对传输码元信道中噪声或干扰对传输码元的影响具有关联性，相互之间不独立，使码元的影响具有关联性，相互之间不独立，使码元错误成串出现错误成串出现。n如如：衰落信道、码间干扰信道。衰落信道、码间

11、干扰信道。移动通信的信移动通信的信道、光盘存储属于该类信道。道、光盘存储属于该类信道。5.1信道分类Page 15第第5 5章章 信道及信道容量信道及信道容量5.25.2离散单符号信道及容量离散单符号信道及容量 5.2.1 5.2.1 数学模型数学模型 若信道的输入符号之间、输出符号之间都若信道的输入符号之间、输出符号之间都不存在关联性，信道的分析可简化为对单个符不存在关联性，信道的分析可简化为对单个符号的信道分析，此时输入、输出可以看做是单号的信道分析，此时输入、输出可以看做是单符号的，称这类信道为单符号信道。如果信道符号的，称这类信道为单符号信道。如果信道的输入、输出随机变量的输入、输出随

12、机变量又又都是离散的，该信道都是离散的，该信道则则为为单符号离散无记忆信道单符号离散无记忆信道。5.2离散单符号信道及容量Page 16第第5 5章章 信道及信道容量信道及信道容量设离散信道的输入变量为设离散信道的输入变量为X X，输出变量为，输出变量为Y Y，对，对应的概率空间分别为应的概率空间分别为输入符号集合的元素个数为输入符号集合的元素个数为r r，输出符号集合的元素个数为，输出符号集合的元素个数为s s。5 5.2 2.1 1 数数学学模模型型Page 17第第5 5章章 信道及信道容量信道及信道容量i=1，2，r，j=1，2，s。表明：在输入表明：在输入x x的情况下，信道输出的情

13、况下，信道输出y y的取值只能是的取值只能是其其中的一个，不可能还有其他的取值。中的一个，不可能还有其他的取值。该类信道的特性可用条件转移概率进行描述。该类信道的特性可用条件转移概率进行描述。输入输入 ，输出，输出 时对应的条件转移概率为时对应的条件转移概率为 5 5.2 2.1 1 数数学学模模型型Page 18第第5 5章章 信道及信道容量信道及信道容量称该矩阵为称该矩阵为：条件转移矩阵条件转移矩阵 或者信道转移矩阵。或者信道转移矩阵。用矩阵表示信道输入输出符号之间的条件转移关系用矩阵表示信道输入输出符号之间的条件转移关系5 5.2 2.1 1 数数学学模模型型Page 19第第5 5章章

14、 信道及信道容量信道及信道容量 由于信道中存在干扰或者噪声，信道输入符由于信道中存在干扰或者噪声，信道输入符号与输出符号之间并不是一一对应关系，不能使号与输出符号之间并不是一一对应关系，不能使用确定性函数描述输入、输出之间的关系用确定性函数描述输入、输出之间的关系。故。故信信道的分析道的分析用用统计方法。统计方法。用条件转移概率用条件转移概率可以表示输出为可以表示输出为bj的各种的各种可能性可能性输入输入:传输的过程中出现错误传输的过程中出现错误5 5.2 2.1 1 数数学学模模型型Page 20第第5 5章章 信道及信道容量信道及信道容量信道输入、输出符号之间的联合分布为信道输入、输出符号

15、之间的联合分布为前向概率前向概率，表示在输入为表示在输入为x x=a ai i 时，时，通过信道后接收为通过信道后接收为b bj j 的概率，描的概率，描述了信道噪声的特性。述了信道噪声的特性。P(aP(ai i)为先为先验概率。验概率。联合分布还可以表示为联合分布还可以表示为后验概率后验概率,表示当接收符号为表示当接收符号为b bj j时时,信道输入为信道输入为a ai i的概率。的概率。5 5.2 2.1 1 数数学学模模型型Page 21第第5 5章章 信道及信道容量信道及信道容量可以得到后验概率为可以得到后验概率为=PT(YX)由由前向概率和先验概率可计算出信道输出符号概率前向概率和先

16、验概率可计算出信道输出符号概率矩阵表示形式矩阵表示形式5 5.2 2.1 1 数数学学模模型型Page 22第第5 5章章 信道及信道容量信道及信道容量1.1.二进制离散信道（二进制离散信道（r=s=2r=s=2）由输入值集合由输入值集合X=0,1,X=0,1,输出值输出值Y=0,1,Y=0,1,一组一组表示输入、输出关系的条件概率表示输入、输出关系的条件概率(转移概率转移概率)组成。组成。P（yj/xi）X0,1Y0,15 5.2 2.1 1 数数学学模模型型Page 23第第5 5章章 信道及信道容量信道及信道容量若信道存在干扰，导致二进制序列发生统若信道存在干扰，导致二进制序列发生统计独

17、立的差错，且条件概率对称计独立的差错，且条件概率对称.P(Y=1/X=1)=P(Y=0/X=0)=1-PP(Y=1/X=1)=P(Y=0/X=0)=1-P即即P(Y=0/X=1)=P(Y=1/X=0)=PP(Y=0/X=1)=P(Y=1/X=0)=P输入是输入是1 1或或0 0输出为输出为0 0或或1 1P=01 称称这这种种对对称称二二进进二二出出的的信信道道叫叫做做二二进进制制对对称称信信道道称称B BS SC C信信道道.5 5.2 2.1 1 数数学学模模型型Page 24第第5 5章章 信道及信道容量信道及信道容量信道模型信道模型:011-PPP1-P10这种信道的输出符号仅与对应时

18、刻输入符号这种信道的输出符号仅与对应时刻输入符号有关有关,与以前输入无关，故称此信道是无记忆信与以前输入无关，故称此信道是无记忆信道的道的.5 5.2 2.1 1 数数学学模模型型Page 25第第5 5章章 信道及信道容量信道及信道容量2.2.离散无记忆信道离散无记忆信道则则P(Y=P(Y=y yi i/X=x/X=xi i)=)=P(yP(yi i/x/xi i)称为离散无记忆信道称为离散无记忆信道若输入值的集合若输入值的集合 X=XX=X1 1,X,X2 2XXr-1r-1 输出输出 Y=yY=y1 1,y,y2 2yys-1s-1 且信道和调制过程是无记忆的且信道和调制过程是无记忆的离

19、散无记忆信道离散无记忆信道(DMC)(DMC)5 5.2 2.1 1 数数学学模模型型Page 26第第5 5章章 信道及信道容量信道及信道容量决定决定DMCDMC特点的条件概率特点的条件概率P(yP(yj j/x/xi i)可写成矩阵形式可写成矩阵形式PijP(Y1=V1Y2=V2Yn=Vn/X=U1X=Un)=若若DMCDMC信道的输入、输出是由信道的输入、输出是由n n个符号组成的序列个符号组成的序列,其中其中u ui iX,vX,vi iYY，i=1 2,3,4n,i=1 2,3,4n,则联合条件概率为则联合条件概率为:5 5.2 2.1 1 数数学学模模型型Page 27第第5 5章

20、章 信道及信道容量信道及信道容量转移概率矩阵转移概率矩阵5 5.2 2.1 1 数数学学模模型型Page 28第第5 5章章 信道及信道容量信道及信道容量若信道中有干扰若信道中有干扰,信道输出不是一个固定值信道输出不是一个固定值,是概率各异的一组值是概率各异的一组值,称有扰离散信道称有扰离散信道.输入输入X Xi i时时,各可能输出值各可能输出值y yj j的概率之和必得的概率之和必得1,1,既既:1若信道转移概率矩阵的每一行中只若信道转移概率矩阵的每一行中只包含一个包含一个“1”1”。其余元素均为。其余元素均为“0”0”说明说明信道无干扰，叫信道无干扰，叫无扰离散信道无扰离散信道。5 5.2

21、 2.1 1 数数学学模模型型Page 29第第5 5章章 信道及信道容量信道及信道容量3.3.离散输入连续输出信道离散输入连续输出信道设信道输入符号是有限、离散的设信道输入符号是有限、离散的,其输入字其输入字符集符集 信道输出信道输出 称离散输入称离散输入,连续输出信道连续输出信道.即即 又称半离散或半连续信道。又称半离散或半连续信道。5 5.2 2.1 1 数数学学模模型型Page 30第第5 5章章 信道及信道容量信道及信道容量4.4.波形信道波形信道若输入是模拟波形，输出也是模拟波形则为若输入是模拟波形，输出也是模拟波形则为波形信道波形信道.若分析性能的理论极限多选用离散输入若分析性能

22、的理论极限多选用离散输入,连续输出的连续输出的信道模型。信道模型。选择何种模型取决于我们目的选择何种模型取决于我们目的.从工程上讲从工程上讲,最常用的最常用的DMCDMC信道或信道或BSCBSC信道信道.5 5.2 2.1 1 数数学学模模型型Page 31第第5 5章章 信道及信道容量信道及信道容量5.2.2信道容量信道容量 在单符号离散信道中，平均每个符号传送在单符号离散信道中，平均每个符号传送的信息量定义为信道的信息传输率的信息量定义为信道的信息传输率 。从统计角。从统计角度而言，信道的噪声总是有限的，总有部分信度而言，信道的噪声总是有限的，总有部分信息能够准确传输，所以信道的信息传输率

23、为息能够准确传输，所以信道的信息传输率为5 5.2 2.2 2 信信道道容容量量Page 32第第5 5章章 信道及信道容量信道及信道容量 互信息量互信息量 是输入符号是输入符号X X 概率分布的凸概率分布的凸函数。对于一个给定的信道，总是存在某种概率函数。对于一个给定的信道，总是存在某种概率分布分布 ，使得传输每个符号平均获得的信息量，使得传输每个符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大最大，即对于每个固定的信道总是存在一个最大的信息传输速率，的信息传输速率，这个最大信息传输速率定义为这个最大信息传输速率定义为信道容量。信道容量。什么是信道容量？什么是信道容量？5 5.

24、2 2.2 2 信信道道容容量量Page 33第第5 5章章 信道及信道容量信道及信道容量定义定义 5-1 5-1 设某信道的平均互信息量为设某信道的平均互信息量为 ，信，信 道输道输 入符号的先验概率为入符号的先验概率为 ，该信道，该信道 的信道容量的信道容量C C 定义为定义为 比特比特符号符号先验概率分布先验概率分布 应当满足下列条件应当满足下列条件5 5.2 2.2 2 信信道道容容量量Page 34第第5 5章章 信道及信道容量信道及信道容量对于给定信道，条件转移概率对于给定信道，条件转移概率p p(b bj ja ai i)是一定的，所以信道容量就是在信道的前向是一定的，所以信道容

25、量就是在信道的前向概率一定的情况下，寻找某种先验概率分布概率一定的情况下，寻找某种先验概率分布p p(x)(x)，使得，使得平均互信息量最大平均互信息量最大,这种先验分这种先验分布概率为最佳分布。布概率为最佳分布。5 5.2 2.2 2 信信道道容容量量Page 35第第5 5章章 信道及信道容量信道及信道容量 如果信道输入满足最佳分布，信息传输如果信道输入满足最佳分布，信息传输率最大，即达到信息容量率最大，即达到信息容量C C；如果信道输入的；如果信道输入的先验分布不是最佳分布，那么信息传输率不先验分布不是最佳分布，那么信息传输率不能够达到信息容量能够达到信息容量C C。信道传输的信道传输的

26、信息量信息量R R必必须小于信道容量须小于信道容量C C,否则传输过程中会造成信否则传输过程中会造成信息损失，出现错误；反之息损失，出现错误；反之，如果如果R RC C成立，成立，可以通过信道编码方法保证信息能够几乎无可以通过信道编码方法保证信息能够几乎无失真地传送到接收端。失真地传送到接收端。5 5.2 2.2 2 信信道道容容量量Page 36第第5 5章章 信道及信道容量信道及信道容量1.无干扰离散信道无干扰离散信道 这类信道是理想信道这类信道是理想信道。输入、输出符号之间输入、输出符号之间是确定性关系，可以根据输入或者输出划分为互是确定性关系，可以根据输入或者输出划分为互不相交的集合。

27、不相交的集合。这类信道在实际通信系统中较少，在数据压这类信道在实际通信系统中较少，在数据压缩系统中，可以使用这类模型进行研究。缩系统中，可以使用这类模型进行研究。根根据信据信道输入符号道输入符号X X与信道输出符号与信道输出符号Y Y之间的关系，可以之间的关系，可以分为下了几种信道。分为下了几种信道。5 5.2 2.2 2 信信道道容容量量Page 37第第5 5章章 信道及信道容量信道及信道容量n 无噪无损信道无噪无损信道 该信道的输入、输出集合符号数量相等该信道的输入、输出集合符号数量相等，输入输入X X与输出与输出Y Y之间是一一对应之间是一一对应。对于给定对于给定a ai i,由于由于

28、p p(b bj ja ai i)只有一个为只有一个为1 1，其余都为，其余都为0 0，所以所以H H(X(XY Y)=0,)=0,则则(a)无噪无损信道模型 X Y 1 1 1 1 5 5.2 2.2 2 信信道道容容量量Page 38第第5 5章章 信道及信道容量信道及信道容量根据信道容量的定义，信道容量就是平均互根据信道容量的定义，信道容量就是平均互信息量的最大值，根据极大熵定理可知，当输入信息量的最大值，根据极大熵定理可知，当输入符号的先验概率为等概率分布时，符号的先验概率为等概率分布时，H H(X)(X)取得最大取得最大值值l logrogr ,信道容量为信道容量为 比特比特符号符号

29、所以当输入信源满足等概率分布时，信息传输所以当输入信源满足等概率分布时，信息传输率最大，达到信道容量。这类信道的前向概率矩阵率最大，达到信道容量。这类信道的前向概率矩阵和后验概率矩阵是相等的，都是和后验概率矩阵是相等的，都是r rrr单位矩阵，单位矩阵，5 5.2 2.2 2 信信道道容容量量Page 39第第5 5章章 信道及信道容量信道及信道容量无噪有损信道无噪有损信道信道输出符号信道输出符号Y Y 集合的数量小于信道输入符号集合的数量小于信道输入符号 X X集合的数量，即集合的数量，即r rs s，形成多对一的映射，形成多对一的映射.X Y 1 1 1 1 (b)无噪有损信道无噪有损信道

30、 5 5.2 2.2 2 信信道道容容量量Page 40第第5 5章章 信道及信道容量信道及信道容量这类信道的特点是，这类信道的特点是，信道概率转移矩阵中每信道概率转移矩阵中每行只有一个行只有一个非零非零元元素素.接收到符号接收到符号Y Y后后,不能确定信道输入不能确定信道输入X X ，即不，即不能够完全消除能够完全消除X X的不确定性，所以的不确定性，所以H H(X(XY)Y)0 0，且，且H H(X)(X)H H(Y),I(X;Y)=H(Y).(Y),I(X;Y)=H(Y).信道容量为信道容量为5 5.2 2.2 2 信信道道容容量量Page 41第第5 5章章 信道及信道容量信道及信道容

31、量5 5.2 2.2 2 信信道道容容量量Page 42第第5 5章章 信道及信道容量信道及信道容量 有噪无损信道有噪无损信道 信道输出符号信道输出符号Y Y集合的数量大于信道符号集合的数量大于信道符号X X集合的集合的数量数量,即即r rs,s,形成一对多的映射关形成一对多的映射关.由于一对多的映由于一对多的映射关系射关系,不能由输不能由输入完全确定信道的输出入完全确定信道的输出,H(X,H(XY)Y)0 0，H H(X)(X)H H(Y),I(X;Y)=H(X).(Y),I(X;Y)=H(X).X Y 0.4 0.6 0.7 0.3 (c)有噪无损信道 信道的容量为信道的容量为5 5.2

32、2.2 2 信信道道容容量量Page 43第第5 5章章 信道及信道容量信道及信道容量当信道输入为等概率输入时，当信道输入为等概率输入时，I(X;Y)=H(X)I(X;Y)=H(X)才能取得最大值，所以先验概率的最佳分布就是才能取得最大值，所以先验概率的最佳分布就是使得使得 p(ap(aj j)=1/r)=1/r 的分布。这类信道的特点是，的分布。这类信道的特点是，信信道概率转移矩阵中每道概率转移矩阵中每列列只有一个只有一个非零非零元元素素.P(YX)5 5.2 2.2 2 信信道道容容量量Page 44第第5 5章章 信道及信道容量信道及信道容量2.对称离散信道的信道容量对称离散信道的信道容

33、量对称离散无记忆信道是最简单的信道之一，对称离散无记忆信道是最简单的信道之一，1 1）输入对称信道容量）输入对称信道容量 定义定义 5-2:5-2:如果信道转移概率矩阵中所有行矢如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，则称信道关于输入是量都是第一行的某种置换，则称信道关于输入是对称的，这种信道称为输入对称离散信道。对称的，这种信道称为输入对称离散信道。例如，信道转移矩阵为例如，信道转移矩阵为5.2离散单符号信道及容量Page 45第第5 5章章 信道及信道容量信道及信道容量根据定义可以得出信道具有下列性质：根据定义可以得出信道具有下列性质：|5.2离散单符号信道及容量又比如信道转

34、移矩阵又比如信道转移矩阵即条件熵即条件熵H H(Y|X)(Y|X)与信道输入的符号无关。与信道输入的符号无关。Page 46第第5 5章章 信道及信道容量信道及信道容量因此，输入对称信道的容量为因此，输入对称信道的容量为5.2离散单符号信道及容量为了表示方便起见，假设转移矩阵首行元素为为了表示方便起见，假设转移矩阵首行元素为则有则有|由于由于|所以输入对称信道的容量就是找到一种分布，使所以输入对称信道的容量就是找到一种分布，使得信道输出的熵最大。得信道输出的熵最大。Page 47第第5 5章章 信道及信道容量信道及信道容量【例【例5.2-1】信道的转移矩阵为信道的转移矩阵为 求该信道的容量求该

35、信道的容量 。解解 设信道输入的概率空间为设信道输入的概率空间为5.2离散单符号信道及容量Page 48第第5 5章章 信道及信道容量信道及信道容量信道输出的概率分布为信道输出的概率分布为 =-取得极值的条件为取得极值的条件为Page 49第第5 5章章 信道及信道容量信道及信道容量解上述方程可以得到取极值的条件为解上述方程可以得到取极值的条件为P P=0.5=0.5，即，即当信道输入为等概率分布时，当信道输入为等概率分布时，H H(Y)(Y)取得最大值，取得最大值，所以所以5.2离散单符号信道及容量|该信道的容量为该信道的容量为|Page 50第第5 5章章 信道及信道容量信道及信道容量而应

36、当首先假设信道输入分布，然后解决极值问题而应当首先假设信道输入分布，然后解决极值问题5.2离散单符号信道及容量此时信道输出的概率分布为此时信道输出的概率分布为所以，当信道只是输入对称时，信道容量不能所以，当信道只是输入对称时，信道容量不能简单认为是简单认为是|Page 51第第5 5章章 信道及信道容量信道及信道容量本次课结束本次课结束Page 52第第5 5章章 信道及信道容量信道及信道容量上次课内容上次课内容 5.1 5.1信道分类信道分类5.25.2离散单符号信道及容量离散单符号信道及容量5.2.15.2.1数学模型数学模型5.2.25.2.2信道容量信道容量 1.1.无干扰离散信道无干

37、扰离散信道 2.2.对称离散信道的信道容量对称离散信道的信道容量1 1)输入对称信道输入对称信道Page 53第第5 5章章 信道及信道容量信道及信道容量1 1、信道的作用：、信道的作用：把携有信息的信号从它的输入端传递到输出端。把携有信息的信号从它的输入端传递到输出端。信道信道最重要特征参数是信息传递能力，即信道容量最重要特征参数是信息传递能力，即信道容量.2 2、什么是信道容量？、什么是信道容量？互信息量互信息量I I(X,Y)(X,Y)是输入符号是输入符号X X 概率分布的凸函数概率分布的凸函数对于一个给定的信道，总是存在某种概率分布对于一个给定的信道，总是存在某种概率分布p p(x(x

38、i i),),使得传输每个符号平均获得的信息量最大，即对于每使得传输每个符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大的信息传输速率，这个固定的信道总是存在一个最大的信息传输速率，这个最大信息传输速率定义为信道容量。个最大信息传输速率定义为信道容量。Page 54第第5 5章章 信道及信道容量信道及信道容量n1.1.无干扰离散信道无干扰离散信道 无噪无损信道无噪无损信道无噪有损信道无噪有损信道有噪无损信道有噪无损信道 X Y 0.4 0.6 0.7 0.3 Page 55第第5 5章章 信道及信道容量信道及信道容量2 2、对称离散信道的信道容量对称离散信道的信道容量1 1）输入

39、对称信道容量）输入对称信道容量 如果信道转移概率矩阵中如果信道转移概率矩阵中所有行矢量都是所有行矢量都是第一行的某种置换第一行的某种置换，这种信道称为输入对称离，这种信道称为输入对称离散信道。散信道。Page 56第第5 5章章 信道及信道容量信道及信道容量n5.2.2 5.2.2 信道容量信道容量n 2 2）输出对称信道容量）输出对称信道容量 3 3）准对称信道容量）准对称信道容量 4 4）对称）对称DMCDMC信道容量信道容量n 3.3.一般离散信道的容量一般离散信道的容量n5.3 5.3 离散序列符号信道及容量离散序列符号信道及容量n5.4 5.4 信源与信道的匹配信源与信道的匹配n5.

40、5*5.5*连续信道及其容量连续信道及其容量本次课内容Page 57第第5 5章章 信道及信道容量信道及信道容量 2 2）输出对称信道容量）输出对称信道容量 定义定义：如果信道转移概率矩阵中所有列矢量都是如果信道转移概率矩阵中所有列矢量都是 第一列的某种置换，则称信道是关于输出第一列的某种置换，则称信道是关于输出 对称离散信道。对称离散信道。5.2离散单符号信道及容量例如例如：信道转移矩阵信道转移矩阵 都是输出对称信道都是输出对称信道。和和Page 58第第5 5章章 信道及信道容量信道及信道容量输出输出对称信道对称信道容量：容量：|若若信道输出对称，信道输出对称，则则当信道输入符号等概率分布

41、当信道输入符号等概率分布时时,信道输出也是等概率分布的。信道输出也是等概率分布的。此时此时p(bp(bj ja ai i)为常数，为常数，|(5-12)信道输出符号的熵为信道输出符号的熵为得到得到5-125-12式式5.2离散单符号信道及容量Page 59第第5 5章章 信道及信道容量信道及信道容量由于信道转移矩阵是已知的，由于信道转移矩阵是已知的，H H(Y(YX)X)可以使可以使用下列公式用下列公式5.2离散单符号信道及容量只要能够求出使得上式取得最小值的信道输只要能够求出使得上式取得最小值的信道输入概率分布，即可求出信道容量入概率分布，即可求出信道容量|Page 60第第5 5章章 信道

42、及信道容量信道及信道容量3 3）准对称信道容量）准对称信道容量 定义定义 5-4 5-4：如果信道转移矩阵按列可以划分为几如果信道转移矩阵按列可以划分为几 个互不相交的子集，每个子矩阵满个互不相交的子集，每个子矩阵满 足下列性质：足下列性质：(1)(1)每行都是第一每行都是第一行行的某种置换；的某种置换；(2)(2)每列都是第一列的某种置换。每列都是第一列的某种置换。称该信道为准对称信道。称该信道为准对称信道。5.2离散单符号信道及容量Page 61第第5 5章章 信道及信道容量信道及信道容量n或者说：或者说：每一行都是第一行元素的不同排列，每一列并不每一行都是第一行元素的不同排列，每一列并不

43、都是第一列元素的不同排列，但可按着信道矩阵的列将信都是第一列元素的不同排列，但可按着信道矩阵的列将信道矩阵划分成若干个子矩阵。称这类信道为准对称信道。道矩阵划分成若干个子矩阵。称这类信道为准对称信道。例：例：可划分成两个对称矩阵可划分成两个对称矩阵准对称矩阵5.2离散单符号信道及容量Page 62第第5 5章章 信道及信道容量信道及信道容量4 4）对称信道容量）对称信道容量若转移概率矩阵若转移概率矩阵 每一行都是第一行的置转每一行都是第一行的置转,称矩阵是输入对称称矩阵是输入对称.若若每一列都是第一列的置转每一列都是第一列的置转,称称矩阵是输出对称矩阵是输出对称.若输入输出都对称若输入输出都对

44、称,称对称称对称DMCDMC信道。信道。例例和和对称信道对称信道5.2离散单符号信道及容量Page 63第第5 5章章 信道及信道容量信道及信道容量 和和 不对称不对称 5.2离散单符号信道及容量Page 64第第5 5章章 信道及信道容量信道及信道容量 对称信道的容量对称信道的容量:由于对称信道由于对称信道是是关于输入对称，而输入对称关于输入对称，而输入对称信道的容量为信道的容量为5.2离散单符号信道及容量H(Y)-H(YX)且满足且满足|与信道输入的分布无关，只与条件概率分与信道输入的分布无关，只与条件概率分布有关布有关.|Page 65第第5 5章章 信道及信道容量信道及信道容量 对称信

45、道输出也是对称的，当信道输入是对称信道输出也是对称的，当信道输入是等概率分布时，信道输出也是等概率分布等概率分布时，信道输出也是等概率分布,取得最取得最大值大值.5.2离散单符号信道及容量为了讨论问题方便起见，假设信道转移矩阵第一行为了讨论问题方便起见，假设信道转移矩阵第一行中，各元素对应的条件概率分别为中，各元素对应的条件概率分别为(p p1 1,p,p2 2.p ps s)，有有:|则对称信道容量则对称信道容量 对称信道的信道容量只与信道的转对称信道的信道容量只与信道的转移矩阵中的行矢量和输出符号集合的数移矩阵中的行矢量和输出符号集合的数量有关。如果希望信息传输率达到信道量有关。如果希望信

46、息传输率达到信道容量容量，信道输入应当满足等概率分布。信道输入应当满足等概率分布。Page 66第第5 5章章 信道及信道容量信道及信道容量【例【例 5.2-2 5.2-2】设某信道转移矩阵为设某信道转移矩阵为 求信道容量求信道容量 解解：由：由信道转移矩阵可知，矩阵的第二行是第一信道转移矩阵可知，矩阵的第二行是第一行的置换，每一列都是第一列的置换，所以信道行的置换，每一列都是第一列的置换，所以信道是对称的，所以信道容量为是对称的，所以信道容量为5.2离散单符号信道及容量Page 67第第5 5章章 信道及信道容量信道及信道容量【例【例 5-3 5-3】假设信道的输入、输出符号数相等，都】假设

47、信道的输入、输出符号数相等，都等于等于r r,且信道条件转移矩阵为且信道条件转移矩阵为求求:信道容量信道容量 。解解:显然该信道是对称的，信道容量为显然该信道是对称的，信道容量为5.2离散单符号信道及容量Page 68第第5 5章章 信道及信道容量信道及信道容量上述信道称为强对称信道或者上述信道称为强对称信道或者是是均匀信道，均匀信道，是对称信道的一个特例。一般信道转移矩阵中，是对称信道的一个特例。一般信道转移矩阵中，列元素之和并不等于列元素之和并不等于1 1，而该信道转移矩阵的各列，而该信道转移矩阵的各列元素之和都等于元素之和都等于1 1。5.2离散单符号信道及容量当当r r=2=2时，信道

48、容量为时，信道容量为Page 69第第5 5章章 信道及信道容量信道及信道容量 准对称信道是关于输入对称的准对称信道是关于输入对称的，可以使用输入可以使用输入对称信道的方法直接求解对称信道的方法直接求解.输入对称信道的容量为输入对称信道的容量为：5.2离散单符号信道及容量准准对称信道的容量对称信道的容量:由于信道输入不一定存在一种分布使得信道输由于信道输入不一定存在一种分布使得信道输出满足出满足,所以准对称信道的信道容量满足下列关系所以准对称信道的信道容量满足下列关系Page 70第第5 5章章 信道及信道容量信道及信道容量可以证明，准对称信道信道输入的最佳分布可以证明，准对称信道信道输入的最

49、佳分布是等概率分布，信道容量为是等概率分布，信道容量为5.2离散单符号信道及容量 其中其中p p1 1,p,p2 2,p ps s为准对称信道转移矩阵中的为准对称信道转移矩阵中的一行元素一行元素,n n为划分的子集数量为划分的子集数量,N Nk k为第为第k k个子矩阵的个子矩阵的行元素之和行元素之和,M Mk k为第为第k k个子矩阵的列元素之和。个子矩阵的列元素之和。Page 71第第5 5章章 信道及信道容量信道及信道容量定理定理 5-1 5-1：准对称离散信道的信道容量是在准对称离散信道的信道容量是在 信道输入为等概率分布时达到的。信道输入为等概率分布时达到的。5.2离散单符号信道及容

50、量上上式为式为准对称信道容量计算公式，而到达信准对称信道容量计算公式，而到达信道容量的信道输入最佳概率分布有下列定理确定。道容量的信道输入最佳概率分布有下列定理确定。Page 72第第5 5章章 信道及信道容量信道及信道容量【例例 5.2-4 5.2-4】设某信道的转移矩阵为】设某信道的转移矩阵为求求：信道容量信道容量 。解解：从该信道转移矩阵可以看出，该信道是一个准从该信道转移矩阵可以看出，该信道是一个准对称信道，可以分解对称信道，可以分解为为 5.2离散单符号信道及容量是是两个互不相交的子集两个互不相交的子集，而每个子集都是对称信道而每个子集都是对称信道形式，对应参数分别为形式，对应参数分