信道及信道容量 .ppt

《信道及信道容量 .ppt》由会员分享，可在线阅读，更多相关《信道及信道容量 .ppt（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信道及信道容量 2022-8-231现在学习的是第1页，共56页 信道是信息传输的通道。由于干扰而丢失的信息为信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y );在接收端获取的关于发送端信源在接收端获取的关于发送端信源X的信息量是：的信息量是： I(X;Y)H(X)-H(X|Y)即：信道中平均每个符号传送的信息量。对于信道即：信道中平均每个符号传送的信息量。对于信道,所关心的问题是平所关心的问题是平均每个符号传送的最大信息量。这就是信道容量均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号符号 信源在一定的时间信源在一定的时间T内输出符号。信源输出的信息

2、速率为内输出符号。信源输出的信息速率为Rt=H(X)/T bit/s 符号在信道中传送时，传送一个符号所用的时间为符号在信道中传送时，传送一个符号所用的时间为t,则最大信息传则最大信息传输速率为输速率为Ct=C/t bit/s. 若若RtCt，那么就可以实现无失真传送，那么就可以实现无失真传送;否则否则;不能不能无失真传送无失真传送所以，对于信道主要是研究信道容量。不同的信道，其容量不同所以，对于信道主要是研究信道容量。不同的信道，其容量不同.研究信道容量的研究信道容量的意义意义?2022-8-232现在学习的是第2页，共56页第一节 信道分类及表示参数一、信道的分类一、信道的分类1、根据信道

3、的用户数量，可以分为两端（单用户）信道和多端信道（多用户信、根据信道的用户数量，可以分为两端（单用户）信道和多端信道（多用户信道）。道）。只有一个输入端和一个只有一个输入端和一个输出端；单向输出端；单向至少有一端存在两个用至少有一端存在两个用户；双向户；双向2、根据信道输入端和输出端的关系、根据信道输入端和输出端的关系,分为无反馈信道和反馈信道分为无反馈信道和反馈信道无反馈信道无反馈信道: 输出信号对输入无影响。输出信号对输入无影响。3、根据信道的参数可以分为固定参数信道和时变参数信道、根据信道的参数可以分为固定参数信道和时变参数信道（参数：表示输入和输出统计依赖关系的转移概率（参数：表示输入

4、和输出统计依赖关系的转移概率.后面详述）后面详述）固定参数信道：如光纤、电缆固定参数信道：如光纤、电缆时变参数信道：如无线信道时变参数信道：如无线信道.会因天气或周围环境的变化而变化会因天气或周围环境的变化而变化4、根据信道中所受的噪声种类不同，分为随机差错信道和突发差错信道。、根据信道中所受的噪声种类不同，分为随机差错信道和突发差错信道。2022-8-233现在学习的是第3页，共56页随机差错信道：噪声独立地、随机地影响每个传输的码元。如加性高斯白噪声随机差错信道：噪声独立地、随机地影响每个传输的码元。如加性高斯白噪声(AGWN)信道。信道。突发差错信道：大的脉冲干扰或闪电对码元的影响是前后

5、相关的。错误突发差错信道：大的脉冲干扰或闪电对码元的影响是前后相关的。错误成串出现，且是突发性的。如移动信道。成串出现，且是突发性的。如移动信道。5、根据输入、根据输入/输出信号的特点，分为离散信道、连续信道、半离散半连输出信号的特点，分为离散信道、连续信道、半离散半连续信道和波形信道。续信道和波形信道。离散信道：输入离散信道：输入/输出信号在时间和幅度上都是离散的。输出信号在时间和幅度上都是离散的。连续信道：输入连续信道：输入/输出信号都是在时间上离散而幅度上连续。输出信号都是在时间上离散而幅度上连续。半离散半连续信道：输入半离散半连续信道：输入/输出信号有一个在幅度上离散（时间上都连续）。

6、输出信号有一个在幅度上离散（时间上都连续）。波形信道：输入波形信道：输入/输出信号在时间和幅度上都是连续的。输出信号在时间和幅度上都是连续的。 此时，输入和输出信号一般用随机过程来描述。据随机过程的理此时，输入和输出信号一般用随机过程来描述。据随机过程的理论，经过限时和限频后，经抽样变成连续型随机变量。相应地，波形论，经过限时和限频后，经抽样变成连续型随机变量。相应地，波形信道被分解成连续信道。信道被分解成连续信道。2022-8-234现在学习的是第4页，共56页二、信道的参数二、信道的参数参数：表示输入和输出统计依赖关系的参数：表示输入和输出统计依赖关系的转移概率转移概率。对于单符号信道，即

7、对于单符号信道，即 ,对于符号序列信道，即对于符号序列信道，即 。)X|YP(X)|YP( 由于信道引入的干扰由于信道引入的干扰,使得输入和输出之使得输入和输出之间没有确定的对应关系，而只有间没有确定的对应关系，而只有统计统计上的依上的依赖关系赖关系(用转移概率来描述用转移概率来描述)。知道了这种关。知道了这种关系，信道的全部特性就确定了系，信道的全部特性就确定了.所以所以,它是信它是信道的参数。道的参数。 根据信道的参数，将信道分为三大类：根据信道的参数，将信道分为三大类：1、无干扰信道、无干扰信道 理想信道，信道中没有随机干扰理想信道，信道中没有随机干扰或干扰很小。输出与输入之间有完全确定

8、的对应关系。或干扰很小。输出与输入之间有完全确定的对应关系。)Xf(Y 0XYP )Xf(Y 1XYP)|()|(2022-8-235现在学习的是第5页，共56页2、有干扰无记忆信道、有干扰无记忆信道无记忆无记忆：任意时刻的输出符号，只统计依赖于对应时刻的输：任意时刻的输出符号，只统计依赖于对应时刻的输入符号，而与其它时刻的输入符号、输出符号无关入符号，而与其它时刻的输入符号、输出符号无关.N1iiiNN2211N21N21xP(xxxP(xxxP(XYP)|)|,.,|,|),.,|,.,)|(yyyyyyy这种信道根据输入信号与输出信号的这种信道根据输入信号与输出信号的符号数目符号数目进一

9、步划分为以下四进一步划分为以下四种信道：种信道：指符号集中符号的个数指符号集中符号的个数(1)二进制离散信道二进制离散信道(又叫二进制对称信道又叫二进制对称信道BSCBSC，转移概率对称，转移概率对称)2022-8-236现在学习的是第6页，共56页p-1ppp-1PPPP P P :P22211211ij阵）转移概率矩阵（传递矩 传递矩阵也完全确定了输入与输出间的统计依赖关系，也是信道传递矩阵也完全确定了输入与输出间的统计依赖关系，也是信道的数学模型。的数学模型。(2) 离散无记忆信道离散无记忆信道(DMCDMC-Discrete Memoryless Channel-Discrete Me

10、moryless Channel) 仍是单符号离散信道，符号集中的符号数目大于仍是单符号离散信道，符号集中的符号数目大于2 。2022-8-237现在学习的是第7页，共56页nmn2n12m22211m1211ijPPPPPPPPP P P :P阵）转移概率矩阵（传递矩m1jm1jijij1PabP1)|(。元素之和等于转移概率矩阵中各行的2022-8-238现在学习的是第8页，共56页复习与作业讲评1、符号的使用：、符号的使用： 自信息量自信息量I 熵熵-H H2不能随便使用不能随便使用7、向孔祥品学习、向孔祥品学习2、应画出信源（模型）、应画出信源（模型）3、2.4题，求题，求H(X)，而

11、非，而非I(x)4、2.5题，求自信息量或条件信息量。个别同学题，求自信息量或条件信息量。个别同学H(y|x)5、2.11(2)有些同学计算有些同学计算H(X,Y)太复杂。太复杂。 xi-颜色，构成信源颜色，构成信源X, yi-数字，构成信源数字，构成信源Y.每个数字对应一种颜色（反之未必），数字已知，则颜色确定，每个数字对应一种颜色（反之未必），数字已知，则颜色确定，H(X|Y)=0。H(X,Y)=H(Y)=.6、2.21（3）信号放大问题。课上已经强调过，仍出错。）信号放大问题。课上已经强调过，仍出错。2022-8-239现在学习的是第9页，共56页复习复习：第四节：第四节 连续信源的熵和

12、互信息连续信源的熵和互信息一、单符号连续信源的熵一、单符号连续信源的熵 相对熵（差熵）相对熵（差熵）dxxpxpXX)(log)(X)Hcdxdyxypxypdxdyxypxyp)/(log)()(log)(Y/X)H(XY)HccI(X;Y)I(Y;X)Hc(X)- Hc(X|Y) Hc(X)Hc(Y)- Hc(XY) Hc(Y)- Hc(Y|X)Hc(XY)Hc(X)Hc(Y|X)Hc(Y) Hc(X|Y)2022-8-2310现在学习的是第10页，共56页二、波形信源的熵二、波形信源的熵 理解讨论方法即可理解讨论方法即可)()(XHlim(t)HcLcx三、三、 连续信源最大熵定理连续信

13、源最大熵定理 1、峰值功率受限的最大熵定理、峰值功率受限的最大熵定理对于定义域为有限的随机变量对于定义域为有限的随机变量X，当它是均匀分布时，其熵，当它是均匀分布时，其熵最大。最大。)log()(log)()(abdxxpxpXHXXc22、限平均功率最大熵定理、限平均功率最大熵定理 服从正态分布时具有最大相熵。服从正态分布时具有最大相熵。)()()()(,)(exp)(2C22222222log21ogP,0mPm221dxxplxpXHmmxxp此时有：通常为方差为均值，2022-8-2311现在学习的是第11页，共56页第五节第五节 冗余度冗余度一、冗余度的概念一、冗余度的概念 表示给定

14、信源在实际发出消息时所包含的多余信息。表示给定信源在实际发出消息时所包含的多余信息。二、冗余度产生的原因二、冗余度产生的原因 理解理解 一是信源符号间的相关性，二是信源符号分布的不均匀性一是信源符号间的相关性，二是信源符号分布的不均匀性三、冗余的定义三、冗余的定义)()(XX110HH四、冗余的压缩四、冗余的压缩第三章第三章 信道及信道容量信道及信道容量第一节第一节 信道分类及表示参数信道分类及表示参数参数：表示输入和输出统计依赖关系的参数：表示输入和输出统计依赖关系的转移概率转移概率。对于单符号信道，即对于单符号信道，即 ,对于符号序列信道，即对于符号序列信道，即 。)X|YP(X)|YP(

15、2022-8-2312现在学习的是第12页，共56页根据信道的参数，将信道分为三大类：根据信道的参数，将信道分为三大类：1、无干扰信道、无干扰信道2、有干扰无记忆信道、有干扰无记忆信道N1iiiNN2211N21N21xP(xxxP(xxxP(XYP)|)|,.,|,|),.,|,.,)|(yyyyyyy根据输入信号与输出信号的根据输入信号与输出信号的符号数目符号数目进一步划分为以下四种信道：进一步划分为以下四种信道：(1)二进制离散信道二进制离散信道(又叫二进制对称信道又叫二进制对称信道BSCBSC，转移概率对称，转移概率对称)(2) 离散无记忆信道离散无记忆信道(DMCDMC-Discre

16、te Memoryless Channel-Discrete Memoryless Channel) 仍是单符号离散信道，符号集中的符号数目大于仍是单符号离散信道，符号集中的符号数目大于2 。GO ON2022-8-2313现在学习的是第13页，共56页(3) 离散输入连续输出信道离散输入连续输出信道仍是单符号信道，属于半连续半离散信道。仍是单符号信道，属于半连续半离散信道。 e 21 aamYaX e 21n)N, NXY22i222a-(y-iY2ii2n-N)|(ypp的高斯随机变量，方差仍为是均值为时，当给定的概率密度函数是，举例：加性高斯白噪声举例：加性高斯白噪声(AWGN)信道信道

17、 (Addable White Goss Noise)2022-8-2314现在学习的是第14页，共56页(4) 波形信道波形信道输入信号和输出信号用随机过程表示，所以信道模型为输入信号和输出信号用随机过程表示，所以信道模型为: 经过限时经过限时(tB)和限频和限频(fm)后，经过抽样输入和输出信号分别变换后，经过抽样输入和输出信号分别变换成连续型随机序列：成连续型随机序列： 和和 抽样点数为抽样点数为L=2 fm tB，相应地，相应地,波形信道被分解成波形信道被分解成L维连续信道维连续信道,其转移特性为：其转移特性为：),.,N21XX(XX ),.,N21YY(YY 1d(yL21L21R

18、 RRL21L21YL21L21Y ),.,|,.,(),.,|,.,(),.,|,.,)|(xxxyyyxxxyyypxxxyyypxp完备性L1iiiYL21L21Y(y时)|(),.,|,.,)|( 忆 无记xypxxxyyypxp：2022-8-2315现在学习的是第15页，共56页)()(/ )()|(所以)()(),()(且有)()()( ),()()(加性噪声条件下：ny,yn NX ny,tntxtytNtXtY N,XY,XYN,XN,XY,Xpxpxpxppxpxpxp：独立和：样本结论：结论：信道的转移概率密度函数等于噪声的概率密度函数信道的转移概率密度函数等于噪声的概率

19、密度函数 。条件熵条件熵H(Y|X)又叫做又叫做噪声熵噪声熵的进一步理解：的进一步理解： 确定噪声所需要的平均信息量确定噪声所需要的平均信息量就是就是H(Y|X),叫作噪声熵。正像区分叫作噪声熵。正像区分X中中的每个符号所需要的平均信息量就是信源的熵的每个符号所需要的平均信息量就是信源的熵H(X).因而又叫噪声熵。因而又叫噪声熵。可以看作是唯一地确定信道中的噪声所需要的平均信息量。可以看作是唯一地确定信道中的噪声所需要的平均信息量。)()()()|()|()()()|()()|(:,nHdnlogndylogydlogddylogy,XYHCRnNNyYRRYXXyYR RY,XC xppxp

20、xpxpxpxpxpxx条件熵对于连续信道正是噪声熵正是噪声熵2022-8-2316现在学习的是第16页，共56页3、有干扰有记忆信道、有干扰有记忆信道有两种简化处理的方法：有两种简化处理的方法：(1)将记忆很强的将记忆很强的L个符号用一个矢量符号表示个符号用一个矢量符号表示(看作一个符号看作一个符号)，各个矢，各个矢量符号之间认为是无记忆的量符号之间认为是无记忆的.L越大越大,引入误差与小。引入误差与小。(2)将序列转移概率看作是马尔科夫链的状态转移概率，用马尔科夫链将序列转移概率看作是马尔科夫链的状态转移概率，用马尔科夫链的分析方法去处理。的分析方法去处理。4、本课程主要讨论编码和解码，一

21、般使用、本课程主要讨论编码和解码，一般使用DMC信道模型信道模型 到底选用哪种信道模型，取决于分析问题的目的。若设计和分析离散到底选用哪种信道模型，取决于分析问题的目的。若设计和分析离散信道的编码和解码，当然选择信道的编码和解码，当然选择DMC信道模型。如果分析性能的理论极限信道模型。如果分析性能的理论极限，则使用离散输入连续输出模型则较合适。如果分析和设计调制，则使用离散输入连续输出模型则较合适。如果分析和设计调制/解调解调器，则选择波形信道模型。器，则选择波形信道模型。2022-8-2317现在学习的是第17页，共56页第二节 离散单符号信道及其容量一、几个概念：一、几个概念：1、信息传输

22、率信息传输率R 信道中平均每个符号所信道中平均每个符号所传输的信息量。传输的信息量。R=I(X;Y)=H(X)-H(X|Y) bit/符号符号2、信息传输速率信息传输速率Rt 信道在单位时间内平均传输的信息量。设信道传送一个符号用时为信道在单位时间内平均传输的信息量。设信道传送一个符号用时为T，则：，则： Rt=I(X;Y)/T bit/s3、信道容量信道容量C 定义最大的信息传输速率为信道容量定义最大的信息传输速率为信道容量,);()YXImaxCip(x道容量。最大。此最大值即是信达到确定）使得在着某种信源（由对于特定信道，一定存，有最大值。是关于一定时，当回顾：);()(型凸的函数)()

23、|(YXIRPPY)I(X;P iiijxxxy2022-8-2318现在学习的是第18页，共56页4、信道容量的另一种定义：、信道容量的另一种定义： 定义信道单位时间内平均传输的最大信息量为信道容量定义信道单位时间内平均传输的最大信息量为信道容量,为传送一个符号的用时T YXImaxT1TCRCimaxp(xtt);()5、对于某个特定的信道，其信道容量是一定的。在信息传输时，能否达到这、对于某个特定的信道，其信道容量是一定的。在信息传输时，能否达到这个最大传输能力，取决于输入端的信源。从这个意义上也可以理解信源与信道个最大传输能力，取决于输入端的信源。从这个意义上也可以理解信源与信道匹配匹

24、配的含义。的含义。二、无干扰离散信道的容量：二、无干扰离散信道的容量： 输出与输入之间有确定的对应关系；有三种不同的关系：输出与输入之间有确定的对应关系；有三种不同的关系：(1)无噪无损无噪无损信道（信道（一一对应的关系一一对应的关系）H(Y|X)=H(X|Y)=0I(X;Y)=H(X)=H(Y)maxI(X;Y)=lognmaxI(X;Y)=logn C=logn C=logn2022-8-2319现在学习的是第19页，共56页(2)无噪有损无噪有损信道（信道（多对一的对应关系多对一的对应关系）噪声熵噪声熵H(Y|X)=0损失熵损失熵H(X|Y)0故名之。故名之。I(X;Y)=H(Y)-H(

25、Y|X)=H(Y)H(X)C=maxI(X;Y)C=maxI(X;Y)=maxH(Y)=logm=maxH(Y)=logm(3)有噪无损有噪无损信道（信道（一对多的对应关系一对多的对应关系）噪声熵噪声熵H(Y|X)0 ,损失熵损失熵H(X|Y)=0,故名之。故名之。I(X;Y)= H(X)- H(X|Y)=H(X)H(Y) C=maxI(X;Y)=maxH(X)=logn三、对称三、对称DMC信道的容量：信道的容量：1、对称性：如果转移概率矩阵、对称性：如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素）的每一行都是第一行的置换（包含同样元素），称该矩阵是，称该矩阵是输入对称输入对称的；

26、的； 如果转移概率矩阵如果转移概率矩阵P的每一列都是第一列的置换（包含同样元素的每一列都是第一列的置换（包含同样元素），称该矩阵是），称该矩阵是输出对称输出对称的。的。2022-8-2320现在学习的是第20页，共56页如果输入、输出都对称，则称该如果输入、输出都对称，则称该DMC为为对称的对称的DMC信道信道。 3161316161613131, 2161311/3211/661311/3 3131616161613131只是输入对称而对称和/2、对称、对称DMC的信道容量的信道容量C：它是个常数无关。对于各行来说，的值与中各行的元素都相同，转移概率矩阵iablogPabPP1jijij)|

27、()|()(是个常数所以噪声熵jijjijijjiiiijijjiablogPb|aPablogPb|aPaPablogPb,aPXYH)|()()|()()()|()()|(2022-8-2321现在学习的是第21页，共56页)|()()|()();()XYHYHmax XYHYHmaxYXImaxCiiip(ap(ap(a那么：m1jijijm1jijijjlogPPlogmablogPabPlogm XYHlogmC logmYmaxHb2)|()|()|(:)()(则服从等概分布，如果怎样使怎样使bj服从等概分布？服从等概分布？常数输出对称则：那么：服从等概分布，如果由于 abPn1b

28、P1/n,)aPa ab)PaPb,aPbPiijjiiiijiijij)|()()|()()(2022-8-2322现在学习的是第22页，共56页结论结论：的行向量）信道的容量为：有最大值。此时，分布，那么输出符号也等概，如果输入符号等概分布PHlogmlogPPlogmablogPabPlogm XYHlogmXYHYmaxHClogmYHm1bP1/n)aP m1jijijm1jijijji()|()|()|()|()(,)(/)(M是输出符号集中的符号数是输出符号集中的符号数对转移矩阵的行向量作求熵运算对转移矩阵的行向量作求熵运算 3131616161613131P 13求信道容量。已

29、知传递矩阵/ 例题符号的行向量）的信道，直接代入公式：对称/.)/,/,/,/(解082bit061613131Hlog4PHlogm C 2022-8-2323现在学习的是第23页，共56页 1 1-n 1-n 1-n 1 1-n 1-n1-n-1 P 23求信道容量。）强对称信道（均匀信道 例题信道。，即为的特例信道：对称BSC2n1-n1,-n1,-n,-H(1-lognC m.n DMC).,解3、串联信道的信道容量：、串联信道的信道容量：(1)串联信道串联信道举例：微波举例：微波中继通信中继通信2022-8-2324现在学习的是第24页，共56页信道信道1容量为：容量为：C(1)=m

30、axI(X;Y)信道信道1,2,3串联后等价为串联后等价为 容量为：容量为：C(1,2,)=maxI(X;W)信道信道1,2串联后等价为串联后等价为 容量为：容量为：C(1,2)=maxI(X;Z)(2)串联信道的信道容量可能会减少。串联级数越大，信道容量会串联信道的信道容量可能会减少。串联级数越大，信道容量会越小。越小。由由2.2节数据处理定理（信息不增定理）知道：节数据处理定理（信息不增定理）知道：H(X)I(X;Y)I(X;Z)I(X;W) 所以：所以：C(1,2)C(1,2,3)C(1,2,3)。，求串联后的信道容量矩阵为信道串联，它们的转移两个相同的1-1 PPBSC 3321 例题

31、2022-8-2325现在学习的是第25页，共56页 -(11212-(12222)()() 1-11-1PPP 21串联后的转移矩阵为： 12-H(1-1Z)I(X;)1H(-1Y)I(X;22)(,),；可求得 mm信道容量越小。互信息越小，越大如图所示，信息曲线个相同信道串联后的互,2022-8-2326现在学习的是第26页，共56页四、准对称四、准对称DMC信道的容量信道的容量准对称信道准对称信道 ：只满足输入对称的信道：只满足输入对称的信道信道容量的计算，有两种方法：信道容量的计算，有两种方法：1、引入拉格朗日算子求极值。举例说明：、引入拉格朗日算子求极值。举例说明： bbbYaaX

32、DMC205030203050 4332121求信道容量。，输出符号输入符号，是一个准对称已知信道的转移矩阵例题.,.P表示，求出极值点。，其它变量用型凸函数。令的关于思路：)()()|()|)()()|()();(1ijijijiijjjaPaPablogPaP(baPblogPP(bmax-XYHYHmaxYXmaxIC)(.)(.)(.),()()(解12015013020 30 50baP1aPaPji21概率矩阵，。由转移矩阵可得联合，：令2022-8-2327现在学习的是第27页，共56页0.2bP 0.20.5bP0.20.3baPbPbaPbP32i1i1ijij)()(),(

33、)(),()(，得：由30og3050og50 2050og20502030log2030ablogPaP(baPblogPP(b-YXIjijijiijjj.).().().().()|()|)()();(lll符号代入上式。所以：，得令/./);(/);(036bit0 21 YXmaxIC210YXI2、划分为若干个互不相交的对称的子矩阵后，求信道容量。、划分为若干个互不相交的对称的子矩阵后，求信道容量。61613131316161311/31/6 1/61/6 1/3613131P/和、分解成举例：0.10.10.7200.20.70.7 0.2 10201070P和分解成.2022-

34、8-2328现在学习的是第28页，共56页是子矩阵的个数个子矩阵中列元素之和是第；个子矩阵中行元素之和是第元素；是转移矩阵的任一行的数；为输入符号集中的符号其中：互信息达到信道容量当输入分布为等概时，rkMkN.PPPnlogMN.PPPHlognC kks21r1kkks21,),(证明得知：容量。用第二种方法求其信道，信道，转移矩阵中的准对称例例题205030203050DMC 43 53.P符号。，。和分解成：036bit/0 2n logMNPPPHlognC402020M803050M20N803050N2r0.20.20.5300.30.50.2 0.2 50303050Pr1kk

35、k3212121.),(.解2022-8-2329现在学习的是第29页，共56页五、一般五、一般DMC信道的容量信道的容量 平均互信息平均互信息I(X;Y)是关于是关于P(a1),P(a2),P(an)的多元函数，求其最大的多元函数，求其最大值的方法有很多，如前述拉格朗日乘子法，值的方法有很多，如前述拉格朗日乘子法，Blahut-Arimoto算法等，大算法等，大都比较复杂，下面只给出相关定理。都比较复杂，下面只给出相关定理。定理定理：一般离散无记忆信道的平均互信息：一般离散无记忆信道的平均互信息I(X;Y) 达到极大值的充要条件达到极大值的充要条件是，输入分布满足：是，输入分布满足：I(ai

36、; Y)=C 对于所有的满足对于所有的满足p(ai)0的的i。I(ai; Y)C 对于所有的满足对于所有的满足p(ai)=0的的i。解释解释：当平均互信息：当平均互信息I(X;Y) 达到信道容量时，除了概率为零的符号外达到信道容量时，除了概率为零的符号外，输入符号集中的每一个符号对输出端提供相同的信息量。，输入符号集中的每一个符号对输出端提供相同的信息量。2022-8-2330现在学习的是第30页，共56页而其它符号所提供的信息量增大。所以经过不断调整后，输入符号的概率分而其它符号所提供的信息量增大。所以经过不断调整后，输入符号的概率分布使得每个概率不为零的输入符号对于输出布使得每个概率不为零

37、的输入符号对于输出Y提供的平均互信息是相同的。提供的平均互信息是相同的。jiijiji)P(a)a|P(b)loga|P(bYI(a);理解理解：在某种给定的输入分布下，对输出：在某种给定的输入分布下，对输出Y所提供的互信息所提供的互信息I(X;Y)，若其中有一个符号若其中有一个符号ai比其它输入符号大，那么就可以更多地使用该符号，比其它输入符号大，那么就可以更多地使用该符号，即增大该符号即增大该符号ai出现的概率出现的概率P(ai)，使得加权平均后的，使得加权平均后的I(X;Y)=P(ai)I(ai;Y)增大；但是，这会改变输入符号的分布，而使增大；但是，这会改变输入符号的分布，而使该符号的

38、平均互信息该符号的平均互信息I(ai;Y)减小（？），减小（？），2022-8-2331现在学习的是第31页，共56页第三节 离散序列信道及其容量一、回顾一、回顾离散单符号扩展信道。分为无记忆和有记忆两种。只讨论无离散单符号扩展信道。分为无记忆和有记忆两种。只讨论无记忆离散序列信道的容量。记忆离散序列信道的容量。)|(),.,|,.,lllXYPXXXYYP(Y)Y|XP(L1L21L21无记忆：二、无记忆离散序列信道的平均互信息二、无记忆离散序列信道的平均互信息关系式）( YXHXHYYYXXH(XXXH(X)Y|XH(-)XH()Y;XI(LLLL21L21L21)|()(),.,|,.,

39、),.,2022-8-2332现在学习的是第32页，共56页定义）( )XP()X|YP()logY,XP)YP()Y|XP()logY,XP)Y;XI(三、无记忆离散序列信道的容量三、无记忆离散序列信道的容量1、定理、定理L1L21L21YI(X)Y|XI(YY(YYXX(XXlll);),.,),.,:，则存在：。假设信道是无记忆的的序列为通过信道传输接收到随机序列为定理一、若信道的输入L1L21L21YI(X)Y|XI(YY(YYXX(XXlll);),.,),.,:，则存在：。假设信道是无记忆的的序列为通过信道传输接收到随机序列为定理二、若信道的输入2、结论、结论L1YI(X)Y|XI

40、(lll);2022-8-2333现在学习的是第33页，共56页3、信道容量、信道容量信息通过信道传输的最大互某时刻 llllllllllCCYmaxI(XYI(Xmax)Y|XI(maxCL1L1L1)XP(L););1L1LL21LCCCCCCll则：同，各时刻的转移概率都相信道平稳时，各符号在.？道的容量信道，二次扩展后，信例2CBSC 732022-8-2334现在学习的是第34页，共56页序列则：符号信道：/./.),(,解062bit1531022CC531bit099lb001lb01 0.1P P1PHlb2CBSC 2序列，其信道容量为信道。转移矩阵为：是对称的信道的二次扩展

41、信道仍验证：/)()()(,)()()()()()()()()()()()(1.062bit. 0.1P PP1PP1PP1Hlb4CP1P1PP1PPP1PP1PP1PP1PPP1P1PPP1PP1PP1PDMCBSC222222222224、独立并联信道的信道容量（例如：时分复用）、独立并联信道的信道容量（例如：时分复用） 将将L个相互独立的信道并联后，每个信道的输个相互独立的信道并联后，每个信道的输出出Yl只与本信道的输入只与本信道的输入Xl有关。那么序列转移概有关。那么序列转移概率率P(Y1,Y2,YL|X1,X2,XL)=P(Y1|X1)P(YL|XL),因而是无记忆序列信道。其容量

42、因而是无记忆序列信道。其容量C1,2,L=Cl2022-8-2335现在学习的是第35页，共56页第四节 连续信道及信道容量一、连续单符号加性信道及其容量：一、连续单符号加性信道及其容量：1、回顾、回顾22n-2elog221XYHnHe 21n) 0n22)|()(。噪声熵为：，方差为均值为为一维加性高斯噪声，p2、平均互信息、平均互信息(信息传输率信息传输率) 3、信道容量、信道容量)()()()()()()();(YX,HYHXHY|XHXHX|YHYHYXIRCCCCCCC2022-8-2336现在学习的是第36页，共56页2CnCCCelog221YHmaxHYHmaxX|YHYHm

43、axYXImaxmaxRCXXXX)()()()();()()()()(xpxpxpxp量达到最大值，即信道容。此时，互信息正态分布，具有最大熵时，若它服从平均功率受限为出根据最大熵定理，当输ePlog221YmaxHPY C)(怎样才能保证输出怎样才能保证输出Y Y服从正态分布？服从正态分布？就服从高斯分布。服从高斯分布，要是高斯噪声。所以，只相互独立，与之和。这里且方差等于各变量方差仍服从正态分布。的两个随机变量，其和根据概率论，统计独立YXNNXNXY ,2022-8-2337现在学习的是第37页，共56页)()()(,),()(SNR1log21S1log21elog221-ePlog

44、221CePlog221YmaxHSPYSS0NxpX22C2X的功率为则：输出符号为功率（即方差）的概率密度函数为设：输入符号结论：连续单符号信道的信道容量取决于输入信噪比连续单符号信道的信道容量取决于输入信噪比4、加性噪声不是高斯噪声时的信道容量、加性噪声不是高斯噪声时的信道容量。是噪声熵的功率；为输出符号的功率为输入符号的非高斯噪声。，方差为噪声是均值为)|()(,)()(XYHnHYPXS0nH-ePlog221CS1log21 CC2C2高斯白噪声是最恶劣的噪声，相应的信道容量最小。高斯白噪声是最恶劣的噪声，相应的信道容量最小。 2022-8-2338现在学习的是第38页，共56页二

45、、多维无记忆高斯加性连续信道及其容量二、多维无记忆高斯加性连续信道及其容量1、回顾、回顾L1NL21NNL1L21L21(NNN(NN(YX XXXYY(YXYlllllpppppp),.,)|(),.,|,.,)|(2、等价于、等价于L个独立并联加性信道个独立并联加性信道2022-8-2339现在学习的是第39页，共56页3、信道容量、信道容量L1YXIXYIlll)|()|( 据据3.3节定理，无记忆信道有下式成立：节定理，无记忆信道有下式成立：而每个单符号高斯信道而每个单符号高斯信道 有：有：所以：所以：)()|(2P1log21YXIllllL12P1log21)Y;XI(lll)(L

46、12P1log21)Y;XmaxI(Clll)(信道容量：分以下两种情况讨论。有关输入信噪比信道容量与不同时刻的功率）个噪声变量的方差（或第），个变量的方差（或功率输入序列中第这里：,/22 P Pllllll(1)每个时刻的噪声相同每个时刻的噪声相同(均值为零均值为零,方差为方差为2) 当输入矢量的各个分量当输入矢量的各个分量Xl相互独立，且各相互独立，且各分量均值为分量均值为0 方差都为方差都为Pl = S时，时，)(2S1log2LCl2022-8-2340现在学习的是第40页，共56页复习与测验第二节第二节 离散单符号信道及其容量离散单符号信道及其容量1、信道容量的定义、信道容量的定义

47、 最大的信息传输速率为信道容量最大的信息传输速率为信道容量,);()YXImaxCip(x 或：信道单位时间内平均传输的最大信息量为信道容量或：信道单位时间内平均传输的最大信息量为信道容量,为传送一个符号的用时T YXImaxT1TCRCimaxp(xtt);()2、无干扰离散信道的容量：、无干扰离散信道的容量：(1)无噪无损信道（一一对应）无噪无损信道（一一对应）H(Y|X)=H(X|Y)=0；I(X;Y)=H(X)=H(Y)；C=maxI(X;Y)=logn (2)无噪有损信道（无噪有损信道（多对一多对一）：）： H(Y|X)=0；H(X|Y)0I(X;Y)=H(Y)-H(Y|X)=H(Y

48、)H(X)C=maxI(X;Y)=maxH(Y)=logm2022-8-2341现在学习的是第41页，共56页(3) 有噪无损信道（有噪无损信道（一对多一对多）：）： H(X|Y)=0 ;H(Y|X)0I(X;Y)= H(X)- H(X|Y)=H(X)H(Y) C=maxI(X;Y)=maxH(X)=logn3、对称对称DMC的信道容量的信道容量C：的行向量）PHlogmlogPPlogmCm1jijij(4、串联信道的信道容量：、串联信道的信道容量： （数据处理定理（数据处理定理)串联级数越大，信道容量会越小。串联级数越大，信道容量会越小。5、准对称、准对称DMC信道的容量：信道的容量：有两

49、种方法：有两种方法：1）、引入拉格朗日算子求极值。）、引入拉格朗日算子求极值。2）、划分为若干个互不相交）、划分为若干个互不相交的对称的子矩阵后，求信道容量。的对称的子矩阵后，求信道容量。6、一般离散无记忆信道的信道容量：、一般离散无记忆信道的信道容量：定理：平均互信息定理：平均互信息I(X;Y) 达到极大值的充要条件是，输入分布满足：达到极大值的充要条件是，输入分布满足：I(ai; Y)=C 对于所有的满足对于所有的满足p(ai)0的的i。I(ai; Y)C 对于所有的满足对于所有的满足p(ai)=0的的i。2022-8-2342现在学习的是第42页，共56页第三节第三节 离散序列信道及其容

50、量离散序列信道及其容量1、无记忆离散序列信道的信道容量、无记忆离散序列信道的信道容量信息通过信道传输的最大互某时刻 lllllllCCYI(Xmax)Y|XI(maxCL1L1)XP(L);2、独立并联信道的信道容量（例如：时分复用）、独立并联信道的信道容量（例如：时分复用） 将将L个相互独立的信道并联后，每个信道的输个相互独立的信道并联后，每个信道的输出出Yl只与本信道的输入只与本信道的输入Xl有关。那么序列转移概有关。那么序列转移概率率P(Y1,Y2,YL|X1,X2,XL)=P(Y1|X1)P(YL|XL),因而是无记忆序列信道。其容量因而是无记忆序列信道。其容量C1,2,L=Cl第四节