第三信道与信道容量课件.ppt

第三信道与信道容量第1页，此课件共45页哦第三章第三章 信道与信道容量信道与信道容量3-1 引言引言1什么是信道？信道是传送信息的载体信号所通过的通道。如：二人对话:二人间的空气就是信道；打电话:电话线就是信道；看电视、听收音机:收、发间的空间就是信道。第2页，此课件共45页哦2信道的作用信道主要用于传输与存储信息。3研究信道的目的1)描述、度量、分析不同类型信道；2)计算其容量，即极限传输能力，并分析其特性。4信道传输能力取决于：1)本身特性2)信号形式3)信源特性第3页，此课件共45页哦3-2 信道的分类与描述信道的分类与描述一信道分类:信道可从不同角度加以分类,归纳起来可分为：从工程物理背景传输媒介类型；从数学描述方式信号与干扰描述方式；从信道本身的参数类型恒参与变参；从用户类型单用户与多用户；第4页，此课件共45页哦二二离散信道描述离散信道描述其中：第5页，此课件共45页哦信道可以引用三组变量来描述：信道输入概率空间：信道概率转移矩阵：信道输出概率空间：即：它可简化为：第6页，此课件共45页哦1）无扰信道:2）有扰无记忆信道:3）有扰有记忆信道:按信道的统计特性p(y/x)可将信道分为第7页，此课件共45页哦3-3 有扰单符号离散信道有扰单符号离散信道XYa1a2anb1b2bmP(Y/X)一一数学模型数学模型p(bj/ai)传递概率 （i=1,2,n；j=1,2,m)输入输出对应关系：第8页，此课件共45页哦X:a1,a2,an P(Y/X):p(bj/ai)Y:b1,b2,bm(i=1,2,n；j=1,2,m)特点：（1）0 p(bj/ai)1 (i=1,2,n；j=1,2,m)（2）第9页，此课件共45页哦P 信道矩阵=1第10页，此课件共45页哦图3.3 传递图第11页，此课件共45页哦二信道容量下面，我们首先将互信息表达成概率的函数：噪声熵疑义度1、定义：第12页，此课件共45页哦一般当信道给定以后，（已知）即，这时互信息仅决定于信源的先验分布 ，我们可以进一步调整 值 使 达到最大值，由互信息的性质,是 的上凸函数，这时最大值一定存在，我们定义它为信道中传送的最大信息率，即信道容量C，则即通过改变信道输入的概率分布 求得互信息 的极值，称它为给定信道 的信道容量值。第13页，此课件共45页哦2、信道容量及其一般算法信道容量及其一般算法信息传输率：(比特/信道符号）(比特/秒）若信道平均每传一个符号需要 t秒，则信息传输速率：第14页，此课件共45页哦信道容量：(比特/信道符号)(比特/秒)p(X)匹配信源拉格朗日乘子法拉格朗日乘子法第15页，此课件共45页哦3-3-1 离散无扰信道及离散无扰信道及信道的容量信道的容量1.无损确定信道：每列只有一个非零元素：第16页，此课件共45页哦信道输入符号集符号数2.无损信道（具有扩展性质的信道）a1b1b2b3p11p12p13a2b4b4b4p24p25p26第17页，此课件共45页哦每列只有一个非零元素：信道输入符号集符号数第18页，此课件共45页哦3.确定信道（归并信道）b1a3a2a1111b2a6a5a4111第19页，此课件共45页哦每行只有一个非零元素：信道输出符号集符号数第20页，此课件共45页哦 一 几种对称信道的信道容量一、强对称信道的容量（均匀信道）1 输入 r与输出 s相等2 传递概率：r=s3-3-2 有扰信道及其容量 第21页，此课件共45页哦第22页，此课件共45页哦H(Y/X)H(Y/ai)常数第23页，此课件共45页哦第24页，此课件共45页哦特点：(1)当输入信源X达到最大熵值时，输出随机变量 Y同时达到最大熵值，即：H(X)=log r(2)当输入X等概分布时：第25页，此课件共45页哦(3)当输入信源等概时：信道容量信道容量第26页，此课件共45页哦1、数学模型：矩阵中的每一行都是第一行的重排列或矩阵中的每一列都是第一列的重排列。二二.一般性对称信道一般性对称信道第27页，此课件共45页哦定义定义3.1 如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。定义定义3.2 如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。第28页，此课件共45页哦行：同一集合列：同一集合与强对称信道的区别：1.强：r=s 对：r=s?2.强：行元素集合与 列元素集合相等 对：？3.强：行=1，列=1 对：行=1，列：？4.强：对称 对：？第29页，此课件共45页哦例：第30页，此课件共45页哦定理：定理：对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。即 2、对称信道的容量行：同一集合列：同一集合第31页，此课件共45页哦证：第32页，此课件共45页哦等概信源第33页，此课件共45页哦3-3-4离散单消息（或无记忆）信道容量离散单消息（或无记忆）信道容量C的计算：的计算：基本思路：求C即求互信息极值，可以采用拉氏乘子求条件极值方法求解；第34页，此课件共45页哦3-4-33-4-3信源与信道匹配信道剩余度=C-I(X,Y)相对剩余度=C-I(X,Y)/C=1-I(X,Y)/C无损信道相对剩余度=1-H(X)/logr无损信道C=logr I(X,Y)=H(X)第35页，此课件共45页哦3-6 连续信道及其容量连续信道及其容量连续信道：输入输出均为连续的,从时间关系上看：时间离散信道：时间连续信道：3-6-1连续单消息信道及其容量连续单消息信道及其容量一、单维连续通信系统数学模型：XYp(Y/X)第36页，此课件共45页哦两类情况 高斯加性信道非高斯加性信道加性信道的重要性质：信道的传递概率密度函数就等于噪声的概率密度函数加性信道加性信道第37页，此课件共45页哦 连续信道容量连续信道容量可以证明可以证明式中式中 S 信号平均功率信号平均功率（W）；）；N 噪声功率（噪声功率（W）；）；B 带宽（带宽（Hz）。）。设噪声单边功率谱密度为设噪声单边功率谱密度为n0，则，则N=n0B；故上式可以改写成：故上式可以改写成：由上式可见，由上式可见，连续信道的容量连续信道的容量Ct和信道带宽和信道带宽B、信号功、信号功率率S及噪声功率谱密度及噪声功率谱密度n0三个因素有关三个因素有关。第38页，此课件共45页哦当当S ，或，或n0 0时，时，Ct 。但是，当但是，当B 时，时，Ct将趋向何值？将趋向何值？令：令：x=S/n0B，上式可以改写为：，上式可以改写为：利用关系式利用关系式上式变为上式变为第39页，此课件共45页哦 上式表明，当给定上式表明，当给定S/n0时，若带宽时，若带宽B趋于无穷大，趋于无穷大，信道容量不会趋于无限大，而只是信道容量不会趋于无限大，而只是S/n0的的1.44倍倍。这是。这是因为当带宽因为当带宽B增大时，噪声功率也随之增大。增大时，噪声功率也随之增大。Ct和带宽和带宽B的关系曲线：的关系曲线：图图4-24 信道容量和带宽关系信道容量和带宽关系S/n0S/n0BCt1.44(S/n0)第40页，此课件共45页哦上式还可以改写成如下形式：上式还可以改写成如下形式：式中式中Eb 每比特能量；每比特能量；Tb=1/B 每比特持续时间。每比特持续时间。上式表明，为了得到给定的信道容量上式表明，为了得到给定的信道容量Ct，可以，可以增大增大带宽带宽B以换取以换取Eb的减小的减小；另一方面，在接收功率受限的；另一方面，在接收功率受限的情况下，由于情况下，由于Eb=STb，可以，可以增大增大Tb以减小以减小S来保持来保持Eb和和Ct不变不变。第41页，此课件共45页哦香农公式的主要结论：香农公式的主要结论：（1 1）信道容量）信道容量C C随随S/NS/N增大而增大；增大而增大；（2 2）N N0,C0,C，无扰信道的容量为无穷大；无扰信道的容量为无穷大；（3 3），n n0 0为噪声功率谱密度；为噪声功率谱密度；（4 4）C C一定时，一定时，W W与与S/NS/N之间可以彼此互换。之间可以彼此互换。第42页，此课件共45页哦【例例】已知黑白电视图像信号每帧有已知黑白电视图像信号每帧有30万个像素；每个像素有万个像素；每个像素有8个亮度电平；个亮度电平；各电平独立地以等概率出现；图像每秒发送各电平独立地以等概率出现；图像每秒发送25帧。若要求接收图像信噪比帧。若要求接收图像信噪比达到达到30dB，试求所需传输带宽。，试求所需传输带宽。【解解】因为每个像素独立地以等概率取因为每个像素独立地以等概率取8个亮度电平，故每个像素的信息量为个亮度电平，故每个像素的信息量为Ip=-log2(1/8)=3 (b/pix)并且每帧图像的信息量为并且每帧图像的信息量为IF=300,000 3=900,000 (b/F)因为每秒传输因为每秒传输25帧图像，所以要求传输速率为帧图像，所以要求传输速率为Rb=900,000 25=22,500,000=22.5 106 (b/s)信道的容量信道的容量Ct必须不小于此必须不小于此Rb值。将上述数值代入式：值。将上述数值代入式：得到得到22.5 106=B log2(1+1000)9.97 B最后得出所需带宽最后得出所需带宽B=(22.5 106)/9.97 2.26 (MHz)第43页，此课件共45页哦 有噪信道编码定理有噪信道编码定理(香农第二定理)-信息论的基本定理1.定理:设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率RC，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。2.定理的含义该信道有r个输入符号和s个输出符号，其信道容量为C。由于输入符号序列长度为n，因此可构成rn个可供选择的输入消息符号。从rn个符号集中找到M2n（c）个码字（长度为n）组成的一组码和它相应的译码规则，使信道输出的错误概率任意小。这样编码后，信道的信息传输率为只要RC，就可以在有噪信道中以任意小的错误概率（pE0，若选用码字总数M2n（C),则无论n取多大，也找不到一种编码，使译码错误概率pE任意地小。定理表明，当选择码字个数M 2n（C）时，信息传输率为：显然，信息传输率R大于信道容量C，因此，要想使信息传输率大于信道容量而又无错误地传输消息是不可能的。由香农第二定理和它的逆定理可知:在任何信道中，信道容量是进行可靠传输的最大信息传输率。第45页，此课件共45页哦