第三信道与信道容量.ppt

《第三信道与信道容量.ppt》由会员分享，可在线阅读，更多相关《第三信道与信道容量.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三信道与信道容量现在学习的是第1页，共45页第三章第三章 信道与信道容量信道与信道容量3-1 引言引言1什么是信道？信道是传送信息的载体信号所通过的通道。如：二人对话:二人间的空气就是信道；打电话:电话线就是信道；看电视、听收音机:收、发间的空间就是信道。现在学习的是第2页，共45页2信道的作用信道主要用于传输与存储信息。3研究信道的目的1)描述、度量、分析不同类型信道；2)计算其容量，即极限传输能力，并分析其特性。4信道传输能力取决于：1)本身特性2)信号形式3)信源特性现在学习的是第3页，共45页3-2 信道的分类与描述信道的分类与描述一信道分类:信道可从不同角度加以分类,归纳起来可分为

2、：从工程物理背景传输媒介类型；从数学描述方式信号与干扰描述方式；从信道本身的参数类型恒参与变参；从用户类型单用户与多用户；现在学习的是第4页，共45页二二离散信道描述离散信道描述其中：现在学习的是第5页，共45页信道可以引用三组变量来描述：信道输入概率空间：信道概率转移矩阵：信道输出概率空间：即：它可简化为：现在学习的是第6页，共45页1）无扰信道:2）有扰无记忆信道:3）有扰有记忆信道:按信道的统计特性p(y/x)可将信道分为现在学习的是第7页，共45页3-3 有扰单符号离散信道有扰单符号离散信道XYa1a2anb1b2bmP(Y/X)一一数学模型数学模型p(bj/ai)传递概率 （i=1,

3、2,n；j=1,2,m)输入输出对应关系：现在学习的是第8页，共45页X:a1,a2,an P(Y/X):p(bj/ai)Y:b1,b2,bm(i=1,2,n；j=1,2,m)特点：（1）0 p(bj/ai)1 (i=1,2,n；j=1,2,m)（2）现在学习的是第9页，共45页P 信道矩阵=1现在学习的是第10页，共45页图3.3 传递图现在学习的是第11页，共45页二信道容量下面，我们首先将互信息表达成概率的函数：噪声熵疑义度1、定义：现在学习的是第12页，共45页一般当信道给定以后，（已知）即，这时互信息仅决定于信源的先验分布 ，我们可以进一步调整 值 使 达到最大值，由互信息的性质,是

4、 的上凸函数，这时最大值一定存在，我们定义它为信道中传送的最大信息率，即信道容量C，则即通过改变信道输入的概率分布 求得互信息 的极值，称它为给定信道 的信道容量值。现在学习的是第13页，共45页2、信道容量及其一般算法信道容量及其一般算法信息传输率：(比特/信道符号）(比特/秒）若信道平均每传一个符号需要 t秒，则信息传输速率：现在学习的是第14页，共45页信道容量：(比特/信道符号)(比特/秒)p(X)匹配信源拉格朗日乘子法拉格朗日乘子法现在学习的是第15页，共45页3-3-1 离散无扰信道及离散无扰信道及信道的容量信道的容量1.无损确定信道：每列只有一个非零元素：现在学习的是第16页，共

5、45页信道输入符号集符号数2.无损信道（具有扩展性质的信道）a1b1b2b3p11p12p13a2b4b4b4p24p25p26现在学习的是第17页，共45页每列只有一个非零元素：信道输入符号集符号数现在学习的是第18页，共45页3.确定信道（归并信道）b1a3a2a1111b2a6a5a4111现在学习的是第19页，共45页每行只有一个非零元素：信道输出符号集符号数现在学习的是第20页，共45页 一 几种对称信道的信道容量一、强对称信道的容量（均匀信道）1 输入 r与输出 s相等2 传递概率：r=s3-3-2 有扰信道及其容量 现在学习的是第21页，共45页现在学习的是第22页，共45页H(

6、Y/X)H(Y/ai)常数现在学习的是第23页，共45页现在学习的是第24页，共45页特点：(1)当输入信源X达到最大熵值时，输出随机变量 Y同时达到最大熵值，即：H(X)=log r(2)当输入X等概分布时：现在学习的是第25页，共45页(3)当输入信源等概时：信道容量信道容量现在学习的是第26页，共45页1、数学模型：矩阵中的每一行都是第一行的重排列或矩阵中的每一列都是第一列的重排列。二二.一般性对称信道一般性对称信道现在学习的是第27页，共45页定义定义3.1 如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。定义定义3.2 如果信道转移概率

7、矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。现在学习的是第28页，共45页行：同一集合列：同一集合与强对称信道的区别：1.强：r=s 对：r=s?2.强：行元素集合与 列元素集合相等 对：？3.强：行=1，列=1 对：行=1，列：？4.强：对称 对：？现在学习的是第29页，共45页例：现在学习的是第30页，共45页定理：定理：对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。即 2、对称信道的容量行：同一集合列：同一集合现在学习的是第31页，共45页证：现在学习的是第32页，共45页等概信源现在学习的是第33页，共45页3-3-

8、4离散单消息（或无记忆）信道容量离散单消息（或无记忆）信道容量C的计算：的计算：基本思路：求C即求互信息极值，可以采用拉氏乘子求条件极值方法求解；现在学习的是第34页，共45页3-4-33-4-3信源与信道匹配信道剩余度=C-I(X,Y)相对剩余度=C-I(X,Y)/C=1-I(X,Y)/C无损信道相对剩余度=1-H(X)/logr无损信道C=logr I(X,Y)=H(X)现在学习的是第35页，共45页3-6 连续信道及其容量连续信道及其容量连续信道：输入输出均为连续的,从时间关系上看：时间离散信道：时间连续信道：3-6-1连续单消息信道及其容量连续单消息信道及其容量一、单维连续通信系统数学

9、模型：XYp(Y/X)现在学习的是第36页，共45页两类情况 高斯加性信道非高斯加性信道加性信道的重要性质：信道的传递概率密度函数就等于噪声的概率密度函数加性信道加性信道现在学习的是第37页，共45页 连续信道容量连续信道容量可以证明可以证明式中式中 S 信号平均功率信号平均功率（W）；）；N 噪声功率（噪声功率（W）；）；B 带宽（带宽（Hz）。）。设噪声单边功率谱密度为设噪声单边功率谱密度为n0，则，则N=n0B；故上式可以改写成：故上式可以改写成：由上式可见，由上式可见，连续信道的容量连续信道的容量Ct和信道带宽和信道带宽B、信号功、信号功率率S及噪声功率谱密度及噪声功率谱密度n0三个因

10、素有关三个因素有关。现在学习的是第38页，共45页当当S ，或，或n0 0时，时，Ct 。但是，当但是，当B 时，时，Ct将趋向何值？将趋向何值？令：令：x=S/n0B，上式可以改写为：，上式可以改写为：利用关系式利用关系式上式变为上式变为现在学习的是第39页，共45页 上式表明，当给定上式表明，当给定S/n0时，若带宽时，若带宽B趋于无穷大，趋于无穷大，信道容量不会趋于无限大，而只是信道容量不会趋于无限大，而只是S/n0的的1.44倍倍。这是。这是因为当带宽因为当带宽B增大时，噪声功率也随之增大。增大时，噪声功率也随之增大。Ct和带宽和带宽B的关系曲线：的关系曲线：图图4-24 信道容量和带

11、宽关系信道容量和带宽关系S/n0S/n0BCt1.44(S/n0)现在学习的是第40页，共45页上式还可以改写成如下形式：上式还可以改写成如下形式：式中式中Eb 每比特能量；每比特能量；Tb=1/B 每比特持续时间。每比特持续时间。上式表明，为了得到给定的信道容量上式表明，为了得到给定的信道容量Ct，可以，可以增大增大带宽带宽B以换取以换取Eb的减小的减小；另一方面，在接收功率受限的；另一方面，在接收功率受限的情况下，由于情况下，由于Eb=STb，可以，可以增大增大Tb以减小以减小S来保持来保持Eb和和Ct不变不变。现在学习的是第41页，共45页香农公式的主要结论：香农公式的主要结论：（1 1

12、）信道容量）信道容量C C随随S/NS/N增大而增大；增大而增大；（2 2）N N0,C0,C，无扰信道的容量为无穷大；无扰信道的容量为无穷大；（3 3），n n0 0为噪声功率谱密度；为噪声功率谱密度；（4 4）C C一定时，一定时，W W与与S/NS/N之间可以彼此互换。之间可以彼此互换。现在学习的是第42页，共45页【例例】已知黑白电视图像信号每帧有已知黑白电视图像信号每帧有30万个像素；每个像素有万个像素；每个像素有8个亮度电平；各电平个亮度电平；各电平独立地以等概率出现；图像每秒发送独立地以等概率出现；图像每秒发送25帧。若要求接收图像信噪比达到帧。若要求接收图像信噪比达到30dB，

13、试求所需传输带宽。试求所需传输带宽。【解解】因为每个像素独立地以等概率取因为每个像素独立地以等概率取8个亮度电平，故每个像素的信息量为个亮度电平，故每个像素的信息量为Ip=-log2(1/8)=3 (b/pix)并且每帧图像的信息量为并且每帧图像的信息量为IF=300,000 3=900,000 (b/F)因为每秒传输因为每秒传输25帧图像，所以要求传输速率为帧图像，所以要求传输速率为Rb=900,000 25=22,500,000=22.5 106 (b/s)信道的容量信道的容量Ct必须不小于此必须不小于此Rb值。将上述数值代入式：值。将上述数值代入式：得到得到22.5 106=B log2

14、(1+1000)9.97 B最后得出所需带宽最后得出所需带宽B=(22.5 106)/9.97 2.26 (MHz)现在学习的是第43页，共45页 有噪信道编码定理有噪信道编码定理(香农第二定理)-信息论的基本定理1.定理:设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率RC，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。2.定理的含义该信道有r个输入符号和s个输出符号，其信道容量为C。由于输入符号序列长度为n，因此可构成rn个可供选择的输入消息符号。从rn个符号集中找到M2n（c）个码字（长度为n）组成的一组码和它相应的译码规则，使信道输出的错误概率任意小。这样编码后，信道的信息传输率为只要RC，就可以在有噪信道中以任意小的错误概率（pE0，若选用码字总数M2n（C),则无论n取多大，也找不到一种编码，使译码错误概率pE任意地小。定理表明，当选择码字个数M 2n（C）时，信息传输率为：显然，信息传输率R大于信道容量C，因此，要想使信息传输率大于信道容量而又无错误地传输消息是不可能的。由香农第二定理和它的逆定理可知:在任何信道中，信道容量是进行可靠传输的最大信息传输率。现在学习的是第45页，共45页