第三章信道容量PPT讲稿.ppt

《第三章信道容量PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第三章信道容量PPT讲稿.ppt（87页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章信道容量第1页，共87页，编辑于2022年，星期二本章内容本章内容概述3.1 信道的数学模型和分类3.2 单符号离散信道的信道容量3.3 多符号离散信道3.4 多用户信道3.5 连续信道3.6 信道编码定理第2页，共87页，编辑于2022年，星期二概述概述n信息论对信道研究的内容n什么是信道？n信道的作用n研究信道的目的n本章学习达到的目的第3页，共87页，编辑于2022年，星期二概述概述n信息论对信道研究的内容：信息论对信道研究的内容：n信道的建模：用恰当的输入/输出两个随机过程来描述n信道容量n不同条件下充分利用信道容量的各种办法第4页，共87页，编辑于2022年，星期二概述概述n什

2、么是信道什么是信道？n信道是传送信息的载体信号所通过的通道。n信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；听收音机，收、发间的空间就是信道。n信道的作用信道的作用n在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。第5页，共87页，编辑于2022年，星期二概述概述n研究信道的目的研究信道的目的n实现信息传输的有效性和可靠性n有效性：充分利用信道容量n可靠性：通过信道编码降低误码率n在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。n通信技术研究信号在信道中传输的过程所遵循的

3、物理规律，即传输特性n信息论研究信息的传输问题（假定传输特性已知）第6页，共87页，编辑于2022年，星期二概述概述n本章达到的目的本章达到的目的n了解信息论研究信道的目的、内容n了解信道的基本分类并掌握信道的基本描述方法n掌握信道容量的概念，以及与互信息、信道输入概率分布、信道转移函数的关系n能够计算简单信道的信道容量（对称离散信道、无记忆加性高斯噪声信道）n了解信道容量在研究通信系统中的作用n理解无噪信道编码的物理意义n进一步从信息论的角度理解香农公式及其用途第7页，共87页，编辑于2022年，星期二3.1信道的数学模型和分类信道的数学模型和分类n信道分类信道分类n从工程物理背景传输媒介类

4、型；n从数学描述方式信号与干扰描述方式；n从信道本身的参数类型恒参与变参；n从用户类型单用户与多用户；第8页，共87页，编辑于2022年，星期二信道的数学模型和分类信道的数学模型和分类第9页，共87页，编辑于2022年，星期二信道的数学模型和分类信道的数学模型和分类第10页，共87页，编辑于2022年，星期二 信道的数学模型和分类信道的数学模型和分类其中：c1为连续信道，调制信道；c2为离散信道，编码信道；c3为半离散、半连续信道；c4为半连续、半离散信道。信源编码媒介译码信宿干扰C1C2C3C4AB信信道道划划分分是是人人为为的的！第11页，共87页，编辑于2022年，星期二信道的数学模型和

5、分类信道的数学模型和分类n信道描述信道描述n信道可以引用三组变量来描述：信道输入概率空间：信道输出概率空间：信道概率转移矩阵：即：，它可简化为：。第12页，共87页，编辑于2022年，星期二信道的数学模型和分类信道的数学模型和分类其中：第13页，共87页，编辑于2022年，星期二3.2单符号离散信道的信道容量单符号离散信道的信道容量n信道容量的定义n几种特殊离散信道的信道容量n离散信道容量的一般计算方法第14页，共87页，编辑于2022年，星期二信道容量的定义信道容量的定义n互信息与信道输入概率分布的关系性质1：I(X;Y)是信道输入概率分布p(x)的上凸函数.n信息量与信道转移概率分布的关系

6、 性质2：I(X;Y)是信道转移概率分布p(y/x)的下凸函数.n信道容量的定义：n单位时间的信道容量：单符号离散信道的信道容量第15页，共87页，编辑于2022年，星期二几种特殊离散信道的信道容量几种特殊离散信道的信道容量n离散无噪信道的信道容量n强对称离散信道的信道容量n对称信道的信道容量n准对称信道的信道容量单符号离散信道的信道容量第16页，共87页，编辑于2022年，星期二离散无噪信道的信道容量离散无噪信道的信道容量n具有扩展性能的无噪信道无损信道n矩阵中每一列仅有一个非零元素nH（X/Y）=0；H（Y/X）0nI（X；Y）=H（X）H（Y）n信道容量：x1y1y2x2y3y4x3y5

7、y61/21/23/53/101/101单符号离散信道的信道容量第17页，共87页，编辑于2022年，星期二离散无噪信道的信道容量离散无噪信道的信道容量n具有并归性能的无噪信道确定信道n矩阵中每一行仅有一个非零元素nH（Y/X）=0；H（X/Y）0nI（X；Y）=H（Y）H（X）n信道容量：1y1x1x2y2x3x4y3x5x611111单符号离散信道的信道容量第18页，共87页，编辑于2022年，星期二离散无噪信道的信道容量离散无噪信道的信道容量n具有一一对应关系的无噪信道既无损又确定n矩阵中每一行每一列仅有一个非零元素nH（Y/X）=0；H（X/Y）=0nI（X；Y）=H（Y）=H（X）n

8、信道容量：y1x1x2y2x3y3111单符号离散信道的信道容量第19页，共87页，编辑于2022年，星期二强对称离散信道的信道容量强对称离散信道的信道容量单符号离散信道的信道容量n强对称信道或均匀信道n矩阵中每一行都是第一行的重排列，矩阵中每一列都是第一列的重排列（对称性）n错误分布是均匀的，为p/(n-1)n信道输入与输出符号数相等第20页，共87页，编辑于2022年，星期二强对称离散信道的信道容量强对称离散信道的信道容量单符号离散信道的信道容量n强对称信道的信道容量第21页，共87页，编辑于2022年，星期二强对称离散信道的信道容量强对称离散信道的信道容量单符号离散信道的信道容量n强对称

9、信道的信道容量第22页，共87页，编辑于2022年，星期二对称离散信道的信道容量对称离散信道的信道容量单符号离散信道的信道容量n对称信道的信道容量n矩阵中每一行都是第一行的重排列，矩阵中每一列都是第一列的重排列（对称性）第23页，共87页，编辑于2022年，星期二准对称离散信道的信道容量准对称离散信道的信道容量单符号离散信道的信道容量n准对称信道的信道容量n矩阵的每一行是第一行的重排列n信道矩阵P不满足对称条件，但P=（P1 Pr Ps）且所有Pr满足对称性条件第24页，共87页，编辑于2022年，星期二准对称离散信道的信道容量准对称离散信道的信道容量单符号离散信道的信道容量 将H(Y)中的m

10、项分成s个子集M1,M2,Ms,各子集分别有m 1,m 2,m s个元素（m 1+m 2+m s=m）,则第25页，共87页，编辑于2022年，星期二准对称离散信道的信道容量准对称离散信道的信道容量单符号离散信道的信道容量第26页，共87页，编辑于2022年，星期二准对称离散信道的信道容量准对称离散信道的信道容量(补充补充)第27页，共87页，编辑于2022年，星期二准对称离散信道的信道容量准对称离散信道的信道容量(补充补充)第28页，共87页，编辑于2022年，星期二求信道的信道容量准对称离散信道的信道容量准对称离散信道的信道容量单符号离散信道的信道容量第29页，共87页，编辑于2022年，

11、星期二离散信道容量的一般计算方法离散信道容量的一般计算方法单符号离散信道的信道容量I(X;Y)是p(x)的上凸函数，故极大值一定存在，约束条件：引进一个新函数其中为拉格朗日乘子（待定常数）解方程组 可先求解出达到极值的概率分布和的值，然后再求解出信道容量第30页，共87页，编辑于2022年，星期二离散信道容量的一般计算方法离散信道容量的一般计算方法单符号离散信道的信道容量第31页，共87页，编辑于2022年，星期二方程组变为：设解得使I(X;Y)达到极值的输入概率分布为p1,p2,.,pr.方程组第一个式子中的前r个方程式两边同乘以pi，并求和得即：离散信道容量的一般计算方法离散信道容量的一般

12、计算方法单符号离散信道的信道容量第32页，共87页，编辑于2022年，星期二 令可求解出 ，继而求得信道容量：离散信道容量的一般计算方法离散信道容量的一般计算方法单符号离散信道的信道容量 有第33页，共87页，编辑于2022年，星期二 注意：在第（2）步求出C后，必须解出相应的 ，并确认所有的 ，所求的C才存在。离散信道容量的一般计算方法离散信道容量的一般计算方法单符号离散信道的信道容量（1）由，求 ；（2）由，求C；（3）由，求 ；（4）由，求 ；第34页，共87页，编辑于2022年，星期二离散信道容量的一般计算方法离散信道容量的一般计算方法求信道容量C。单符号离散信道的信道容量第35页，共

13、87页，编辑于2022年，星期二（1 1）（2 2）（3 3）第36页，共87页，编辑于2022年，星期二（4 4）第37页，共87页，编辑于2022年，星期二3.3 多符号离散信道多符号离散信道n多符号离散信道的数学模型n离散无记忆信道和独立并联信道的信道容量第38页，共87页，编辑于2022年，星期二多符号离散信道的数学模型多符号离散信道的数学模型多符号离散信道输入输入输出输出第39页，共87页，编辑于2022年，星期二多符号离散信道的数学模型多符号离散信道的数学模型多符号离散信道第40页，共87页，编辑于2022年，星期二离散无记忆信道和独立并联信道的信道容量离散无记忆信道和独立并联信道

14、的信道容量多符号离散信道无记忆：YK仅与XK有关第41页，共87页，编辑于2022年，星期二离散无记忆信道和独立并联信道的信道容量离散无记忆信道和独立并联信道的信道容量多符号离散信道第42页，共87页，编辑于2022年，星期二离散无记忆信道和独立并联信道的信道容量离散无记忆信道和独立并联信道的信道容量多符号离散信道第43页，共87页，编辑于2022年，星期二离散无记忆信道和独立并联信道的信道容量离散无记忆信道和独立并联信道的信道容量多符号离散信道(a)第44页，共87页，编辑于2022年，星期二离散无记忆信道和独立并联信道的信道容量离散无记忆信道和独立并联信道的信道容量多符号离散信道第45页，

15、共87页，编辑于2022年，星期二离散无记忆信道和独立并联信道的信道容量离散无记忆信道和独立并联信道的信道容量多符号离散信道第46页，共87页，编辑于2022年，星期二3.4 多用户信道多用户信道n属于网络信息论，研究的主要问题：n网络信道的信道容量，用多维空间中的一个区域来表示n网络信道编码定理n实现编码定理的码结构问题，包括信源编码和信道编码n多址接入信道n多个输入端1个输出端n在理论上讨论比较完善，但具有反馈的多元接入信道的容量问题尚没有解决n广播信道n1个输入端多个输出端n对退化广播信道的研究较深入，解决了一些特殊情况下的容量问题，一般广播信道的容量问题尚未解决n相关信源的多用户信道问

16、题n多个输入多个输出第47页，共87页，编辑于2022年，星期二3.5 连续信道连续信道P(Y/X)加性连续信道Np(y/x)=p(n)XY=X+N第57页，共87页，编辑于2022年，星期二3.5 连续信道连续信道nx、n、y之间有如下变换函数关系：其坐标变换的雅可比行列式的绝对值第58页，共87页，编辑于2022年，星期二3.5 连续信道连续信道根据坐标变换理论对于加性信道第59页，共87页，编辑于2022年，星期二3.5 连续信道连续信道第60页，共87页，编辑于2022年，星期二3.5 连续信道连续信道若N为均值为0，方差为高斯变量，则称这种加性信道为高斯加性信道高斯加性信道的容量：第

17、61页，共87页，编辑于2022年，星期二3.5 连续信道连续信道设X的平均功率限定为则Y的也是平均功率受限的随机变量由最大相对熵定理知，平均功率受限的连续信源，当其是一个均值为0的高斯变量时，相对熵达到最大值由概率论相关知识，两个统计独立的高斯随机变量的和变量也是一个高斯变量。故当加性高斯信道的输入信源是0均值的高斯随机变量时，其输出也是0均值的高斯随机变量，输出随机变量的熵最大。第62页，共87页，编辑于2022年，星期二3.5 连续信道连续信道高斯加性信道的容量：香农公式限时T、限频W的高斯白噪声加性信道的容量：第63页，共87页，编辑于2022年，星期二3.5 连续信道连续信道令当W时

18、，x0第64页，共87页，编辑于2022年，星期二nShannon公式的物理意义公式的物理意义n它给出了决定信道容量它给出了决定信道容量C的是三个信号物理参量：的是三个信号物理参量：W、T、之间的辩证关系。之间的辩证关系。n三者的乘积是一个三者的乘积是一个“可塑可塑”性体积（三维）。性体积（三维）。n三者间可以互换。三者间可以互换。s2S)1log(2sS+TtWf)1log(2sSWTC+=第65页，共87页，编辑于2022年，星期二连续信道连续信道Shannon公式的用途一公式的用途一用频带换取信噪比：扩频通信原理。用频带换取信噪比：扩频通信原理。n雷达信号设计中的线性调频脉冲，模拟通信中

19、，调频优于调雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。幅，且频带越宽，抗干扰性就越强。n数字通信中，伪码数字通信中，伪码(PN)直扩与时频编码等，带宽越宽，扩直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。频增益越大，抗干扰性就越强。注意：有极限注意：有极限第66页，共87页，编辑于2022年，星期二连续信道连续信道Shannon公式的用途二公式的用途二用信噪比换取频带用信噪比换取频带多进制多电平多维星座调制方式的基本原理卫星、数字微波中常采用的有：卫星、数字微波中常采用的有：多电平调制、多相调制、高维星座调制(M-QAM)等 等，它利用高质

20、量信道中富裕的信噪比换取频带，以提高传输有效性。第67页，共87页，编辑于2022年，星期二连续信道连续信道nShannon公式的用途三公式的用途三 用时间换取信噪比用时间换取信噪比 重传、弱信号累积接收基于这一原理。t=T0 为分界线。信号功率S有规律随时间线性增长，噪声功率2无规律，随时间呈均方根增长。第68页，共87页，编辑于2022年，星期二连续信道连续信道nShannon公式的用途四公式的用途四 用时间换取频带或用频带换取时间用时间换取频带或用频带换取时间扩频缩短时间：通信电子对抗、潜艇通信扩频缩短时间：通信电子对抗、潜艇通信窄带增加时间：电话线路传准活动图象窄带增加时间：电话线路传

21、准活动图象第69页，共87页，编辑于2022年，星期二n例：在图片传输中，每帧约为2.25106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽(信噪功率比为30dB)。解：高斯白噪声加性信道单位时间的信道容量：(比特/秒）要求的信息传输率为：Ct=2.25106log1630=2.7108（bit/s)=Wlog(1+S/N)而：10lg(S/N)=30dBS/N=103 W=(2.7108)/log(1+103)2.7107(Hz)第70页，共87页，编辑于2022年，星期二3.6 信道编码定理信道编码定理n信道编码概述n

22、错误概率与译码规则、编码方法n信道编码定理第71页，共87页，编辑于2022年，星期二信道编码概述信道编码概述互信息能告诉我们什么？随机变量X,Y统计意义上的依存程度可以获得的信息量不能：所得信息能否可靠地确定信道输入？实际通信中人们对传输要求什么？传输信息量大传输可靠提出的与信道传输有关的问题：如何能使信息传输后发生的错误最少？错误概率与那些因素有关？有无办法控制？能控制到什么程度？无误传输可达的最大信息率是多少？第72页，共87页，编辑于2022年，星期二信道编码概述信道编码概述举例说明：设有一个二元数字序列000110101100（1）每两位分成一组，共有224种可能的码组（或码字）：0

23、0、01、10、11。不可能发现错误，也不可能纠正。（2）对原码字稍加以改造：加上一位数字，四个码字变成00001 01010 10100 11111。可以发现奇数个错误，但无法纠正。（3）对原码字继续改造：0000110 0101101 1010011 1111000。当收到码字00111时，采用最大似然法则，将00111纠正成为00110。结论：码组（字）间差别越大，码的检测和纠错能力越强。对于第一种情况，码组间最少相差一个码元，则一旦有错误，就会变成另一个许用码字，因而不能发现错误；对于第二种情况，码组间最少相差二位码元，错一位就会变成禁用码字，因而能发现错误，即具有检错能力；对于第三种

24、情况，码组间最少相差三位码元，错一位就变成禁用码字，但仍与某许用码字相似，利用最大似然法则可以纠错，即具有纠一位错误的能力。第73页，共87页，编辑于2022年，星期二错误概率与译码规则、编码方法错误概率与译码规则、编码方法错误概率与译码规则错误概率PE与什么有关信道的统计特性译码规则译码规则的选择依据最大后验概率准则理想最大似然准则实用第74页，共87页，编辑于2022年，星期二错误概率与译码规则错误概率与译码规则例：第75页，共87页，编辑于2022年，星期二错误概率与译码准则、编码方法错误概率与译码准则、编码方法n问题：n在输入和信道特性给定的条件下，差错概率将取决于接收矢量空间按什么样

25、的划分准则进行划分n划分接收矢量空间的准则译码器的译码准则第76页，共87页，编辑于2022年，星期二信道译码信道译码An1243w4w3w1w2xxxnAn 是接收空间nw1,w2,是发送的码字n围绕每个码字有一个译码域in如果接收的码字在 i中，就认为发送的是码字wi 发生错误发生错误n一般,An中存在一些不属于任何 i的区域 n有时接收码字会被映射到错误的i，进而被译成错误的 wi 正确译码不知如何译码译码错误第77页，共87页，编辑于2022年，星期二错误概率与译码规则错误概率与译码规则译码规则：设信道输入为X=x1,x2,xn，输出为Y=y1,y2,ym，则Y到X的单值映射为d:d(

26、yj)=xi(i=1,2,n；j=1,2,m)，则d为一 个译码规则。n错误概率：若译码规则为d(yj)=xin条件错误概率：p(e/yj)(收到的是yj，而发出的不是xi)n条件正确概率：1p(e/yj)n平均错误概率：PE=p(yj)p(e/yj)n最佳译码规则：使平均错误概率PE最小的译码规则第78页，共87页，编辑于2022年，星期二错误概率与译码规则错误概率与译码规则欲使最小PE=p(yj)p(e/yj)，只需正确概率最大，选择最大后验概率准则由（1）式，有若输入等概：最大似然准则特点：特点：优点：理想优点：理想缺点：缺点：1、后验概率不易得到、后验概率不易得到 2、后验概率依赖于输

27、入分布、后验概率依赖于输入分布第79页，共87页，编辑于2022年，星期二错误概率与译码规则错误概率与译码规则例：（1）最小错误概率准则：（2）最大似然准则：（3）若输入等概：第80页，共87页，编辑于2022年，星期二 错误概率与编码方法错误概率与编码方法n错误概率与编码n如何在信息传输率一定的前提下使PE0n实际经验：重复发送可以使PE减小n重复次数N很大时，可以使PE 0n但：信息传输率降低n信道编码定理：R一定时，可以找到一种编码方法使PE相当低n引入概念：码字距离第81页，共87页，编辑于2022年，星期二错误概率与编码方法错误概率与编码方法例：第82页，共87页，编辑于2022年，

28、星期二信道编码定理信道编码定理n信道编码定理引出n问题：在有噪信道中，使平均误码率Pe尽可能小的情况下，可达到的信息传输率是多少？n答案：信道容量C第83页，共87页，编辑于2022年，星期二信道编码定理信道编码定理若一离散平稳无记忆信道，其容量为C，输入序列长度为L，只要待传送的信息率RC,任何编码的必大于0，当L第84页，共87页，编辑于2022年，星期二信道编码定理信道编码定理n香农只是证明了码的存在性，未给出构造方法n随机编码所得的码集很大，通过搜索得到好码的方法实际上很难实现；而且即使找到，码字也是毫无结构的，只能采用查表译码方法，当N很大时，码表的存储量也很难接受第85页，共87页，编辑于2022年，星期二信道编码定理信道编码定理n理论性能极限存在性n香农信道编码定理n作用：理论极限、渐进性能n工程实现上的界限构造性n最小距离界限n作用：构造新码、估计新码性能时，说明新码与最好性能的码接近的程度第86页，共87页，编辑于2022年，星期二n香农理论极限：RC；存在编译码方法使Pe0 给定Pe；存在编译码方法使RC 1.59dB第87页，共87页，编辑于2022年，星期二