信息处理与编码第3章信道与信道容量课件.ppt

《信息处理与编码第3章信道与信道容量课件.ppt》由会员分享，可在线阅读，更多相关《信息处理与编码第3章信道与信道容量课件.ppt（86页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息理论与技术信息理论与技术教研中心教研中心ITTC BUPT Information Theory&Technology CenterP.1信道与信道容量信道与信道容量BUPT Information Theory&Technology CenterP.2第三章第三章 信道与信道容量信道与信道容量 3-1 引言引言 1什么是信道？什么是信道？信道是传送信息的载体信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。2信道的作用信道的作用在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要

2、用于传输。3研究信道的目的研究信道的目的在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。BUPT Information Theory&Technology CenterP.33-2 信道的分类与描述信道的分类与描述（一）（一）信道分类信道分类 信道可以从不同角度加以分类，但归纳起来可以分为：从工程物理背景传输媒介类型；从数学描述方式信号与干扰描述方式；从信道本身的参数类型恒参与变参；从用户类型单用户与多用户；等方面加以分类：BUPT Information Theory&Technology CenterP.4（一）（一）信道分类信道分

3、类（续）（续）BUPT Information Theory&Technology CenterP.5BUPT Information Theory&Technology CenterP.6（一）（一）信道分类信道分类（续）（续）BUPT Information Theory&Technology CenterP.7信道划分是人为的，比如：（一）（一）信道分类信道分类（续）（续）其中：c1为连续信道，调制信道；c2为离散信道，编码信道；c3为半离散、半连续信道；c4为半连续、半离散信道。BUPT Information Theory&Technology CenterP.8（二）（二）信道描述

4、信道描述 信道可以引用三组变量来描述：信道输入概率空间：;信道输出概率空间：信道概率转移矩阵：BUPT Information Theory&Technology CenterP.9BUPT Information Theory&Technology CenterP.103-3 无干扰离散信道（略）无干扰离散信道（略）3-4 有干扰时单个消息（符号）信道及其容量有干扰时单个消息（符号）信道及其容量这里，仍类似于信源，从最基本、最简单的单个消息（符号）开始，再逐步将其推广至消息序列信道以及多用户信道。（一）（一）离散单消息信道与信道容量离散单消息信道与信道容量 下面，我们首先将互信息表达成概率的

5、函数：BUPT Information Theory&Technology CenterP.11（一）（一）离散单消息信道与信道容量离散单消息信道与信道容量（续续）两种表达式中，这里选用。一般当信道给定以后，（已知）BUPT Information Theory&Technology CenterP.12BUPT Information Theory&Technology CenterP.13（二）强对称信道（二）强对称信道:其中：BUPT Information Theory&Technology CenterP.14BUPT Information Theory&Technology Ce

6、nterP.15（二）强对称信道（二）强对称信道（续）（续）:BUPT Information Theory&Technology CenterP.16（二）强对称信道（二）强对称信道（续）（续）:定理定理3-4-1：对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。即证：由信道对称性：第i行（每一行）都是第一行重排列，即与行序号i无关，而（给定）。由信道容量定义：BUPT Information Theory&Technology CenterP.17BUPT Information Theory&Technology CenterP.18显然子阵P1,P2满足

7、可排列性（行，列）对准对称信道有下列定理.（三）（三）准对称信道准对称信道（续）（续）定理定理3-4-2：对于单消息、离散、准对称信道，当且仅当信道输入为等概率分布时，信道达容量值:且证：较繁，自己看书具有可逆矩阵信道及其容量,其特点是：P一定为方阵，存在逆阵BUPT Information Theory&Technology CenterP.19离散单消息（或无记忆）信道，容量C的计算机迭代算法：基本思路：1求C即求互信息极值，可以采用拉氏乘子求条件极值方法求解；2实现迭代关键在于寻求两个互为因果关系并决定互信息的自变量，即从（三）（三）准对称信道准对称信道（续）（续）互为因果，BUPT I

8、nformation Theory&Technology CenterP.20求解步骤：BUPT Information Theory&Technology CenterP.21将改写为迭代形式：BUPT Information Theory&Technology CenterP.22迭代步骤示意图如下:当(或足够大时)，计算可进一步证明:1即收敛于信道容量值,BUPT Information Theory&Technology CenterP.23BUPT Information Theory&Technology CenterP.243-5 离散消息序列信道及其容量离散消息序列信道及其容量

9、 BUPT Information Theory&Technology CenterP.25由消息序列互信息性质，对离散无记忆信道，有1离散无记忆信道离散无记忆信道则当且仅当信源(信道入)无记忆时，“等号”成立。BUPT Information Theory&Technology CenterP.262离散，平稳，有记忆信道离散，平稳，有记忆信道:BUPT Information Theory&Technology CenterP.27BUPT Information Theory&Technology CenterP.282离散，平稳，有记忆信道离散，平稳，有记忆信道（续）（续）:BUPT

10、Information Theory&Technology CenterP.293-6 连续信道及其容量连续信道及其容量（一）连续单消息信道及其容量（一）连续单消息信道及其容量 仅讨论两类情况高斯信道线性迭加干扰信道1 高斯信道高斯信道 BUPT Information Theory&Technology CenterP.30BUPT Information Theory&Technology CenterP.312 一般迭加性干扰信道一般迭加性干扰信道 天电、工业干扰、其它脉冲干扰属迭加性干扰，它们是非高斯型分布。有以下定理：定理定理3-6-1：对迭加性连续信道，收到平均功率（方差）为2的非

11、高斯干扰影响时，当信道输出平均功率P一定时，其容量上下界为：证：上界显见，下面给出下界证明。主要思路利用正态性与Jensen不等式。当信道输入X,输出Y以及噪声N为正态时：x N(0,S),y N(0,P),n N(0,2)并设，当信道输入X为正态时，互信息可表示为：IN(X;Y)。则（一）连续单消息信道及其容量（一）连续单消息信道及其容量（续续）BUPT Information Theory&Technology CenterP.322 一般迭加性干扰信道一般迭加性干扰信道（续续）BUPT Information Theory&Technology CenterP.33由信道容量定义，有结论

12、：结论：高斯信道容量是一切平均功率受限的迭加性非高斯信道容量的下限值。其它分布的容量都比高斯容量大，因此高斯容量是一切分布容量值最保守的估计值。2 一般迭加性干扰信道一般迭加性干扰信道（续续）BUPT Information Theory&Technology CenterP.34（二）广义平稳的限频（二）广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色白色高斯信道及其容量高斯信道及其容量C。对限频(F)、限时(T)的连续过程信源可展成下列取样函数序列：现将这2FT个样值序列通过一个功率受限(P)的白色高斯信道并求其容量值C。定理定理3-6-2：满足限频(F)、限时(T)的广义平稳

13、随机过程信源X(t,w)，当它通过一个功率受限(P)的白色高斯信道，其容量为：这就是著名的Shannon公式公式。BUPT Information Theory&Technology CenterP.35则单位时间T=1时的容量为：（二）广义平稳的限频（二）广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色白色高斯信道及其容量高斯信道及其容量C。（。（续）续）证：前面已求得单个连续消息（第k个）通过高斯信道以后的容量值为：同时，在消息序列的互信息中已证明当信源、信道满足无记忆时，下列结论成立：BUPT Information Theory&Technology CenterP.36由

14、信道容量定义，有（二）广义平稳的限频（二）广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色白色高斯信道及其容量高斯信道及其容量C。（。（续）续）当信源、信道均满足广义平稳、限频、限时并具有白色谱特征，则时域相关函数样点值是不相关的。BUPT Information Theory&Technology CenterP.37（二）广义平稳的限频（二）广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色白色高斯信道及其容量高斯信道及其容量C。（。（续）续）对于高斯分布，不相关与统计独立是等效的，即满足：信源无记忆：信道无记忆：BUPT Information Theory&Tec

15、hnology CenterP.38下面，讨论Shannon公式公式的物理意义与用途：（二）广义平稳的限频（二）广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色白色高斯信道及其容量高斯信道及其容量C。（。（续）续）它给出了决定信道容量C的是三个信号物理参量：F、T、之间的辩证关系。BUPT Information Theory&Technology CenterP.39三者的乘积是一个“可塑”性体积（三维）。三者间可以互换。下面举例说明：1用频带换取信噪比：扩频通信原理。雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。数字通信中，伪码(PN)直扩

16、与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。下面仅以伪随机码（PN）直扩系统为例：采用m序列：m=2n-1.为了简化，取n=3,m=23-1=7.（二）广义平稳的限频（二）广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色白色高斯信道及其容量高斯信道及其容量C。（。（续）续）BUPT Information Theory&Technology CenterP.40（二）广义平稳的限频（二）广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色白色高斯信道及其容量高斯信道及其容量C。（。（续）续）2用信噪比换取频带卫星、数字微波中常采用的有：多电平调制、多相调制、高维星

17、座调制等等。(M-QAM)它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。BUPT Information Theory&Technology CenterP.413用时间换取信噪比弱信号累积接收基于这一原理。（二）广义平稳的限频（二）广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色白色高斯信道及其容量高斯信道及其容量C。（。（续）续）t=T0为分界线。信号功率S有规律随时间线性增长，噪声功率2无规律，随时间呈均方根增长。BUPT Information Theory&Technology CenterP.42Shannon公式公式另一种形式：（二）广义平稳的限频（二）广

18、义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色白色高斯信道及其容量高斯信道及其容量C。（。（续）续）其中，N0为噪声密度，即单位带宽的噪声强度，2=N0F;E表示单位符号信号的能量，E=ST=S/F；E/N0称为归一化信噪比.也称为能量信噪比.当E/N00，还必须将一切G(f)多址信道：多址信道：特点：多输入、单输出信道，称它为多址信道;BUPT Information Theory&Technology CenterP.55特点：单个输入，多个输出信道，称为广播信道。2 广播信道：广播信道：多用户信道物理背景：多用户信道物理背景：（续续）BUPT Information Theo

19、ry&Technology CenterP.56可见第12为3的特例：（1）当i=j=1,退化为单用户信道；（2）当i=1n,j=1,为多址信道；（3）当i=1，j=1n，为广播信道（4）i=1n,j=1n,为一般随机接入信道。多用户信道物理背景：多用户信道物理背景：（续续）3 随机接入信道随机接入信道 BUPT Information Theory&Technology CenterP.57二址信道分析如下：（离散）多址信道：多址信道：设则R1、R2与R1+R2应满足BUPT Information Theory&Technology CenterP.58多址信道编码定理将证明：多址信道多址

20、信道（续）：（续）：BUPT Information Theory&Technology CenterP.59多址信道多址信道（续）：（续）：若三类分布不相等BUPT Information Theory&Technology CenterP.60多用户：容量为一截角边界线：信道容量概念的推广：单用户：容量为一个实数值：容量区域：单用户：为一区间：多用户：为一区域：截角多边形面积下面将二址推广到N址接入信道：若给定信道转移概率为：则可分别规定各信源信息率的限制为：BUPT Information Theory&Technology CenterP.61类似可证明：当各信源相互独立时：这一结果表

21、明，多址信道的容量区域是一个N维空间的体积，是满足所有限制条件下的截角多面体凸包。BUPT Information Theory&Technology CenterP.62例例1：N=3，三维情况：BUPT Information Theory&Technology CenterP.63例例2：下面具体分析时分（频分）和码分在二址情况下的容量：设在二址信道中传送K个符号串，对一维的时（频）分可设：BUPT Information Theory&Technology CenterP.64显然它是小于二址信道的容量界限。即三角形面积小于截角四边形面积。至于码分，它实质上是属于二维划分。其结果应优于

22、一维的时（频）分。当例例2（续）（续）：BUPT Information Theory&Technology CenterP.65例例3：若信道中无干扰，且条件概率如下：Y=0Y=1Y=200100010011000111010BUPT Information Theory&Technology CenterP.66例例3 （续）（续）：当已知时，可求得则由上述条件概率表，有：由条件概率表,BUPT Information Theory&Technology CenterP.67将上式分别对p与p取偏导并至之为0，可解得：则例例3 （续）（续）：其中可见，码分可以突破时分、频分的容量界限。BU

23、PT Information Theory&Technology CenterP.68例例4：对连续二址信道BUPT Information Theory&Technology CenterP.69例例4（续）（续）：坐标系中的容量区域为下：利用C1、C2、C12求得同理BUPT Information Theory&Technology CenterP.70这里，再来分析连续信源时（频）分方式：在总时隙T内：例例4（续）（续）：则：BUPT Information Theory&Technology CenterP.71其中，例例4（续）（续）：BUPT Information Theory

24、&Technology CenterP.72广播信道广播信道：单输入多输出信道。仍以最简单二输出为例：其中为两独立信源，且：BUPT Information Theory&Technology CenterP.73这里以连续变量为例：有广播信道广播信道：单输入多输出信道（续）BUPT Information Theory&Technology CenterP.74其中：广播信道广播信道：单输入多输出信道（续）这样可求得关于R1、R2与R1+R2界限区域为 则即包含所有这些区域的外凸包。一般求解这个外凸包很困难，至今没有找到确切求解方法。能够求解的仅是一些特例。比如降阶的退化广播信道，这时信道转

25、移概率满足：BUPT Information Theory&Technology CenterP.75广播信道广播信道：单输入多输出信道（续）由概率论：与上述退化条件对比，得它要求y2与x无关，即X、Y1、Y2组成马氏链。即若有存在，则称该信道为降价或退化型广播信道。有很多实际信道可满足上述退化条件：比如下列马氏链信道：BUPT Information Theory&Technology CenterP.76例：例：对于正态信道：广播信道广播信道：单输入多输出信道（续）BUPT Information Theory&Technology CenterP.77广播信道广播信道：单输入多输出信道（

26、续）且设，可得一个y1y2二元函数结合编码器为一个普通加法：X=U1+U2Y1=X+n1Y2=X+n2且U1、U2相互独立，EX2=P1+P2=P（受限）由限功率高斯信道理论，要使这类退化广播信道互信息达最大，则要求X为正态变量，再由正态变量性质，两个正态变量和亦为正态，所以Y1、Y2都是正态。故有下列条件方差：BUPT Information Theory&Technology CenterP.78这时R1、R2、R1+R2受限条件为：广播信道广播信道：单输入多输出信道（续）BUPT Information Theory&Technology CenterP.79由它们共同决定的信道容量为：

27、广播信道广播信道：单输入多输出信道（续）BUPT Information Theory&Technology CenterP.80在R1轴上，P2=0，P=P1在R2轴上，P1=0，P=P2其容量区域由R1上A点，R2上B点以及线性方程共同决定。（阴影区域）当时，R1+R2受限的直线与A、B间连线重合。广播信道广播信道：单输入多输出信道（续）BUPT Information Theory&Technology CenterP.81多用户信源多用户信源在研究多用户信道时，均设信源是相互独立的，若信源不独立，是否可以利用信源间的相关性压缩信道容量。下面仍以最简单的二用户为例：它可分为两类：下面，讨

28、论多用户信源多用户信源。BUPT Information Theory&Technology CenterP.82先讨论图a，由信源相关性有多用户信源多用户信源（续）（续）BUPT Information Theory&Technology CenterP.83为了无差错恢复U1、U2其充要条件为：多用户信源多用户信源（续）（续）由下图可见，两信道可互相调剂：R1大时，R2可小些；反之，R1小时，R2可大些。图a中的上半部为U1主信道，下半部为U1边信道；对于U2也一样，下半部为U2主信道，上半部则为U2边信道。BUPT Information Theory&Technology Center

29、P.84多用户信源多用户信源（续）（续）BUPT Information Theory&Technology CenterP.85下面再讨论图b图中三个信道中，中间的信道3是公用的，其余两个则是专用的，且有：多用户信源多用户信源（续）（续）从两个相关信源U1、U2引出另一个随机变量W,使U1U2对W条件独立，即：且U1U2对W互信息I(U1U2；W)最小，称它为U1U2的公信息。即：BUPT Information Theory&Technology CenterP.86这样，可以利用公信息传送W，而U1U2可分别用专用信道传送，则只需满足：多用户信源多用户信源（续）（续）这是由于U1、U2与W条件独立。这样可以实现用户间保密通信，而图a中却做不到。即可。接收端利用R1与W译出U1；利用R2与W译出U2；但是利用R1与W译不出U2；利用R2与W译不出U1；