信道与信道容量重点课件.ppt

第五章：信道与信道容量信道与信道容量 杨杰本章节达到的目的了解信息论研究信道的目的、内容了解信道的基本分类并掌握信道的基本描述方法掌握信道容量/信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系能够计算简单信道的信道容量/信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道）了解信道容量/容量代价函数在研究通信系统中的作用理解香农第一定理又称无噪信道编码的物理意义进一步从信息论的角度理解香农公式及其用途概念问题熵熵率无失真信源编码定理中的作用互信息信道容量信道编码定理中的作用回顾互信息函数的性质1互 信息与信道输入概率分布的关系性质1：I(X;Y)是信道输入概率分布p(x)的上凸函数.回顾互信息函数的性质2 信息量与信道转移概率分布的关系 性质2：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.回顾互信息函数的性质3信息量与信道输入符号相关性的关系 性质3:信道的输入是离散无记忆的,回顾互信息函数的性质4 信息量与信道输入符号相关性的关系 性质4:信道是离散无记忆的,回顾互信息函数的性质5性质3、性质4的推论：信道的输入和信道本身都是离散无记忆的信道与信道容量 概述概述信道的分类与描述信道的分类与描述 离散无记忆信道及其容量离散无记忆信道及其容量 连续信道及其容量连续信道及其容量 容量代价函数容量代价函数C(F)5.1:概述信息论对信道研究的内容什么是信道？信道的作用研究信道的目的5.1:概述1信息论对信道研究的内容：l信道的建模：用恰当的输入/输出两个随机过程来描述l信道容量l不同条件下充分利用信道容量的各种办法5.1:概述2什么是信道？l信道是传送信息的载体信号所通过的通道。l信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。5.1:概述3信道的作用l在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。5.1:概述4研究信道的目的l实现信息传输的有效性和可靠性l有效性：充分利用信道容量l可靠性：通过信道编码降低误码率l在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。l通信技术研究信号在信道中传输的过程所遵循的物理规律，即传输特性l信息论研究信息的传输问题（假定传输特性已知）5.2:信道的分类与描述信道分类 信道描述 5.2:信道分类与描述1信道分类信道分类l从工程物理背景传输媒介类型；l从数学描述方式信号与干扰描述方式；l从信道本身的参数类型恒参与变参；l从用户类型单用户与多用户；5.2:信道分类与描述25.2:信道分类与描述35.2:信道分类与描述45.2:信道分类与描述5 5.2:信道分类与描述6信道划分是人为的，比如 其中：c1为连续信道，调制信道；c2为离散信道，编码信道；c3为半离散、半连续信道；c4为半连续、半离散信道。5.2:信道分类与描述7信道描述信道描述l信道可以引用三组变量来描述：信道输入概率空间：信道输出概率空间：信道概率转移矩阵：P即：，P ，它可简化为：。5.2:信道分类与描述8其中：而 而 5.2:信道分类与描述9当K=1时，退化为单个消息（符号）信道单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道二进制单消息对称信道BSC：且 ,5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道容量的计算离散无记忆信道容量的计算离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理对称的离散无记忆信道容量对称的离散无记忆信道容量香农第一定理的物理意义香农第一定理的物理意义5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-1离散消息序列信道 5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-2离散无记忆信道及其信道容量离散无记忆信道及其信道容量由消息序列互信息由消息序列互信息性质性质对离散无记忆信道，有：对离散无记忆信道，有：（性质性质4）则则当且仅当信源(信道入)无记忆时，“等号”成立（性质（性质3、4推论）推论）5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-3离散无记忆信道及其信道容量的进一步离散无记忆信道及其信道容量的进一步理解理解lCmax存在存在互信息性质互信息性质1，上凸函数极值存在，上凸函数极值存在l达到达到Cmax时的两个条件：时的两个条件：l信道输入（信源）是离散无记忆的信道输入（信源）是离散无记忆的l信道输入的概率分布是使信道输入的概率分布是使I(X,Y)达到最大的分布达到最大的分布lC的值不是由信源的的值不是由信源的p(x)决定的，而是由决定的，而是由p决定的决定的lC是是信道信道作为信息传输通道的作为信息传输通道的性能度量性能度量l只有信道输入（信源）只有信道输入（信源）X（x1x2xn)满足一定条件时，满足一定条件时，才能充分才能充分利用利用信道传输信息的能力信道传输信息的能力5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-4离散无记忆信道容量的计算离散无记忆信道容量的计算l思路：问题转化为：有界闭区域上求约束极值l方法：1、求区域内极值 2、求边界极值 3、求前两者的最大值l具体实现：l1、简单情况下求解（如单符号信道、对称信道）l2、解方程l3、迭代法l4、其他5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-5离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理 定理定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充要条件是 其中：是信源字母ak传送的平均互信息，C就是这一信道的信道容量。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-6离散无记忆信道的信道容量定理理解离散无记忆信道的信道容量定理理解l在这种分布下，每个概率0的字母提供的互信息C，每个概率0的字母提供的互信息Cl当且仅当这种分布时，可使I(p,Q)达到最大值ClI(X,Y)是I(x=ak;Y)的平均值。即：l想提高I(X,Y)，可以提高p(ak)l但提高p(ak)，又使I(x=ak;Y)降低l反复调整p(ak)，使I(x=ak;Y)相等且都等于Cl此时I(X,Y)Cl定理只给出了可使I(X,Y)C的p(x)的充要条件，并无具体分布及C的值，但可以帮助求解简单情况部分信道的C5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-7对称的离散无记忆信道对称的离散无记忆信道信道容量信道容量l对称的离散无记忆信道输出字母的集合可以划分为若干子集，对每个子集有：l矩阵中的每一行都是第一行的重排列；l矩阵中的每一列都是第一列的重排列。l定理定理5.2：对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-8l对称信道5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-9a1a2b1b2b30。70。10。10。20。7a1a2b1b2b30。20。70。70。10。10。25.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-10BSC信道信道容量的计算a1a2b1b21-1-5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-11由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：于是：这里：5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-12二元删除信道信道容量的计算a1a2b1b21-1-b35.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-13由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：于是：5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-140.51.000.51.0cbaCa=Cb=a:BSC信道的信道容量曲线b:二进制删除信道的信道容量曲线5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-15香农第一定理（变长无失真信源编码定理）的物香农第一定理（变长无失真信源编码定理）的物理意义理意义 （达到极限时等号成立）（达到极限时等号成立）从信道的角度看，信道的信息传输率从信道的角度看，信道的信息传输率 （达到极限时等号成立）（达到极限时等号成立）5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-16香农第一定理（变长无失真信源编码定理）的物理意义香农第一定理（变长无失真信源编码定理）的物理意义l无噪无损信道的信道容量：无噪无损信道的信道容量：C=logMl再看当平均码长达到极限值时再看当平均码长达到极限值时l此时信道的信息传输率此时信道的信息传输率R无噪信道的信道容量无噪信道的信道容量Cl无失真信源编码的实质：无失真信源编码的实质：l对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率达到最大，从而使信道的信息传输率R达到信道容量达到信道容量C，实现信源与信实现信源与信道理想的统计匹配。道理想的统计匹配。l又称：无噪信道编码定理又称：无噪信道编码定理l若信道的信息传输率若信道的信息传输率R不大于信道容量不大于信道容量C，总能对信源的输出进行适当总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传输传输信息；但要使信道的信息传输率信息；但要使信道的信息传输率R大于大于C而无差错地传输信息则是不可而无差错地传输信息则是不可能的。能的。信道容量InformationsourceEncoderS XDiscreteCommunicationChannelX=x1,x2,xrDecoderX SInformationreceiver连续信道模拟信道l连续信道：l特点1：时间离散、幅度连续l特点2：每个时刻是取值连续的单个随机变量（vs离散序列)l研究方法：N个自由度的随机变量，取 研究平均在每个自由度上的Cl模拟信道：l特点1：时间连续、幅度连续l特点2：一族时间样本函数，每个时间样本函数都是时间、幅度取值连续的l研究方法：1、限频、限时时离散、量化为离散随机矢量 2、为避免有记忆随机矢量研究的困难，找到一组正交完备函 数集，展开为级数，使所得到系数组成的随机矢量相互独 立或线性无关。l注意：1、限时频谱无限，限频时间无限。2、认为函数在F以上或T以外取值很小，限时、限频不会引起函数的严重 失真Analogsource模拟通信系统SourcecodingChannelcodingAnalogchannelChanneldecodingSourcedecodingDestinationA/DconverterModulationDemodulationD/Aconverter011010111001001111010011015.4:连续信道及其容量1回顾连续随机变量的熵微分熵（VS离散随机变量）连续随机变量最大熵分布依赖于约束条件（VS离散随机变量）l峰值功率受限条件下均匀分布的随机变量具有最大微分熵l平均功率受限条件下高斯分布的随机变量具有最大微分熵连续信道的输入所取的值域不足以完全表示对信道输入的限制还有约束条件Cmaxh(Y)-h(n)lC取决于信道的统计特性（加性信道即噪声的统计特性）l输入随机矢量X所受的限制条件（一般考虑平均功率受限时）lC的单位为：比特/N个自由度连续信道信道容量容量费用函数描述5.4:连续信道及其容量2C.F 吴&朱&傅信道容量l吴：l信道容量：离散信道容量、连续信道容量l容量代价函数：离散信道、连续信道l朱：l信道容量：离散信道l容量费用函数：连续信道&模拟信道l傅：l信道容量：离散信道容量、连续信道容量5.4:连续信道及其容量3研究连续信道容量的方法l基本、简单的信道：无记忆加性噪声信道l信道噪声为高斯时l何种分布输入能达到对信道的充分利用l信道输入为高斯时l何种分布噪声对信道传输信息影响最大5.4:连续信道及其容量4一些基础知识：对于加性信道Y=X+NlX：信道输入lN：信道噪声lY：信道输出l信道的转移概率分布函数就是N的分布函数lb(x)是信道输入为x时对应的费用l如果X、Y、N中有两个是高斯分布，另一个也是高斯分布的l高斯分布的随机变量的微分熵h(XG)l高斯分布的连续随机变量的微分熵h(XG)的值只与方差 有关，与均值无关加性信道ErrorSource+EXOutputInput5.4:连续信道及其容量5定义：容量费用函数 若上确界在I(X,Y)存在最大值时 对于无记忆信道：因为 有：5.4:连续信道及其容量6无记忆加性噪声信道的信道容量费用函数l无记忆加性噪声信道的前向转移概率密度函数就是N的概率密度函数，即：l其中 5.4:连续信道及其容量7于是有：取信道输入信号的平均功率E(X2)作为信息传输的费用则有：无记忆加性噪声信道的信道容量费用函数为：因h(N)与px(x)无关，求解C(PS)问题转化为只需对h(Y)进行5.4:连续信道及其容量8无记忆加性高斯噪声信道的信道容量费用函数l条件：ZZGl问题：求使C(PS)最大时的X的概密分布函数l求解步骤：l因为 C(PS)l 所以要求使C(PS)最大求使h(Y)最大l而在PS约束条件下，当YYG时h(Y)达到最大l此时XXG，且C(PS)l结论：当信道输入信号为高斯分布信号时，无记忆加性高斯噪声信道的信道容量可以得到充分利用。换句话说：在无记忆加性高斯噪声信道中传输信息时，高斯分布的信号是最有效的5.4:连续信道及其容量9无记忆加性噪声信道对高斯分布的输入信号的影响无记忆加性噪声信道对高斯分布的输入信号的影响l条件：XXG，约束条件PSl问题：考察何种概密分布的N使I(X;Y)最小l求解步骤：l因为 l而当NNG时，YYGl此时：l可以证明：l结论：无记忆加性高斯噪声信道对高斯分布的输入信号具有最大的破坏力。高斯分布特性：高斯分布特性：l作为信道输入信号的概密分布时，有利于信息传输l作为加性信道噪声概密分布时，不利于信息传输 5.4:连续信道及其容量10一般无记忆加性噪声信道的信道容量费用函数l无法给出解析形式的解，但可以给出其上下界表达式l下界：根据前面的讨论很容易得l上界：l当输入信号功率限制在PS以下，噪声功率限制在PN以下l则输出信号功率将=PS PN。l此时l所以有：5.4连续信道及其容量115.5:模拟信道及其容量模拟信道下的信道容量费用函数及其计算模拟信道下的信道容量费用函数及其计算广义平稳的限频广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白白色高斯信道及其容量色高斯信道及其容量C。lShannon公式公式lShannon公式的物理意义公式的物理意义lShannon公式的用途公式的用途5.5:模拟信道及其容量4广义平稳的限频广义平稳的限频(F)、限时限时(T)、限功率限功率(P)白色高斯信道及其容量白色高斯信道及其容量C l对限频(F)、限时(T)的连续过程信源可展成下列取样函数序列：l现将这2FT个样值序列通过一个功率受限(P)的白色高斯信道并求其容量值C。5.5:模拟信道及其容量 Shannon公式公式1lShannon公式公式l定理定理5.3：满足限频(F)、限时(T)的广义平稳随机过程信源X(t,w)，当它通过一个功率受限(P)的白色高斯信道，其容量为：这就是著名的Shannon公式公式。则单位时间T=1时的容量为：5.5:模拟信道及其容量 Shannon公式公式2证明：前面已求得单个连续消息（第k个）通过高斯信道以后的容量值为：同时，在消息序列的互信息中已证明当信源、信道满足无记忆时，下列结论成立：由信道容量定义，有5.5:模拟信道及其容量 Shannon公式公式3lShannon公式的物理意义公式的物理意义l它给出了决定信道容量它给出了决定信道容量C的是三个信号物理参量：的是三个信号物理参量：F、T、之间的辩证关系。之间的辩证关系。l三者的乘积是一个三者的乘积是一个“可塑可塑”性体积（三维）。性体积（三维）。l三者间可以互换。三者间可以互换。5.5:模拟信道及其容量 Shannon公式公式4Shannon公式的用途一公式的用途一用频带换取信噪比：扩频通信原理。用频带换取信噪比：扩频通信原理。l雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。幅，且频带越宽，抗干扰性就越强。l数字通信中，伪码数字通信中，伪码(PN)直扩与时频编码等，带宽越宽，扩频直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。增益越大，抗干扰性就越强。l深空通信中（功率受能源限制，频谱资源相对丰富），采用深空通信中（功率受能源限制，频谱资源相对丰富），采用两电平数字通信方式有效利用信道容量。两电平数字通信方式有效利用信道容量。注意：有极限注意：有极限归一化信道容量归一化信道容量关于信噪比SNR的关系图归一化信道带宽归一化信道带宽关于信噪比SNR的关系图Shannon公式公式另一种形式：其中，为噪声密度，即单位带宽的噪声强度，2=N0F;Eb表示单位符号信号的能量，Eb=STb=S/F；Eb/N0称为归一化信噪比.也称为能量信噪比能量信噪比.当Eb/N01时，Eb/N0(nat)(bit)结论：低信噪比时，信道容量近似地决定于能量信噪比的值结论：低信噪比时，信道容量近似地决定于能量信噪比的值极限极限：传送1bit信息所需的能量至少是0.693N05.5:模拟信道及其容量 Shannon公式公式5Shannon公式的用途二公式的用途二用信噪比换取频带用信噪比换取频带多进制多电平多维星座调制方式的基本原理卫星、数字微波中常采用的有：卫星、数字微波中常采用的有：多电平调制、多相调制、高维星座调制(M-QAM)等等，它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。5.5:模拟信道及其容量 Shannon公式公式6lShannon公式的用途三公式的用途三用时间换取信噪比用时间换取信噪比重传、弱信号累积接收基于这一原理。t=T0为分界线。信号功率S有规律随时间线性增长，噪声功率2无规律，随时间呈均方根增长。5.5:模拟信道及其容量 Shannon公式公式7lShannon公式的用途四公式的用途四用时间换取频带或用频带换取时间用时间换取频带或用频带换取时间扩频缩短时间：通信电子对抗、潜艇通信扩频缩短时间：通信电子对抗、潜艇通信窄带增加时间：电话线路传准活动图象窄带增加时间：电话线路传准活动图象5.5:模拟信道及其容量 Shannon公式公式8讨论信道容量及容量费用函数的目的：l不是为了实现可靠传输（这是信道编码的目的）l只是为了实现最大限度达到信道的信息传输能力l可以给出信道编码的界关于Shannon公式l条件是加性高斯白噪声（AWGN)信道下l给出的是S、N、W与信道容量（最大信息传输速率）的关系l没有给出S、N、W与差错概率的关系1.59dB例1、已知信道转移概率矩阵如下，求此信道的信道容量。XY 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3解：由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：例2、在图片传输中，每帧约为2.25106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽(信噪功率比为30dB)。解：高斯白噪声加性信道单位时间的信道容量：(比特/秒）要求的信息传输率为：Ct=2.25106log1630=2.7108（bit/s)=W log(1+S/N)而：10lg(S/N)=30dBS/N=103 W=(2.7108)/log(1+103)2.7107(HZ)曹志刚现代通信原理关于香农公式的一些结论信道容量：单位时间内信道上所能传输的最大信息量香农公式：香农公式结论：l提高信号与噪声功率之比能增加信道容量l当噪声功率N0时，信道容量C,这意味着无干扰信道容量为无穷大。l增加信道频带W并不能无限制地使信道容量增大。l信道容量一定时，带宽W与信噪比S/N之间可以彼此互换结论解释在特定信道（加性高斯白噪声）下，信道容量的数值可以用发送信号的某些参量计算获得。提高信噪比，意味着改变了信道的噪声特性，因此可以改变信道的容量无噪信道定理（香农第一定理）说明：无噪无损信道的容量等于信道输入信号的熵，而连续信源的熵（非微分熵）为无穷大，因此无噪无损信道的容量为无穷大。通信原理对香农公式的研究是考虑发送信号的带宽、信噪比与最大信息传输率的关系信息论对香农公式的研究是考虑给定信道情况下，发送信号的带宽、信噪比以及发送时间三者的辩证关系5.6:信道冗余度1信道冗余度信道冗余度类似于信源效率有：称c为信道效率。同理：称Rc为信道相对冗余度信道相对冗余度。显然，对于无干扰信道：I(X;Y)=H(X),max I(X;Y)=max H(X)=log n则.5.6:信道冗余度2设：信道编码后的码子数为 M；码长为n；码符号空间的数目为r信息传输率码子的总数 最大信息传输率二进制符号：R=1（bit/symbol）二进制符号：M=2n二进制符号：若信息传输率 Rmax,不能进行检纠错 要检纠错:R Rmax 信道传输效率冗余度 信道编码的目的l通过增加冗余度实现传输的可靠性5.6:信道冗余度35.6:信道冗余度4例3：（10，5）分组码；码子总数M25；n10；r=2;101011010101010 110011100100110