信息论与编码-第三章.ppt

《信息论与编码-第三章.ppt》由会员分享，可在线阅读，更多相关《信息论与编码-第三章.ppt（93页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第3章-信道与信道容量q信道的基本概念q离散单个符号信道及其容量q离散序列信道及其容量q连续信道及其容量q信源与信道的匹配信息论与编码-信道与信道容量由于一般信道中总是存在噪声和干扰，在这样的信道中进行信息传输会造成损失。那么在有噪信道中怎么能够使消息通过传输后发生的错误最少？在有噪信道中无错误传输可以达到的最大信息率是多少？这就是本章研究的内容。信息论与编码-信道与信道容量信道分类和表示参数通信系统中，信道是非常重要的部分。信道的任务是以信号方式传输信息。在信道中会引入噪声，这些都会使信号通过信道后产生错误和失真，故信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系。只要知到了信道

2、的输入信号和输出信号以及它们之间的统计依赖关系，则信道的全部特性就确定了。所以可以用信道的转移概率矩阵P(Y/X)来描述信道、信道的数学模型及分类研究信道，就要研究信道中能够传送的最大信息量，即信道容量问题。信息论与编码-信道与信道容量信道的分类：从不同的角度，有不同的分类方法。根据信道的参数是否随时间变化，可以分为：（1）固定参数信道固定参数信道：信道的参数不随时间变化；（2）时变参数信道时变参数信道：信道的参数随时间变化。根据输入和输出信号的特点，可以分为：（1）离散信道离散信道：信道的输入和输出的随机序列取值都是离散的；（2）连续信道连续信道：信道的输入和输出的随机序列的取值都是连续的；

3、信息论与编码-信道与信道容量（3）半离散或半连续信道半离散或半连续信道：输入序列是离散的但相应的输出序列是连续的，或者反过来；（4）波形信道波形信道：信道的输入输出不但取值是连续的，而且还随时间连续变化。一般可用随机过程来描述其输入输出。由于实际信道的带宽总是有限的，所以输入信号和输出信号总可以分解成时间离散的随机序列。序列的取值可以是连续的，也可以是离散的，因此，波形信道可以分解成连续信道或离散信道或半离散半连续信道。信息论与编码-信道与信道容量信道参数设信道的输入矢量和输出矢量分别是通常采用条件概率 来描述信道输入输出信号之间统计的依赖关系。该条件概率通常称为转移概率信息论与编码-信道与信

4、道容量根据信道是否存在干扰以及有无记忆，可将信道分为下面三类l无干扰信道：信道的输出符号Y与输入符号X之间又确定的关系Y=f(X),已知X后就确知Y。l有干扰无记忆信道：信道的输出符号Y与输入符号X之间没有确定的关系，但转移概率满足即每个输出符号只与当前输入符号之间有概率转移关系。在这种情况下，只需分析单个符号的转移概率即可信息论与编码-信道与信道容量l有干扰有记忆信道：一般情况都是如此，常用的方法有两种将记忆很强的L个符号当矢量符号，各矢量符号之间是无记忆的，但此事会引入误差，L越大，误差越小将转移概率看成马尔科夫链的形式，记忆有限，信道的统计特性可用在已知现在时刻输入符号和前信道所处的状态

5、的条件概率来描述，这种处理方法比较复杂，通常取一阶时稍简单信息论与编码-信道与信道容量下面我们讨论几种常用信道。（1）二进制离散信道二进制离散信道 二进制离散信道的输入值集合是0，1，输出值集合也是0，1，再加上一组描述信道统计特性的转移概率，就可以完全确定信道。二进制离散信道的一个特例：二进制对称信道二进制对称信道（BSC-Binary Symmetric Channel）。如果描述二进制离散信道的转移概率对称，即 则称这种二进制输入、二进制输出的信道为二进制对称信道。信息论与编码-信道与信道容量如图所示。BSC信道是无记忆信道。BSC信道是研究二元编解码最简单也是最常用的信道模型。输入01

6、1-p1-ppp输出01信息论与编码-信道与信道容量（2）离散无记忆信道离散无记忆信道设信道的输入符号集合是 ，输出符号集合是 再加上一组（mn个）转移概率 这样的一种信道称为离散无记忆信道（DMC:Discrete Memoryless Channel）。信息论与编码-信道与信道容量可以把转移概率写成矩阵的形式，即信息论与编码-信道与信道容量图示a0an-1a1b0b1bm-1信息论与编码-信道与信道容量（3）离散输入、连续输出信道 信道输入符号选自一个有限离散的符号集合信道输出时未经量化的任意值，即 m-信道特性由转移概率密度函数决定典型信道是加性高斯白噪声信道（AWGN）信息论与编码-信

7、道与信道容量（4）波形信道输入和输出都是随机过程x(t)和y(t)，模拟系统。对于频带受限的波形信道，可以用抽样的方法变成时间离散信道。设带宽为W，则在T时间间隔内，根据抽样定理，应该抽样至少2WT个点，分别记为输入 和输出这样波形信道就转化为多维连续信道信息论与编码-信道与信道容量信道转移概率密度函数为且满足完备性。连续无记忆信道，满足一般情况下，是有记忆信道信息论与编码-信道与信道容量对于加性噪声，单符号信道可以表示为 y(t)=x(t)+n(t)n(t)为噪声过程的一个样本函数由于噪声和信号相互独立，所以有转移概率为即信道的转移概率密度函数等于噪声的概率密度函数信息论与编码-信道与信道容

8、量条件熵信息论与编码-信道与信道容量上式说明条件熵是由噪声引起的，它等于噪声信源的熵。故条件熵也称噪声熵。在加性多维连续信道中，输入矢量X、输出矢量Y和噪声矢量n之间的关系是 Y=X+n可得信息论与编码-信道与信道容量3.2离散单个符号信道及其容量我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信息传输率信息传输率R。而信道的信息传输率就是平均互信息，即 bit/符号若已知平均传输一个符号所需的时间为t(s)，则将信道在单位时间内平均传输的信息量定义为信息传输速率：bit/符号s/符号=bit/s 即 单位为bit/s信息论与编码-信道与信道容量前面我们已经讨论过，I(X;Y)

9、是输入随机变量X的概率分布p(xi)和信道转移概率p(yj/xi)的函数。对于一特定信道，若转移概率已确定，则互信息就是就是关于输入符号概率分布的函数。因此对于一个固定的信道，总存在一种信源符号的概率分布，使传输每个符号平均获得的信息量最大。这个最大的信息传输率 就称为信道容量C。即 此时相应的输入概率分布称为最佳输入分布最佳输入分布。信息论与编码-信道与信道容量有时候也把单位时间内信道平均传输的最大信息量叫做信道容量，即信道容量C已与输入信源的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是完全描述信道特性的参量，是信道每符号能够传输的最大信息量。对于特定的信

10、道，信道容量是个定值，但在传输信息时信道能否提供其最大传输能力，则取决于输入端的概率分布。信息论与编码-信道与信道容量无干扰离散信道设信道的输入符号集合是 输出符号集合是 按照X与Y的对应关系，可以分为如下几类无噪无损信道无噪有损信道有噪无损信道这些信道是部分理想化的，使用中比较少3.2离散单个符号信道及其容量o无干扰离散信道的信道容量X、Y一一对应Clog n多个输入变成一个输出CmaxH(Y)一个输入对应多个输出CmaxH(X)信息论与编码-信道与信道容量DMC信道的信道容量信道的信道容量 设DMC信道的输入符号集合是 输出符号集合是 转移概率由信道特性决定。信息论与编码-信道与信道容量给

11、定信道，就是给定信道的转移概率。此时有所以信道容量为由上式可以看出，信道容量C只是转移概 率的函数，也就是说，信道容量由信道唯一决定。信息论与编码-信道与信道容量因为 是最佳输入分布，是信道特性，一旦这两个参数确定，就被确定了：对于信道容量，一个是其存在性问题，一个是它的计算。关于存在性问题，在这里我们不做讨论，主要看它的计算问题。信息论与编码-信道与信道容量对称对称DMC信道的容量信道的容量 对称对称DMC信道的定义信道的定义：如果一个DMC信道的转移概率矩阵P中的每一行都是第一行的置换（包含同样的元素，但位置可以不同），则称该矩阵是输入对称的，如果转移概率矩阵P的每一列都是第一列的置换，则

12、称该矩阵是输出对称的，如果一个DMC信道的输入、输出都对称，则称该DMC信道为对称对称DMC信道信道。信息论与编码-信道与信道容量对称对称DMC信道信道:信息论与编码-信道与信道容量对称DMC信道的性质：i）对称DMC信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有这是因为 与 无关。信息论与编码-信道与信道容量ii）当信道输入符号等概分布时，信道输出符号也等概分布；反之亦然(列对称）容量公式：信息论与编码-信道与信道容量iii）当信道输入符号等概分布时，对称DMC信道达到其信道容量，为信息论与编码-信道与信道容量例题3-1：某对称DMC信道，信道转移矩阵为求信道容量。解：例题3-2

13、：强对称信道（均匀信道），信道转移概率矩阵输入符号和输出符号的个数相同，都为n，正确的传输概率为1-，错误概率，均匀的分配给n-1各输出符号。信道容量为信息论与编码-信道与信道容量信息论与编码-信道与信道容量（2）BSC信道的信道容量信道的信道容量BSC信道是均匀DMC信道在输入输出在n=m=2时的特例，所以对于转移概率为p(0/1)=p(1/0)=p，p(0/0)=p(1/1)=1-p的信道，当时，其平均互信息量最大，即其信道容量为：信息论与编码-信道与信道容量信息论与编码-信道与信道容量C与信道转移概率的关系如下图所示。当p=0时，即信道无误码时，C=H(X)=1bit/符号，达到了信道容

14、量的最大值，相当于没有噪声损失。CpC-p曲线0.2 0.4 0.6 0.8 1.00.20.40.60.81.00当p=0.5时，信道容量C=0，这时候由于输入输出完全独立，从输出端得不到任何关于输入的信息信息论与编码-信道与信道容量例3-3 设有两个离散BSC信道，其转移概率矩阵都为01YXZ1-1-1-1-01信息论与编码-信道与信道容量可以求得I(X;Y)=1-H(),I(X;Z)=1-H(2(1-)信息论与编码-信道与信道容量（3）准对称准对称DMC信道的信道容量信道的信道容量如果信道转移矩阵P是输入对称而输出不对称，即转移概率矩阵的每一行都包含同样的元素，但每一列包含的元素可以不同

15、，则称这样的信道为准对称DMC信道。例如：就是准对称DMC信道。信息论与编码-信道与信道容量由于每列元素不相同，所以信道的输入和输出概率可能不等，此时H(Y)的最大值可能小于Y等概率时的熵，因而准对称DMC信道的容量可以证明，对于准对称DMC信道，当输入概率分布为等概分布时，达到其信道容量，为信息论与编码-信道与信道容量n是输入符号集中符号个数，是转移概率矩阵中一行的元素，即 是信道转移矩阵的第k个子矩阵中行元素之和，是信道转移矩阵的第k个子矩阵中列元素之和。r是互不相交的子集个数信息论与编码-信道与信道容量转移矩阵的子矩阵是这样得到的：由于转移矩阵中每一行都包含同样的元素，而每一列则可以包含

16、不同的元素，因此，我们可以把转移矩阵分成n个互不相交的子集，每一个子集构成的子矩阵都是对称的。信息论与编码-信道与信道容量例如：设转移矩阵为则可以分成三个子集，每个子集组成的子矩阵为信息论与编码-信道与信道容量又例如：设转移矩阵为则可以分成二个子集，每个子集组成的子矩阵为因此信息论与编码-信道与信道容量例题3-5：已知一个信道的信道转移概率矩阵为求该信道的信道容量。解：将P划分成两个子矩阵：则 信息论与编码-信道与信道容量最佳输入分布为等概分布，即故信息论与编码-信道与信道容量解法2：求I(X;Y)的极大值设则信息论与编码-信道与信道容量由 得所以信息论与编码-信道与信道容量由得解之得：此时信

17、道模型：二进制对称删除信道信息论与编码-信道与信道容量一般一般DMC信道的信道容量信道的信道容量以输入符号概率矢量Px为自变量求函数I(Px)极大值，即信道容量的问题，已经得到解决，称Blahut-Arimoto算法。定理：一般离散信道的平均互信息I(X;Y)达到极大值（等于信道容量）的充要条件是输入概率分布 满足 其中的C为信道容量。信息论与编码-信道与信道容量从定理中可以得出这样的结论：当信道平均互信息达到信道容量时，输入信源符号集中每一个信源符号 对输出端Y提供相同的信息量，只是概率为零的符号除外。定理只是给出了达到信道容量时，最佳输入概率分布应满足的条件，但是并没有给出输入符号的最佳概

18、率分布值，也没有给出信道容量的数值。另外，定理也隐含着，达到信道容量的最佳分布不一定是唯一的。信息论与编码-信道与信道容量在一些特殊的情况下，我们可以利用这个定理找出所求的最佳输入概 率分布和信道容量。例题：设信道的转移概率矩阵为该信道为非对称DMC信道，求其信道容量。XY01201111/21/2信息论与编码-信道与信道容量解：仔细观察此信道，设想输入端输入符号1的概率为0，则该信道就成了一一对应信道。如果符号1的概率不等于0，就会增加不确定性，而确定性信道的互信息量最大，因此，我们可以设想，p(0)=p(2)=1/2，p(1)=0，此时有信息论与编码-信道与信道容量它们满足定理中的充要条件

19、，因此，这就是我们要寻找的最佳输入分布，该信道的信道容量为 C=log2=1对于一般的DMC信道，很难用上述定理来求其信道容量和对应的最佳输入概率分布，此时只能用求极大值的方法来求解。例3.8信息论与编码-信道与信道容量3.3离散序列信道及其容量信道模型信道信息论与编码-信道与信道容量对于无记忆离散序列信道，其信道转移概率为若信道是平稳的，则有根据平均互信息的定义，信息论与编码-信道与信道容量可以证明，该互信息有两个性质：如果信道无记忆，则如果输入矢量X中的各个分量相互独立，则如果信道无记忆，输入矢量X中的各个分量相互独立，则上式取等号。信息论与编码-信道与信道容量当输入矢量达到最佳分布时，平

20、稳信道一般情况下信息论与编码-信道与信道容量最典型的无记忆离散序列信道是扩展信道。如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道。信道输入序列为X=XL,信道输入序列为Y=YL,信道的序列转移概率为信息论与编码-信道与信道容量例3-7 BSC信道的二次扩展BSC信道 P(0/0)=P(1/1)=1-P,P(0/1)=P(1/0)=P,P(00/00)=p(0/0)p(0/0)=(1-P)2P(01/00)=p(0/0)p(1/0)=P(1-P)P(10/00)=p(1/0)p(0/0)=P(1-P)P(11/00)=p(1/0)p(1/0)=P2000001011010111

21、1XY信息论与编码-信道与信道容量转移矩阵为是一个对称DMC信道，当输入序列等概分布时，达到信道容量信息论与编码-信道与信道容量信道容量为若p=0.1，信道容量为C2=(2-0.938)bit/序列=1.062bit/序列BSC单符号时信道容量为C1=1-H(0.1)=0.531bit/序列=1/2 C2信息论与编码-信道与信道容量3.4连续信道及其容量在连续信源情况下，可用两个相对熵之差来表征互信息。互信息的最大值就是信道容量。因而，连续信道具有与离散信道类似的信息传输率和信道容量表达式。只考虑加性噪声信息论与编码-信道与信道容量连续单符号加性信道由于 I(X;Y)=h(X)-h(X|Y)=

22、h(Y)-h(Y|X)，信道容量为由限平均功率最大熵定理，当信道输出Y正态分布时，熵最大。信息论与编码-信道与信道容量设py(y)=N(0,P)，其中P为Y的平均功率限制值。由于信道输入X与噪声统计独立，且y=x+n，所以，其功率可以相加，即P=S+2，S为信道输入X的平均值。显然，若 py(y)=N(0,P)，则px(y)=N(0,S),这时，信息传输率达到最大式中，S/2是信号功率与噪声功率之比，称为信噪比，用SNR表示信道容量仅取决于信道的信噪比。信息论与编码-信道与信道容量对于均值为零、平均功率为2的非高斯噪声，其信道容量为上式说明在同样平均功率受限的情况下，非高斯噪声信道的容量要大于

23、高斯噪声信道的容量因此，在实际处理问题时，通常采用计算高斯噪声信道的容量的方法保守地估计容量，且高斯噪声信道的容量容易计算。信息论与编码-信道与信道容量多维无记忆加性连续信道无记忆加性随机噪声统计独立可以等价为L个独立的并联高斯加性信道信息论与编码-信道与信道容量X=(x1,x2,xL)n=(n1,n2,nL)y=(y1,y2,yL)加性信道x1n1y1=x1+n1xLnLyL=xL+nL703.4 连续信道及其容量 连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道 比特/L维自由度 因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，

24、才能达到此信道容量 713.4 连续信道及其容量 均值为零、方差相同 均值为零、方差不同，总平均功率受限：在总输入功率不变的情况下，合理分配输入功率，使得信道容量最大。723.4 连续信道及其容量 各个时刻的信道输出功率相等设为常数 733.4 连续信道及其容量 注水原理：(water-filling)各个子信道的功率合理分配，使得信道容量最大。各个时刻的信道输出功率（信号功率+噪声功率）是相等的当噪声功率大时，减小信号功率，甚至使信号功率为零；当噪声功率小时，增大信号功率；例3-10信息论与编码-信道与信道容量限时限频限功率的加性高斯白噪声信道限时限频限功率的加性高斯白噪声信道波形信道除了输

25、入输出信号的取值是连续的，而且还随时间连续变化。但是，对于频带受限的波形信道，可以用抽样的方法变成时间离散信道。设带宽为W，则在tB时间间隔内，根据抽样定理，应该抽样至少2WtB个点，分别记为输入 和输出以及噪声 ，并且有 。如果噪声是高斯白噪声，则该信道称为高斯白噪声加性信道（AWGN），其中每一个 都是一个随机变量。信息论与编码-信道与信道容量如果这些随机变量统计无关，则信道容量763.4 连续信道及其容量 o限时限频限功率加性高斯白噪声信道 限时：tB,限频|f|=W，高斯噪声过程可分解为L维统计独立的随机序列，在0，tB内，L=WtB 多维无记忆加性高斯信道：式中，是每个噪声分量的功率

26、，是每个信号样本值的平均功率，设信号的平均功率受限于Ps,则773.4 连续信道及其容量 o限时限频限功率加性高斯白噪声信道 信道的容量 单位时间的信道容量 香农公式香农公式 Ct W log(1+SNR)比特/秒 输入信号x(t)满足均值为零、平均功率Ps的高斯白噪声的特性 信息论与编码-信道与信道容量另一种算法：如果信号 是平均功率受限的，即于是有则信息论与编码-信道与信道容量 这就是著名的香农公式，在通信原理里面经常要用到，它是带限AWGN波形信道在平均功率受限条件下信道容量的基本公式。根据香农公式，可以得到以下一些结果或结论：（1）利用关系式 ，可得信息论与编码-信道与信道容量（2）归

27、一化信道容量所谓归一化信道容量，就是平均单位带宽的信道容量，即C/W设每传输一比特的信息需要的能量为 ，则信号的平均功率为信息论与编码-信道与信道容量因此或者写为上式是归一化信道容量C/W和信噪比 之间的关系，也称频带利用率。信息论与编码-信道与信道容量由此可知：（i）C/W=1时（每赫兹带宽传一比特），即此时要求信噪比为0dB.（ii）时，也就是说，此时对 的要求是指数增加的。信息论与编码-信道与信道容量（iii）时，也就是说，当信噪比 时，信道完全丧失了通信能力，因此，-1.6dB称作香农限称作香农限，是一切编码方式所能达到的理论极限。84信息论与编码-信道与信道容量Ct/W(bit/s/

28、Hz)不可实现区域 1 可实现区域 -1.6 0 SNR(dB)信息论与编码-信道与信道容量（iV）信噪比和带宽的互换原则 从香农公式可以看出，对于给定的信道容量C，信道的带宽W和信噪比S/N存在着互换关系，即若减小带宽必须发送较大的信号功率，若有较大的传输带宽，则在同样信道容量的情况下，能够用较小的信号功率来传送，这表明宽带系统具有较好的抗干扰性。这就是扩频通信的理论基础，它将所需传送的信号的带宽展宽（扩频，而不是通常我们所做的尽可能地使用较窄的频带），使展宽后的带宽远大于原始信号的带宽，以达到高的抗干扰性能。展宽的比例越大，抗干扰性就越强。86信息论与编码-信道与信道容量 信源发出的消息（

29、符号）要通过信道来传输，因此要求信源的输出与信道的输入匹配。n符号匹配：信源输出的符号必须是信道能够传送的符号；n信息匹配：当信源与信道连接时，信息传输率达到信道容量，则称信源与信道达到匹配。87信道剩余度o信道绝对剩余度=CI(X;Y)o信道相对剩余度=88o剩余度大：信源与信道匹配程度低，信道的信息传递能力未得到充分利用；o剩余度小：信源与信道匹配程度高，信道的信息传递能力得到较充分利用；o剩余度为零，说明信源与信道（信息）完全匹配，信道的信息传递能力得到完全利用。o一般来说，实际信源的概率分布未必就是信道的最佳输入分布，所以I(X;Y)C，剩余度不为零。信道剩余度89第3章复习o信道参数

30、：用转移概率表示信道o信道模型n二进制离散信道BSCn离散无记忆信道DMCn波形信道90信道容量o信道上每传送一个符号(每使用一次信道)所能携带的比特数，即比特/信道符号(bits/symbol或bits/channel use)。o如果已知信道符号传送周期是T秒，此时Ct=C/T，比特/秒(bits/s)91DMC信道的容量o对称DMC信道的容量：当信道输入符号等概分布时，可达到其信道容量 oBSC信道的容量：m2o准对称信道的容量92带限波形信道的容量o条件：n信道带宽W受限n噪声为加性高斯白噪声（均值为零，功率谱密度为N0）n输入信号平均功率受限PSn若输入信号是平均功率受限的高斯白噪声信号，可达信道容量o香农公式：o香农限：1.6dB信息论与编码-信道与信道容量o作业3-1，3-3，3-6，3-7，3-10，3-12