(精品)《数字通信原理》第4章信息论基础.ppt

《(精品)《数字通信原理》第4章信息论基础.ppt》由会员分享，可在线阅读，更多相关《(精品)《数字通信原理》第4章信息论基础.ppt（136页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数字通信原理数字通信原理(4)(4)冯穗力等编著冯穗力等编著电子工业出版社电子工业出版社20122012年年8 8月月2010 Copyright 2010 Copyright 1 1SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs第第 4 章章 信息论基础信息论基础本章的基本内容本章的基本内容：n信息的度量方法；n离散信道及容量；n连续信源、信道及容量；n信源编码的基本方法；n率失真理论。2010 Copyright 2010 Copyright 2 2SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P

2、LabsSCUT DT&P Labs4.1 4.1 引言引言2010 Copyright 2010 Copyright 3 3SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 消息与信息消息与信息 1948年，美国科学家香农的论文通信的数学理论通信的数学理论，奠定了信息论的理论基础。消息与信息消息与信息 (1)消息是由符号、文字、数字、语音或图像组成的序列；(2)消息是信息的载体载体，信息是消息的内涵内涵；消息中可能包 含信息，也可能不包含信息；(3)收到一则消息后，所得的信息量，在数量上等于获得 消息前后“不确定性”的消除量；

3、(4)通信的目的在与传送信息。第4章 信息论基础2010 Copyright 2010 Copyright 4 4SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 消息与信息(续)通信系统传递信息的机制和本质通信系统传递信息的机制和本质 形式化形式化：通信的基本任务是在接收端把发送端发出的消息从形式上恢复出来，而对消息内容的理解和判断，不是通信的任务。非决定论非决定论：通信过程传递的消息中所包含的内容，对接收者来说事先是无法预料的。不确定性不确定性：是指收到该消息之前，对其中的内容出现与否，具有不确定的因素；不确定的因素可以通过

4、通信来加以消除或部分消除。第4章 信息论基础2010 Copyright 2010 Copyright 5 5SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs4.2 4.2 信息的度量信息的度量2010 Copyright 2010 Copyright 6 6SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 信息度量的概念信息度量的概念 (1)某消息的信息量获得该消息后不确定性的消除量不确定性的消除量；不确定性可能性概率问题概率问题：信息量可用概率的某种函数来度量

5、(2)不同的消息有信息量的多少的区别，因此 信息的度量方式应满足信息量的可加性信息的度量方式应满足信息量的可加性 信息量应该是满足可加性的概率的函数信息量应该是满足可加性的概率的函数。第4章 信息论基础2010 Copyright 2010 Copyright 7 7SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源信息的度量离散信源信息的度量 离散信源的信息量离散信源的信息量 离散信源统计特性的描述方法概率场概率场 设离散信源包含N种可能的不同符号，相应的概率场可表述为 概率场应满足条件：第4章 信息论基础2010 C

6、opyright 2010 Copyright 8 8SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 离散信源的信息量(续)信息量作为概率的函数，具有形式 若 与 统计独立，满足可加性要求 如定义 显然有 可同时满足是概率的函数是概率的函数和可加性可加性两个要求。第4章 信息论基础2010 Copyright 2010 Copyright 9 9SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源信的息量(续)定义定义 离散消息离散消息x xi i的信息量的

7、信息量:信息量的单位与对数的底有关信息量的单位与对数的底有关：log以2为底时，单位为比特比特：bit log以e为底时，单位为奈特奈特：nit log以10为底时，单位为哈特哈特，hart 一般在没有特别声明时均信息的单位为比特一般在没有特别声明时均信息的单位为比特。第4章 信息论基础2010 Copyright 2010 Copyright 1010SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源信的息量(续)示例示例：已知某信源的概率场为 输出的各符号统计独立，计算序列S“113200”的信息量 第4章 信息论基

8、础2010 Copyright 2010 Copyright 11 11SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源的平均信息量：信源的熵离散信源的平均信息量：信源的熵 离散信源的熵离散信源的熵 定义定义4.2.2 4.2.2 离散信源离散信源 的熵的熵 熵是信源在统计意义上每个符号的平均信息量每个符号的平均信息量。第4章 信息论基础2010 Copyright 2010 Copyright 1212SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn

9、离散信源的熵(续)示例示例：求离散信源 的熵。按照定义：熵的单位：比特比特/符号符号 第4章 信息论基础2010 Copyright 2010 Copyright 1313SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源的熵(续)示例示例（续）：若上述离散信源发送独立的符号序列：201 020 130 213 001 203 210 100 321 010 023 102 002 10 312 032 100 120 210 (1)求总的信息量；(2)利用熵估计总的信息量。解：(1)(2)第4章 信息论基础2010 C

10、opyright 2010 Copyright 1414SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源的最大熵定理离散信源的最大熵定理 定义定义4.2.3 4.2.3 凸集凸集 对任意对任意 ，有，有 定义定义4.2.4 4.2.4 若若 型凸函数型凸函数(下凸函数下凸函数)型凸函数型凸函数(上凸函数上凸函数)第4章 信息论基础2010 Copyright 2010 Copyright 1515SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源

11、的最大熵定理(续)若函数为若函数为 型凸函数型凸函数(下凸函数下凸函数)，则一定存在最小值，则一定存在最小值 若函数为若函数为 型凸函数型凸函数(上凸函数上凸函数)，则一定存在最大值，则一定存在最大值 型凸函数示例 第4章 信息论基础2010 Copyright 2010 Copyright 1616SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源的最大熵定理(续)若 是一组概率概率；是一个 型凸函数型凸函数，则一般地有如下的关系式 利用上面的关系式，可以证明如下的定理 定理定理4.2.5 4.2.5 熵函数熵函数 是

12、概率是概率 的的 型凸函数型凸函数。第4章 信息论基础2010 Copyright 2010 Copyright 1717SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源的最大熵定理(续)定理定理4.2.6 4.2.6 当离散信源当离散信源X X取等概分布时，其熵取等概分布时，其熵 取最大值。取最大值。即：当信源取等概分布时，具有最大的不确定性当信源取等概分布时，具有最大的不确定性。示例示例：两个信源符号的情形。P(x1)=p,P(x2)=1-p 当p=1/2时，H(X)=Hmax第4章 信息论基础2010 Copyr

13、ight 2010 Copyright 1818SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源的联合熵与条件熵离散信源的联合熵与条件熵 两随机变量两随机变量 的概率场概率场 满足条件：第4章 信息论基础2010 Copyright 2010 Copyright 1919SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源的联合熵与条件熵(续)两随机变量的联合熵联合熵 定义定义4.2.3 4.2.3 两随机变量两随机变量 的联合熵的联合熵 如两随机

14、变量统计独立，有第4章 信息论基础2010 Copyright 2010 Copyright 2020SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 两随机变量的联合熵(续)对于统计独立的两随机变量，不能从其中一个获得有关另外对于统计独立的两随机变量，不能从其中一个获得有关另外一个的任何信息一个的任何信息。第4章 信息论基础2010 Copyright 2010 Copyright 2121SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源的联合熵与条件

15、熵(续)两随机变量的条件熵条件熵 定义定义4.2.4 4.2.4 两随机变量两随机变量 的条件熵的条件熵 一般地有(利用稍后的平均互信息量的非负性)具有某种相关性的两随机变量具有某种相关性的两随机变量，一个随机变量的出现总是一个随机变量的出现总是 有助于降低另一随机变量的不确定性有助于降低另一随机变量的不确定性。第4章 信息论基础2010 Copyright 2010 Copyright 2222SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs4.3 4.3 离散信道及容量离散信道及容量2010 Copyright 2010 Co

16、pyright 2323SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源及容量离散信源及容量 信道模型信道模型 信道的输入输入：信道的输出输出：信道模型(特性)可用其转移概率转移概率来描述第4章 信息论基础2010 Copyright 2010 Copyright 2424SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源及容量(续)信道模型 信道模型(特性)可用其转移概率来描述，一般地有 输出不仅与当前的输入有关，而且与之前的若干个输入值 有关

17、，呈现某种“记忆记忆”效应。第4章 信息论基础2010 Copyright 2010 Copyright 2525SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源及容量(续)离散无记忆信道离散无记忆信道的转移矩阵 输出仅与当前的输入输出仅与当前的输入有关 离散无记忆信道的后验概率矩阵后验概率矩阵 第4章 信息论基础2010 Copyright 2010 Copyright 2626SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 离散无记忆信道的转移矩阵(

18、续)示例示例：二元的离散无记忆信道 发“0”和发“1”时 能正确接收的概率为0.99，错误的概率为0.01。即有 转移矩阵 第4章 信息论基础2010 Copyright 2010 Copyright 2727SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源及容量离散信源及容量 互信息量互信息量 转移概率 是一种条件概率，在通信系统中可表示 收到 后，发送端发送的是符号 的概率。接收端收到 后，关于 的不确定性可表示为 定义定义4.3.1 4.3.1 互信息量为：互信息量为：互信息量互信息量为收到 后，关于 的不确定性

19、的消除量不确定性的消除量。第4章 信息论基础2010 Copyright 2010 Copyright 2828SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 互信息量互信息量互信息量互信息量(续续续续)互信息量具有互信息量具有对称性对称性对称性对称性 互信息量的互信息量的性质性质性质性质 (1)若 (2)若 (3)若 (4)若 第4章 信息论基础2010 Copyright 2010 Copyright 2929SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn

20、n 离散信源及容量离散信源及容量(续续)平均互信息量平均互信息量平均互信息量平均互信息量 定义定义定义定义4.3.24.3.24.3.24.3.2 平均互信息量为：平均互信息量为：平均互信息量具有非负性平均互信息量具有非负性平均互信息量具有非负性平均互信息量具有非负性 表明从统计上来说，两相关联的随机变量集，其中一个的出 现总是有利于提供有关另外一个的信息。第4章 信息论基础2010 Copyright 2010 Copyright 3030SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信源及容量(续)熵函数熵函数与平均

21、互信息量平均互信息量间的关系 第4章 信息论基础2010 Copyright 2010 Copyright 3131SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 熵函数与平均互信息量间的关系(续)当信源当信源X X与与Y Y统计独立时统计独立时 (1)两个符号同时出现时提供的平均信息量等于每个符号的平均信息量之和；(2)一个符号不能提供有关另一符号的任何信息。第4章 信息论基础2010 Copyright 2010 Copyright 3232SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs

22、SCUT DT&P Labsn 熵函数与平均互信息量间的关系(续)当两个信源相关时当两个信源相关时 (1)联合熵小于两个信源的熵的和:(2)平均互信息量等于两信源熵重合的部分；(3)信源的条件熵等于其熵减去平均互信息量：第4章 信息论基础2010 Copyright 2010 Copyright 3333SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散信道的容量离散信道的容量 已知信道的转移矩阵转移矩阵 信源符号集信源符号集：；符号传输速率符号传输速率：系统的平均信息速率平均信息速率为：第4章 信息论基础2010 Copy

23、right 2010 Copyright 3434SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 离散信道的容量(续)定义定义4.3.3 4.3.3 离散信道的最大传输速率为其信道容量离散信道的最大传输速率为其信道容量 匹配信源的概念匹配信源的概念 信道容量由信道特性和信源的统计特性决定。信道特性确定之后，其容量由信源的统计特性决定。匹配信源匹配信源：能使单位时间内信道可传输的平均信息量达到信 道容量的信源称之。记匹配信源的分布特性：信道容量：第4章 信息论基础2010 Copyright 2010 Copyright 3535

24、SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 离散信道的容量(续)匹配信源匹配信源(续续)已知信道转移概率，匹配信源统计特性的求解 约束条件 求 使得 达到最大。由拉格朗日求极值的原理：定义辅助方程 令 可得信源分布特性应满足的条件第4章 信息论基础2010 Copyright 2010 Copyright 3636SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 离散信道的容量(续)由此可导出匹配信源匹配信源统计特性的求解步骤求解步骤：(1)解方程组 求解得 (

25、2)求最大平均互信息量：(3)求相应后验概率：(4)解方程组，确定匹配信源的分布特性 第4章 信息论基础2010 Copyright 2010 Copyright 3737SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 离散信道的容量(续)示例示例：求匹配信源的统计特性。已知信道转移概率 (1)解方程组的参数：(2)求最大平均互信息量：(3)求相应后验概率：第4章 信息论基础2010 Copyright 2010 Copyright 3838SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSC

26、UT DT&P Labs离散信道的容量(续)示例(续)：(4)获得匹配信源统计特性：(5)信道容量为：注注：若求解过程中出现 ，可在方程组中令 ，重新求解。第4章 信息论基础2010 Copyright 2010 Copyright 3939SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 离散无记忆对称信道的容量(续)离散无记忆对称信道离散无记忆对称信道(定义定义)：转移矩阵 转移矩阵各行各列均具有相同的元素集的信道称之。离散无记忆对称信道满足条件：任意的列元素和 任意的行元素和 第4章 信息论基础2010 Copyright

27、2010 Copyright 4040SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 离散无记忆对称信道的容量(续)离散无记忆对称信道特性离散无记忆对称信道特性：(1)离散无记忆对称信道的条件熵满足：条件熵取值仅由信道特性决定条件熵取值仅由信道特性决定，与信源的统计特性无关与信源的统计特性无关。(2)若输入信道的信源符号等概若输入信道的信源符号等概 则信道的输出符号也等概则信道的输出符号也等概 第4章 信息论基础2010 Copyright 2010 Copyright 4141SCUT DT&P LabsSCUT DT&P L

28、absSCUT DT&P LabsSCUT DT&P Labs 离散无记忆对称信道的容量(续)信道容量信道容量：对于离散无记忆对称信道，若要使信息传输速率达到信道容对于离散无记忆对称信道，若要使信息传输速率达到信道容量，要求信源的符号等概分布量，要求信源的符号等概分布。对于非等概的信源，可设法对其输出的符号进行适当的组合，使得重新构建后的符号(信源)，具有近似等概的分布特性。(参见“信源的等长编码”一节)第4章 信息论基础2010 Copyright 2010 Copyright 4242SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P L

29、abs4.4 4.4 连续信源、信道及容量连续信源、信道及容量2010 Copyright 2010 Copyright 4343SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 连续信源、信道及容量连续信源、信道及容量 连续信源的相对熵连续信源的相对熵 若已知随机信号 幅度取值的概率密度函数：取值在任意小区间 内的概率 (参见示意图)连续信源转变为具有n个随机变量的信源，且有 利用离散随机变量熵的定义，得 第4章 信息论基础2010 Copyright 2010 Copyright 4444SCUT DT&P LabsSCUT

30、 DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 连续信源、信道及容量(续)连续信源的相对熵连续信源的相对熵 概率密度函数的离散化示意图，输入的取值范围 第4章 信息论基础2010 Copyright 2010 Copyright 4545SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 连续信源的相对熵(续)连续信源的熵连续信源的熵应为 可见连续信源的熵无限大连续信源的熵无限大。该熵称为连续信源的绝对熵连续信源的绝对熵，无无 法确切地定义法确切地定义。通常上式的第一项是有限值，且其具有特定的物理意义

31、。第4章 信息论基础2010 Copyright 2010 Copyright 4646SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs 连续信源的相对熵(续)定义定义4.4.1 4.4.1 连续信源的相对熵为连续信源的相对熵为 示例示例 某信号的相对熵为 信号经2倍幅度放大后的相对熵为 信号的简单放大并没有增加任何新的信息，但其相对熵发生 了增大的变化，这说明相对熵已经不再具有信源平均信息量相对熵已经不再具有信源平均信息量 的内涵的内涵。第4章 信息论基础2010 Copyright 2010 Copyright 4747SCU

32、T DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 连续信源的相对条件熵连续信源的相对条件熵 对于连续随机变量，同样可以导出其条件熵条件熵 可见连续信源的条件熵取值无限大，同样无法确切定义可见连续信源的条件熵取值无限大，同样无法确切定义。但通常上式的第一项是一个有限取值的量。连续信源的熵和条件熵均取值无限大，说明要在一个容量有要在一个容量有 限的通信系统中传递连续信源的全部信息是不可能的。限的通信系统中传递连续信源的全部信息是不可能的。第4章 信息论基础2010 Copyright 2010 Copyright 4848SCUT DT&

33、P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 连续信源的相对条件熵(续)定义定义4.4.3 4.4.3 连续信源的相对条件熵连续信源的相对条件熵 因为：说明相对熵相对熵和相对条件熵相对条件熵的差值与普通的熵和条件熵的差值 一样，仍然等于平均互信息量。平均互信息量。同理可以导出：同理可以导出：第4章 信息论基础2010 Copyright 2010 Copyright 4949SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 连续信源相对熵的最大化连续信源相对熵的最大化 定理定

34、理4.4.3 4.4.3 连续信源的相对熵函数连续信源的相对熵函数 是信源概率密度函是信源概率密度函 数数 的的 型凸函数。型凸函数。相对熵相对熵 作为概率密度函数作为概率密度函数 的函数存在最大值。的函数存在最大值。第4章 信息论基础2010 Copyright 2010 Copyright 5050SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn n 连续信源相对熵的最大化连续信源相对熵的最大化(续续)(1)(1)峰值功率受限情况下的相对熵最大化条件峰值功率受限情况下的相对熵最大化条件峰值功率受限情况下的相对熵最大化条件峰值

35、功率受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从当连续信源的概率密度函数服从均匀分布均匀分布均匀分布均匀分布时，该时，该连续信源有最大的相对熵。连续信源有最大的相对熵。在区间 分布连续信源 的概率密度函数为 其相对熵为 峰值受限信号峰值受限信号 若 第4章 信息论基础2010 Copyright 2010 Copyright 5151SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn n 连续信源相对熵的最大化连续信源相对熵的最大化(续续)(2)(2)均值受限情况下的相对熵最大化条件均值受限情况下的相对熵最

36、大化条件均值受限情况下的相对熵最大化条件均值受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从当连续信源的概率密度函数服从指数分布指数分布指数分布指数分布时，该时，该连续信源有最大的相对熵。连续信源有最大的相对熵。均值受限信号均值受限信号 指数分布 相对熵第4章 信息论基础2010 Copyright 2010 Copyright 5252SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn n 连续信源相对熵的最大化连续信源相对熵的最大化(续续)(3)(3)平均功率受限情况下的相对熵最大化条件平均功率受限情况下的

37、相对熵最大化条件平均功率受限情况下的相对熵最大化条件平均功率受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从当连续信源的概率密度函数服从高斯分布高斯分布高斯分布高斯分布时，该时，该连续信源有最大的相对熵。连续信源有最大的相对熵。平均功率受限信号平均功率受限信号 高斯分布 相对熵第4章 信息论基础2010 Copyright 2010 Copyright 5353SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 加性高斯噪声信道的容量加性高斯噪声信道的容量 加性高斯噪声(干扰)信道(AWGN)信道输入：信道输出

38、：加性高斯噪声：已知通过信道后，从 可获得的关于 的平均互信息量 若已知信号 的带宽为：。对任意的这类信号 则无失真的抽样频率至少应为：(单位时间的样点数)单位时间内传输的信息量，即信息速率为第4章 信息论基础2010 Copyright 2010 Copyright 5454SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn n 加性高斯噪声信道的容量加性高斯噪声信道的容量(续续)加性高斯噪声加性高斯噪声(干扰干扰)信道信道(AWGN)(AWGN)的的信道容量信道容量信道容量信道容量 信号与噪声间的关系可用方程组表示为 或 二维

39、函数概率密度间的关系 为雅可比行列式雅可比行列式雅可比行列式雅可比行列式第4章 信息论基础2010 Copyright 2010 Copyright 5555SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 加性高斯噪声信道的容量(续)因为 所以有 若已知信源x的统计特性，收到y后不可确定的部分为 噪声造成影响的部分。第4章 信息论基础2010 Copyright 2010 Copyright 5656SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 加性高斯噪声

40、信道的容量(续)因此可得第4章 信息论基础2010 Copyright 2010 Copyright 5757SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs加性高斯噪声信道的信道容量(续)因为 (1)在均方受限的条件下，高斯分布的信源有最大的相对熵 (2)两高斯分布的随机变量之和()仍为高斯随机变量 (3)信号 与噪声 统计独立 因而有第4章 信息论基础2010 Copyright 2010 Copyright 5858SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Lab

41、sn 加性高斯噪声信道容量(续)信道容量信道容量 若记 得香农公式香农公式第4章 信息论基础2010 Copyright 2010 Copyright 5959SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs加性高斯噪声信道容量(续)由香农公式香农公式(香农定理)得到的重要结论重要结论：(1)(1)信道容量信道容量C C随随S/NS/N增大而增大；增大而增大；(2)C(2)C一定时，一定时，W W与与S/NS/N之间可以彼此互换；之间可以彼此互换；(3)N(3)N 0,C 0,C ：无扰信道的容量为无穷大；：无扰信道的容量为无穷大

42、；(4)(4)对受高斯噪声干扰的信道，当对受高斯噪声干扰的信道，当 W W ，信道容量趋于信道容量趋于 一有限的确定值：一有限的确定值：(S S与与N N0 0固定时固定时)第4章 信息论基础2010 Copyright 2010 Copyright 6060SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 信道容量和带宽的归一化分析 归一化信道容量归一化信道容量：单位时间单位频带内可达到的信息速率单位时间单位频带内可达到的信息速率。注：所谓物理不可 实现是指不可 能实现无差错 传输。第4章 信息论基础2010 Copyrigh

43、t 2010 Copyright 6161SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 信道容量和带宽的归一化分析(续)归一化信道带宽：单位信息速率所需要的最小带宽。归一化信道带宽：单位信息速率所需要的最小带宽。第4章 信息论基础2010 Copyright 2010 Copyright 6262SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 信道容量和带宽的归一化分析(续)关于关于E Eb b/N/N0 0的归一化信道带宽的归一化信道带宽 Eb：比特能量；

44、N0：噪声功率密度谱；当 Eb/N0 1.59dB 时，无法实现无差 错的传输。第4章 信息论基础2010 Copyright 2010 Copyright 6363SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs4.5 4.5 信源编码的基本方法信源编码的基本方法2010 Copyright 2010 Copyright 6464SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 信源编码的基本方法信源编码的基本方法 信源编码的目的：提高传输效率信源编码的目的：提高

45、传输效率 （1）去除信息中的冗余度，使传输的符号尽可能都是独立的，没有多余的成分(如语音、图像信号压缩)；（2）使传输的符号所含的信息最大化。例如，通过编码使符号以等概分布的形式出现，使每个符号可能携带的信息量达到最大；（3）采用不等长编码，让出现概率大的符号用较短的码元序列表示，对概率小的符号用较长的码元序列；(4)在允许一定失真的条件下，如何实现高效率的编码。第4章 信息论基础2010 Copyright 2010 Copyright 6565SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散无记忆信源离散无记忆信源离散

46、无记忆信源离散无记忆信源 (DMS:Discrete(DMS:Discrete MemorylessMemoryless Source Source）离散无记忆信源的输出序列：离散无记忆信源的输出序列：各个符号间彼此独立符号间彼此独立 其中 反之，若输出的各符号间有一定的相关性有一定的相关性，则其为一种 有记忆的信源有记忆的信源。有记忆的信源，经过处理后，有可能变为一种无记忆的信 源。如有记忆的信源，经过理想的、完全去除冗余的 压缩编码后产生的输出。第4章 信息论基础2010 Copyright 2010 Copyright 6666SCUT DT&P LabsSCUT DT&P LabsSC

47、UT DT&P LabsSCUT DT&P Labsn 离散无记忆信源编码与译码离散无记忆信源编码与译码 若将信源输出的符号按每J个为一组进行编码，则任意的第m个分组可以表示为 编码输出编码输出 其中 为输出的码元集。接收端的译码输出译码输出第4章 信息论基础2010 Copyright 2010 Copyright 6767SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散无记忆信源编码与译码(续)待编码码组待编码码组 编码输出码组输出码组(码字码字)第4章 信息论基础2010 Copyright 2010 Copyrig

48、ht 6868SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散无记忆信源编码与译码(续)定义定义4.5.14.5.1 若对信源的每个不同的符号或不同的符号序列，编 码后产生的码字不同的，则称该码为唯一可译码唯一可译码。若待编码的符号序列的不同组合个数为 码字集中不同的码字个数 唯一可译码的条件唯一可译码的条件第4章 信息论基础2010 Copyright 2010 Copyright 6969SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散无记忆信源离

49、散无记忆信源编码与译码(续)定义定义定义定义4.5.2 4.5.2 4.5.2 4.5.2 编码表示一个信源符号所需的平均信息量的定义为 编码速率编码速率 。码字长度为常数的编码称为等长编码等长编码，发之称为不等长编码不等长编码。等长编码等长编码等长编码等长编码的编码速率编码速率 不等长编码不等长编码的编码速率编码速率 其中 为不等长编码的平均码长。平均码长。第4章 信息论基础2010 Copyright 2010 Copyright 7070SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散无记忆信源编码与译码(续)定义定

50、义4.5.3 4.5.3 信源的熵信源的熵 与编码速率与编码速率 的比值定义为编码效率的比值定义为编码效率 要保证编码没有信息丢失，要求第4章 信息论基础2010 Copyright 2010 Copyright 7171SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labsn 离散无记忆信源的等长编码离散无记忆信源的等长编码 等长编码：对信源的每个符号，或每组符号，用长度相等的等长编码：对信源的每个符号，或每组符号，用长度相等的代码来表示。代码来表示。单个符号独立编码单个符号独立编码 采用 进制码元编码 若信源符号集有 L 种符号，要