数字通信原理信息论基础精品文稿.ppt

数字通信原理信息论基础第1页，本讲稿共102页12010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs2第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础1 1、消息与信息消息与信息消息与信息消息与信息 (1)(1)消息是由符号、文字、数字、语音或图像组成的序列；消息是由符号、文字、数字、语音或图像组成的序列；(2)(2)消息是信息的消息是信息的载体载体载体载体，信息是消息的，信息是消息的内涵内涵内涵内涵；消息中可能包；消息中可能包 含信息，也可能不包含信息；含信息，也可能不包含信息；(3)(3)收到一则消息后，所得的信息量，在数量上等于获得收到一则消息后，所得的信息量，在数量上等于获得 消息前后消息前后“不确定性不确定性不确定性不确定性”的消除量；的消除量；(4)(4)通信的目的在与传送信息。通信的目的在与传送信息。第2页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs3第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础2 2、信息度量的概念信息度量的概念信息度量的概念信息度量的概念 (1)(1)某消息的信息量获得该消息后不确定性的消除量；某消息的信息量获得该消息后不确定性的消除量；不确定性不确定性可能性可能性概率问题：概率问题：信息量可用概率的某种函数来度量信息量可用概率的某种函数来度量信息量可用概率的某种函数来度量信息量可用概率的某种函数来度量 (2)(2)不同的消息有信息量的多少的区别，因此不同的消息有信息量的多少的区别，因此 信息的度量方式应满足信息量的可加性信息的度量方式应满足信息量的可加性信息的度量方式应满足信息量的可加性信息的度量方式应满足信息量的可加性 信息量应该是满足可加性的概率的函数。信息量应该是满足可加性的概率的函数。第3页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs4第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础3 3 3 3、离散信源信息的度量、离散信源信息的度量、离散信源信息的度量、离散信源信息的度量n 离散信源的信息量离散信源的信息量离散信源的信息量离散信源的信息量 离散信源统计特性的描述方法离散信源统计特性的描述方法概率场概率场概率场概率场 设离散信源包含设离散信源包含N N种可能的不同符号，相应的概率场可表述为种可能的不同符号，相应的概率场可表述为 概率场满足条件：概率场满足条件：第4页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs5第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源的信息量离散信源的信息量离散信源的信息量离散信源的信息量(续续续续)信息量作为概率的函数，具有形式信息量作为概率的函数，具有形式 若若 与与 统计独立，满足可加性要求统计独立，满足可加性要求 如定义如定义 显然有显然有 同时满足概率函数和可加性两个要求。同时满足概率函数和可加性两个要求。第5页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs6第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n 离散信源信的息量离散信源信的息量离散信源信的息量离散信源信的息量(续续续续)定义定义定义定义 离散消息离散消息x xi i的信息量的信息量:信息量的单位与对数的底有关：信息量的单位与对数的底有关：loglog以以2 2为底时，单位为为底时，单位为比特比特比特比特：bitbit loglog以以e e为底时，单位为为底时，单位为奈特奈特奈特奈特：nitnit loglog以以1010为底时，单位为为底时，单位为哈特哈特哈特哈特，harthart 一般在缺省时取单位为比特。一般在缺省时取单位为比特。第6页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs7第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n 离散信源信的息量离散信源信的息量离散信源信的息量离散信源信的息量(续续续续)示例：已知某信源的概率场为示例：已知某信源的概率场为示例：已知某信源的概率场为示例：已知某信源的概率场为 输出的各符号统计独立，计算序列输出的各符号统计独立，计算序列S S“113200113200”的信息量的信息量 第7页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs8第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础4 4 4 4、离散信源的平均信息量：信源的熵、离散信源的平均信息量：信源的熵、离散信源的平均信息量：信源的熵、离散信源的平均信息量：信源的熵n 离散信源的熵离散信源的熵离散信源的熵离散信源的熵 定义定义4.2.2 4.2.2 离散信源离散信源 的熵的熵 熵是信源在熵是信源在统计意义上统计意义上统计意义上统计意义上每个符号的平均信息量。每个符号的平均信息量。第8页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs9第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n 离散信源的熵离散信源的熵离散信源的熵离散信源的熵(续续续续)示例示例示例示例：求离散信源：求离散信源 的熵。的熵。按照定义：按照定义：第9页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs10第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n 离散信源的熵离散信源的熵离散信源的熵离散信源的熵(续续续续)示例（续）示例（续）示例（续）示例（续）：若上述离散信源发送独立的符号序列：若上述离散信源发送独立的符号序列：201 020 130 213 001 203 210 100 321 010 201 020 130 213 001 203 210 100 321 010 023 102 002 10 312 032 100 120 210 023 102 002 10 312 032 100 120 210 (1)(1)求总的信息量；求总的信息量；(2)(2)利用熵估计总的信息量。利用熵估计总的信息量。(1)(1)(2)(2)第10页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs11第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源的最大熵定理离散信源的最大熵定理离散信源的最大熵定理离散信源的最大熵定理 当离散信源当离散信源X X取等概分布时，其熵取等概分布时，其熵H(X)H(X)取最大值。取最大值。当信源取等概分布时，具有最大的当信源取等概分布时，具有最大的不确定性不确定性不确定性不确定性。示例示例示例示例：两个信源符号的：两个信源符号的 情形。情形。P(xP(x1 1)=p,P(x)=p,P(x2 2)=1-p)=1-p 当当p=1/2p=1/2时，时，H(X)=HH(X)=Hmaxmax第11页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs12第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源的联合熵与条件熵离散信源的联合熵与条件熵离散信源的联合熵与条件熵离散信源的联合熵与条件熵 两随机变量两随机变量 的的概率场概率场概率场概率场 满足条件：满足条件：第12页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs13第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源的联合熵与条件熵离散信源的联合熵与条件熵离散信源的联合熵与条件熵离散信源的联合熵与条件熵(续续续续)两随机变量的联合熵两随机变量的联合熵两随机变量的联合熵两随机变量的联合熵 定义定义4.2.3 4.2.3 两随机变量两随机变量 的联合熵的联合熵 如两随机变量统计独立，有如两随机变量统计独立，有第13页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs14第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 两随机变量的联合熵两随机变量的联合熵两随机变量的联合熵两随机变量的联合熵(续续续续)对于统计独立的两随机变量，不能从其中一个获得有关另外一个对于统计独立的两随机变量，不能从其中一个获得有关另外一个的任何信息。的任何信息。第14页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs15第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源的联合熵与条件熵离散信源的联合熵与条件熵离散信源的联合熵与条件熵离散信源的联合熵与条件熵(续续续续)两随机变量的条件熵两随机变量的条件熵两随机变量的条件熵两随机变量的条件熵 定义定义4.2.4 4.2.4 两随机变量两随机变量 的条件熵的条件熵 一般地有一般地有 具有某种相关性的两随机变量，一个随机变量的出现总是具有某种相关性的两随机变量，一个随机变量的出现总是 有助于降低另一随机变量的不确定性。有助于降低另一随机变量的不确定性。第15页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs16第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源及容量离散信源及容量离散信源及容量离散信源及容量 信道模型信道模型信道模型信道模型 信道的输入：信道的输入：信道的输出：信道的输出：信道模型信道模型(特性特性)可用其转移概率来描述可用其转移概率来描述第16页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs17第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源及容量离散信源及容量离散信源及容量离散信源及容量 信道模型信道模型信道模型信道模型 信道模型信道模型(特性特性)可用其转移概率来描述，一般地有可用其转移概率来描述，一般地有 输出不仅与当前的输入有关，而且与之前的若干个输入值输出不仅与当前的输入有关，而且与之前的若干个输入值 有关，呈现某种有关，呈现某种“记忆记忆”效应。效应。第17页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs18第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源及容量离散信源及容量离散信源及容量离散信源及容量 离散无记忆信道的转移矩阵离散无记忆信道的转移矩阵离散无记忆信道的转移矩阵离散无记忆信道的转移矩阵 输出仅与当前的输入有关输出仅与当前的输入有关 或或 第18页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs19第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 离散无记忆信道的转移矩阵离散无记忆信道的转移矩阵离散无记忆信道的转移矩阵离散无记忆信道的转移矩阵(续续续续)示例示例示例示例：二元的离散无记忆信道：二元的离散无记忆信道 发发“0 0”和发和发“1 1”时时 能正确接收的概率为能正确接收的概率为0.990.99，错误的概率为错误的概率为0.010.01。即有即有 转移矩阵转移矩阵 第19页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs20第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源及容量离散信源及容量离散信源及容量离散信源及容量 互信息量互信息量互信息量互信息量 转移概率转移概率 是一种条件概率，在通信系统中可表示是一种条件概率，在通信系统中可表示 收到收到 后，发送端发送的是符号后，发送端发送的是符号 的概率。的概率。接收端收到接收端收到 后，关于后，关于 的不确定性可表示为的不确定性可表示为 定义定义4.3.1 4.3.1 互信息量为：互信息量为：互信息量互信息量互信息量互信息量：收到：收到 后，关于后，关于 的的不确定性的消除量不确定性的消除量不确定性的消除量不确定性的消除量。第20页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs21第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 互信息量互信息量互信息量互信息量(续续续续)互信息量具有互信息量具有对称性对称性对称性对称性 互信息量的互信息量的性质性质性质性质 (1)(1)若若 （2 2）若）若 (3)(3)若若 (4)(4)若若 第21页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs22第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源及容量离散信源及容量离散信源及容量离散信源及容量(续续续续)平均互信息量平均互信息量平均互信息量平均互信息量 定义定义4.3.2 4.3.2 平均互信息量为：平均互信息量为：平均互信息量具有平均互信息量具有非负性非负性非负性非负性 表明从统计上来说，两相关联的随机变量集，其中一个的出表明从统计上来说，两相关联的随机变量集，其中一个的出 现总是有利于提供有关另外一个的信息。现总是有利于提供有关另外一个的信息。第22页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs23第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 离散信源及容量离散信源及容量离散信源及容量离散信源及容量(续续续续)熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系 第23页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs24第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系(续续续续)两张密切相关图像示例两张密切相关图像示例 两张无关的图像示例两张无关的图像示例第24页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs25第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系(续续续续)当信源当信源X X与与Y Y统计独立时统计独立时 (1)(1)两个符号同时出现时提供的平均信息量等于每个符号的平均信息两个符号同时出现时提供的平均信息量等于每个符号的平均信息量之和；量之和；(2)(2)一个符号不能提供有关另一符号的任何信息。一个符号不能提供有关另一符号的任何信息。第25页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs26第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系熵函数与平均互信息量间的关系(续续续续)当两个信源相关时当两个信源相关时 (1)(1)联合熵小于两个信源的熵的和联合熵小于两个信源的熵的和:(2)(2)平均互信息量等于两信源熵重合的部分；平均互信息量等于两信源熵重合的部分；(3)(3)信源的条件熵等于其熵减去平均互信息量：信源的条件熵等于其熵减去平均互信息量：第26页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs27第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 离散信道的容量离散信道的容量离散信道的容量离散信道的容量 已知信道的转移矩阵已知信道的转移矩阵 信源符号集：信源符号集：符号传输速率：符号传输速率：系统的系统的平均信息速率平均信息速率平均信息速率平均信息速率为：为：第27页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs28第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础离散信道的容量离散信道的容量离散信道的容量离散信道的容量 定义定义4.3.3 4.3.3 离散信道的最大传输速率为其信道容量离散信道的最大传输速率为其信道容量 匹配信源匹配信源匹配信源匹配信源 信道特性信道特性(转移矩阵转移矩阵)确定之后，其容量由信源的统计特性决确定之后，其容量由信源的统计特性决 定。定。匹配信源匹配信源匹配信源匹配信源：能使单位时间内信道可传输的平均信息量达到信：能使单位时间内信道可传输的平均信息量达到信 道容量的信源称之。道容量的信源称之。已知匹配信源的分布特性：已知匹配信源的分布特性：信道容量信道容量信道容量信道容量：第28页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs29第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 匹配信源匹配信源匹配信源匹配信源(续续续续)已知信道转移概率，匹配信源统计特性的求解：已知信道转移概率，匹配信源统计特性的求解：(1)(1)解方程组解方程组 求解得求解得 (2)(2)求最大平均互信息量：求最大平均互信息量：(3)(3)求相应后验概率：求相应后验概率：(4)(4)解方程组，确定匹配信源的分布特性解方程组，确定匹配信源的分布特性 第29页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs30第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 匹配信源匹配信源匹配信源匹配信源(续续续续)示例示例示例示例：已知信道转移概率：已知信道转移概率 (1)(1)解方程组的参数：解方程组的参数：(2)(2)求最大平均互信息量：求最大平均互信息量：(3)(3)求相应后验概率：求相应后验概率：第30页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs31第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 匹配信源匹配信源匹配信源匹配信源(续续续续)示例示例示例示例(续续续续)：(4)(4)获得匹配信源统计特性：获得匹配信源统计特性：(5)(5)信道容量为：信道容量为：第31页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs32第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础离散无记忆对称信道的容量离散无记忆对称信道的容量离散无记忆对称信道的容量离散无记忆对称信道的容量(续续续续)离散无记忆离散无记忆离散无记忆离散无记忆对称对称对称对称信道：信道：信道：信道：转移矩阵转移矩阵 各行各列均具有各行各列均具有相同的元素集相同的元素集相同的元素集相同的元素集的信道称之。的信道称之。离散无记忆对称信道满足条件：离散无记忆对称信道满足条件：任意的列元素和任意的列元素和 任意的行元素和任意的行元素和 第32页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs33第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础离散无记忆对称信道的容量离散无记忆对称信道的容量离散无记忆对称信道的容量离散无记忆对称信道的容量 离散无记忆对称信道：离散无记忆对称信道：离散无记忆对称信道：离散无记忆对称信道：离散无记忆对称信道的条件熵满足：离散无记忆对称信道的条件熵满足：与与信源的统计特性无关信源的统计特性无关信源的统计特性无关信源的统计特性无关。若输入信道的信源符号等概若输入信道的信源符号等概 则信道的输出符号也等概则信道的输出符号也等概 第33页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs34第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础离散无记忆对称信道的容量离散无记忆对称信道的容量离散无记忆对称信道的容量离散无记忆对称信道的容量(续续续续)信道容量信道容量信道容量信道容量：对于离散无记忆对称信道，若要使信息传输速率达到信道容量，要求对于离散无记忆对称信道，若要使信息传输速率达到信道容量，要求信信信信源的符号等概分布源的符号等概分布源的符号等概分布源的符号等概分布。第34页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs35第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础n n 连续信源、信道及容量连续信源、信道及容量连续信源、信道及容量连续信源、信道及容量 连续信源的相对熵连续信源的相对熵连续信源的相对熵连续信源的相对熵 若已知随机信号若已知随机信号 幅度取值的概率密度函数：幅度取值的概率密度函数：取值在任意小区间取值在任意小区间 内的概率内的概率 连续信源转变为具有连续信源转变为具有n n个随机变量的信源，且有个随机变量的信源，且有 利用离散随机变量熵的定义，得利用离散随机变量熵的定义，得 第35页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs36第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 连续信源的相对熵连续信源的相对熵连续信源的相对熵连续信源的相对熵(续续续续)连续信源的熵应为连续信源的熵应为 可见连续信源的熵无限大。该熵称为连续信源的可见连续信源的熵无限大。该熵称为连续信源的绝对熵绝对熵绝对熵绝对熵，无，无 法确切地定义。法确切地定义。通常上式的第一项是有限值，且其具有特定的物理意义。通常上式的第一项是有限值，且其具有特定的物理意义。第36页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs37第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础 连续信源的相对熵连续信源的相对熵连续信源的相对熵连续信源的相对熵(续续续续)定义定义定义定义4.4.14.4.14.4.14.4.1 连续信源的相对熵为连续信源的相对熵为 示例示例示例示例4.4.1 4.4.1 某信号的相对熵为某信号的相对熵为 信号经信号经2 2倍幅度放大后的相对熵为倍幅度放大后的相对熵为 信号的简单放大并没有增加任何新的信息，但其相对熵发生信号的简单放大并没有增加任何新的信息，但其相对熵发生 了增大的变化，这说明相对熵已经不再具有信源平均信息量了增大的变化，这说明相对熵已经不再具有信源平均信息量 的内涵。的内涵。第37页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs38第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础连续信源的相对条件熵连续信源的相对条件熵连续信源的相对条件熵连续信源的相对条件熵 对于连续随机变量，同样可以导出其条件熵对于连续随机变量，同样可以导出其条件熵 可见连续信源的条件熵取值无限大。通常上式的第一项是一可见连续信源的条件熵取值无限大。通常上式的第一项是一 个有限取值的量。个有限取值的量。连续信源的熵和条件熵均取值无限大，说明要在一个容量有连续信源的熵和条件熵均取值无限大，说明要在一个容量有 限的通信系统中传递连续信源的全部信息是不可能的。限的通信系统中传递连续信源的全部信息是不可能的。第38页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs39第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础连续信源的相对条件熵连续信源的相对条件熵连续信源的相对条件熵连续信源的相对条件熵 定义定义定义定义4.4.34.4.34.4.34.4.3 连续信源的相对条件熵连续信源的相对条件熵 容易导出：容易导出：说明说明相对熵相对熵相对熵相对熵和和相对条件熵相对条件熵相对条件熵相对条件熵的的差值差值差值差值与普通的与普通的熵熵熵熵和和条件熵条件熵条件熵条件熵的的差值差值差值差值 一样，仍然等于一样，仍然等于平均互信息量平均互信息量平均互信息量平均互信息量。同理可以导出：同理可以导出：第39页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs40第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础连续信源相对熵的最大化连续信源相对熵的最大化连续信源相对熵的最大化连续信源相对熵的最大化(1)(1)峰值功率受限情况下的相对熵最大化条件峰值功率受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从均匀分布时，该连续信源有最可以证明：当连续信源的概率密度函数服从均匀分布时，该连续信源有最大的相对熵。大的相对熵。在区间在区间 分布连续信源分布连续信源 的概率密度函数为的概率密度函数为 其相对熵为其相对熵为 峰值受限信号峰值受限信号峰值受限信号峰值受限信号 第40页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs41第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础连续信源相对熵的最大化连续信源相对熵的最大化连续信源相对熵的最大化连续信源相对熵的最大化(续续续续)(2)(2)均值受限情况下的相对熵最大化条件均值受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从指数分布时，该连续信源可以证明：当连续信源的概率密度函数服从指数分布时，该连续信源有最大的相对熵。有最大的相对熵。均值受限信号均值受限信号均值受限信号均值受限信号 指数分布指数分布 相对熵相对熵第41页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs42第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础连续信源相对熵的最大化连续信源相对熵的最大化连续信源相对熵的最大化连续信源相对熵的最大化(续续续续)(2)(2)平均功率受限情况下的相对熵最大化条件平均功率受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从高斯分布时，该连续信源有最可以证明：当连续信源的概率密度函数服从高斯分布时，该连续信源有最大的相对熵。大的相对熵。平均功率受限信号平均功率受限信号平均功率受限信号平均功率受限信号 高斯分布高斯分布 相对熵相对熵第42页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs43第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础高斯加性噪声信道的容量高斯加性噪声信道的容量高斯加性噪声信道的容量高斯加性噪声信道的容量 加性高斯噪声信道加性高斯噪声信道 信道输入：信道输入：信道输出：信道输出：加性高斯噪声：加性高斯噪声：已知通过信道后，从已知通过信道后，从 可获得的关于可获得的关于 的平均互信息量的平均互信息量 若已知信号若已知信号 的带宽为：的带宽为：则无冗余的抽样频率应为：则无冗余的抽样频率应为：(单位时间的样点数单位时间的样点数)单位时间内传输的信息量，即信息速率为单位时间内传输的信息量，即信息速率为第43页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs44第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础高斯加性噪声信道的容量高斯加性噪声信道的容量高斯加性噪声信道的容量高斯加性噪声信道的容量(续续续续)加性高斯噪声加性高斯噪声信道容量信道容量信道容量信道容量 信号与噪声间的关系可用方程组表示为信号与噪声间的关系可用方程组表示为 或或 二维函数概率密度间的关系二维函数概率密度间的关系第44页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs45第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础高斯加性噪声信道的容量高斯加性噪声信道的容量高斯加性噪声信道的容量高斯加性噪声信道的容量(续续续续)加性高斯噪声加性高斯噪声信道容量信道容量信道容量信道容量(续续)因为因为 所以有所以有第45页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs46第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础高斯加性噪声信道的容量高斯加性噪声信道的容量高斯加性噪声信道的容量高斯加性噪声信道的容量(续续续续)加性高斯噪声加性高斯噪声信道容量信道容量信道容量信道容量(续续)可得可得第46页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs47第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础加性高斯噪声加性高斯噪声信道容量信道容量信道容量信道容量(续续)因为因为 (1)(1)在均方受限的条件下，高斯分布的信源有最大的相对熵在均方受限的条件下，高斯分布的信源有最大的相对熵 (2)(2)两高斯分布的随机变量之和两高斯分布的随机变量之和()()仍为高斯随机变量仍为高斯随机变量 (3)(3)信号信号 与噪声与噪声 统计独立统计独立 因而有因而有第47页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs48第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础加性高斯噪声加性高斯噪声信道容量信道容量信道容量信道容量(续续)信道容量信道容量信道容量信道容量 若记若记 得得香农公式香农公式香农公式香农公式第48页，本讲稿共102页2010 Copyright 2010 Copyright SCUT DT&P LabsSCUT DT&P LabsSCUT DT&P LabsSCUT DT&P Labs49第四章第四章第四章第四章 信息论基础信息论基础信息论基础信息论基础加性高斯噪声加性高斯噪声信道容量信道容量信道容量信道容量(续续)由香农公式由香农公式由香农公式由香农公式(香农定理香农定理香农定理香农定理)得到的重要结论：得到的重要结论：得到的重要结论：得到的重要结论：(1)(1)信道容量信道容量C