第4章波形信源和波形信道精选文档.ppt

第4章波形信源和波形信道05-06学年上Elements of Information Theory1本讲稿第一页，共四十八页05-06学年上Elements of Information Theory24、波形信源和波形信道u4.1 波形信源的统计特性和离散化u4.2 连续信源和波形信源的信息测度u4.3 具有最大熵的连续信源u4.4 熵功率u4.5 连续信源熵的变换u4.6连续信道和波形信道的分类u4.7连续信道和波形信道的信息传输率u4.8连续信道和波形信道的信道容量本讲稿第二页，共四十八页05-06学年上Elements of Information Theory3 4.1波形信源的统计特性和离散化u随机变量u随机过程u随机矢量本讲稿第三页，共四十八页05-06学年上Elements of Information Theory4表4.1消息(信号)取值的集合消息(信号)取值时刻的集合信源种类离散离散离散信源(Discrete source)/数字信源(Digital source)连续连续波形信源Waveform source/模拟信源(Analog source)连续离散连续信源(Continuous source)离散连续本讲稿第四页，共四十八页05-06学年上Elements of Information Theory54.2连续信源和波形信源的信息测度u连续信源的数学模型 并满足本讲稿第五页，共四十八页05-06学年上Elements of Information Theory6u一维概率密度函数u一维概率分布函数u条件概率密度函数u联合概率密度函数本讲稿第六页，共四十八页05-06学年上Elements of Information Theory7u假定连续信源 X 的概率密度函数p(x)如右图所示。我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为本讲稿第七页，共四十八页05-06学年上Elements of Information Theory8u这样，连续变量 X 就可用取值为 xi 的离散变量 Xn 来近似。连续信源 X 被量化成离散信源。本讲稿第八页，共四十八页05-06学年上Elements of Information Theory9u这时离散信源 Xn 的熵是u当n,0，离散随机变量 Xn 趋于连续随机变量 X，而离散信源的熵 H(Xn)的极限值就是连续信源的信息熵：本讲稿第九页，共四十八页05-06学年上Elements of Information Theory10u定义连续信源的熵连续信源的熵为：u又称为差熵、微分熵、相对熵。u两随机变量的联合熵和条件熵：连续信源的差熵连续信源的差熵本讲稿第十页，共四十八页05-06学年上Elements of Information Theory11连续信源差熵的性质u可加性：u凸状性和极值性：差熵 H(X)是输入概率密度函数 p(x)的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。本讲稿第十一页，共四十八页05-06学年上Elements of Information Theory12u差熵可为负值。例如，若概率密度函数为例如，若概率密度函数为则则本讲稿第十二页，共四十八页05-06学年上Elements of Information Theory13例：例：设有一连续随机变量，其概率密度函数为设有一连续随机变量，其概率密度函数为又有又有 试求这随机变量的熵。试求这随机变量的熵。本讲稿第十三页，共四十八页05-06学年上Elements of Information Theory14连续信源的平均互信息连续信源的平均互信息两个连续随机变量两个连续随机变量X、Y的互信息定义为：的互信息定义为：单位为比特单位为比特/自由度或奈特自由度或奈特/自由度自由度本讲稿第十四页，共四十八页05-06学年上Elements of Information Theory15三种特殊连续信源的差熵u1、均匀分布连续信源的熵值 一维连续随机变量一维连续随机变量X在在 区间内均匀分布时区间内均匀分布时 比特比特/自由度自由度本讲稿第十五页，共四十八页05-06学年上Elements of Information Theory16推广：推广：均匀分布均匀分布N维连续信源的差熵为维连续信源的差熵为 本讲稿第十六页，共四十八页05-06学年上Elements of Information Theory17u2、高斯信源的熵值高斯信源是指信源输出的一维随机变量高斯信源是指信源输出的一维随机变量X的概率密度分布是正态的概率密度分布是正态分布，即：分布，即：该连续信源的熵为：该连续信源的熵为：本讲稿第十七页，共四十八页05-06学年上Elements of Information Theory18u3、指数分布连续信源的指数分布连续信源的熵值指数分布的一维连续信源指数分布的一维连续信源X X的概率密度函数为：的概率密度函数为：其中常数其中常数a是一维连续信源是一维连续信源X的均值，的均值，该连续信源的熵为：该连续信源的熵为：本讲稿第十八页，共四十八页05-06学年上Elements of Information Theory194.3具有最大熵的连续信源u离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。本讲稿第十九页，共四十八页05-06学年上Elements of Information Theory20u在什么条件下，连续信源的熵最大？在不同的条件下，信源的最大熵也不同。在不同的条件下，信源的最大熵也不同。本讲稿第二十页，共四十八页05-06学年上Elements of Information Theory21u通通常常有有三三种种情情况况是是我我们们感感兴兴趣趣的的：一一种种是是信信源源输输出出值值受受限限的的情情况况，另另一一种种是是信信源源输输出出的的平平均均功功率率受受限限的的情情况况，还还有有一一种种是是均均值值受受限限的情况。下面分别讨论。的情况。下面分别讨论。本讲稿第二十一页，共四十八页05-06学年上Elements of Information Theory22峰值功率受限条件下信源的最大熵（取值幅度受限）（取值幅度受限）u定理：定理：若信源输出的若信源输出的幅度被限定幅度被限定在在 区域内，则当区域内，则当输出信号输出信号的概率密度分布是的概率密度分布是均均匀分布匀分布时，信源具有最大熵。时，信源具有最大熵。最大熵为：最大熵为：本讲稿第二十二页，共四十八页05-06学年上Elements of Information Theory23u当当N维随机矢量维随机矢量取值受限取值受限时，也只有各随机时，也只有各随机分量统计独立时，并分量统计独立时，并均匀分布均匀分布时具有最大时具有最大熵。熵。最大熵为：最大熵为：本讲稿第二十三页，共四十八页05-06学年上Elements of Information Theory24平均功率受限条件下信源的最大熵（方差受限）（方差受限）u定理：若一个信源输出信号的定理：若一个信源输出信号的平均功率被限平均功率被限定为定为P，则其则其输出信号输出信号幅度的概率密度分布幅度的概率密度分布是是高斯分布高斯分布时，信源具有最大熵。时，信源具有最大熵。最大熵为：最大熵为：本讲稿第二十四页，共四十八页05-06学年上Elements of Information Theory25均值受限条件下的最大连续熵定理均值受限条件下的最大连续熵定理（均值受限）（均值受限）u 若若连连续续信信源源X X输输出出非非负负信信号号的的均均值值受受限限，则则其其输输出出信信号号呈呈指指数数分分布布时时，连连续续信信源源X X具具有有最最大大熵值。熵值。最大熵为：最大熵为：其中常数其中常数a是一维连续信源是一维连续信源X的均值的均值本讲稿第二十五页，共四十八页05-06学年上Elements of Information Theory264.4 连续信源熵的变换u从信源发出的消息大都要通过一系列的信息处从信源发出的消息大都要通过一系列的信息处理后才在信道中传输。任何信息处理设备都可理后才在信道中传输。任何信息处理设备都可用下图所示来表示，可以认为这是一种坐标变用下图所示来表示，可以认为这是一种坐标变换。换。本讲稿第二十六页，共四十八页05-06学年上Elements of Information Theory27u设连续平稳信源输出的是设连续平稳信源输出的是N维连续型随机矢量维连续型随机矢量 ,将它送入信息处理网络，其输出为另一个将它送入信息处理网络，其输出为另一个N维随机矢量维随机矢量 Y和和X之间的变换关系如下：之间的变换关系如下：本讲稿第二十七页，共四十八页05-06学年上Elements of Information Theory28u在在离离散散信信源源中中，若若有有确确定定的的对对应应变变换换关关系系，变变换换后后信信源源熵熵是是不不变变的的。问问：在在连连续续信信源源中中，输输出出的的消消息息经经过过变变换换后后，其其熵熵（差差熵熵）会会不不会会发发生改变？生改变？u下下面面我我们们将将讨讨论论这这个个问问题题。从从数数学学上上讲讲，这这可可归纳为坐标变换的问题。归纳为坐标变换的问题。本讲稿第二十八页，共四十八页05-06学年上Elements of Information Theory29坐标变换后概率密度函数的变化坐标变换后概率密度函数的变化 u已知已知Y Y和和X X之间有一一对应关系之间有一一对应关系,则则X X也可以表也可以表示位示位Y Y的单值连续函数。的单值连续函数。本讲稿第二十九页，共四十八页05-06学年上Elements of Information Theory30引入雅可比行列式引入雅可比行列式 定义：定义：证明可得证明可得本讲稿第三十页，共四十八页05-06学年上Elements of Information Theory31经分析可得坐标变化后新旧概率密度函数的关系为：经分析可得坐标变化后新旧概率密度函数的关系为：结结论论：除除非非雅雅可可比比行行列列式式等等于于1，否否则则，在在一一般般情情况况下下，连续型随机变量通过变化后其连续型随机变量通过变化后其概率密度函数会发生变化。概率密度函数会发生变化。本讲稿第三十一页，共四十八页05-06学年上Elements of Information Theory32坐标变换后差熵的变化坐标变换后差熵的变化 u经过计算可得变换后连续信源的差熵为：经过计算可得变换后连续信源的差熵为：本讲稿第三十二页，共四十八页05-06学年上Elements of Information Theory33u一一、熵熵速速率率：信信源源在在单单位位时时间间内内输输出出的的熵称为信源的熵速率。熵称为信源的熵速率。u若若信信源源是是时时间间连连续续、信信号号带带宽宽为为F的的连连续续信信源源，根根据据随随机机信信号号的的抽抽样样定定理理，可可用用2F的的速速率率对对信信源源进进行行采采样样。因因此此，连连续续信源的熵速率为：信源的熵速率为：4.5熵速率和熵功率本讲稿第三十三页，共四十八页05-06学年上Elements of Information Theory34当当信信号号平平均均功功率率受受限限时时，高高斯斯分分布布信信源源的的熵熵最最大。令其平均功率为大。令其平均功率为P，则其熵为：，则其熵为：若另一信号若另一信号Y的平均功率也为的平均功率也为P，但不是高斯，但不是高斯分布，那它的熵一定比上式计算的小，即：分布，那它的熵一定比上式计算的小，即：本讲稿第三十四页，共四十八页05-06学年上Elements of Information Theory35u二、熵功率：二、熵功率：若平均功率为若平均功率为P的非高斯分布的非高斯分布的信源具有熵为的信源具有熵为 ,称熵也为称熵也为 的高斯的高斯信源的平均功率为熵功率信源的平均功率为熵功率 .由于当平均功率受限时一般信源的熵小于高斯分布由于当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平信源的熵，所以信号的熵功率总小于信号的实际平均功率均功率P，即即 本讲稿第三十五页，共四十八页05-06学年上Elements of Information Theory36u三、连续信源的剩余度三、连续信源的剩余度u熵熵功功率率的的大大小小可可以以表表示示连连续续信信源源剩剩余余的的大大小小。若若熵熵功功率率等等于于信信号号平平均均功功率率，就就表表示示信信号号没没有有剩剩余余。熵熵功功率率和和信信号号的的平平均均功功率率相相差差越越大大，说说明明信信号号的的剩剩余余越越大大。所所以以，信信号号平平均均功功率率和熵功率之差被称为连续信源的剩余度。和熵功率之差被称为连续信源的剩余度。连续信源的剩余度连续信源的剩余度=本讲稿第三十六页，共四十八页05-06学年上Elements of Information Theory374.6连续信道和波形信道的分类u波形信道：当信道的输入和输出都是随波形信道：当信道的输入和输出都是随机过程机过程 和和 时，这个信称为波形信时，这个信称为波形信道。道。它不仅在时间上是连续的，幅度上也是连它不仅在时间上是连续的，幅度上也是连续的。实际模拟通信系统中，信道都是续的。实际模拟通信系统中，信道都是波形信道。波形信道。本讲稿第三十七页，共四十八页05-06学年上Elements of Information Theory38u研研究究波波形形信信道道就就要要研研究究噪噪声声。在在通通信信系系统统中中，可可把把来来自自各各部部分分的的噪噪声声都都集集中中在在一一起起，认认为为是是通过信道加入的。通过信道加入的。u（1）按噪声的统计特性进行分类有：）按噪声的统计特性进行分类有：u高高斯斯噪噪声声信信道道、白白噪噪声声信信道道、高高斯斯白白噪噪声声信信道道和有色噪声信道等。和有色噪声信道等。u（2）按按噪噪声声对对信信号号的的作作用用共共能能来来分分有有：加加性性信道和乘性信道。信道和乘性信道。本讲稿第三十八页，共四十八页05-06学年上Elements of Information Theory39信道按噪声统计特性的分类信道按噪声统计特性的分类 u1、高斯噪声信道、高斯噪声信道u定定义义：信信道道中中的的噪噪声声是是高高斯斯噪噪声声，这这个个信信道道称称之之为为高斯噪声信道。高斯噪声信道。u其瞬时值的概率密度函数服从正态分布其瞬时值的概率密度函数服从正态分布。u高斯噪声的一维概率密度函数为：高斯噪声的一维概率密度函数为：本讲稿第三十九页，共四十八页05-06学年上Elements of Information Theory40u2、白噪声信道、白噪声信道u定定义义：信信道道中中的的噪噪声声是是白白噪噪声声，即即噪噪声声是是平平稳稳随随机机过过程程，其其功功率率谱谱密密度度均均匀匀分分布布于于整整个个频频域域，这这个个信信道称为白噪声信道。道称为白噪声信道。u其功率谱密度为一常数：其功率谱密度为一常数：本讲稿第四十页，共四十八页05-06学年上Elements of Information Theory41u3、高斯白噪声、高斯白噪声u定义：具有高斯分布规律的白噪声称为高斯白噪声。定义：具有高斯分布规律的白噪声称为高斯白噪声。u高斯噪声是指它的高斯噪声是指它的N维概率密度函数服从高斯分布，维概率密度函数服从高斯分布，并不涉及其功率密度的形状；白噪声则是就其功率并不涉及其功率密度的形状；白噪声则是就其功率谱密度是均匀分布而言，而不论它服从什么样的概谱密度是均匀分布而言，而不论它服从什么样的概率分布。在一般情况下，率分布。在一般情况下，把概率密度函数服从高斯分把概率密度函数服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。布而功率谱密度又是均匀分布的噪声称为高斯白噪声。本讲稿第四十一页，共四十八页05-06学年上Elements of Information Theory42u4、有色噪声信道、有色噪声信道u除白噪声以外的噪声称为有色噪声。除白噪声以外的噪声称为有色噪声。u定定义义：信信道道的的 噪噪声声是是有有色色噪噪声声，称称此此信信道道为为有色噪声信道。有色噪声信道。本讲稿第四十二页，共四十八页05-06学年上Elements of Information Theory43信道按噪声对信号的作用功能分信道按噪声对信号的作用功能分类类u1、乘性信道、乘性信道u定定义义：若若信信道道中中噪噪声声对对信信号号的的干干扰扰作作用用表表现现为为与与信信号号相相乘乘的的关关系系，则则此此信信道道称称为乘性信道。此噪声为乘性干扰。为乘性信道。此噪声为乘性干扰。u2、加性信道、加性信道u定定义义：若若信信道道中中噪噪声声对对信信号号的的干干扰扰作作用用表表现现为为与与信信号号相相加加的的关关系系，则则此此信信道道称称为加性信道。此噪声为加性干扰。为加性信道。此噪声为加性干扰。本讲稿第四十三页，共四十八页05-06学年上Elements of Information Theory44连续信道的信息传输速率连续信道的信息传输速率u一、单维连续信道的平均互信息一、单维连续信道的平均互信息单维连续信道的数学模型为单维连续信道的数学模型为 输入输入X和输出和输出Y之间的平均互信息为之间的平均互信息为 单维连续信道的信息传输速率为：单维连续信道的信息传输速率为：本讲稿第四十四页，共四十八页05-06学年上Elements of Information Theory45u二、多维连续信道的平均互信息二、多维连续信道的平均互信息 u多维连续信道的数学模型为多维连续信道的数学模型为其信道转移概率密度函数其信道转移概率密度函数满足下表达式：满足下表达式：其平均互信息为：其平均互信息为：本讲稿第四十五页，共四十八页05-06学年上Elements of Information Theory46u多维连续信道的信息传输速率为：多维连续信道的信息传输速率为：u 平均每个自由度的信息传输率为平均每个自由度的信息传输率为 本讲稿第四十六页，共四十八页05-06学年上Elements of Information Theory47连续信道平均互信息的特性连续信道平均互信息的特性u1 1、非负性、非负性 u2、对称性对称性u3 3、凸状性：连续变量之间的平均互信息、凸状性：连续变量之间的平均互信息 是输入连续变量是输入连续变量X X的概率密度函数的概率密度函数 的上凸的上凸函数；函数；又是连续信道转移概率密度函数又是连续信道转移概率密度函数的下凸函数的下凸函数。本讲稿第四十七页，共四十八页05-06学年上Elements of Information Theory48u4 4、信息不增性（又称数据处理定理）、信息不增性（又称数据处理定理）若连续随机变量若连续随机变量 形成马尔可夫链，则形成马尔可夫链，则 5 5、坐标变换平均互信息的不变性、坐标变换平均互信息的不变性 前前面面学学习习已已知知，通通过过一一一一对对应应的的变变换换，差差熵熵会会发生变化，但传输的平均互信息是不变的。发生变化，但传输的平均互信息是不变的。本讲稿第四十八页，共四十八页