信息论第4章(波形信源和波形信道).ppt
信息论Elements ofInformation Theory蒋青TEL：6246051705-06学年上1Elements of Information Theory4、波形信源和波形信道u4.1 波形信源的统计特性和离散化u4.2 连续信源和波形信源的信息测度u4.3 具有最大熵的连续信源u4.4 熵功率u4.5 连续信源熵的变换u4.6连续信道和波形信道的分类u4.7连续信道和波形信道的信息传输率u4.8连续信道和波形信道的信道容量05-06学年上2Elements of Information Theory 4.1波形信源的统计特性和离散化u随机变量u随机过程u随机矢量05-06学年上3Elements of Information Theory表4.1消息(信号)取值的集合消息(信号)取值时刻的集合信源种类离散离散离散信源(Discrete source)/数字信源(Digital source)连续连续波形信源Waveform source/模拟信源(Analog source)连续离散连续信源(Continuous source)离散连续05-06学年上4Elements of Information Theory4.2连续信源和波形信源的信息测度u连续信源的数学模型 并满足05-06学年上5Elements of Information Theoryu一维概率密度函数u一维概率分布函数u条件概率密度函数u联合概率密度函数05-06学年上6Elements of Information Theoryu假定连续信源 X 的概率密度函数p(x)如右图所示。我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为05-06学年上7Elements of Information Theoryu这样，连续变量 X 就可用取值为 xi 的离散变量 Xn 来近似。连续信源 X 被量化成离散信源。05-06学年上8Elements of Information Theoryu这时离散信源 Xn 的熵是u当n,0，离散随机变量 Xn 趋于连续随机变量 X，而离散信源的熵 H(Xn)的极限值就是连续信源的信息熵：05-06学年上9Elements of Information Theoryu定义连续信源的熵连续信源的熵为：u又称为差熵、微分熵、相对熵。u两随机变量的联合熵和条件熵：连续信源的差熵连续信源的差熵05-06学年上10Elements of Information Theory连续信源差熵的性质u可加性：u凸状性和极值性：差熵 H(X)是输入概率密度函数 p(x)的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。05-06学年上11Elements of Information Theoryu差熵可为负值。例如，若概率密度函数为例如，若概率密度函数为则则05-06学年上12Elements of Information Theory例：例：设有一连续随机变量，其概率密度函数为设有一连续随机变量，其概率密度函数为又有又有 试求这随机变量的熵。试求这随机变量的熵。05-06学年上13Elements of Information Theory连续信源的平均互信息连续信源的平均互信息两个连续随机变量两个连续随机变量X、Y的互信息定义为：的互信息定义为：单位为比特单位为比特/自由度或奈特自由度或奈特/自由度自由度05-06学年上14Elements of Information Theory三种特殊连续信源的差熵u1、均匀分布连续信源的熵值 一维连续随机变量一维连续随机变量X在在 区间内均匀分布时区间内均匀分布时 比特比特/自由度自由度05-06学年上15Elements of Information Theory推广：推广：均匀分布均匀分布N维连续信源的差熵为维连续信源的差熵为 05-06学年上16Elements of Information Theoryu2、高斯信源的熵值高斯信源是指信源输出的一维随机变量高斯信源是指信源输出的一维随机变量X的概率密度分布的概率密度分布是正态分布，即：是正态分布，即：该连续信源的熵为：该连续信源的熵为：05-06学年上17Elements of Information Theoryu3、指数分布连续信源的指数分布连续信源的熵值指数分布的一维连续信源指数分布的一维连续信源X X的概率密度函数为：的概率密度函数为：其中常数其中常数a是一维连续信源是一维连续信源X的均值，的均值，该连续信源的熵为：该连续信源的熵为：05-06学年上18Elements of Information Theory4.3具有最大熵的连续信源u离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。05-06学年上19Elements of Information Theoryu在什么条件下，连续信源的熵最大？在不同的条件下，信源的最大熵也不同。在不同的条件下，信源的最大熵也不同。05-06学年上20Elements of Information Theoryu通通常常有有三三种种情情况况是是我我们们感感兴兴趣趣的的：一一种种是是信信源源输输出出值值受受限限的的情情况况，另另一一种种是是信信源源输输出出的的平平均均功功率率受受限限的的情情况况，还还有有一一种是种是均值受限均值受限的情况。下面分别讨论。的情况。下面分别讨论。05-06学年上21Elements of Information Theory峰值功率受限条件下信源的最大熵（取值幅度受限）（取值幅度受限）u定理：定理：若信源输出的若信源输出的幅度被限定幅度被限定在在 区域内，则当区域内，则当输出信号输出信号的概率密度分布是的概率密度分布是均匀分布均匀分布时，信源具有最大熵。时，信源具有最大熵。最大熵为：最大熵为：05-06学年上22Elements of Information Theoryu当当N维随机矢量维随机矢量取值受限取值受限时，也只有各随时，也只有各随机分量统计独立时，并机分量统计独立时，并均匀分布均匀分布时具有时具有最大熵。最大熵。最大熵为：最大熵为：05-06学年上23Elements of Information Theory平均功率受限条件下信源的最大熵（方差受限）（方差受限）u定理：若一个信源输出信号的定理：若一个信源输出信号的平均功率被平均功率被限定为限定为P，则其则其输出信号输出信号幅度的概率密度幅度的概率密度分布是分布是高斯分布高斯分布时，信源具有最大熵。时，信源具有最大熵。最大熵为：最大熵为：05-06学年上24Elements of Information Theory均值受限条件下的最大连续熵定理均值受限条件下的最大连续熵定理（均值受限）（均值受限）u 若若连连续续信信源源X X输输出出非非负负信信号号的的均均值值受受限限，则则其其输输出出信信号号呈呈指指数数分分布布时时，连连续续信信源源X X具具有最大熵值。有最大熵值。最大熵为：最大熵为：其中常数其中常数a是一维连续信源是一维连续信源X的均值的均值05-06学年上25Elements of Information Theory4.4 连续信源熵的变换u从信源发出的消息大都要通过一系列的从信源发出的消息大都要通过一系列的信息处理后才在信道中传输。任何信息信息处理后才在信道中传输。任何信息处理设备都可用下图所示来表示，可以处理设备都可用下图所示来表示，可以认为这是一种坐标变换。认为这是一种坐标变换。05-06学年上26Elements of Information Theoryu设连续平稳信源输出的是设连续平稳信源输出的是N维连续型随机矢维连续型随机矢量量 ,将它送入信息处理网络，其将它送入信息处理网络，其输出为另一个输出为另一个N维随机矢量维随机矢量 Y和和X之间的变换关系如下：之间的变换关系如下：05-06学年上27Elements of Information Theoryu在在离离散散信信源源中中，若若有有确确定定的的对对应应变变换换关关系系，变变换换后后信信源源熵熵是是不不变变的的。问问：在在连连续续信信源源中中，输输出出的的消消息息经经过过变变换换后后，其其熵（差熵）会不会发生改变？熵（差熵）会不会发生改变？u下下面面我我们们将将讨讨论论这这个个问问题题。从从数数学学上上讲讲，这可归纳为坐标变换的问题。这可归纳为坐标变换的问题。05-06学年上28Elements of Information Theory坐标变换后概率密度函数的变化坐标变换后概率密度函数的变化 u已知已知Y Y和和X X之间有一一对应关系之间有一一对应关系,则则X X也可也可以表示位以表示位Y Y的单值连续函数。的单值连续函数。05-06学年上29Elements of Information Theory引入雅可比行列式引入雅可比行列式 定义：定义：证明可得证明可得05-06学年上30Elements of Information Theory经分析可得坐标变化后新旧概率密度函数的关系经分析可得坐标变化后新旧概率密度函数的关系为：为：结结论论：除除非非雅雅可可比比行行列列式式等等于于1，否否则则，在在一一般般情情况况下下，连连续续型型随随机机变变量量通通过过变变化化后后其其概概率率密密度度函函数数会发生变化。会发生变化。05-06学年上31Elements of Information Theory坐标变换后差熵的变化坐标变换后差熵的变化 u经过计算可得变换后连续信源的差熵为：经过计算可得变换后连续信源的差熵为：05-06学年上32Elements of Information Theoryu一一、熵熵速速率率：信信源源在在单单位位时时间间内内输输出出的的熵称为信源的熵速率。熵称为信源的熵速率。u若若信信源源是是时时间间连连续续、信信号号带带宽宽为为F的的连连续续信信源源，根根据据随随机机信信号号的的抽抽样样定定理理，可可用用2F的的速速率率对对信信源源进进行行采采样样。因因此此，连连续续信源的熵速率为：信源的熵速率为：4.5熵速率和熵功率05-06学年上33Elements of Information Theory当当信信号号平平均均功功率率受受限限时时，高高斯斯分分布布信信源源的的熵熵最最大。令其平均功率为大。令其平均功率为P，则其熵为：则其熵为：若另一信号若另一信号Y的平均功率也为的平均功率也为P，但不是高斯但不是高斯分布，那它的熵一定比上式计算的小，即：分布，那它的熵一定比上式计算的小，即：05-06学年上34Elements of Information Theoryu二、熵功率：二、熵功率：若平均功率为若平均功率为P的非高斯分的非高斯分布的信源具有熵为布的信源具有熵为 ,称熵也为称熵也为 的高斯信源的平均功率为熵功率的高斯信源的平均功率为熵功率 .由于当平均功率受限时一般信源的熵小于高斯分由于当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实布信源的熵，所以信号的熵功率总小于信号的实际平均功率际平均功率P，即即 05-06学年上35Elements of Information Theoryu三、连续信源的剩余度三、连续信源的剩余度u熵熵功功率率的的大大小小可可以以表表示示连连续续信信源源剩剩余余的的大大小小。若若熵熵功功率率等等于于信信号号平平均均功功率率，就就表表示示信信号号没没有有剩剩余余。熵熵功功率率和和信信号号的的平平均均功功率率相相差差越越大大，说说明明信信号号的的剩剩余余越越大大。所所以以，信信号号平平均均功功率率和和熵熵功功率率之之差差被被称称为连续信源的剩余度。为连续信源的剩余度。连续信源的剩余度连续信源的剩余度=05-06学年上36Elements of Information Theory4.6连续信道和波形信道的分类u波形信道：当信道的输入和输出都是随波形信道：当信道的输入和输出都是随机过程机过程 和和 时，这个信称为波形信时，这个信称为波形信道。道。它不仅在时间上是连续的，幅度上也是连它不仅在时间上是连续的，幅度上也是连续的。实际模拟通信系统中，信道都是续的。实际模拟通信系统中，信道都是波形信道。波形信道。05-06学年上37Elements of Information Theoryu研研究究波波形形信信道道就就要要研研究究噪噪声声。在在通通信信系系统统中中，可可把把来来自自各各部部分分的的噪噪声声都都集集中中在在一起，认为是通过信道加入的。一起，认为是通过信道加入的。u（1）按噪声的统计特性进行分类有：）按噪声的统计特性进行分类有：u高高斯斯噪噪声声信信道道、白白噪噪声声信信道道、高高斯斯白白噪噪声信道和有色噪声信道等。声信道和有色噪声信道等。u（2）按按噪噪声声对对信信号号的的作作用用共共能能来来分分有有：加性信道和乘性信道。加性信道和乘性信道。05-06学年上38Elements of Information Theory信道按噪声统计特性的分类信道按噪声统计特性的分类 u1、高斯噪声信道、高斯噪声信道u定定义义：信信道道中中的的噪噪声声是是高高斯斯噪噪声声，这这个个信信道道称称之为高斯噪声信道。之为高斯噪声信道。u其瞬时值的概率密度函数服从正态分布其瞬时值的概率密度函数服从正态分布。u高斯噪声的一维概率密度函数为：高斯噪声的一维概率密度函数为：05-06学年上39Elements of Information Theoryu2、白噪声信道、白噪声信道u定定义义：信信道道中中的的噪噪声声是是白白噪噪声声，即即噪噪声声是是平平稳稳随随机机过过程程，其其功功率率谱谱密密度度均均匀匀分分布布于于整整个个频频域域，这个信道称为白噪声信道。这个信道称为白噪声信道。u其功率谱密度为一常数：其功率谱密度为一常数：05-06学年上40Elements of Information Theoryu3、高斯白噪声、高斯白噪声u定定义义：具具有有高高斯斯分分布布规规律律的的白白噪噪声声称称为为高高斯斯白白噪声。噪声。u高斯噪声是指它的高斯噪声是指它的N维概率密度函数服从高斯维概率密度函数服从高斯分布，并不涉及其功率密度的形状；白噪声则分布，并不涉及其功率密度的形状；白噪声则是就其功率谱密度是均匀分布而言，而不论它是就其功率谱密度是均匀分布而言，而不论它服从什么样的概率分布。在一般情况下，服从什么样的概率分布。在一般情况下，把概把概率密度函数服从高斯分布而功率谱密度又是均率密度函数服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。匀分布的噪声称为高斯白噪声。05-06学年上41Elements of Information Theoryu4、有色噪声信道、有色噪声信道u除白噪声以外的噪声称为有色噪声。除白噪声以外的噪声称为有色噪声。u定定义义：信信道道的的 噪噪声声是是有有色色噪噪声声，称称此此信信道为有色噪声信道。道为有色噪声信道。05-06学年上42Elements of Information Theory信道按噪声对信号的作用功能信道按噪声对信号的作用功能分类分类u1、乘性信道、乘性信道u定定义义：若若信信道道中中噪噪声声对对信信号号的的干干扰扰作作用用表表现现为为与与信信号号相相乘乘的的关关系系，则则此此信信道道称称为乘性信道。此噪声为乘性干扰。为乘性信道。此噪声为乘性干扰。u2、加性信道、加性信道u定定义义：若若信信道道中中噪噪声声对对信信号号的的干干扰扰作作用用表表现现为为与与信信号号相相加加的的关关系系，则则此此信信道道称称为加性信道。此噪声为加性干扰。为加性信道。此噪声为加性干扰。05-06学年上43Elements of Information Theory连续信道的信息传输速率连续信道的信息传输速率u一、单维连续信道的平均互信息一、单维连续信道的平均互信息单维连续信道的数学模型为单维连续信道的数学模型为 输入输入X和输出和输出Y之间的平均互信息为之间的平均互信息为 单维连续信道的信息传输速率为：单维连续信道的信息传输速率为：05-06学年上44Elements of Information Theoryu二、多维连续信道的平均互信息二、多维连续信道的平均互信息 u多维连续信道的数学模型为多维连续信道的数学模型为其信道转移概率密度函数其信道转移概率密度函数满足下表达式：满足下表达式：其平均互信息为：其平均互信息为：05-06学年上45Elements of Information Theoryu多维连续信道的信息传输速率为：多维连续信道的信息传输速率为：u 平均每个自由度的信息传输率为平均每个自由度的信息传输率为 05-06学年上46Elements of Information Theory连续信道平均互信息的特性连续信道平均互信息的特性u1 1、非负性、非负性 u2、对称性对称性u3 3、凸状性：连续变量之间的平均互信息、凸状性：连续变量之间的平均互信息 是输入连续变量是输入连续变量X X的概率密度函数的概率密度函数 的上凸的上凸函数；函数；又是连续信道转移概率密度函数又是连续信道转移概率密度函数的下凸函数的下凸函数。05-06学年上47Elements of Information Theoryu4 4、信息不增性（又称数据处理定理）、信息不增性（又称数据处理定理）若连续随机变量若连续随机变量 形成马尔可夫链，形成马尔可夫链，则则 5 5、坐标变换平均互信息的不变性、坐标变换平均互信息的不变性 前前面面学学习习已已知知，通通过过一一一一对对应应的的变变换换，差差熵熵会会发发生生变变化化，但但传传输输的的平平均均互互信信息息是是不变的。不变的。05-06学年上48Elements of Information Theory
