5 第五章 单维连续信源与信道(精品).ppt

《5 第五章 单维连续信源与信道(精品).ppt》由会员分享，可在线阅读，更多相关《5 第五章 单维连续信源与信道(精品).ppt（86页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第五章第五章 单维连续信源与信道单维连续信源与信道概率复习5.1 相对熵与平均交互信息量相对熵与平均交互信息量(一一)连续信源连续信源定义：输出消息在时间和取值上都连续的信源。如语音，电视信源。对应的数学工具为随机过程。从统计特性上讲，连续随机过程大致可分为平稳（统计特性-各维概率密度函数不随时间平移而变化的随机过程）和非平稳随机过程两大类。一般认为，通信系统中的信号都是平稳的随机过程，或分段平稳的随机过程。最常见的平稳随机过程为遍历过程。连续信源：可能输出的消息数是无限的或不可数的，每次只输出一个消息。数学模型：离散平稳信源：输出的随机序列 中每个随机变量 取值是离散的，并且随机矢量X的各维

2、概率分布不随时间平移而改变。连续平稳信源：输出的随机序列 中每个随机变量 取值是连续的，并且随机矢量X的各维概率密度函数不随时间平移而改变。分层量化连续离散H(X)：信息熵：信息熵相对熵：h(X)确定值部分无限大常数项连续信源的熵，也称为相对熵，连续信源的绝对熵还有一项正的无限大量。两个连续变量的联合熵和条件熵分别为：X:a,bY:p(Y/X)(二二)平均交互信息量平均交互信息量=1相对条件熵Continuous source（entropy）Continuous source entropy transformNormal（Gaussian）distributionAdditive Whit

3、e Gaussian NoiseAWGN channel capacity小结小结:1.均匀分布均匀分布：5.2 几种特殊单维连续信源的相对熵几种特殊单维连续信源的相对熵相对熵无非负性，可为负值2.高斯分布高斯分布：与方差有关，与均值无关当均值m=0，即方差表示平均功率时：相对熵只与平均功率有关3.指数分布：指数分布：指数分布的相对熵只取决于信源的均值a均匀分布的连续信源的熵，仅与区域的边界有关。高斯分布的连续信源的熵：与数学期望无关，仅与方差有关指数分布的连续信源的熵：只取决于均值1.极值性极值性5.4 相对熵的数学特性相对熵的数学特性2.上凸性 0 0相对熵具有上凸性极值性、上凸性相对熵具

4、有极大值单维连续信源X的相对熵h(X)的最大值，是概率密度函数p(x)的函数h(X)的条件极大值5.5 最大相对熵定理最大相对熵定理变分极值Fp(x),x欧拉-拉格朗日方程：考虑：则：1.峰值功率受限（取值区间受限）：均匀分布相对熵最大2.均值受限（取值非负）：指数分布相对熵最大3.平均功率受限：高斯分布相对熵最大=0连续熵的性质连续熵可为负值（连续熵的相对性所致）可加性平均互信息的非负性，对称性连续信源也满足数据处理定理最大连续熵定理最大连续熵定理限峰值功率的最大熵定理 若信源的N维随机变量的取值在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。若随机变量的取值限制在 之间

5、，峰值为 ，则最大熵值为：限平均功率的最大熵定理 若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。均值受限条件下的最大连续熵定理 若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X具有最大熵值。总结：连续信源与离散信源不同，它不总结：连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的存在绝对的最大熵。其最大熵与信源的限制条件有关。限制条件有关。单维连续信源X在某种限制条件下的信息变差5.6 信息变差与熵功率信息变差与熵功率令：熵=最大熵-信息变差平均功率受限（m=0)：熵功率熵功率（讨论没有达到最大熵

6、的连熵功率（讨论没有达到最大熵的连续信源的剩余问题）续信源的剩余问题）若平均功率为P，均值为0的高斯分布的信源具有平均功率 ，则称为单维连续信源的熵功率。因为当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率P。熵功率的大小可以表示连续信源剩余的大小。信号平均功率和熵功率之差 被称为连续信源的剩余度。信 源信息处理网络信 道XY5.7 连续熵的变换连续熵的变换解：一、加性信道：+NXY=X+N1.X、N统计独立2.噪声的干扰作用表现为噪声N对信源X的线形叠加加性信道5.8 高斯加性信道的容量高斯加性信道的容量二、二、高斯加性信道的容量：高斯加性信道的容量：平均功率受限：nat/维（自由度）+NX(t)Y(t)=X(t)+N香农公式4.14