连续信源的最大熵与最大熵条件.docx

青岛农业大学本 科生课 程论文论文题目连续信源的最大焙与最大烯条件同学专业班级信息与计算科学0902同学姓名（学号）指导教师吴慧完成时间完22-6-252022 年 6 月 25课程论文成绩评定表同学姓名边疆专业班级 信息与计算科学0902论文题目连续信源的最大嫡与最大熠条件指导老师评语及意见：指导老师评阅成果： 指导老师签字年月日评阅人评语及意见：评阅人评阅成果： 评阅人签字年月日总评成果（以百分记）：年月日课程论文任务书同学姓名指导老师吴慧论文题目连续信源的最大牖与最大嫡条件论文内容（需明确列出争论的问题）：1简述连续信源的基本概要。2定义了连续信源的差烯公式，分别介绍了满意匀称分布和高 斯分布的两种特别信源。3推导了连续信源的最大燧值及最大端条件。资料、数据、技术水公平方面的要求：1概率论的匀称分布、高斯分布的相关学问。2以及在这两种分布下的连续信源和高斯信源。3在不同的约束条件下，求连续信源差牖的最大值一种是信源 的输出值受限，另一种是信源的输出平均功率受限。4詹森不等式以及数学分析的定积分和反常积分、不定积分等 数学公式。发出任务书日期2022-6-6 完成论文日期 2022-6-25教研室意见（签字） 院长意见（签字）连续信源的最大炳与最大烯条件信息与计算科学指导老师吴慧摘要：本文简述了连续信源的基本概要并定义了连续信源的差崎公式，分别介绍 了满意匀称分布和高斯分布的两种特别信源，推导了连续信源的最大燧值及最大 烯条件。关营词：连续信源最大燧匀称分布高斯分布功率受限The maximum entropy and maximum entropy conditionof consecutive letter of the sourceInformation and Computing SciencesBian jiangTutorWuhuiAbstract： : On the base of continuous source this eassy describes the basic outline and define differential entropy formula, introduced a uniform distribution and Gaussian distribution of the two special source, derivation of a continuous source of maximum entropy and maximum entropy conditions.Keyword: Continuous source Maximum entropy Uniform distributionNormal distribution Power is limited引言：科学技术的进展使人类跨入了高度进展的信息化时代。在政治、军事、经 济等各个领域，信息的重要性不言而喻,有关信息理论的争论正越来越受到重视, 信息论方法也渐渐被广泛应用于各个领域。信息论一般指的是香农信息论，主要 争论在信息可以度量的前提下如何有效地、牢靠地、平安地传递信息，涉及消息 的信息量、消息的传输以及编码问题。1948年C.E. Shannon为解决通信工程中 不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息牖、互信 息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论 和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的进 展。信息论从它诞生的那时起就吸引了众多领域学者的留意，他们竞相应用信息 论的概念和方法去理解和解决本事域中的问题。近年来，以不确定性信息为争论 对象的信息论理论和方法在众多领域得到了广泛应用，并取得了很多重要的争论 成果。迄今为止，较为成熟的争论成果有：E.T. Jaynes在1957年提出的最大燧 原理的理论；S. K. Kullback在1959年首次提出后又为J. S. Shore等人在1980 年后进展了的鉴别信息及最小鉴别信息原理的理论；A. N. Kolmogorov在1956年 提出的关于信息量度定义的三种方法一一概率法，组合法，计算法； A. N. Kolmogorov在1968年阐明并为J. Chaitin在1987年系统进展了的关于算法信息的理论。这些成果大大丰富了信息理论的概念、方法和应用范围。1连续信源及其差炳在通信系统中，所传输的消息可分为离散消息和连续消息。对离散信源而言, 它们输的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用 联合概率分布来描述。而实际信源的输出经常时间、取值都连续的消息。信源输 出的消息是在时间上离散，而取值上连续的、随机的，这种信源称为连续信源。 例如遥控系统中有关电压、温度、压力等测得的连续数据。(i-D基本连续信源的输出是取值连续的单个随机变量，即单符号的连续信源。基 本连续信源的数学模型为b(x)J并满意C p(x)dx = 1(1-2)或者x i=r rP(X)1 p(x).(1-3)/-f-OO满意 J "(x)"x = 1(1-4)7 QO连续信源的燧定义为H(x)=-(： p(x)logp(x)dx连续信源的旅商与离散信源的端具有相同的形式，但其意义是不同的。对连 续信源而言，可以假设是一个不行数的无限多个幅度值的信源，需要无限多二进 制位数（比特）来表示，因而连续信源的不确定性应为无穷大。我们采纳式4 来定义连续信源的烯，是由于实际问题中，常遇到的是端的差值（如平均互信息 量），这样可使实际端中的无穷大量得以抵消。因此，连续信源的崎具有相对性, 有时又称为相对燧，或差燧。2两种典型的连续信源现在来计算两种常见的特别连续信源的相对燃。2. 1匀称分布的连续信源一维连续随机变量X在b区间内匀称分布时，概率密度函数为错误！未指定书签。错误！未指定书签。p(X)1 b-a10(a < x < b)(x> b,x < a)(2-1)(2-2)(2-2)当取对数以2为底时，单位为比特/自由度。N维连续平稳信源，若其输出N维矢量X=(XiX2.Xn)其重量分别在 ai,bia2,b2归即54的区问内匀称分布，即N维联合概率密度：P(X)=(2-3)理布5XE哈(o xe n3i(bi - ai)则称为在N维区域体积内匀称分布的连续平稳信源。又1-4可知，其满意(2-4)(2-4)P(X)=P(X1, X2，XN)=IIi=l P(xi)表明N维矢量x中各变量为。=1,，N)彼此统计独立，则此连续信源为 无记忆信源，可求得此N维连续信源的相对增为H(x)=-J .以 p(x)logp(x) dxrbN rbi11=JaN Jai1log1dxOxzdxN口匕-ai)n£(bi-ai)1二型 1 H(Xi)可见，N维区域体积内匀称分布的连续信源的相对牖就是N维趋于体积内 的对数。也等于各变量为在各自取值区间EE匀称分布时的差皤H(Xi)之和。2. 2高斯信源基本高斯信源是指信源输出的一维连续性随机变量x的概密度分布是正分 布，即P。)=熹 expP。)=熹 exp(x-m)2a2(2-5)式中，m是X的均值,。2是X的方差。这个连续信源的熠为h(x)=J： p(x)log l/V2iioexp-(x- m)2/2o2dx=-Q p (x)log(-iog/2iio)dx+p(x) -(x - m)2/2o2dxioge=log' 2 TTO+l/2loge=l/2loge2Tlea(2-6)式中，由于p(x)dx=l和1：(x m)2P(X)dx=(j2可见，正态分步的连续信源的端与数学期望m无关，只与其方差。2有关。假如n维连续平稳信源输出的N维连续随机矢量X=(XiX2 .Xn)是正态分布，则称此信源为N维高斯信源。 若各随机变量之间统计独立，可计算得N维统计独立的正态分布随机矢量的差 蜡为H(x)=N/2log27Te(。/。.d)则=2，H(Xi)(2-7)当N=l即x为一维随机变量时，式2-7就成为式2-6。这就是高斯信源的焙。3连续信源的最大煽在离散信源中，当信源符号等概率分布时信源的皤取得最大值。在连续信源 中差烯也具有极大值，但其状况有所不同。除存在完备集条件以外, 还有其他约束条件。当各约束条件不同时，信源的最大差旅商值不同。一般状况, 在不同的约束条件下，求连续信源差嫡的最大值，就是在下述若干约束条件下C P(X)dx=l 窘 p(X)dx=K 以(X - m)2p(X)dx=K2求函数H(x)=-J： p(x)logp(x)dx的极值。通常最感爱好的是两种状况：一种 是信源的输出值受限，另一种是信源的输出平均功率受限。下面分别加以争论：3. 1峰值功率受限a若信源输出的幅度被限定在b区域内，即J pMdx = 1,则 当输出信号的概率密度分布是匀称分布时，信源具有最大焙，其值等于log(b-a)。其推 导过程如下：1 a设p(x)为匀称分布的概率密度函数P,并满意£ 公=1。而设q(x) 为任意分布的概率密度函数，也有J QMdx = 1,则fClbbHX, q(x)-HX, p(x)= f q(x)logq(x)dx+f p(x)logp(x)dx dLdLbb=-£ q(x)logq(x)dx.iog(b-a) f p(x)dx dcLbb=-£ q(x)logq(x)dx-iog(b.a) f q(x)dx dcL=J： q(x)log篙 dx+J： q(x)logq(x)dx q(x)log需 dx<iogC q(x)与斗dx=o a q(x)其中运用了詹森不等式，因而有HX, q(x)WHX, p(x)(3-1)当且仅当q(x)=p(x)时，等式成立。这就是说，任何概率密度分布时的燧必小于匀 称分布时的烯b即当匀称分布时差嫡达到最大值。若当N维随机矢最取值受限 时，也只有各随机重量统计独立，并匀称分布时具有最大烯。对于N维随机矢 量的推倒可采纳相同的方法。3. 2平均功率受限若一个信源输出信号的平均功率被限定为P,则其输出信号幅度的概率密度 分布是高斯分布时，信源有最大端，其值为1/2log27lep。现在被限制的条件是信源输出的平均功率受限为Po对于均值为零的信号来说，这条件就是其方差。2 受限。一般均值不为零的一维随机变量，就是在约束条件以 P(X)dx=l(3-2)r 00和 m=Joo P(X)dx,r 00和 m=Joo P(X)dx,乙(x-m)2p(x)dx<oo(3-3)下，求信源差端H(x)的极大值。而均值为零，平均功率受限的状况只是它的一个 痔例其推鼻过程如下：设q(x)为信源输出的任意概率密度分布，由于其方差受限为o 2,所以必满意窘p(X)dx=l和。2=。(x - m)2p(X)dXo又设p(x)是方差为。2的正态概率密度分布，即有J： p(X)dx=l 和 o 2=(X m)2p(X)dx 可计算得h x, P(x)= < p(x)logp(x)dx=-1 p(x)log l/V2no2exp-(x - m)2/(2a2)dx=一人 p(x)(-logV2na2) + 乙 P(x)(x - m)2/(2a2)dx.ioge=log 2nOz+l/2loge7=l/2log2HOq(x)log-dx = q(x)log l/V2no2exp-(x - P (X)m)2/(2o2)dx=-C q(x)log (=25 - C q(x)(x - m)2/(2o2)dx.loge7=l/2loge2HO所以得所以得Hx, p(x)=-窘 q(x)log a dx(3-4)而H(X, q(xn-Hx, P(x)=jrq(x)logq(x)dx-Cq(x)logdx=-C q(x)log 翳 dx<iogQ q(x)iog 需dx=iogi=o其中运用了詹森不等式，因而有HX, q(x)HX, p(x)(3-5)当且仅当q(x)=p(x)时等式成立这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特 性与高斯噪声的统计特性全都时，才会有最大的蜡值。从直观上看这是合理的， 由于噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的大事中 获得。结论：最大燧原理指出，当我们需要对一个随机大事的概率分布进行猜测时，我 们的猜测应满意全部已知的条件，而对未知的状况不要做任何主观假设。(不做 主观假设这点很重要。)在这种状况下，概率分布最匀称，猜测的风险最小。由 于这时概率分布的信息燧最大，所以人们称这种模型叫“最大蜡模型”。同时对 最大燧原理提出的疑问主要有以下两个：(1)关于最大燧原理所得解的客观性(2) 如何理解被最大烯原理排解的其他满意约束条件的解。参考文献：1冯桂，林其伟，陈东华.信息论语编码技术【M】.北京：清华高校版社， 2007.【2】傅祖芸，赵建中.信息论与编码【M】.北京：电子工业出版社，2006.3曲炜，朱诗兵.信息论基础及应用【M】.北京：清华高校出版 社，2005.【4】搬承元.数学分析【M】.上海：高等教育出版社，2005.