第二章-信息论基本概念(3)(1).ppt

《第二章-信息论基本概念(3)(1).ppt》由会员分享，可在线阅读，更多相关《第二章-信息论基本概念(3)(1).ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、3.离散有记忆信源马尔可夫信源离散有记忆信源马尔可夫信源马尔可夫信源马尔可夫信源非平稳离散信源中的一类特殊信源。非平稳离散信源中的一类特殊信源。是由信源发出的各个符号之间的关连性构成一个整体消息。是由信源发出的各个符号之间的关连性构成一个整体消息。这种关连性用符号的这种关连性用符号的转移概率（条件概率）转移概率（条件概率）表示：表示：如：如：BOY P(B)P(O|B)P(Y|BO)若马尔可夫信源发出每个符号都取决于它与前面的若马尔可夫信源发出每个符号都取决于它与前面的K个符个符号之间的关连性，也就是该信源是以转移概率号之间的关连性，也就是该信源是以转移概率P(Xi|Xi-k,Xi-k+1,X

2、i-1)发出每个符号，这种信源称作发出每个符号，这种信源称作K阶马尔可夫信源阶马尔可夫信源。马尔可夫过程：马尔可夫过程：对于任意的大于对于任意的大于2 2的自然数的自然数n n，在连续的时间，在连续的时间T T轴上有轴上有n n个不同时个不同时刻，刻，t t1 1，t t2 2，t tn n满足，在满足，在t tn n时刻的随机变量时刻的随机变量X Xn n与其前面（与其前面（n n1 1）个时刻的随机变量个时刻的随机变量X X1 1，X X2 2，X Xn n1 1的关系可用它们之间的条件的关系可用它们之间的条件概率密度函数来表示，如果满足下式：概率密度函数来表示，如果满足下式：p p(X

3、Xn n ，t tn n|X Xn n 1 1，t tn n1 1，X Xn n2 2，t tn n2 2，X X1 1，t t1 1)p p(X Xn n ，t tn n|X Xn n 1 1，t tn n 1 1)则这种随机过程称为则这种随机过程称为单纯马尔可夫过程单纯马尔可夫过程（一阶马尔可夫过程一阶马尔可夫过程）K K阶马尔可夫过程阶马尔可夫过程的特征为：的特征为：p p(X Xn n ，t tn n|X Xn n 1 1，t tn n1 1，X Xn n2 2，t tn n2 2，X X1 1，t t1 1)p p(X Xn n ，t tn n|X Xn n1 1，t tn n1 1

4、，X Xn n2 2，t tn n2 2，X Xn nk k，t tn nk k)预备知识预备知识:马尔可夫过程、马尔可夫链马尔可夫过程、马尔可夫链马尔可夫链：马尔可夫链：当马尔可夫过程的随机变量幅度和时间参数均取离散值时，当马尔可夫过程的随机变量幅度和时间参数均取离散值时，就称作马尔可夫链。就称作马尔可夫链。设随机过程在时间域上设随机过程在时间域上T T t t1 1，t t2 2，t tk k1 1，t tk k，t tn n1 1，t tn n 的的n n个离散时刻上的状态个离散时刻上的状态X Xk k (k k1 1，2 2，3 3，n)n)都是离散型都是离散型的随机变量，并且有的随机

5、变量，并且有M M个不同的取值个不同的取值S S1 1,S,S2 2,S,SM M，这，这M M个取值便构个取值便构成一个状态空间成一个状态空间S S，S SSS1 1,S,S2 2,S,SM M.在在n n个时刻上的个时刻上的n n个状态构个状态构成一个随机序列（成一个随机序列（X X1 1，X X2 2，X Xk k1 1，X Xk k，X Xn n1 1，X Xn n）对于这个随机序列，若有：对于这个随机序列，若有：则此序列称为则此序列称为单纯马尔可夫链（一阶马尔可夫链）。单纯马尔可夫链（一阶马尔可夫链）。一阶马尔可夫链在一阶马尔可夫链在t tn n时刻的取值时刻的取值X Xn n S

6、Sin in的概率仅与前一状态的概率仅与前一状态X Xn-1n-1有有关，与其它时刻状态无关，它的记忆长度为两个时刻。若与它前关，与其它时刻状态无关，它的记忆长度为两个时刻。若与它前面面K K个时刻个时刻t tn-1n-1，t tn-2n-2，t tn-kn-k有关，则为有关，则为K K阶马尔可夫链，它的记忆阶马尔可夫链，它的记忆长度为（长度为（K+1K+1）个时刻。）个时刻。设一阶马尔可夫链在时刻设一阶马尔可夫链在时刻t tk k1 1随机序列的取值随机序列的取值X Xk k1 1S Si i，而在下，而在下一时刻一时刻t tk k，随机序列的取值，随机序列的取值X Xk kS Sj j，则

7、条件概率为，则条件概率为:P(j|iP(j|i)P(P(X Xk kS Sj j|X Xk k1 1S Si i)因为因为P(j|iP(j|i)仅取决于状态仅取决于状态S Sj j和和S Si i，因此称，因此称P(j|iP(j|i)为由状态为由状态S Si i向向S Sj j的转移概率。的转移概率。对于具有对于具有M M个不同的状态空间，个不同的状态空间，M M2 2个转移概率可排成一转移矩阵：个转移概率可排成一转移矩阵：每行元素代表同一起始状态到每行元素代表同一起始状态到M M个不同终止状态的转移概率；个不同终止状态的转移概率；每列元素代表每列元素代表M M个不同起始状态到同一终止状态的转

8、移概率；个不同起始状态到同一终止状态的转移概率；显然有：显然有：P(j|iP(j|i)1 1 （i=1,2,i=1,2,M,M）K K阶马尔可夫链每个状态由阶马尔可夫链每个状态由K K个符号组成个符号组成。若信源符号有。若信源符号有D D种，种，则状态数目则状态数目M M为：为：M MD DK K 马尔可夫链可以用香农线图表示。马尔可夫链可以用香农线图表示。(a),(b),(ca),(b),(c)分别表示信源含两种字母分别表示信源含两种字母(D(D2)2)的一阶、的一阶、二阶和三阶马尔可夫链的线图。二阶和三阶马尔可夫链的线图。(d),(ed),(e)分别表示分别表示D D3 3和和D D4 4

9、的一阶马尔可夫链的线图。的一阶马尔可夫链的线图。一、概述一、概述 一般情况下，信源输出符号之间的相关性可以一般情况下，信源输出符号之间的相关性可以追溯到追溯到最初的一个符号最初的一个符号，而在许多信源的输出符号，而在许多信源的输出符号序列中，符号之间的依赖关系是有限的序列中，符号之间的依赖关系是有限的任何时任何时刻信源符号发生的概率只与前面已经发出的若干个刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关符号有关，而与更前面发出的符号无关。这类信源。这类信源在输出符号时不仅与符号集有关，还与信源的状态在输出符号时不仅与符号集有关，还与信源的状态有关。有关。状态转移图

10、状态转移图(香农线图香农线图)E1 E3E20:0.51:0.51:0.40:0.61【注注】E1、E2、E3是三种状态，箭头是指从一个状态转移到另一是三种状态，箭头是指从一个状态转移到另一个状态，旁边的数字代表发出的某符号和条件概率个状态，旁边的数字代表发出的某符号和条件概率p(ak/Ei)。这。这就是香农提出的马尔可夫状态转移图，也叫香农线图。就是香农提出的马尔可夫状态转移图，也叫香农线图。二二、马尔可夫信源、马尔可夫信源 若信源输出的符号和信源所处的状态满足以下两个条若信源输出的符号和信源所处的状态满足以下两个条件，则称为马尔可夫信源：件，则称为马尔可夫信源：【注注】上述条件表明，若信源

11、处于某一状态上述条件表明，若信源处于某一状态Ei，当它发出一个符号后，所处的状态就变了。当它发出一个符号后，所处的状态就变了。状态状态的转移依赖于所发出的信源符号的转移依赖于所发出的信源符号，因此任何时刻，因此任何时刻信源处在什么状态完全由前一时刻的状态和发出信源处在什么状态完全由前一时刻的状态和发出的符号决定。又因条件概率的符号决定。又因条件概率p(ak/Ei)已给定，所以已给定，所以状态之间的转移有一定的概率分布状态之间的转移有一定的概率分布，并可求出状，并可求出状态的一步转移概率态的一步转移概率p(Ej/Ei)。例：例：设某信源符号设某信源符号XA=a1,a2,a3，信源所处的状态，信源

12、所处的状态SE=E1,E2,E3,E4,E5。各状态之间的转移情况如下各状态之间的转移情况如下图所示，请判断这是否是一个马尔可夫信源？图所示，请判断这是否是一个马尔可夫信源？解解：（1）信源在）信源在Ei状态下输出符号状态下输出符号ak的条件概率的条件概率p(ak/Ei)用矩阵用矩阵表示为表示为:（2）该信源在）该信源在l时刻所处的状态由当前的输出符号与前一时刻时刻所处的状态由当前的输出符号与前一时刻(l-1)信源的状态唯一决定信源的状态唯一决定:此信源满足马尔可夫的此信源满足马尔可夫的两个条件，所以是马尔可夫两个条件，所以是马尔可夫信源，并且是齐次马尔可夫信源，并且是齐次马尔可夫信源。信源。

13、三、三、m阶马尔可夫信源阶马尔可夫信源n 一般有记忆信源：一般有记忆信源：发出的是有关联性的各符号构成的整体消息，即输出的发出的是有关联性的各符号构成的整体消息，即输出的是符号序列，并用是符号序列，并用符号间的联合概率符号间的联合概率描述这种关系。描述这种关系。n 马尔可夫信源：马尔可夫信源：用符号之间的用符号之间的转移概率（条件概率）转移概率（条件概率）来描述这种关联来描述这种关联关系。即马尔可夫信源是以转移概率输出每个信源符号。关系。即马尔可夫信源是以转移概率输出每个信源符号。n m阶马尔可夫信源阶马尔可夫信源 在某一时刻在某一时刻l，符号出现的概率仅与前面已出现的，符号出现的概率仅与前面

14、已出现的m个符号有个符号有关，可以把这前面关，可以把这前面m个符号序列看成信源在个符号序列看成信源在l时刻所处的状态。时刻所处的状态。若若每符号每符号取值取值q种种，则，则共有共有qm种种状态，每状态，每种状态对应一个种状态对应一个m长长(q 进制进制)序列序列，这种状态序列符合马尔可夫链的性质，可用马氏链，这种状态序列符合马尔可夫链的性质，可用马氏链来描述，这种信源称为来描述，这种信源称为m阶马尔可夫信源。数学模型：阶马尔可夫信源。数学模型：【注注】当当m=1时，为一阶马尔可夫信源。时，为一阶马尔可夫信源。n 马尔可夫信源熵马尔可夫信源熵设设状状态态 ,信源信源处处于状于状态态时时，再，再发

15、发出下一个符号出下一个符号此此时时，符号序列，符号序列 就就组组成了新的信源状成了新的信源状态态，这时这时信源所信源所处处的状的状态态由由转转移到移到【注注】可可见见求解求解马马尔尔可夫信源条件可夫信源条件熵熵关关键键是要得到是要得到【注注】u 上述定理说明，有限齐次、遍历马尔可夫链信源，上述定理说明，有限齐次、遍历马尔可夫链信源，在初始时刻可以处在任意状态，然后状态之间可以在初始时刻可以处在任意状态，然后状态之间可以转移，经过足够长时间之后，信源处于什么状态已转移，经过足够长时间之后，信源处于什么状态已与初始状态无关。与初始状态无关。u 状态极限概率方程组可写为：状态极限概率方程组可写为：例

16、例1 设有二设有二元二元二阶马尔可夫信源：阶马尔可夫信源：【结论结论】l 信源达到稳定后，信源符号的概率分布与初始概率不同，信源达到稳定后，信源符号的概率分布与初始概率不同，因此一般马尔可夫信源并非是平稳信源。但当时齐、遍历的马因此一般马尔可夫信源并非是平稳信源。但当时齐、遍历的马尔可夫信源达到稳定后，就可看成一个稳定信源。尔可夫信源达到稳定后，就可看成一个稳定信源。l 计算信源的信息熵，对于平稳信源须知道信源的各维概率计算信源的信息熵，对于平稳信源须知道信源的各维概率分布，而对于分布，而对于m阶马尔可夫信源，只要知道与前面阶马尔可夫信源，只要知道与前面m个符号有个符号有关的条件概率，因此一般

17、信源可用关的条件概率，因此一般信源可用m阶马尔可夫信源来近似。阶马尔可夫信源来近似。例例2：有一个有一个马马尔尔可夫信源，已知可夫信源，已知 试试画出画出该该信源的香信源的香农线图农线图，并求出信源，并求出信源熵熵。解：解：该该信源的香信源的香农线图为农线图为：在在计计算信源算信源熵熵之前，先用之前，先用转转移概率求移概率求稳稳定状定状态态下二个状下二个状态态x1和和 x2 的概率的概率 和和 可得：可得：马尔可夫信源熵马尔可夫信源熵 例例3：一一阶马阶马尔尔可夫信源的状可夫信源的状态图态图如下，信源的符号集如下，信源的符号集为为0,1,2，并定，并定义义p+q=1。(1)求信源平求信源平稳稳

18、后的状后的状态态极限概率分布极限概率分布;(2)求此信源的求此信源的熵熵；(3)近似近似认为认为信源无信源无记忆时记忆时，符号的概率分布等于平，符号的概率分布等于平 稳稳分布。分布。求近似信源的求近似信源的熵熵H(X)，并与，并与H进进行比行比较较；(4)对对一一阶马阶马尔尔可夫信源可夫信源p取何取何值时值时H取最大值？又当取最大值？又当p=0或或p=1时结果如何？时结果如何？012p/2p/2qp/2p/2p/2p/2qq例例4：设设有一信源，它在开始有一信源，它在开始时时以以p(a)=0.6、p(b)=0.3、p(c)=0.1的概率的概率发发出符号出符号X1，如果，如果X1为为a时时，则则

19、X2为为a、b、c的概率均的概率均为为1/3；如果；如果X1为为b时时，则则X2为为a、b、c的概率均的概率均为为1/3；如果；如果X1为为c时时，则则X2为为a、b的概率的概率均均为为1/2，为为c的概率的概率为为0。而且后面。而且后面发发出出Xi的概率只的概率只与与Xi-1有关。又有关。又p(Xi|Xi-1)=p(X2|X1)，i3。利用马尔。利用马尔可夫信源的图示画出状态转移图，并计算信源熵可夫信源的图示画出状态转移图，并计算信源熵H。n 马氏链的可约性马氏链的可约性马氏链可约性马氏链可约性:若对所有若对所有 k，都有都有k步转移概率步转移概率p(k)ij=0，就意味就意味着一旦出现着一

20、旦出现 Si以后不可能到达以后不可能到达Sj,也就是不能各态遍也就是不能各态遍历，或者状态中应把历，或者状态中应把Sj取消，这样就成为可约的了。取消，这样就成为可约的了。k步转移概率：步转移概率：经过经过k个时刻后状态的转移概率。个时刻后状态的转移概率。p(k)ij=p(sl+k=Ej|sl=Ei)马氏链不可约性马氏链不可约性:对任意一对对任意一对i和和j，都存在至少一个都存在至少一个k使使p(k)ij0，这就是说从这就是说从Si开始，总有可能到达开始，总有可能到达 Sj.S1S3S21/21/21/21/21S4S51/21/2可约马氏链可约马氏链1/21/2 由状态由状态S3转移转移到到S

21、1的转移概率的转移概率p(k)31=0，因为一因为一进人状态进人状态S3就一直继续下去，而不会再转移到就一直继续下去，而不会再转移到其他状态其他状态。P(k)41=0也是明显的，因也是明显的，因S4和和S1之间之间没有连接箭头，因此这种链就是可约的。没有连接箭头，因此这种链就是可约的。小结小结 两种有记记忆信源比较两种有记记忆信源比较类型类型 m阶马尔可夫过程阶马尔可夫过程 m长有记忆信源长有记忆信源 依赖关系依赖关系(相当于相当于)记忆长度为记忆长度为mm个符号为一组个符号为一组组内相关，组间无关组内相关，组间无关描述描述 状态转移状态转移(条件条件)概率概率 联合概率联合概率 每符号每符号

22、平均熵平均熵 极限熵极限熵Hm+1 Hm(X)=lim(1/m)H(X1X2Xm)总结总结:各种离散信源的熵各种离散信源的熵 (1)(1)发出单个符号消息的离散无记忆信源熵发出单个符号消息的离散无记忆信源熵 若信源发出若信源发出N N个不同符号个不同符号X X1 1，X X2 2，X Xi i，X XN N,代表代表N N种不种不同的符号，各个符号的概率分别为同的符号，各个符号的概率分别为 P P1 1，P P2 2，P Pi i，P PN N 因为这些符号相互独立，所以该信源熵为：因为这些符号相互独立，所以该信源熵为：H H（X X）P Pi iloglogP Pi i bit/bit/符号

23、符号 (2)(2)发出符号序列消息的离散无记忆信源熵发出符号序列消息的离散无记忆信源熵 发出发出K K重符号序列消息的离散无记忆信源熵为共熵重符号序列消息的离散无记忆信源熵为共熵H(XH(XK K)，它与单，它与单个符号消息信源熵个符号消息信源熵H(X)H(X)有如下关系：有如下关系：H(XH(XK K)KH(X)KH(X)KK P Pi iloglogP Pi i bit/bit/符号序列符号序列 (3)(3)发出符号序列消息的离散有记忆信源熵发出符号序列消息的离散有记忆信源熵 发出发出K K重符号序列消息的离散有记忆信源熵也为共熵重符号序列消息的离散有记忆信源熵也为共熵H(XH(XK K)

24、当当K K2 2时时 H(XH(X2 2)H(X)H(X)H(X|X)H(X|X)H(X|X)H(X)H(X|X)H(X)H(XH(X2 2)2H(X)2H(X)推广到推广到K K重重 H(XH(XK K)H(X)H(X)H(X|X)H(X|X)H(X|XXH(X|XXX)X)bit/bit/符号序列符号序列(K1)个个 (4)(4)发出符号序列消息的马尔可夫信源熵发出符号序列消息的马尔可夫信源熵 马尔可夫信源熵是条件熵马尔可夫信源熵是条件熵 若从前一状态若从前一状态E Ei i转移到后一状态转移到后一状态E Ej j有多种可能性，则信源由有多种可能性，则信源由状态状态E Ei i发出一个符号

25、的发出一个符号的H Hi i为为 H Hi i P(j|i)logP(j|iP(j|i)logP(j|i)再进一步对前一状态再进一步对前一状态E Ei i的全部可能性作统计平均，就得马的全部可能性作统计平均，就得马尔可夫信源熵尔可夫信源熵 H H 为为 H H P(i)HP(i)Hi i P(iP(i)P(j|i)logP(j|iP(j|i)logP(j|i)bit/)bit/符号符号 4.各种离散信源的时间熵各种离散信源的时间熵 信源的时间熵信源的时间熵在单位时间内信源发出的平均信息量，单位在单位时间内信源发出的平均信息量，单位 为为s(s(秒秒)或其他特定的时间单位或其他特定的时间单位 发

26、出单个符号消息的离散无记忆信源的时间熵发出单个符号消息的离散无记忆信源的时间熵 已知离散无记忆信源各符号的概率空间已知离散无记忆信源各符号的概率空间 由于发出各符号所占有时间是不同的由于发出各符号所占有时间是不同的 可设符号可设符号X X1 1的长度为的长度为b b1 1，X X2 2为为b b2 2，X Xi i为为b bi i，X XNN为为b bNN 单位均为单位均为s(s(秒秒)则信源各符号的平均长度是各个的概率加权平均值，即则信源各符号的平均长度是各个的概率加权平均值，即 X XP(X)P(X)X X1 1，X X2 2，X Xi i，X XNNP P1 1，P P2 2，P Pi

27、i，P PNNs/符号 则信源的时间熵则信源的时间熵 H Ht t为：为：若各符号时间长度相同，均为若各符号时间长度相同，均为b(sb(s)，则可直接得，则可直接得 又若信源每秒平均发出又若信源每秒平均发出 n n个符号，有个符号，有 此时，信源时间熵此时，信源时间熵 H Ht t为：为：bit/sbit/s符号符号/sbit/sbit/s 发出符号序列消息的离散无记忆信源的时间熵发出符号序列消息的离散无记忆信源的时间熵 对对K K重符号序列的离散无记忆信源的信源熵为：重符号序列的离散无记忆信源的信源熵为：H(XH(XK K)KH(X)bit/KH(X)bit/符号序列符号序列 K K重符号序

28、列消息的平均长度为信源各符号平均长度的重符号序列消息的平均长度为信源各符号平均长度的K K倍，即倍，即 这种信源的时间熵这种信源的时间熵 H Ht t为：为：可见，它在数值上与上面一种信源的时间熵相同可见，它在数值上与上面一种信源的时间熵相同s/s/符号序列符号序列 bit/sbit/s 若该信源每秒内平均发出若该信源每秒内平均发出n n个个K K重符号序列消息，则有：重符号序列消息，则有：此时此时 HtHt为：为：发出符号序列消息的离散有记忆信源的时间熵发出符号序列消息的离散有记忆信源的时间熵 计算方法与发出符号序列无记忆信源的时间熵一致，但计算方法与发出符号序列无记忆信源的时间熵一致，但

29、H(XH(XK K)KH(X)KH(X)同样若信源在每秒内平均发出同样若信源在每秒内平均发出n n个个K K重符号序列消息，有重符号序列消息，有 符号序列符号序列/s/sbit/sbit/sbit/sbit/s 符号序列符号序列/s/sbit/s5.信源的冗余度信源的冗余度 信源熵信源熵 表示信源输出每一个符号所携带的信息量。表示信源输出每一个符号所携带的信息量。对于一个具体信源，它所具有的总信息量是一定的对于一个具体信源，它所具有的总信息量是一定的 信息熵越大（每个信源符号所承载的信息量越大）信息熵越大（每个信源符号所承载的信息量越大）输出全部信源信息所需传送的符号就越少输出全部信源信息所需

30、传送的符号就越少 通信效率越高通信效率越高 这是我们研究信息熵的目的这是我们研究信息熵的目的 离散无记忆信源：离散无记忆信源：信源符号间彼此无依赖、等概率分布，信源熵最大信源符号间彼此无依赖、等概率分布，信源熵最大（最大熵定理最大熵定理）H Hmaxmax，携带信息的效率最高。，携带信息的效率最高。离散有记忆信源：离散有记忆信源：信源输出符号间彼此依赖、相关，信源熵减小（条件信源输出符号间彼此依赖、相关，信源熵减小（条件熵无条件熵），输出符号间相关长度越长，信源熵熵无条件熵），输出符号间相关长度越长，信源熵越小。越小。所有有记忆信源、非等概率离散无记忆信源熵所有有记忆信源、非等概率离散无记忆信

31、源熵 H Hmaxmax 信源的冗余度信源的冗余度R R 1 1减去熵的相对率。减去熵的相对率。熵的相对率熵的相对率 信源的实际信息熵与具有信源的实际信息熵与具有同样符号集的最大熵的比值。同样符号集的最大熵的比值。【注注】u 信源符号间依赖关系越大，信源冗余度越大。信源符号间依赖关系越大，信源冗余度越大。u 信息论研究目的提高信息传输的信息论研究目的提高信息传输的有效性、可靠性、保有效性、可靠性、保密性密性。u 从提高信源输出有效性的观点出发，希望从提高信源输出有效性的观点出发，希望减少或去掉减少或去掉冗余度冗余度。u 冗余度大的信源冗余度大的信源具有较强的抗干扰能力具有较强的抗干扰能力，当干

32、扰使，当干扰使信息在传输过程中出现错误时，可从它的上下关联中信息在传输过程中出现错误时，可从它的上下关联中纠正错误，因此从提高信息传输可靠性观点出发，总纠正错误，因此从提高信息传输可靠性观点出发，总是希望是希望增加信源冗余度增加信源冗余度。u 信源编码就是通过信源编码就是通过减少或消除信源冗余度减少或消除信源冗余度来提高通来提高通信的传输效率，即提高通信的信的传输效率，即提高通信的有效性有效性。u 信道编码则是通过信道编码则是通过增加信源的冗余度增加信源的冗余度来提高通信的来提高通信的抗干扰能力，即提高通信的抗干扰能力，即提高通信的可靠性可靠性。连续信源的熵连续信源的熵 对对连连续续信信源源的

33、的分分析析，也也可可以以类类似似于于离离散散信信源源从从单单个个连连续续消消息息（随随机机变变量量）开开始始，再再推推广广至至连连续续消消息息序序列列。对对于于单单个个连连续续随随机机变变量量可可采采用用概概率率密密度度来来描描述述：对对连连续续随随机机序序列列可可采采用用相相应应的的序序列列概概率率密密度度来来描描述述；而而对对于于连连续续的的随随机机过过程程一一般般也也可可以以按按照照采采样样定定理理分分解解为连续随机序列来描述。为连续随机序列来描述。连连续续随随机机变变量量可可以以看看作作是是离离散散随随机机变变量量的的极极限限，故故可可采采用用离离散随机变量来逼近。散随机变量来逼近。首

34、先类比概率首先类比概率p pi i与概率密度与概率密度p(xp(x)：（一）单个连续随机变量信源熵（一）单个连续随机变量信源熵 令令xa,b，且且ab,现现将将它它均均匀匀的的划划分分为为n份份，每每份份宽宽度度为为 ，则，则x处于第处于第i个区间的概率为个区间的概率为pi，则则pi=(中值定理中值定理)即即当当p(x)为为x的的连连续续函函数数时时，由由中中值值定定理理，必必存存在在一一个个xi值值，使使上式成立。上式成立。再按照离散信源的信息熵的定义有：再按照离散信源的信息熵的定义有：于于是是我我们们定定义义前前一一项项取取有有限限值值的的项项为为连连续续信信源源的的信信息息熵熵，并并记记

35、为为H Hc c(X X).).也叫相对熵也叫相对熵即：即：Hc(X)=也可记为：也可记为：Hc(X)=其中其中R1 表示实轴。表示实轴。(二二)两个连续随机变量信源熵两个连续随机变量信源熵 联合熵联合熵条件熵条件熵几种特殊连续信源的熵几种特殊连续信源的熵一、均匀分布信源：一、均匀分布信源：Hc(X)=log2(b-a)结论结论 熵值只与均匀分布间隔熵值只与均匀分布间隔(b-a)有关，有关，若若 b-a 0四、最大熵定理四、最大熵定理1.限限峰值功率的最大熵定理峰值功率的最大熵定理 均匀分布的连续信源具最大熵均匀分布的连续信源具最大熵2.限平均功率的最大熵定理限平均功率的最大熵定理 高斯分布的连续信源具最大熵高斯分布的连续信源具最大熵3.限均值的最大熵定理限均值的最大熵定理 指数分布的连续信源具最大熵指数分布的连续信源具最大熵结论结论 连续信源的最大熵因条件而异连续信源的最大熵因条件而异 离散信源的最大熵出现于等概之时离散信源的最大熵出现于等概之时