第三章 信源及信源熵精选文档.ppt

《第三章 信源及信源熵精选文档.ppt》由会员分享，可在线阅读，更多相关《第三章 信源及信源熵精选文档.ppt（60页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章第三章 信源及信源熵信源及信源熵本讲稿第一页，共六十页第三章第三章 信源及信源熵信源及信源熵n信源的主要问题：信源的主要问题：n信源的描述（数学建模）；信源的描述（数学建模）；n信源输出信息能力的定量分析（信源熵）；信源输出信息能力的定量分析（信源熵）；n信源信息的有效表示（信息编码）。信源信息的有效表示（信息编码）。编码器编码器信道信道译码器译码器信宿信宿噪声源噪声源信源信源本讲稿第二页，共六十页第三章第三章 信源及信源熵信源及信源熵n3.1 3.1 信源的分类及其数学模型信源的分类及其数学模型n3.2 3.2 离散单符号信源离散单符号信源n3.3 3.3 离散多符号信源离散多符号信源

2、n3.3.1 3.3.1 离散平稳信源离散平稳信源n3.3.2 3.3.2 离散平稳无记忆信源离散平稳无记忆信源n3.3.3 3.3.3 离散平稳有记忆信源离散平稳有记忆信源n3.3.4 3.3.4 马尔可夫信源马尔可夫信源 n3.4 3.4 信源的相关性和剩余度信源的相关性和剩余度本讲稿第三页，共六十页3.1 3.1 信源的分类及其数学模型信源的分类及其数学模型n信源的分类信源的分类分类分类1 1：根据信源输出的消息在时间和取值上是离散或连续分。：根据信源输出的消息在时间和取值上是离散或连续分。时间（空间)取值信源种类举例数学描述离散离散离散信源（数字信源）文字、数据、离散化图像 离散随机变

3、量序列 离散连续连续信号跳远比赛的结果、语音信号抽样以后 连续随机变量序列 连续连续波形信源（模拟信源）语音、音乐、热噪声、图形、图像 随机过程 连续离散不常见本讲稿第四页，共六十页3.1 3.1 信源的分类及其数学模型信源的分类及其数学模型分类分类2 2：根据各维随机变量的概率分布：根据各维随机变量的概率分布是否随时间的推移而变化是否随时间的推移而变化分。分。1 1）平稳信源）平稳信源2 2）非平稳信源）非平稳信源分类分类3 3：根据随机变量间：根据随机变量间是否统计独立是否统计独立分。分。1 1）有记忆信源）有记忆信源2 2）无记忆信源）无记忆信源本讲稿第五页，共六十页3.1 3.1 信源

4、的分类及其数学模型信源的分类及其数学模型实际信源分类：实际信源分类：信信源源本讲稿第六页，共六十页3.2 3.2 离散单符号信源离散单符号信源n定义定义n输出单个离散取值的符号的信源称为输出单个离散取值的符号的信源称为离散单符号信源离散单符号信源。n是最简单也是最基本的信源，是组成实际信源的基本单元。是最简单也是最基本的信源，是组成实际信源的基本单元。n用一个离散随机变量表示。用一个离散随机变量表示。n数学模型数学模型本讲稿第七页，共六十页3.2 3.2 离散单符号信源离散单符号信源n信源输出信息能力信源输出信息能力n信源的平均自信息量（信息熵）：信源的平均自信息量（信息熵）：信源信源输输出出

5、的所有消息的自信的所有消息的自信息的统计平均值。息的统计平均值。n举例举例1二元信源二元信源X 输出符号只有两个，设为输出符号只有两个，设为0和和1。输出符号发生的。输出符号发生的概率分别为概率分别为p和和q，p+q=1。即信源的概率空间为。即信源的概率空间为则该信源的熵为：则该信源的熵为：本讲稿第八页，共六十页3.2 3.2 离散单符号信源离散单符号信源n举例举例2掷骰子：掷骰子：为六元信源。为六元信源。则该信源的熵为：则该信源的熵为：本讲稿第九页，共六十页3.3 3.3 离散多符号信源离散多符号信源n定义定义n离散多符号信源离散多符号信源：输出为输出为符号序列符号序列。n用离散随机变量序列

6、用离散随机变量序列（随机矢量）（随机矢量）表示，即：表示，即：n举例举例n以抛掷以抛掷N次硬币为研究对象的试验次硬币为研究对象的试验n中文自然语言文字中文自然语言文字n离散多符号信源的实质离散多符号信源的实质n不是多个信源不是多个信源n而是以由一个信源发出的多个符号为研究对象的等价信源。而是以由一个信源发出的多个符号为研究对象的等价信源。本讲稿第十页，共六十页3.3 3.3 离散多符号信源离散多符号信源n理清与离散多符号信源相关的几种常见信源的关系：理清与离散多符号信源相关的几种常见信源的关系：n离散平稳信源离散平稳信源 离散多符号信源输出的随机变量序列的统计特性往往比较离散多符号信源输出的随

7、机变量序列的统计特性往往比较复杂，分析起来比较困难。复杂，分析起来比较困难。为了便于分析，假设信源输出的是为了便于分析，假设信源输出的是平稳随机序列平稳随机序列，即：，即：序列的统计特性与时间的推移（起点）无关。序列的统计特性与时间的推移（起点）无关。实际中很多信源也满足这个假设。实际中很多信源也满足这个假设。n举例举例n以抛掷以抛掷N次硬币为研究对象的试验次硬币为研究对象的试验n中文自然语言文字中文自然语言文字离散平稳信源又分为无记忆信源和有记忆信源。离散平稳信源又分为无记忆信源和有记忆信源。均为离散平稳均为离散平稳信源信源本讲稿第十一页，共六十页3.3 3.3 离散多符号信源离散多符号信源

8、n离散平稳无记忆信源离散平稳无记忆信源 信源发出的各个符号彼此是统计独立的。信源发出的各个符号彼此是统计独立的。对于多符号信源对于多符号信源X=(X1 X2 XN)，各随机变量，各随机变量Xi(i=1,2,N)之间是统计独立的，即：之间是统计独立的，即：称该多符号信源为称该多符号信源为离散无记忆信源的离散无记忆信源的N次扩展信源次扩展信源。n举例举例n以抛掷以抛掷N次硬币为研究对象的试验次硬币为研究对象的试验 一般情况下，信源在不同时刻发出的符号之间是相互一般情况下，信源在不同时刻发出的符号之间是相互依赖的，这种信源就为依赖的，这种信源就为有记忆信源有记忆信源。本讲稿第十二页，共六十页3.3

9、3.3 离散多符号信源离散多符号信源n离散平稳有记忆信源离散平稳有记忆信源 实际上，许多信源发出的符号往往只与前若干个符号的实际上，许多信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面符号的依赖关系弱。因此，在研究分依赖关系强，而与更前面符号的依赖关系弱。因此，在研究分析时可析时可限制随机序列的记忆长度限制随机序列的记忆长度。当记忆长度为当记忆长度为m+1时，称这种有记忆信源时，称这种有记忆信源为为m阶阶马尔可夫马尔可夫信源信源，即：，即：信源每次发出的符号只与前信源每次发出的符号只与前m个符号有关，与更前面的个符号有关，与更前面的符号无关。符号无关。n举例（离散平稳有记忆信源）举例

10、（离散平稳有记忆信源）n中文自然语言文字中文自然语言文字本讲稿第十三页，共六十页3.3.1 3.3.1 离散平稳信源离散平稳信源n 定义定义：对于随机变量序列对于随机变量序列 ，在任意两个不同时刻，在任意两个不同时刻 和和 (和和 为大于为大于1 1的任意整数的任意整数)信源发出消息的概率分布完全相同，即对于任意的信源发出消息的概率分布完全相同，即对于任意的 ，和和 具有相同的概率分布。也就是具有相同的概率分布。也就是:即各维联合概率分布均与时间起点无关的信源称为即各维联合概率分布均与时间起点无关的信源称为离散平稳信源离散平稳信源。本讲稿第十四页，共六十页3.3.1 3.3.1 离散平稳信源离

11、散平稳信源n推论推论1 离散平稳信源的条件概率分布与时间起点无关，只与关联长度离散平稳信源的条件概率分布与时间起点无关，只与关联长度N有关。有关。本讲稿第十五页，共六十页3.3.1 3.3.1 离散平稳信源离散平稳信源n推论推论2 本讲稿第十六页，共六十页n离散多符号平稳信源不确定度的度量：离散多符号平稳信源不确定度的度量：对于离散多符号信源对于离散多符号信源,我们引入我们引入熵率熵率熵率熵率的概念，它表示信源输出的符号序的概念，它表示信源输出的符号序列中，平均每个符号所携带的信息量。列中，平均每个符号所携带的信息量。n定义（熵率）：定义（熵率）：随机变量序列中，对前随机变量序列中，对前N个随

12、机变量的联合熵求平均：个随机变量的联合熵求平均：称为称为平均符号熵平均符号熵。如果当。如果当 时上式极限存在，则时上式极限存在，则 称为称为熵率熵率，或称为或称为极限熵极限熵，记为，记为 3.3.1 3.3.1 离散平稳信源离散平稳信源本讲稿第十七页，共六十页3.3.2 3.3.2 离散平稳无记忆信源离散平稳无记忆信源n定义定义 信源发出的各个符号彼此是统计独立的。信源发出的各个符号彼此是统计独立的。对于多符号信源对于多符号信源X=(X1 X2 XN)，各随机变量，各随机变量Xi(i=1,2,N)之之间是统计独立的，即：间是统计独立的，即：称该多符号信源为称该多符号信源为离散无记忆信源的离散无

13、记忆信源的N次扩展信源次扩展信源。n举例举例n以抛掷以抛掷N次硬币为研究对象的试验次硬币为研究对象的试验 本讲稿第十八页，共六十页3.3.2 3.3.2 离散平稳无记忆信源离散平稳无记忆信源n分析信源熵分析信源熵 N次扩展信源（次扩展信源（N长离散平稳无记忆信源）的熵等于单符号离散信源长离散平稳无记忆信源）的熵等于单符号离散信源熵的熵的N倍。倍。对N个独立的随机变量X1,X2,XN，有：平稳本讲稿第十九页，共六十页3.3.2 3.3.2 离散平稳无记忆信源离散平稳无记忆信源n熵率熵率离散平稳无记忆信源的熵率等于单符号离散信源熵。离散平稳无记忆信源的熵率等于单符号离散信源熵。n例例1离散无记忆信

14、源为：离散无记忆信源为：X:a1,a2,a3；P(X):1/4,1/2,1/4，试求：，试求：1）该信源的熵；）该信源的熵；2）写出该信源的二次扩展信源，并求其概率分布；）写出该信源的二次扩展信源，并求其概率分布；3）根据）根据2）中结果求该信源二次扩展信源的信源熵及熵率。）中结果求该信源二次扩展信源的信源熵及熵率。本讲稿第二十页，共六十页3.3.2 3.3.2 离散平稳无记忆信源离散平稳无记忆信源 2）写出该信源的二次扩展信源，并求其概率分布；）写出该信源的二次扩展信源，并求其概率分布；解：解：二次扩展信源为：二次扩展信源为：信源符号为：信源符号为：其概率分布为：其概率分布为：A1A9A1=

15、a1a1A2=a1a2A3=a1a3A4=a2a1A5=a2a2A6=a2a3A7=a3a1A8=a3a2A9=a3a3A1A2A3A4A5A6A7A8A91/161/81/161/81/41/81/161/81/16本讲稿第二十一页，共六十页3.3.2 3.3.2 离散平稳无记忆信源离散平稳无记忆信源3）根据）根据2）中结果求该信源二次扩展信源的信源熵及熵率。）中结果求该信源二次扩展信源的信源熵及熵率。计算可得：计算可得：可见：可见：A1A2A3A4A5A6A7A8A91/161/81/161/81/41/81/161/81/16本讲稿第二十二页，共六十页3.3.3 3.3.3 离散平稳有记

16、忆信源离散平稳有记忆信源n离散平稳有记忆信源定义离散平稳有记忆信源定义信源发出的符号间相互有依赖关系。信源发出的符号间相互有依赖关系。n分析信源熵分析信源熵独立熵函数的链规则：对N个随机变量X1,X2,XN，有：本讲稿第二十三页，共六十页回顾上节课的内容回顾上节课的内容n信源及信源熵信源及信源熵n信源的主要问题信源的主要问题n信源的描述（数学建模）；信源的描述（数学建模）；n信源输出信息能力的定量分析（信源熵）；信源输出信息能力的定量分析（信源熵）；本讲稿第二十四页，共六十页回顾上节课的内容回顾上节课的内容n离散单符号信源离散单符号信源n数学模型数学模型n信息熵信息熵本讲稿第二十五页，共六十页

17、回顾上节课的内容回顾上节课的内容n离散多符号信源离散多符号信源n描述方法描述方法 n实质实质n不是多个信源不是多个信源n而是以由一个信源发出的多个符号为研究对象的等价信源。而是以由一个信源发出的多个符号为研究对象的等价信源。n信息不确定程度的度量：信息不确定程度的度量：熵率熵率本讲稿第二十六页，共六十页回顾上节课的内容回顾上节课的内容n实际信源分类：实际信源分类：信信源源本讲稿第二十七页，共六十页3.3.3 3.3.3 离散平稳有记忆信源离散平稳有记忆信源n离散平稳有记忆信源的几个结论：离散平稳有记忆信源的几个结论：n（1）条件熵）条件熵 随随N的增加是递减的；的增加是递减的；含义：含义：记忆

18、长度越长，条件熵越小；记忆长度越长，条件熵越小；即：序列的统计约束关系增加时，不确定性减少。即：序列的统计约束关系增加时，不确定性减少。n（2）N给定时平均符号熵大于等于条件熵，即给定时平均符号熵大于等于条件熵，即n（3）平均符号熵）平均符号熵 随随N的增加是递减的；的增加是递减的；含含义义：序序列列的的统统计计约约束束关关系系增增加加时时，由由于于符符号号间间的的相相关关性性，平平均每个符号所携带的信息量减少。均每个符号所携带的信息量减少。本讲稿第二十八页，共六十页3.3.3 3.3.3 离散平稳有记忆信源离散平稳有记忆信源n（4）如果如果 ，则则 存在，并且存在，并且含义：含义：给出了计算

19、熵率的另一种方法。给出了计算熵率的另一种方法。法法1：法法2：一一般般情情况况下下，平平稳稳信信源源输输出出的的符符号号序序列列其其相相关关性性可可追追溯溯到到最最初初的的一一个个符符号号，故故要要准准确确计计算算需需确确定定无无穷穷维维联联合合概概率率和和条条件件概率，这相当困难。为此：概率，这相当困难。为此：常用常用N不太大时的平均符号熵或条件熵来作为熵率的近似值。不太大时的平均符号熵或条件熵来作为熵率的近似值。本讲稿第二十九页，共六十页3.3.3 3.3.3 离散平稳有记忆信源离散平稳有记忆信源n马尔可夫信源（离散平稳有记忆信源的特例）：马尔可夫信源（离散平稳有记忆信源的特例）：n定义：

20、定义：信源在某时刻发出的符号仅与在此之前发出的有限个符信源在某时刻发出的符号仅与在此之前发出的有限个符号有关，而与更早些时候发出的符号无关，这称为号有关，而与更早些时候发出的符号无关，这称为马尔可夫性马尔可夫性，这类信源称为这类信源称为马尔可夫信源马尔可夫信源。如果信源在某时刻发出的符号仅与在此之前发出的如果信源在某时刻发出的符号仅与在此之前发出的 m个符号个符号有关，则称为有关，则称为m阶马尔可夫信源阶马尔可夫信源。nm阶马尔可夫信源熵率计算阶马尔可夫信源熵率计算：马尔可夫性平稳性记忆长度？本讲稿第三十页，共六十页3.3.3 3.3.3 离散平稳有记忆信源离散平稳有记忆信源n例例2离散有记忆

21、信源为：离散有记忆信源为：X:x1,x2,x3；P(X):1/4,4/9,11/36，输出符号，输出符号序列中，只有前后两个符号有记忆，条件概率序列中，只有前后两个符号有记忆，条件概率P(X2|X1)如下表所示：如下表所示：求：求：1）该信源熵率；）该信源熵率；2）比较）比较H(X2|X1),*H(X1X2),H(X)。x1x2x3x17/92/90 x21/83/41/8x302/119/11X2X1本讲稿第三十一页，共六十页3.3.3 3.3.3 离散平稳有记忆信源离散平稳有记忆信源解：解：1)只有前后两个符号有记忆，故为马尔可夫信源，则：只有前后两个符号有记忆，故为马尔可夫信源，则：2）

22、比较）比较H(X2|X1),*H(X1X2),H(X)。可见：可见：本讲稿第三十二页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源n定义：定义：信源在某时刻发出的符号仅与在此之前发出的有限个符号有关，信源在某时刻发出的符号仅与在此之前发出的有限个符号有关，而与更早些时候发出的符号无关，这称为而与更早些时候发出的符号无关，这称为马尔可夫性马尔可夫性，这类信，这类信源称为源称为马尔可夫信源马尔可夫信源。随机矢量序列随机矢量序列符号序列符号序列状态序列（集）状态序列（集）马尔可夫链马尔可夫链本讲稿第三十三页，共六十页3.3.4 马尔可夫信源马尔可夫信源n马尔可夫信源模型：马尔可夫信源模型

23、：n对于一般的对于一般的 阶马尔可夫信源，它的阶马尔可夫信源，它的概率空间概率空间可以表示成：可以表示成：n令令 ，从而得到马，从而得到马尔可夫信源的尔可夫信源的状态空间状态空间为：为：状态空间由所有状态及状态间的状态空间由所有状态及状态间的状态转移概率状态转移概率组成。组成。符号转移概率本讲稿第三十四页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源n状态转移概率计算：状态转移概率计算：n马尔可夫链的状态转移图马尔可夫链的状态转移图1 1）每个圆圈代表一种状态；）每个圆圈代表一种状态；2 2）状态之间的有向线代表某一状态向另一状态的转移；）状态之间的有向线代表某一状态向另一状态的转

24、移；3 3）有向线一侧的符号和数字分别代表发出的符号和条件概率。）有向线一侧的符号和数字分别代表发出的符号和条件概率。n二元一阶马尔可夫信源状态转移图举例：二元一阶马尔可夫信源状态转移图举例：一阶马尔可夫信源的状态转移概率等于符号转移概率（信源输一阶马尔可夫信源的状态转移概率等于符号转移概率（信源输出符号的条件概率）。出符号的条件概率）。1：0.750：0.50：0.251：0.5本讲稿第三十五页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源n状态转移概率算法（以二元二阶马尔可夫信源为例）：状态转移概率算法（以二元二阶马尔可夫信源为例）：设一个二元设一个二元二阶马尔可夫信源，原始符

25、号集为二阶马尔可夫信源，原始符号集为1,0，信源输出，信源输出符号条件概率为：符号条件概率为：P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5 试求其状态转移概率。试求其状态转移概率。解：解：1）确定状态数：）确定状态数：由题得：由题得：可能的状态为：可能的状态为：qm本讲稿第三十六页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源2）由条件概率分析状态转移概率：）由条件概率分析状态转移概率：信源输出符号条件概率为：信源输出符号条件概率为：P(0|00)=P(1|11)=0.8 P(

26、1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5 信源的状态为：信源的状态为：状态之间的转移概率为状态之间的转移概率为：p(s1|s1)=p(s2|s1)=p(s3|s1)=p(s4|s1)=p(s1|s2)=p(s2|s2)=p(s3|s2)=p(s4|s2)=p(s1|s3)=p(s2|s3)=p(s3|s3)=p(s4|s3)=p(s1|s4)=p(s2|s4)=p(s3|s4)=p(s4|s4)=本讲稿第三十七页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源则状态转移图为：则状态转移图为：也可写作状态转移矩阵形式：也

27、可写作状态转移矩阵形式：01 100:0.51:0.20:0.2 000:0.8 111:0.81:0.50:0.51:0.5ij本讲稿第三十八页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源nm阶马尔可夫信源熵率的计算：阶马尔可夫信源熵率的计算：即：即：m阶马尔可夫信源的极限熵阶马尔可夫信源的极限熵H等于条件熵等于条件熵Hm+1。（只介绍齐次遍历马尔可夫信源极限熵的计算。）（只介绍齐次遍历马尔可夫信源极限熵的计算。）（补充齐次遍历马尔可夫链的定义。）（补充齐次遍历马尔可夫链的定义。）马尔可夫性平稳性本讲稿第三十九页，共六十页3.3.4 3.3.4 马尔可夫信源（补充内容）马尔可夫

28、信源（补充内容）补充：补充：n对一般的马尔可夫链，其状态转移概率可表示为：对一般的马尔可夫链，其状态转移概率可表示为：含义为：含义为：马尔可夫链在马尔可夫链在m时刻时刻处于处于si的条件下，在的条件下，在m+n时刻处于时刻处于sj的转移的转移概率。概率。n当当n=1时，时，称为一步转移概率，其，称为一步转移概率，其对应的矩阵记为：对应的矩阵记为：n当当n=k1时，时，称为，称为k步转移概率，其对应的步转移概率，其对应的矩阵记为：矩阵记为：本讲稿第四十页，共六十页3.3.4 3.3.4 马尔可夫信源（补充内容）马尔可夫信源（补充内容）n齐次（时齐）马尔可夫链：齐次（时齐）马尔可夫链：马尔可夫链的

29、转移概率只与状态马尔可夫链的转移概率只与状态si、sj和时间间隔和时间间隔n有关，而与有关，而与时间起点时间起点m无关。无关。则，记为：则，记为：n当当n=1时，时，称为一步转移概率，其对应的矩阵，称为一步转移概率，其对应的矩阵记为记为P。n当当n=k1时，时，称为，称为k步转移概率，其对应的步转移概率，其对应的矩阵记为矩阵记为 。n对于齐次马尔可夫链，一步转移概率完全决定对于齐次马尔可夫链，一步转移概率完全决定k步转移概率，步转移概率，即：即：本讲稿第四十一页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源nm阶马尔可夫信源熵率的计算：阶马尔可夫信源熵率的计算：即：即：齐次性马尔可

30、夫信源处于Si状态的概率一步转移概率本讲稿第四十二页，共六十页3.3.4 3.3.4 马尔可夫信源（补充内容）马尔可夫信源（补充内容）n某时刻的状态的概率分布的确定：某时刻的状态的概率分布的确定：在在k时刻，马尔可夫信源处于时刻，马尔可夫信源处于sj状态状态的概率为：的概率为：其中，其中，为初始概率。为初始概率。n遍历性（各态历经性）：遍历性（各态历经性）：若齐次马尔可夫链对一切若齐次马尔可夫链对一切i，j存在存在不依赖于不依赖于i的极限：的极限：，并且并且 ，则称其具有遍历性（各态历经，则称其具有遍历性（各态历经性），这时性），这时 称为极限分布或平稳分布。称为极限分布或平稳分布。含义：含义

31、：马尔可夫信源在初始时刻可以处于任意状态，然后马尔可夫信源在初始时刻可以处于任意状态，然后经过足够长的时间之后，经过足够长的时间之后，信信源所处的状态已与初始状态无关，这时，源所处的状态已与初始状态无关，这时，各种状态出现的概率已达到一各种状态出现的概率已达到一种稳定分布种稳定分布，即平稳分布，并将此分布记为，即平稳分布，并将此分布记为Wj。本讲稿第四十三页，共六十页3.3.4 3.3.4 马尔可夫信源（补充内容）马尔可夫信源（补充内容）n时齐遍历马尔可夫信源某状态概率分布的确定：时齐遍历马尔可夫信源某状态概率分布的确定：法法1:法法2：Wj是满足方程组是满足方程组 的唯一解的唯一解。不易求解

32、。Wj常用求解方法。本讲稿第四十四页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源nm阶马尔可夫信源熵率的计算：阶马尔可夫信源熵率的计算：即：即：齐次性极限分布Wi一步转移概率本讲稿第四十五页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源n例：例：求图示二阶马尔可夫信源求图示二阶马尔可夫信源的极限熵。的极限熵。解：解：由图得，该马尔可夫信源为遍历的，则：由图得，该马尔可夫信源为遍历的，则：1）求极限分布）求极限分布 。01 100:0.51:0.20:0.2 000:0.8 111:0.81:0.50:0.51:0.5由状态转移由状态转移图中指向某图中指向某状态的箭头状

33、态的箭头确定。确定。本讲稿第四十六页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源2）求）求H。本讲稿第四十七页，共六十页3.3.4 3.3.4 马尔可夫信源马尔可夫信源2）求）求H。01 100:0.51:0.20:0.2 000:0.8 111:0.81:0.50:0.51:0.5由状态转移图中从由状态转移图中从某状态发出的箭头某状态发出的箭头确定。确定。本讲稿第四十八页，共六十页3.4 3.4 信源的相关性和剩余度信源的相关性和剩余度n信源的相关性：信源的相关性：n定义：定义：信源输出符号间的依赖关系。信源输出符号间的依赖关系。n对于平稳信源，可以用对于平稳信源，可以用条件概

34、率条件概率来描述信源间的相关性，且有：来描述信源间的相关性，且有：离散平稳离散平稳信源信源m阶阶Markov信信源源一阶一阶Markov信信源源实际信源实际信源离散无记忆离散无记忆信源信源等概的离散无记等概的离散无记忆信源忆信源本讲稿第四十九页，共六十页3.4 3.4 信源的相关性和剩余度信源的相关性和剩余度n信源的相关性：信源的相关性：n信源的记忆长度越长，信源熵越小。信源的记忆长度越长，信源熵越小。n信源的记忆长度越短，信源熵越大。信源的记忆长度越短，信源熵越大。n当信源符号间彼此没有任何依赖关系且呈等概率分布时，信源当信源符号间彼此没有任何依赖关系且呈等概率分布时，信源熵达到最大值。熵达

35、到最大值。对于固定的符号集，记忆长度短且概率分布相对对于固定的符号集，记忆长度短且概率分布相对均匀的信源更能有效地传递信息。均匀的信源更能有效地传递信息。本讲稿第五十页，共六十页3.4 3.4 信源的相关性和剩余度信源的相关性和剩余度n举例：举例：设信源符号集中符号个数为设信源符号集中符号个数为4。则：符号独立且等概时的最大熵则：符号独立且等概时的最大熵H0为：为：log4=2bit；若符号间有相关性且不等概分布，使得极限熵为若符号间有相关性且不等概分布，使得极限熵为1.2bit，则对由该符号集中，则对由该符号集中10个符个符号构成的消息，其信息熵为：号构成的消息，其信息熵为：1.2*10=1

36、2bit。则：则：1）信源）信源1的的10个符号可以表示的信息量为：个符号可以表示的信息量为：20bit。2）由信源）由信源2表示的表示的12bit信息用信源信息用信源1则只需则只需6个符号即可。个符号即可。可见：可见：1）符号独立且等概时的信源传递信息的效率高；）符号独立且等概时的信源传递信息的效率高；2）信源）信源2中有中有4个符号是用于描述符号间的相关性的，而不是用于传输信息的，个符号是用于描述符号间的相关性的，而不是用于传输信息的，对于传输信息而言，这对于传输信息而言，这4个符号是冗余的。个符号是冗余的。信源1信源2本讲稿第五十一页，共六十页3.4 3.4 信源的相关性和剩余度信源的相

37、关性和剩余度n信源效率（熵的相对率）：信源效率（熵的相对率）：一个信源的熵率（极限熵）与具有相同符号集的最大熵的比值，一个信源的熵率（极限熵）与具有相同符号集的最大熵的比值，即：即：n信源剩余度（冗余度）：信源剩余度（冗余度）：n压缩方法：压缩方法：1）减小符号间的相关性；）减小符号间的相关性；2）使信源输出消息等概分布。）使信源输出消息等概分布。上例中，=1.2/2=0.6上例中，=1-1.2/2=0.4信息的剩余度表示信源可压缩的程度。信息的剩余度表示信源可压缩的程度。信源编码本讲稿第五十二页，共六十页3.4 3.4 信源的相关性和剩余度信源的相关性和剩余度n例：例：计算汉字的剩余度。假设

38、常用汉字约为计算汉字的剩余度。假设常用汉字约为10000个，其具体概率分布见下表，不考个，其具体概率分布见下表，不考虑符号间相关性的条件下，计算汉字的剩余度。虑符号间相关性的条件下，计算汉字的剩余度。则：则：H0=13.288bit/符号；H=9.773bit/符号；类别汉字个数所占概率每个汉字的概率11400.50.5/14024850.350.35/485317750.1470.147/1775476000.0030.003/7600本讲稿第五十三页，共六十页本章小结本章小结n信源的分类信源的分类n离散单符号信源离散单符号信源n数学模型数学模型n信息熵信息熵本讲稿第五十四页，共六十页本章小

39、结本章小结n离散多符号信源离散多符号信源n描述方法描述方法 n实质实质n不是多个信源不是多个信源n而是以由一个信源发出的多个符号为研究对象的等价信源。而是以由一个信源发出的多个符号为研究对象的等价信源。n信息不确定程度的度量：信息不确定程度的度量：熵率熵率本讲稿第五十五页，共六十页本章小结本章小结n离散平稳无记忆信源离散平稳无记忆信源n描述方法描述方法离散无记忆信源的离散无记忆信源的N N次扩展信源，次扩展信源，。n信源熵：信源熵：n熵率计算方法：熵率计算方法：本讲稿第五十六页，共六十页本章小结本章小结n离散平稳有记忆信源（以马尔可夫信源为研究对象）离散平稳有记忆信源（以马尔可夫信源为研究对象）n数学模型数学模型n模型模型1：n模型模型2：本讲稿第五十七页，共六十页本章小结本章小结n离散平稳有记忆信源（以马尔可夫信源为研究对象）离散平稳有记忆信源（以马尔可夫信源为研究对象）nm阶马尔可夫信源熵率计算方法阶马尔可夫信源熵率计算方法nm=1（只有两个符号相关）（只有两个符号相关）nm1（多于两个符号相关）（多于两个符号相关）本讲稿第五十八页，共六十页作业作业2nP47 P47 作业作业1 1：3.13.1，3.23.2，3.53.5，3.73.7，3.113.11作业作业2 2：3.33.3，3.183.18本讲稿第五十九页，共六十页本讲稿第六十页，共六十页