第三章 信源优秀课件.ppt

第三章信源第1页，本讲稿共78页信源的分类及其数学模型第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵l信源是产生消息（符号）、消息序列（符号序列）以及时间连续的信源是产生消息（符号）、消息序列（符号序列）以及时间连续的消息的来源。消息的来源。l 信源的主要问题：信源的主要问题：如何描述信源的输出（信源的建模问题）如何描述信源的输出（信源的建模问题）怎样确定信源产生的信息量怎样确定信源产生的信息量 信源编码信源编码多符号信源多符号信源连续信源连续信源信源分类信源分类单符号信源单符号信源第2页，本讲稿共78页时间（空间）取值信源种类举例消息的数学描述离散离散离散信源（数字信源）文字、数据、离散化图象离散随机变量序列离散连续连续信源连续随机变量序列连续连续波形信源（模拟信源）语音、音乐、热噪声、图形、图象随机过程连续离散不常见根据信源输出消息在时间和取值上是离散或连续分类：根据信源输出消息在时间和取值上是离散或连续分类：第3页，本讲稿共78页信源的分类及其数学模型多符号信源多符号信源连续信源连续信源信源分类信源分类单符号信源单符号信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第4页，本讲稿共78页l 本章重点研究本章重点研究离散平稳无记忆信源离散平稳无记忆信源，以及较简单的有记忆信源，以及较简单的有记忆信源马尔可夫信源马尔可夫信源。l 根据信源发出的单个消息取值是离散值还是连续值，根据信源发出的单个消息取值是离散值还是连续值，信源可分为信源可分为离散离散信源信源/连续连续信源。信源。l 根据信源发出的消息序列之间是否有统计依赖关系，信源可根据信源发出的消息序列之间是否有统计依赖关系，信源可分为分为有记忆有记忆信源信源/无记忆无记忆信源。信源。l 根据根据信源发出的消息序列中的消息，统计特性是否保持不信源发出的消息序列中的消息，统计特性是否保持不变，信源可分为变，信源可分为平稳平稳信源信源/非平稳非平稳信源。信源。信源的分类及其数学模型多符号信源多符号信源连续信源连续信源信源分类信源分类单符号信源单符号信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第5页，本讲稿共78页二：离散单符号信源三：离散多符号信源一：信源的分类及其数学模型四：连续信源第三章：信源及信源熵 第6页，本讲稿共78页离散单符号信源l 离散单符号信源：输出离散取值的单个符号的信源。离散单符号信源：输出离散取值的单个符号的信源。离散单符号信源是最简单、最基本的信源，是组成实际信源的基本单元，离散单符号信源是最简单、最基本的信源，是组成实际信源的基本单元，可以用一个离散随机变量来表示。可以用一个离散随机变量来表示。l 离散单符号信源离散单符号信源X的概率空间：的概率空间：多符号信源多符号信源连续信源连续信源单符号信源单符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第7页，本讲稿共78页离散单符号信源（续）l 信源输出的所有消息的自信息的信源输出的所有消息的自信息的 统计平均值，定义为信源统计平均值，定义为信源的的平均自信息平均自信息（信息熵信息熵）：）：l 信息熵表示离散单符号信源的平均不确定性。信息熵表示离散单符号信源的平均不确定性。多符号信源多符号信源连续信源连续信源单符号信源单符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第8页，本讲稿共78页一：信源的分类及其数学模型二：离散单符号信源三：离散多符号信源1.预备知识预备知识2.离散平稳无记忆信源离散平稳无记忆信源3.离散平稳有记忆信源离散平稳有记忆信源4.马尔可夫信源马尔可夫信源5.信源的相关性和剩余度信源的相关性和剩余度四：连续信源第三章：信源及信源熵 第9页，本讲稿共78页1.预备知识l实际信源输出往往是符号序列，称为离散多符号信源。l离散多符号信源可以用随机矢量/随机变量序列来描述，即l一般来说，信源的统计特性随着时间的推移而有所变化。为了便于研究，我们常常假定在一个较短的时间段内，信源是平稳信源。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第10页，本讲稿共78页1.预备知识（续1）定义定义1：对于离散随机变量序列：对于离散随机变量序列 ，若任意两个不同时刻，若任意两个不同时刻i和和j(大于大于1的任意整数的任意整数)信源发出消息的概率分布完全相同，即对信源发出消息的概率分布完全相同，即对于任意的于任意的 ，和和 具有相同的具有相同的概率分布。也就是概率分布。也就是即各维联合概率分布均与时间起点无关的信源称为即各维联合概率分布均与时间起点无关的信源称为离散平稳信源离散平稳信源。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第11页，本讲稿共78页1.预备知识（续2）对离散平稳信源，由联合概率与条件概率的关系可以推出：对离散平稳信源，由联合概率与条件概率的关系可以推出：因此：因此：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第12页，本讲稿共78页1.预备知识（续3）定义定义2：随机变量序列中，对前随机变量序列中，对前N个随机变量的联合熵求平均称为个随机变量的联合熵求平均称为平平均符号熵均符号熵：如果当如果当 时上式极限存在，则时上式极限存在，则 被称为被称为熵率熵率，或，或极限熵极限熵，记为，记为 单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第13页，本讲稿共78页2.离散平稳无记忆信源l为了研究离散平稳无记忆信源的极限熵，把信源输出的符号序列看成是一组一组发出的。例1：电报系统中，可以认为每2个二进制数字组成一组。这样信源输出的是由2个二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由四个符号00，01，10，11组成，把该信源称为二进制无记忆信源的二次扩展。例2：如果把每三个二进制数字组成一组，这样长度为3的二进制序列就有8种不同的符号，可等效成一个具有8个符号的信源，把它称为二进制无记忆信源的三次扩展信源。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第14页，本讲稿共78页2.离散平稳无记忆信源（续1）l假定信源输出的是N长符号序列，把它看成是一个新信源，称为离散平稳无记忆信源的N次扩展信源，用N维离散随机矢量来表示：lN次扩展信源的概率空间为：l 是一个长为N的序列，单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第15页，本讲稿共78页2.离散平稳无记忆信源（续2）lN次扩展信源的熵：l离散平稳无记忆信源的N次扩展信源的熵等于离散单符号信源熵的N倍：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第16页，本讲稿共78页2.离散平稳无记忆信源（续3）l离散平稳无记忆信源的熵率：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第17页，本讲稿共78页2.离散平稳无记忆信源（续4）例1：设有一离散无记忆信源X，其概率空间为求该信源的熵率及二次扩展信源的熵。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第18页，本讲稿共78页2.离散平稳无记忆信源（续5）解：l离散单符号信源熵比特/符号l熵率：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第19页，本讲稿共78页2.离散平稳无记忆信源（续6）l二次扩展信源的概率空间：l二次扩展信源的熵：比特/二个符号单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第20页，本讲稿共78页3.离散平稳有记忆信源l实际信源常常是有记忆信源。设信源输出N长的符号序列，则可以用N维随机矢量 来表示信源，其中每个随机变量之间存在统计依赖关系。lN维随机矢量的联合熵为：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第21页，本讲稿共78页3.离散平稳有记忆信源（续1）定理：对于离散平稳信源，如果 ，则有单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第22页，本讲稿共78页3.离散平稳有记忆信源（续2）证明：（1）首先证明极限条件熵存在：只要X的样本空间有限，则必然有 。根据条件熵的性质，以及信源的平稳性有 是单调有界数列，极限 必然存在，且极限为0和 之间的某一个值。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第23页，本讲稿共78页3.离散平稳有记忆信源（续3）（2）对于收敛的实数列，有以下结论成立：如果 是一个收敛的实数列，那么利用上述结论可以推出：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第24页，本讲稿共78页3.离散平稳有记忆信源（续4）例例2：信源信源X的信源模型为的信源模型为 输出符号序列中，只有前后两输出符号序列中，只有前后两个符号之间有记忆，条件概率个符号之间有记忆，条件概率空间见右边的表。空间见右边的表。求熵率并比求熵率并比较较 H(X)、H(X2|X1)、1/2H(X1X2)。条件概率条件概率 单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第25页，本讲稿共78页3.离散平稳有记忆信源（续5）解：解：1)1)比特比特/符号符号 2)2)如果不考虑符号间的相关性，则信源熵为如果不考虑符号间的相关性，则信源熵为比特比特/符号符号 3)3)如果把信源发出的符号看成是分组发出的，每两个符号为一组，这个新如果把信源发出的符号看成是分组发出的，每两个符号为一组，这个新信源的熵为信源的熵为比特比特/两个符号两个符号 单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第26页，本讲稿共78页3.离散平稳有记忆信源（续6）结论：结论：如何从理论上解释这个结果？单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第27页，本讲稿共78页4.马尔可夫信源(1)定义(2)熵率(3)马尔可夫信源马尔可夫链(4)马尔可夫链单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第28页，本讲稿共78页4.马尔可夫信源（续1）l 实际的有记忆信源，符号间的相关性可以追溯到很远，使得熵率的计实际的有记忆信源，符号间的相关性可以追溯到很远，使得熵率的计算比较复杂。算比较复杂。l马尔可夫信源马尔可夫信源是一类相对简单的有记忆信源。信源在某一时刻发出某一是一类相对简单的有记忆信源。信源在某一时刻发出某一符号的概率，除与该符号有关外，只与此前发出的有限个符号有关。符号的概率，除与该符号有关外，只与此前发出的有限个符号有关。(1)定义单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第29页，本讲稿共78页4.马尔可夫信源（续2）l对于对于m阶马尔可夫信源，阶马尔可夫信源，(2)熵率l如何计算条件熵？条件概率 通常是已知的，我们需要求解的是联合概率 。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第30页，本讲稿共78页4.马尔可夫信源（续3）(3)马尔可夫信源马尔可夫链单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第31页，本讲稿共78页4.马尔可夫信源（续4）例例3 3：设一个二元一阶马尔可夫信源，信源符号集为设一个二元一阶马尔可夫信源，信源符号集为 ，输出符号的条件概率为输出符号的条件概率为用状态转移图来描述该信源。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第32页，本讲稿共78页4.马尔可夫信源（续5）图1二元一阶马尔可夫信源状态转移图单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第33页，本讲稿共78页4.马尔可夫信源（续6）例例4 4：设一个二元二阶马尔可夫信源，信源符号集为设一个二元二阶马尔可夫信源，信源符号集为 ，输出符号的条，输出符号的条件概率为件概率为求该信源的状态转移图。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第34页，本讲稿共78页4.马尔可夫信源（续7）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第35页，本讲稿共78页4.马尔可夫信源（续8）l对于对于 m阶马尔可夫信源，阶马尔可夫信源，单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第36页，本讲稿共78页4.马尔可夫信源（续9）(4)马尔可夫链l 有限状态马尔可夫链有限状态马尔可夫链l 状态转移概率状态转移概率l 齐次马尔可夫链齐次马尔可夫链l Chapman-Kolmogorov方程方程l马尔可夫链的平稳分布马尔可夫链的平稳分布单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第37页，本讲稿共78页4.马尔可夫信源（续10）l 马尔可夫链马尔可夫链：设设 为一随机序列，如果对所有为一随机序列，如果对所有 ，有，有则称则称 为马尔可夫链。为马尔可夫链。l 如果马尔可夫链的状态空间如果马尔可夫链的状态空间 有限，则被称为有限，则被称为有限状态有限状态马尔可夫链马尔可夫链；如果状态空间；如果状态空间 是无穷集合，则被称为可数无穷是无穷集合，则被称为可数无穷状态的马尔可夫链。状态的马尔可夫链。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第38页，本讲稿共78页4.马尔可夫信源（续11）l 状态转移概率状态转移概率（描述马氏链最重要的参数）：（描述马氏链最重要的参数）：l 状态转移概率的性质：状态转移概率的性质：l 一步转移概率：一步转移概率：l k步转移概率：步转移概率：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第39页，本讲稿共78页4.马尔可夫信源（续12）l 齐次马尔可夫链齐次马尔可夫链：如果马氏链状态转移概率与起始时刻无关，即对任意如果马氏链状态转移概率与起始时刻无关，即对任意m，有，有 ，则称为，则称为时齐马尔可夫链或齐次马尔可夫链时齐马尔可夫链或齐次马尔可夫链，也称为具有平稳转移概率，也称为具有平稳转移概率的马尔可夫链。的马尔可夫链。l 齐次马氏链可以用转移概率矩阵或状态转移图来描述。齐次马氏链可以用转移概率矩阵或状态转移图来描述。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第40页，本讲稿共78页4.马尔可夫信源（续13）l Chapman-Kolmogorov方程方程：或用矩阵表示为或用矩阵表示为单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第41页，本讲稿共78页4.马尔可夫信源（续14）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第42页，本讲稿共78页4.马尔可夫信源（续15）l 遍历性遍历性：若齐次马尔可夫链，若齐次马尔可夫链，存在不依赖于，存在不依赖于 的极限的极限且满足且满足则称其具有遍历性（各态历经性）。则称其具有遍历性（各态历经性）。为平稳分布。为平稳分布。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第43页，本讲稿共78页4.马尔可夫信源（续16）l 定理定理1：是满足方程组是满足方程组 和和 的唯一解。的唯一解。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第44页，本讲稿共78页4.马尔可夫信源（续17）l 定理定理2：设设 为马氏链的状态转移矩阵，则该马氏链平稳分布存在的充要为马氏链的状态转移矩阵，则该马氏链平稳分布存在的充要条件是，存在一个正整数条件是，存在一个正整数 ，使矩阵，使矩阵 中的所有元素均大于零。中的所有元素均大于零。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第45页，本讲稿共78页4.马尔可夫信源（续18）例例5 5：求例：求例4 4中的二阶马尔可夫信源的极限熵。中的二阶马尔可夫信源的极限熵。解：解：1 1）首先根据定理）首先根据定理2 2检查该信源是否存在稳态分布：检查该信源是否存在稳态分布：所有元素均大于所有元素均大于0 0，稳态分布存在。，稳态分布存在。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第46页，本讲稿共78页4.马尔可夫信源（续19）2 2）设状态的平稳分布为）设状态的平稳分布为 ，根据定理，根据定理1 1有有 单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第47页，本讲稿共78页4.马尔可夫信源（续20）3 3）求熵率：）求熵率：单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第48页，本讲稿共78页4.马尔可夫信源（续21）如何求信源发出的符号的极限概率？如何求信源发出的符号的极限概率？单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵符号的平稳概率分布为：如果不考虑符号间的相关性，则由符号的平稳概率分布可得信源熵H(X)=1比特/符号，而考虑符号间的相关性后，该信源的熵率0.80比特/符号第49页，本讲稿共78页4.马尔可夫信源（续22）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵例1：设有一马氏链，其状态转移矩阵为：问是否存在稳态分布。如果存在，求其稳态分布。第50页，本讲稿共78页4.马尔可夫信源（续23）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第51页，本讲稿共78页5.信源的相关性和剩余度l 信源的相关性就是信源符号间的依赖程度。信源的相关性就是信源符号间的依赖程度。l 设信源有设信源有q q个符号，那么对于不同情况可以分别计算信源的熵：个符号，那么对于不同情况可以分别计算信源的熵：（独立等概信源）（平稳无记忆信源）（一阶马尔可夫信源）（m阶马尔可夫信源）（记忆长度无限的信源）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第52页，本讲稿共78页5.信源的相关性和剩余度（续）l 对同一信源，采用不同的模型，计算得到的熵的关系为对同一信源，采用不同的模型，计算得到的熵的关系为l 结论：结论：符号间相关性越大，熵越小。符号间相关性越大，熵越小。单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第53页，本讲稿共78页5.信源的相关性和剩余度（续1）l 定义定义1 1：熵的相对率：熵的相对率l 定义定义2 2：信源的剩余度：信源的剩余度单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第54页，本讲稿共78页英文信源：H0=4.76H1=4.03H2=3.32H3=3.1H5=1.65=1.45.信源的相关性和剩余度（续2）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第55页，本讲稿共78页英文 法文德文 西班牙文 中文 （按8千汉字计算）5.信源的相关性和剩余度（续3）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第56页，本讲稿共78页例3.7：计算汉字的剩余度。假设常用汉字约为10000个，其中140个汉字出现的概率占50%，625个汉字（含140个）出现的概率占85%，2400个汉字（含625个）出现的概率占99.7%，其余7600个汉字出现的概率占0.3%，不考虑符号间的相关性，只考虑它的概率分布，在这一级近似下计算汉字的剩余度。5.信源的相关性和剩余度（续4）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第57页，本讲稿共78页解：为了计算方便，假设每类中汉字出现是等概的，得表类别汉字个数所占概率每个汉字的概率11400.50.5/1402625-140=4850.85-0.5=0.350.35/48532400-625=17750.997-0.85=0.1470.147/1775476000.0030.003/7600H1=H(X)=9.773bit/汉字H0=13.288bit/汉字5.信源的相关性和剩余度（续5）单符号信源单符号信源连续信源连续信源多符号信源多符号信源信源分类信源分类第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第58页，本讲稿共78页一：信源的分类及其数学模型二：离散单符号信源三：离散多符号信源四：连续信源1.连续信源的微分熵连续信源的微分熵 2.连续信源的最大熵连续信源的最大熵3.连续信源的熵功率连续信源的熵功率第三章：信源及信源熵 第59页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵离散：第60页，本讲稿共78页（一）数学模型单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续1）第61页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续2）第62页，本讲稿共78页（二）H(X)：信息熵量化分层连续离散单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续3）p(x)-1-0.500.51x第63页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续4）第64页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续5）第65页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续6）微分熵：h(X)又称为差熵确定值部分无限大常数项第66页，本讲稿共78页同样，我们可以定义两个连续随机变量的联合熵：及条件熵，并且它们之间也有与离散随机变量一样的相互关系：单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续7）第67页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续8）例3.8：求均匀分布的随机变量的微分熵：第68页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续9）微分熵无非负性，可为负值第69页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续10）例3.9：求高斯分布的随机变量的微分熵：第70页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续11）第71页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续12）高斯分布的微分熵与方差有关，与均值无关当均值m=0时，方差代表平均功率P。微分熵只与平均功率有关(平均功率P=直流功率m2+交流功率)第72页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续13）例3.10：求指数分布的随机变量的相对熵：第73页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续14）指数分布的微分熵只取决于均值a第74页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续15）例3.11 求N维高斯信源的熵。第75页，本讲稿共78页思考：若随机噪声在 之间的概率密度函数 。求该信源的微分熵。p(x)-11x单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵1.连续信源的微分熵（续16）第76页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵2.连续信源的最大熵定理3.1在输出幅度受限的情况，服从均匀分布的随机变量X具有最大输出熵。定理3.2对于均值为m，方差为的连续随机变量，当服从高斯分布时具有最大熵。第77页，本讲稿共78页单符号信源单符号信源多符号信源多符号信源信源分类信源分类连续信源连续信源第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵第三章：信源及信源熵熵功率3.连续信源的熵功率第78页，本讲稿共78页