信息论与编码第2章信源与熵.ppt

第第2 2章章 信源熵信源熵n2.0 信源的数学模型及其分类信源的数学模型及其分类n2.1 单符号离散信源单符号离散信源n2.2 多符号离散平稳信源多符号离散平稳信源n2.3 连续信源连续信源n2.4 离散无失真信源编码定理离散无失真信源编码定理(*)1本节内容本节内容n通信的根本问题通信的根本问题是将信源的输出信息将信源的输出信息在接收端尽可能精确地复现出来。在接收端尽可能精确地复现出来。n需要讨论：如何描述信源的输出如何描述信源的输出，即如何计算信源输出的信息量如何计算信源输出的信息量。n信源的数学模型n信源的分类2什么是信源？什么是信源？n信源信源信息的发源地，如人、生物、机器等等。n由于信息十分抽象，所以我们通过信息载荷者，即消息来研究信源，并将信源的具体输出称作消息消息。n消息的形式多样：离散消息（如汉字、符号、字母）；连续消息（如模拟图像、语音）。n信源建模信源建模：信源消息中的信息是一个时变的不可预知的函数。n描述信源消息或对信源建模，随机过程是一个有效的工具，通过随机过程的特性来描述信源的特性。3信源输出的描述信源输出的描述 信源发出消息，消息载荷信息，而消息又具有不确定性，所以可用随机变量随机变量随机变量随机变量或随机序列（矢量）随机序列（矢量）随机序列（矢量）随机序列（矢量）来描述信源输出的消息，或者说用概率空间来描述信源。信源的输出被抽象为一个随机变量序列（随机过程）。信源 X1,X2,X3,Xi为为 a1,a2,a3,am或或(a,b)4离散信源和连续信源离散信源和连续信源n用随机变量或随机矢量来描述信源的输出消息，用概率空间来描述信源时，则信源就是一个概率场：概率场：n离散信源：离散信源：信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。n比如平面图像 X(x，y)和电报、书信、文稿等等n离散信源只涉及一个随机事件，称为单符号离散信源，可用离散随机变量来描述；n若离散信源涉及多个随机事件，称为多符号离散信源，可用离散随机矢量来描述。n连续信源：连续信源：信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。n比如人发出的语音信号X(t)、模拟的电信号等等5离散和连续信源的数学模型离散和连续信源的数学模型6单单/多符号信源模型多符号信源模型n单符号信源：单符号信源：信源输出的是单个消息符号，用一维离散或连续随机变量X及其概率分布P来描述。n多符号信源：多符号信源：信源输出的是多个消息符号，用N维随机矢量，N重离散概率空间的数学模型来描述。n如自然语言信源就是把人类的语言作为信源，以汉字为例，就是随机地发出一串汉字序列。n我们可以把这样信源输出的消息视为时间上或空间上离散的随机变量序列，即随机矢量。n于是，信源的输出可用N维随机矢量(Xk,k=1,2,.,N)来描述，N一般为有限正整数。7多符号信源的数学模型多符号信源的数学模型 N重离散概率空间重离散概率空间8信源的分类信源的分类 主要基于两方面：n1.信源消息取值的集合以及消息取值时刻的集合n离散信源、连续信源 或数字信源、模拟信源（波形信源）n2.信源消息的统计特性n由此可分为无记忆信源、有记忆信源、n平稳信源、非平稳信源、n高斯信源、马尔可夫信源等。n实际使用的是二者的组合n如离散无记忆信源等。9信源的分类信源的分类离散平稳信源n如果随机序列中各个变量具有相同的概率分布，则称为离散平稳信源离散平稳信源离散平稳信源离散平稳信源。n如果离散平稳信源的输出序列中各个变量是相互独立的，即前一个符号的出现不影响以后任何一个符号出现的概率，则称为离散无记忆平离散无记忆平离散无记忆平离散无记忆平稳信源稳信源稳信源稳信源，否则称为离散有记忆平稳离散有记忆平稳离散有记忆平稳离散有记忆平稳信源信源信源信源10信源的分类信源的分类无记忆信源n如果信源发出的消息符号间彼此是统计独立的，并且它们具有相同的概率分布，且N维随机矢量的联合概率分布为：n我们称之为离散无记忆信源离散无记忆信源离散无记忆信源离散无记忆信源。n同样，若N维随机矢量中X每个变量Xk是连续随机变量，且相互独立，则X的联合概率密度函数n为 ，这种信源叫连续型无记忆信源连续型无记忆信源连续型无记忆信源连续型无记忆信源11信源的分类有记忆信源n一般情况下，信源发出的符号间是彼此相互依存和关联的（如小说文字），是有记忆信源，通常用联合概率或条件概率来描述这种关联性。n按记忆长度划分有：n有限记忆信源（马尔可夫信源）n有限状态马尔可夫链n无限记忆信源 12混合信源混合信源n按信源输出时间和取值划分：n时间连续，取值连续或随机的，称之为随机波形信源，表示为X(t)。n输出既有连续分量又有离散分量，称之为混合信源。重点研究离散信源产生消息的不确定性，不研重点研究离散信源产生消息的不确定性，不研究信源的内部结构和消息的如何产生。究信源的内部结构和消息的如何产生。13信源的分类信源的分类随机过程随机过程x(t)：随机波形信源随机波形信源信源输出的消息是时间（或空间）上和取值上都是连续的函数离散无记忆信源的离散无记忆信源的N次扩展信源次扩展信源：输出的平稳随机序列X中各随机变量统计独立。每个随机变量xi取值于同一概率空间。每N个符号构成一组，等效为一个新的信源随机随机变量变量离散信源离散信源：可能输出的消息数有限连续信源连续信源：可能输出的消息数是无限的或不可数的非平稳非平稳信源信源平稳平稳信源信源连续连续连续连续平稳信源平稳信源离散离散离散离散平稳信源平稳信源：输出的随机序列X中每个随机变量取值是离散离散离散离散的，并且随机矢量X的各维概率分布不随时间平移而改变有限记忆信源有限记忆信源：输出的平稳随机序列X中各随机变量之间有依赖关系，但记忆长度有限马尔可夫信源马尔可夫信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限，并满足马尔可夫链的条件式随机随机序列序列14第第2 2章章 信源熵信源熵n2.0 信源的数学模型及其分类信源的数学模型及其分类n2.1 单符号离散信源单符号离散信源n2.2 多符号离散平稳信源多符号离散平稳信源n2.3 连续信源连续信源n2.4 离散无失真信源编码定理离散无失真信源编码定理15第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系162.1.1 单符号离散信源的单符号离散信源的数学模型数学模型n定义：单符号离散无记忆信源的数学模型17第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系18随机事件与信息量n你的同学告诉你：“昨天中国男子足球队以3：0战胜了巴西队”，你的感觉如何？n如果你的同学又告诉你：“昨天中国男子乒乓球队以3：0战胜了巴西队”，你的感觉又如何？n比较从这两件事情当中你获得信息量的大小？19自信息量定义n定义 2.1.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。n自信息量的单位取决于对数选取的底。n单位：比特bit、奈特nat、哈特Hart。n当对数的底取2时，单位为比特bitn当以自然数e为底时，单位为奈特natn当以10为底时，单位为哈特hart20自信息量的单位n在现代数字通信系统中，一般采用二进制的记数方式。在信息量的计算中也多采用以2为底的方式，一般默认以2为底n三个信息单位比特bit、奈特nat、哈特Hart之间的转换关系如下：21对数及常用公式Examples:22信息量、不确定度和惊讶度n在事件发生前有不不确确定定度度：不确定度不确定度与事件发生与否无关，它表征的是事件的特性；n在事件发生时有惊讶惊讶度度；n在事件发生后带来信息信息量量：n因此，当一个概率很低的随机事件发生，我们就会感到因此，当一个概率很低的随机事件发生，我们就会感到非常惊讶，并得到很大的信息量。非常惊讶，并得到很大的信息量。n如：9.11事件，美国纽约世贸大厦被炸；n彗星撞地球23自信息量n从信息源获取信息的过程是信源不确定度信源不确定度缩减的过程。n随机事件包含的信息信息与其不确定度紧密相关n在统计分析中，使用概率概率作为衡量不确定性的一种指标。n可以推论出：随机事件包含信息的度量应是其随机事件包含信息的度量应是其概率的函数。概率的函数。24自信息量与不确定度(例)n例：有一本n页书，每页200字，作者使用的词汇有1000个字。那么，1000个字每次取200个字构成一页，其总排列组合数也就是一页书总的状态数共有1000200=N1，对于n页书，则不同状态数将增加到N1n，即Nn=N1n=(1000)200 n=1000200n n假定每种状态是等概的，则n页书中对应每一种状态的概率为Pn=1/Nn=1/N1n=1/1000200n n n用概率倒数的对数来度量其不确定度用概率倒数的对数来度量其不确定度用概率倒数的对数来度量其不确定度用概率倒数的对数来度量其不确定度，则为log(1/Pn)=log(Nn)=nlog(N1)n记1页（n页）书每种状态的不确定度为H1（Hn）n则Hn=log(1/Pn)=log(Nn)=nlog(N1)=nH1=Hnn也就是说n n页书包含的信息量是页书包含的信息量是页书包含的信息量是页书包含的信息量是1 1页书包含信息量的页书包含信息量的页书包含信息量的页书包含信息量的n n倍倍倍倍。25自信息量的性质n值得注意的是：26自信息量（例）n某地二月份天气的概率分布统计如下：n这四种气候的自信息量分别为：n可见不同天气情况具有不同的自信息量，n自信息量具有随机变量的性质27联合自信息量n定义 2.1.2 二维联合集XY上的元素（）的联合自信息量定义为n式中 为积事件；为元素 的二维联合概率。n当X和Y相互独立时，28条件自信息量n定义 2.1.3 联合集XY中，对事件 和 ，事件 在事件 给定的条件下的条件自信息量定义为n由于每个随机事件的条件概率都处于0 1范围内，所以条件自信息量均为非负值。29几种自信息量之间的关系n自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性n三者都是随机变量，其值随着变量xi，yj的变化而变化。n三者之间有如下关系式：30例：联合自信息量n设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置：n将方格按顺序编号，令乙猜测棋子所在方格的顺序号；n解：xy31例：条件自信息量n设在一正方形棋盘上共有64个方格，将方格按行和列编号，甲将棋子所在方格的行（或列）编号告诉乙之后，再令乙猜测棋子所在列（或行）的位置。n解：xy32自信息量不能作为信源的自信息量不能作为信源的整体信息测度整体信息测度n自信息量 是指某一信源X发出某一信息符号 所含有的信息量。发出的信息符号不同，它们所含有的信息量就不同。n信源发出的信息符号可用随机事件来描述。n自信息量是一个随机变量，它反映了信源发出某一信息符号的不确定性，不能反映整个信源的不确定性。它不能用来作为整个信源的信息测度。33信源的概率空间描述信源的概率空间描述n用概率空间来描述信源。n用这个概率空间的可能状态数目及其概率来描述信源的不确定程度：n其中：nX是信源的状态空间，为一个离散集，表示了随机事件的状态数；nP(X)是随机事件各种可能状态的概率分布，且P(x)=1，n各状态是相互独立的。n通常记为X,P(x)34信源的不确定度举例信源的不确定度举例n分析整个信源的不确定性n有一个布袋，装有100个对手感觉一样的球，但颜色不同，每种颜色球的数量也不同。随意从中拿出一球，猜测球的颜色。n1、90个红球，10个白球-容易猜测n2、50个红球，50个白球-较难猜测n3、红、白、黑、黄球各25个-更难猜测n容易看出：信源的不确定度与信源所包含的随机事件的可能状态数目和每种状态的概率有关。35信源不确定度的几个结论信源不确定度的几个结论n关于信源不确定度的几个结论：n信源的不确定程度与信源概率空间的状态数及其概率分布有关n如果信源概率空间的状态数确定，概率分布为等概时，不确定程度最大n等概时，不确定程度与信源概率空间的可能状态数（或相应的概率）有关，状态数越多（或相应的概率越小），不确定程度就越大。n信源的不确定程度可以用信源概率空间的概率分布来描述。通常记为H(X)=H(p1,p2,.pN)n对于上面的例子，有nH3(1/4,1/4,1/4,1/4)H2(1/2,1/2)H1(0.90,0.10)36 平均自信息量平均自信息量信息熵信息熵n自信息量是随机变量，它反映了信源发出某一信息符号的不确定性，但不能用来作为整个信源的信息测度。因此，我们引入平均自信息量，即信息熵信息熵。n定义 2.3.1 集X上，随机变量I(xi)的数学期望定义为平均自信息量n集X的平均自信息量又称做是集X的信息熵，简称做熵。含义上信息熵与热熵有相似之处。37平均不确定性平均不确定性n集X的平均自信息量表示集X中事件出现的平均不确定性n在观测之前，确定确定集合X中出现一个事件平均所需的信息量；n观测之后，集合X中每出现一个事件平均给出的信息量。n例：38信息熵的单位信息熵的单位n n离散集合离散集合离散集合离散集合X X信息熵的单位取决于对数选取的底信息熵的单位取决于对数选取的底信息熵的单位取决于对数选取的底信息熵的单位取决于对数选取的底。n如果一个离散集合X的概率分布为n个状态等概，选取对数底为n，由信息熵定义n可以说此集合X包含了1个n进制单位的信息量，用一个n进制的数就可以表示此集合的信息。n在现代数字通信系统中，一般采用二进制的记数方式。在信息熵的计算中也多采用以2为底的方式，且默认记为H(X)。由对数公式可以得到r进制与二进制之间的关系：39从布袋中摸球（例）从布袋中摸球（例）n如果每次摸出一个球后又放回袋中，再进行下一次摸取。那么如此摸取n次，红球出现的次数为np(x1)次，白球出现的次数为np(x2)次。随机摸取n次后总共所获得的信息量为：np(x1)I(x1)+np(x2)I(x2)n平均随机摸取一次所获得的信息量则为：n从此例可以看出，平均自信息量，亦即信息熵H(X)是从平均意义上来表征信源的总体特征的一个量，它表征信源的平均不确定性40从布袋中摸球（例）从布袋中摸球（例）n继续从布袋中摸球n使用信息熵定义计算三种情况下信源的平均不确定性41信源熵与平均自信息量信源熵与平均自信息量n信源熵与平均自信息量数值相等，含义不同n信源熵表征信源的平均不确定度；n平均自信息量是消除信源不确定度所需要的信息的度量；n信源熵H(X)的三种物理含义：n表示信源输出后，每个离散消息所提供的平均信息量；n表示信源输出前，信源的平均不确定度；n反映了变量X的随机性。42条件熵条件熵n定义 2.3.3 联合集XY上，条件自信息量I(x|y)的概率加权平均值定义为条件熵。其定义式为n上式称为联合集XY中，集Y相对于集X的条件熵。n条件熵又可写成n式中取和的范围包括XY二维空间中的所有点。这里要注意条件熵用联合概率p(xy)，而不是用条件概率p(y|x)进行加权平均。43为什么条件熵为什么条件熵要用联合概率进行加权平均？要用联合概率进行加权平均？44联合熵联合熵n定义 2.3.4 联合集XY上，每对元素的自信息量的概率加权平均值定义为联合熵。n根据联合自信息量的定义，联合熵又可定义为n联合熵又可称为共熵。45第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系46熵函数的数学特征n随机变量集X的熵H(X)只是其概率分布 的函数，称为熵函数。所以H(X)又可以记为n根据此式，再由概率的完备性，可知H(P)H(P)实际上是实际上是(q-1)(q-1)元函数元函数。n如二元熵，有n为讨论熵函数的性质，需借用凸函数的概念47熵熵函数函数的基本性质的基本性质n非负性n对称性n极值性n极值性特例最大离散熵定理n凸函数性n扩展性n确定性n可加性48熵函数的性质熵函数的性质 1.非负性非负性n非负性n其中，等号成立的充要条件是当且仅当对某n即，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号几乎都不可能出现，那么，这个信源是一个确知信源，其信源熵等于零。n这种非负性对于离散信源的熵是正确的，但是对于连续信源来说，该性质不存在。49熵函数的性质熵函数的性质 2.对称性对称性n当概率矢量 中的各分量的次序任意变更时，熵值不变。n该性质说明信源的熵仅与信源总体的统计特性有关。如果统计特性相同，不管其内部结构如何，其信源熵值都相同。n例，A,B两地天气情况的平均不确定性为晴多云多云多云多云雨冰雹冰雹冰雹冰雹地域A 1/21/41/81/8地域B 1/21/81/81/450熵函数的性质熵函数的性质 3.极值性、极值性、最大熵定理最大熵定理n该性质表明，在离散情况下，集合X中的各事件依等概率发生时，熵达到极大值。这个重要结论称为最大熵定理最大熵定理。n集合中元素的数目n越多，其熵值就越大n对数函数的单调上升性。51熵函数的性质熵函数的性质 4.扩展性扩展性n证明：所以通过熵函数的定义可以证明上式成立。n含义：若集合X有q个事件，另一个集合X有q+1个事件，但X和X集的差别只是多了一个概率接近于零的事件，则两个集的熵值一样。n换言之，一个事件的概率与其中其它事件的概率相比很小时，它对集合的熵值的贡献可以忽略不计。52熵函数的性质熵函数的性质 5.确定性确定性n集合X中只要有一个事件为必然事件，则其余事件为不可能事件。n此时，集合X中每个事件对熵的贡献都为零，因而熵必为零。53熵函数的性质熵函数的性质 6.可加性可加性n可加性：可加性：n如果有两个随机变量X，Y，它们不是相互独立的，则二维随机变量（X，Y）的熵等于X的无条件熵加上当X已给定时Y的条件概率定义的熵的统计平均值，即n强可加性：强可加性：n当二维随机变量X，Y相互统计独立时，则有54熵函数的性质熵函数的性质 可加性证明可加性证明55熵函数的性质熵函数的性质 7.上凸性上凸性n 是概率分布是概率分布 的的严格上凸函数严格上凸函数n可以通过凸函数的概念和詹森(Jenson)不等式证明。n上凸函数如：n二元熵函数n三元熵函数二元熵函数56上凸性证明上凸性证明凸函数的概念凸函数的概念n定义2.3.2 设 为一多元函数。若对于任意一个小于1的正数 以及函数f(X)定义域内的任意两个矢量 有n则称f(X)为定义域上的凸函数。n若有：n则称f(X)为定义域上的上凸函数（Cap型函数）或严格上凸函数。反反反反之之之之，n若有：n则称f(X)为定义域上的下凸函数（Cup型函数）或严格下凸函数。57上凸性证明上凸性证明詹森詹森(Jenson)不等式不等式n引理n若f(x)是定义在区间a,b上的实值连续上凸函数，则对于任意一组 和任意一组非负实数n ：n当取xk为一个离散无记忆信源的信源符号，k取为相应的概率时，显然满足引理条件。n若取f(.)为对数函数，上述不等式可写为nElogxlog(Ex)n或对于一般的凸函数f(.)，写成Ef(x)f(Ex)58第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系59加权熵加权熵n熵的对称性，显露出它无法描述主观意义上对事件的判断的差别，从而淹没了个别事件的重要性。n为了把主观价值和主观意义反映出来，引入加权熵的概念。它是通过引入事件的重量，来度量事件的重要性或主观价值。n一般情况下事件的重量与事件发生的客观概率客观概率客观概率客观概率不一致，事件的重量可以反映主观的特性主观的特性主观的特性主观的特性（就人们的主观目的来说），也可以反映事件本身的某些客观的性质。60加权熵加权熵n设有随机变量X，引入事件的重量后，其概率空间如下，n其中61加权熵定义和性质加权熵定义和性质n定义2.1.10 离散无记忆信源X P W的加权熵定义为 n加权熵的一些重要性质:n性质1 非负性 n性质2 等重性若权重 ，则 。即若每一事件都被赋于同样的重量，则加权熵退化为香农熵。n性质3 确定性。若 ，而 则加权熵为零,即 62加权熵的性质加权熵的性质n性质4 n这一性质表明：某些事件有意义（），但不发生（）；而另外一些事件虽然发生（），但毫无意义（）。所以从主观效果来看，人们并没有获在得任何有意义的信息。63加权熵的性质加权熵的性质n性质5 对称性n性质6 均匀性n性质7 非容性n性质8 扩展性n性质9 线性叠加性n性质10 加权熵的最大值64第第2章章 信源熵信源熵n2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 各种熵之间的关系各种熵之间的关系65各种熵之间的关系各种熵之间的关系n1.联合熵与信息熵、条件熵的关系n2.联合熵与信息熵的关系n3.条件熵与通信熵的关系661.联合熵与信息熵、条件熵联合熵与信息熵、条件熵nH(XY)=H(X)+H(Y/X);H(YX)=H(Y)+H(X/Y)nH(X)+H(Y/X)=H(Y)+H(X/Y)nH(X)H(X|Y)=H(Y)H(Y|X)n如果集X和集Y相互统计独立，则有：H(XY)=H(X)+H(Y)n还可将此性质推广到多个随机变量构成的概率空间之间的关系。设有N个概率空间X1,X2,XN 其联合熵可表示为 n如果N个随机变量相互独立，则有67联合熵与信息熵、条件熵关系式联合熵与信息熵、条件熵关系式的证明的证明证明：对于离散联合集XY，共熵为682.联合熵与信息熵的关系联合熵与信息熵的关系n若集合X和Y统计独立，则n该性质可以推广到N个概率空间的情况n同理，上式等号成立的充要条件是：69H(XY)H(X)+H(Y)的证明的证明703.条件熵与通信熵的关系条件熵与通信熵的关系H(Y/X)H(Y)71H(Y/X)H(Y)证明（续）证明（续）72例例2.3.4 求联合集求联合集X,Y上的各种上的各种熵熵n设一系统的输入符号集X=(x1,x2,x3,x4,x5）输出符号集Y=（y1,y2,y3,y4），如图所示。输入符号与输出符号的联合分布为73例例2.3.4 计算先验概率、后验计算先验概率、后验概率概率74例例2.3.4 计算后验概率（续）计算后验概率（续）75例例2.3.4计算联合熵、信息熵计算联合熵、信息熵(续续)76例例2.3.4 计算条件熵计算条件熵(续续)77例例2.3.4（续）例题验证关系式（续）例题验证关系式nH(XY)=2.665比特/符号nH(X)=2.066比特/符号;H(Y)=1.856比特/符号nH(X/Y)=0.809比特/符号;H(Y/X)=0.600比特/符号n有：nH(XY)=2.6653.922=H(X)+H(Y)nH(X)+H(Y)=2.066+1.856=3.922nH(Y)+H(X/Y)=1.856+0.809=2.665nH(X)+H(Y/X)=2.066+0.600=2.666n注意到：nH(XY)=H(Y)+H(X/Y)=H(X)+H(Y/X)nH(XY)H(X)+H(Y)nH(Y/X)H(Y);H(X/Y)2的N维平稳有记忆信源的熵。108N维平稳有记忆信源的熵维平稳有记忆信源的熵联合熵的分解式联合熵的分解式109N维平稳有记忆信源的熵维平稳有记忆信源的熵条件熵条件熵随随N增加而递减增加而递减110N维平稳有记忆信源的熵维平稳有记忆信源的熵平均符号平均符号熵熵n离散平稳有记忆信源的联合熵(X1X2.XN)，表示平均发出一个消息所提供的信息量。这里的一个消息是由N个符号组成的序列。n信源平均发出一个符号所提供的信息量称为平均平均平均平均符号熵符号熵符号熵符号熵。111N维平稳有记忆信源的熵维平稳有记忆信源的熵极限熵极限熵当N趋于无穷大时的平均符号熵，称为极限熵极限熵极限熵极限熵或极限信息量，记为H。112N维平稳有记忆信源的熵维平稳有记忆信源的熵极限熵的意义极限熵的意义n对于多符号离散平稳信源，实际上它在不断地发出符号，符号之间的统计关联关系并不仅限于长度N，而是伸向无穷远。研究实际信源，必须求出信源的极限熵H。nH是否存在？n如何求H？n当信源是离散平稳信源时，H是存在的，且等于关联长度N趋于时，条件熵的极限值。即有113N维平稳有记忆信源的熵维平稳有记忆信源的熵极限熵存在定理极限熵存在定理114N维平稳有记忆信源的熵维平稳有记忆信源的熵极限熵存在定理（续）极限熵存在定理（续）115N维平稳有记忆信源的熵维平稳有记忆信源的熵极限熵存在定理（续）极限熵存在定理（续）116离散平稳信源离散平稳信源-小结小结n1.实际信源往往比较复杂，在其定义上加入平稳性约束条件即为平稳信源，而平稳信源通常都是有记忆信源。n2.极限熵代表了一般离散平稳有记忆信源平均每发出一个符号所提供的信息量。n3.计算联合熵或极限熵很困难，需要测定信源的无穷阶联合概率和条件概率。一般可用条件熵或平均符号熵作为极限熵的近似值。117第第2节节 多符号离散信源多符号离散信源n2.2.1平稳信源的定义及分类n2.2.2 离散无记忆信源的N次扩展信源n2.2.3 一般离散平稳信源n2.2.4 马尔可夫信源马尔可夫信源n有限状态马尔可夫链有限状态马尔可夫链n马尔可夫信源马尔可夫信源n2.2.5 信源的相关性和剩余度118有限状态马尔可夫链有限状态马尔可夫链定义定义119有限状态马尔可夫链有限状态马尔可夫链转移概率转移概率pij(m,n)n为了知道系统状态的转化情况，引入转移概率n转移概率表示：已知在时刻m系统处于状态ei的条件下，经(n-m)步后，转移到状态ej的概率。它是一个条件概率。n转移概率的性质：120有限状态马尔可夫链有限状态马尔可夫链_基本（一步）转移概率基本（一步）转移概率121有限状态马尔可夫链有限状态马尔可夫链_k步转移概率步转移概率122有限状态马尔可夫链有限状态马尔可夫链_K步转移矩阵步转移矩阵123有限状态马尔可夫链有限状态马尔可夫链_时齐时齐性性124有限状态马尔可夫链有限状态马尔可夫链_切普曼切普曼-柯尔莫哥洛夫方程柯尔莫哥洛夫方程125有限状态马尔可夫链有限状态马尔可夫链_切普曼切普曼-柯尔莫哥洛夫方程（证明柯尔莫哥洛夫方程（证明）126有限状态马尔可夫链有限状态马尔可夫链_遍历性遍历性127有限状态马尔可夫链有限状态马尔可夫链_马尔可夫链的稳态分布马尔可夫链的稳态分布128有限状态马尔可夫链有限状态马尔可夫链_状态分布矢量的递推运算状态分布矢量的递推运算129有限状态马尔可夫链有限状态马尔可夫链_稳态分布稳态分布存在性定理一存在性定理一130有限状态马尔可夫链有限状态马尔可夫链_状态极限概率的求解状态极限概率的求解131有限状态马尔可夫链有限状态马尔可夫链_稳态分布稳态分布存在性定理二存在性定理二132有限状态马尔可夫链有限状态马尔可夫链_例题（遍历性的判断）例题（遍历性的判断）133有限状态马尔可夫链有限状态马尔可夫链例题（稳态分布的求解）例题（稳态分布的求解）134第第2节节 多符号离散信多符号离散信源源n2.2.1平稳信源的定义及分类n2.2.2 离散无记忆信源的N次扩展信源n2.2.3 一般离散平稳信源n2.2.4 马尔可夫信源马尔可夫信源n有限状态马尔可夫链n马尔可夫信源马尔可夫信源n2.2.5 信源的相关性和剩余度135马尔可夫信源定义马尔可夫信源定义136马尔可夫信源马尔可夫信源状态的一步转移概率状态的一步转移概率n马尔可夫信源输出的符号序列Xl完全由信源所处的状态Sl决定。所以，可将信源的输出符号符号系列系列变换成状态系列状态系列，即，信源在l-1时刻的状态ei，当它发出一个符号后，所处的状态变成l时刻的状态ej，这种状态间的变化可用一步转移概率描述137马尔可夫信源马尔可夫信源_时齐遍历性时齐遍历性n时齐性：n转移概率与时间起点无关。n遍历性：n当转移步数足够大时，转移概率与起始状态无关，即达到平稳分布n时齐遍历马尔可夫信源：n同时满足时齐性和遍历性138m阶马尔可夫信源阶马尔可夫信源nm阶马尔可夫信源：n有记忆离散信源，若记忆长度为m1，即信源每次发出的符号仅与前面m个符号有关，与更前面的符号无关，这样的信源称为m阶马尔可夫信源。nm阶马尔可夫信源的记忆关系用条件概率描述为：139m阶马尔可夫信源的数学模型阶马尔可夫信源的数学模型140m阶阶马尔可夫信源马尔可夫信源状态转移图（例状态转移图（例1）n通常我们用马尔可夫链的状态转移图来描述马尔可夫信源。n信源状态转移图141m阶阶马尔可夫信源马尔可夫信源状态转移图（例状态转移图（例2）142m阶阶马尔可夫信源马尔可夫信源状态转移图（例状态转移图（例2续）续）143m阶阶马尔可夫链马尔可夫链状态转移图（例状态转移图（例3）144m阶阶马尔可夫链马尔可夫链状态转移图（例状态转移图（例3续）续）145m阶马尔可夫链阶马尔可夫链状态转移图（例状态转移图（例3续）续）n一步转移矩阵为P146M阶马尔可夫信源阶马尔可夫信源极限熵极限熵H Hm+1n当时间足够长时，遍历的m阶马尔可夫信源可以视为平稳信源，又因为信源发出的符号只与最近的m个符号有关，所以由极限熵定理147M阶马尔可夫信源阶马尔可夫信源Hm+1的的计算计算148计算此马尔可夫信源计算此马尔可夫信源熵熵-例题例题149马尔可夫信源熵马尔可夫信源熵-例题例题(续续)150第第2节节 多符号离散信源多符号离散信源n2.1.1平稳信源的定义及分类n2.2.2 离散无记忆信源的N次扩展信源n2.2.3 一般离散平稳信源n2.2.4 马尔可夫信源n2.2.5 信源的相关性和剩余度信源的相关性和剩余度151信源的相关性信源的相关性152n为了衡量信源的相关性程度，引入剩余度概念信源剩余度信源剩余度153 信源熵和剩余度的概念信源熵和剩余度的概念英语信源英语信源154信源熵和剩余度的概念信源熵和剩余度的概念英语信源英语信源(续续)155小结小结n讨论了具有平稳性和遍历性的马尔可夫信源，了解马尔可夫信源极限熵的存在条件：信源的状态极限概率存在；给出了马尔可夫信源极限熵的求解方法。n设计实际通信系统时，信源剩余度的存在对传输是不利的，应当尽量压缩信源剩余度，以使信源发出的每个符号携带的平均信息量最大。反之，若考虑通信中的抗干扰问题时，则信源剩余度是有利的，常常人为的加入某种特殊的剩余度，以增强通信系统的抗干扰能力。它们分别对应着后续章节的信源编码和信道编码。156第第2章章 信源与熵信源与熵n2.0 信源分类n2.1 单符号离散信源n2.2 多符号离散信源n2.3 连续信源连续信源n2.3.1 连续信源与连续熵连续信源与连续熵n2.3.2 几种特殊连续信源的熵n2.3.3连续熵的性质n2.3.4熵功率157随机波形信源n随随机机波波形形信信源源：输出是时间和取值都连续的随机消息，可用随机过程 来描述，例如：语音、视频信号。n相关概念：n样本函数n随机变量n概率密度函数n随机过程的平稳性n随机过程的遍历性 158随机过程的各态历经性(遍历性)159波形信源的离散化连续信源波形信源的离散化连续信源 n根据采样定理，对于时间受限于T，频率受限于F的连续时间函数，可由2FT个采样值完整地描述，采样间隔为 n通过采样，波形信源转化为时间离散，幅度连续的信源，对样本函数 的描述转化为N维随机序列X，X由N2FT个随机变量组成。n与单符号和多符号离散信源类似，连续信源也有单变量（一维）和多变量（N维）之分。这里只讨论单变量连续信源。对多变量连续信源，可以近似转换为无记忆信源来处理。160连续随机变量的概率描述连续随机变量的概率描述 n单变量连续信源输出的消息取值是连续变化的，通常用连续随机变量来描述这些连续变化的消息值。n连续随机变量用各种概率密度函数概率密度函数来描述。n变量的一维概率密度函数（边缘概率密度函数）p(x)和p(y)n变量间的条件概率密度函数p(x/y)和p(y/x)n联合概率密度函数p(xy)n各种概率密度函数间的关系161单变量连续信源的模型单变量连续信源的模型n单变量连续信源的模型为单变量连续信源的模型为并满足 162连续信源的熵变量离散化连续信源的熵变量离散化n如果将连续随机变量看作是离散随机变量的极限情况，则我们可以这样来研究连续随机变量的信息熵。n令连续随机变量X的取值区间是 ，把它分割成n个小区间,并且各小区间设为等宽 n那么X处于第i个小区间的概率是 n于是事件 的自信息量为163连续信源的熵绝对熵连续信源的熵绝对熵n变量离散化后的连续信源的熵为n当时，得连续信源的熵为n式中第二项将趋于无穷大，这说明连续随机变量的潜在信息量是无连续随机变量的潜在信息量是无连续随机变量的潜在信息量是无连续随机变量的潜在信息量是无穷的穷的穷的穷的。164连续信源的熵相对熵连续信源的熵相对熵n由于在比较两个事件的信息量的大小时，第二项常常被消去，因此去掉式中第二项定义连续随机变量的熵为n n这样定义的熵，常称为连续随机变量的相对连续随机变量的相对连续随机变量的相对连续随机变量的相对熵熵熵熵，或称微分熵，在不引起混淆的情况下简称为熵。165相对熵的意义相对熵的意义n相对熵 不能像离散变量的情况那样，代表信源输出的信息。n连续信源的真实熵是其绝对熵，除相对熵之外，还应有一个无穷大的常量，因而绝对熵一般趋于无穷大。n相对熵 具有相对性。在取两熵之间的差时，才具有信息的一般特征。n相对熵 不能像离散熵那样充当集合中事件出现的不确定性的测度，但它还有许多和离散熵一样的性质，特别是相对熵的差值仍能像离散情况那样表征两个集之间的互信息量。166联合熵和条件熵联合熵和条件熵n同样可以定义连续信源的联合熵和条件熵。n对联合集XY，定义 为联合集XY的相对熵。n定义联合集XY的（相对）条件熵为167第第2章章 信源与熵信源与熵n2.0 信源分类n2.1 单符号离散信源n2.2 多符号离散信源n2.3 连续信源连续信源n2.3.1 连续信源与连续熵n2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵n2.3.3连续熵的性质n2.3.4熵功率168几种特殊连续信源的熵几种特殊连续信源的熵均匀分布信源的熵均匀分布信源的熵n设X是在区间(a,b)内服从均匀分布的连续随机变量169几种特殊连续信源的熵几种特殊连续信源的熵高斯分布信源的熵高斯分布信源的熵170几种特殊连续信源的熵几种特殊连续信源的熵指数分布信源的熵指数分布信源的熵171第第2章章 信源与熵信源与熵n2.0 信源分类n2.1 单符号离散信源n2.2 多符号离散信源n2.3 连续信源连续信源n2.3.1 连续信源与连续熵n2.3.2 几种特殊连续信源的熵n2.3.3连续熵的性质连续熵的性质n2.3.4熵功率172连续熵的性质连续熵的性质n可负性n可加性n上凸性n不同限制下的最大连续熵定理173连续熵的性质连续熵的性质可加性可加性n类似于离散情