第2章信源与信息熵优秀PPT.ppt
第2章信源与信息熵现在学习的是第1页，共72页2023/2/2322.1信源的描述与分类n信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源n信源的基本特性是具有随机不确定性具有随机不确定性现在学习的是第2页，共72页2023/2/2332.1信源特性与分类n分类n时间 离散 连续n幅度 离散 连续n记忆 有 无n三大类：n单符号离散信源单符号离散信源n符号序列离散信源（有记忆和无记忆）符号序列离散信源（有记忆和无记忆）n连续信源连续信源现在学习的是第3页，共72页2023/2/2342.1信源描述与分类n描述：通过概率空间概率空间描述n单符号离散信源n例如：对二进制数字与数据信源现在学习的是第4页，共72页2023/2/2352.1信源描述与分类u连续信源现在学习的是第5页，共72页2023/2/2362.1信源描述与分类u离散序列信源 以3位PCM信源为例现在学习的是第6页，共72页2023/2/2372.1信源描述与分类 当p=1/2现在学习的是第7页，共72页2023/2/238 2.1信源描述与分类n离散无记忆序列信源n布袋摸球实验，若每次取出一个球，由这些球的颜色组成的消息就是符号序列。若每次取出后都放回布袋，则序列的联合概率可表示为：现在学习的是第8页，共72页2023/2/239 2.1信源描述与分类n离散有记忆序列信源n布袋摸球实验，每次取出一个球，由这些球的颜色组成的消息就是符号序列。若每次取出一个球后，均不再放回布袋均不再放回布袋，则序列的联合概率可表示为：现在学习的是第9页，共72页2023/2/2310 2.1信源描述与分类n马尔可夫信源n当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。现在学习的是第10页，共72页2023/2/2311 2.1信源描述与分类n马尔可夫信源n由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态：n信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si)现在学习的是第11页，共72页2023/2/2312 2.1信源描述与分类n马尔可夫信源n更一般，经过n-m步后转移至sj的概率现在学习的是第12页，共72页2023/2/2313 2.1信源描述与分类n马尔可夫信源n特别关心n-m=1情况，pij(m,m+1)现在学习的是第13页，共72页2023/2/2314 2.1信源描述与分类n马尔可夫信源n系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵，一步转移转移矩阵为现在学习的是第14页，共72页2023/2/2315 2.1信源描述与分类n马尔可夫信源n定义：如果从状态i转移到状态j的概率与m无关，则称这类MovKov链为齐次n对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。nk步转移概率pij(k)与i步和k-i步转移概率之间满足切普曼-柯尔莫郭洛夫方程。现在学习的是第15页，共72页2023/2/2316 2.1信源描述与分类n马尔可夫信源n定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，Wj=P(Sk=sj)称为平稳分布现在学习的是第16页，共72页2023/2/2317 2.1信源描述与分类n马尔可夫信源n定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为Wj现在学习的是第17页，共72页2023/2/2318 2.1信源描述与分类u不可约性，对于任意一对i和j，都存在至少一个k，使pij(k)0.u非周期性，所有pij(n)0的n中没有比1大的公因子。u定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。现在学习的是第18页，共72页2023/2/2319 2.1信源描述与分类nEg.一个相对编码器，求输出状态的平稳分布现在学习的是第19页，共72页2023/2/2320 2.1信源描述与分类n解由方程：现在学习的是第20页，共72页2023/2/2321 2.1信源描述与分类nEg.二阶马氏链，X0,1,求输出状态的平稳分布和最终的符号分布函数 终止状态起始状态000110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)现在学习的是第21页，共72页2023/2/23222.2离散信源熵与互信息n信息量n自信息量n联合自信息量n条件自信息量n单符号离散信源熵n符号熵n条件熵n联合熵现在学习的是第22页，共72页2023/2/23232.2离散信源熵与互信息n信息不确定性的消除n信息的度量随机性、概率相互独立符合事件概率相乘、信息相加n熵事件集的平均不确定性现在学习的是第23页，共72页2023/2/23242.2离散信源熵与互信息G直观推导信息测度C信息I应该是消息概率p的递降函数C由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）现在学习的是第24页，共72页2023/2/23252.2离散信源熵与互信息l定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为 以2为底，单位为比特（bit)以e为底，单位为奈特（nat)1nat=1.433bit 以10为底，单位为笛特（det)1det=3.322bit现在学习的是第25页，共72页2023/2/23262.2离散信源熵与互信息l定义：联合概率空间中任一联合事件的联合（自）信息量为：l定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：现在学习的是第26页，共72页2023/2/23272.2离散信源熵与互信息n联合自信息、条件自信息与自信息间的关系现在学习的是第27页，共72页2023/2/23282.2离散信源熵与互信息 Eg1 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置：（1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。现在学习的是第28页，共72页2023/2/23292.2离散信源熵与互信息 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布（1）联合（自）信息量为 （2）条件（自）信息量为现在学习的是第29页，共72页2023/2/23302.2离散信源熵与互信息 Eg2.一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。解：随机事件的概率空间为现在学习的是第30页，共72页2023/2/23312.2离散信源熵与互信息现在学习的是第31页，共72页2023/2/23322.2离散信源熵与互信息n单符号离散信源熵n定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源信源的信息熵的信息熵，单位为比特比特/符号符号现在学习的是第32页，共72页2023/2/23332.2离散信源熵与互信息n离散信源条件熵n定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵信源的条件熵，单位为比特比特/序列序列现在学习的是第33页，共72页2023/2/23342.2离散信源熵与互信息n离散信源联合熵n定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列现在学习的是第34页，共72页2023/2/23352.2离散信源熵与互信息n联合熵、条件熵与熵的关系现在学习的是第35页，共72页2023/2/23362.2离散信源熵与互信息n单符号离散信源互信息n定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特比特现在学习的是第36页，共72页2023/2/23372.2离散信源熵与互信息n单符号离散信源互信息现在学习的是第37页，共72页2023/2/23382.2离散信源熵与互信息n条件互信息量与联合互信息量n定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为：现在学习的是第38页，共72页2023/2/23392.2离散信源熵与互信息n条件互信息量与联合互信息量n定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为：现在学习的是第39页，共72页2023/2/23402.2离散信源熵与互信息nEg1(p23)设信源发出8种消息符号，各消息等概发送，各符号分别用3位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息x4，用二进码011表示，接收到每个二进制码元后得到有关x4信息。现在学习的是第40页，共72页2023/2/23412.2离散信源熵与互信息现在学习的是第41页，共72页2023/2/23422.2离散信源熵与互信息n平均互信息量 其中现在学习的是第42页，共72页2023/2/23432.2离散信源熵与互信息n熵的性质n对称性n非负性n确定性n香农辅助定理n最大熵定理n条件熵小于无条件熵现在学习的是第43页，共72页2023/2/23442.2离散信源熵与互信息n非负性现在学习的是第44页，共72页2023/2/23452.2离散信源熵与互信息n对称性现在学习的是第45页，共72页2023/2/23462.2离散信源熵与互信息n确定性 n香农辅助定理现在学习的是第46页，共72页2023/2/23472.2离散信源熵与互信息n最大熵定理 n条件熵小于无条件熵现在学习的是第47页，共72页2023/2/23482.2离散信源熵与互信息n平均互信息的性质n非负性n互易性n与熵和条件熵及联合熵关系n极值性n凸性函数性质n信息不增性原理现在学习的是第48页，共72页2023/2/23492.2离散信源熵与互信息n非负性现在学习的是第49页，共72页2023/2/23502.2离散信源熵与互信息n互易性现在学习的是第50页，共72页2023/2/23512.2离散信源熵与互信息n平均互信息与熵的关系现在学习的是第51页，共72页2023/2/23522.2离散信源熵与互信息n互信息量与熵的关系现在学习的是第52页，共72页2023/2/23532.2离散信源熵与互信息n极值性现在学习的是第53页，共72页2023/2/23542.2离散信源熵与互信息n凸性函数n当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数n当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数现在学习的是第54页，共72页2023/2/23552.2离散信源熵与互信息n信息不增性现在学习的是第55页，共72页2023/2/2356 2.3离散序列信源的熵n离散无记忆信源的序列熵现在学习的是第56页，共72页2023/2/2357 2.3离散序列信源的熵n离散无记忆信源的序列熵n平均每个符号熵（消息熵）现在学习的是第57页，共72页2023/2/2358 2.3离散序列信源的熵n离散有记忆信源的序列熵和消息熵现在学习的是第58页，共72页2023/2/2359 2.3离散序列信源的熵nEg 求信源的序列熵和平均符号熵 a1a2a3a1a2a39/111/802/113/42/901/87/9现在学习的是第59页，共72页2023/2/2360 2.3离散序列信源的熵n离散有记忆信源的序列熵和消息熵n结论1 是L的单调非增函数n结论2n结论3 是L的单调非增函数n结论4现在学习的是第60页，共72页2023/2/2361 2.3离散序列信源的熵n马氏链极限熵现在学习的是第61页，共72页2023/2/2362 2.3离散序列信源的熵现在学习的是第62页，共72页2023/2/2363 2.3离散序列信源的熵nEg 求马氏链平均符号熵（三个状态）现在学习的是第63页，共72页2023/2/2364 2.4连续信源的熵与互信息n幅度连续的单个符号信源熵现在学习的是第64页，共72页2023/2/2365 2.4连续信源的熵与互信息n幅度连续的单个符号信源熵现在学习的是第65页，共72页2023/2/2366 2.4连续信源的熵与互信息n波形信源熵现在学习的是第66页，共72页2023/2/2367 2.4连续信源的熵与互信息n最大熵定理现在学习的是第67页，共72页2023/2/2368 2.4连续信源的熵与互信息现在学习的是第68页，共72页2023/2/2369 2.4连续信源的熵与互信息n最大熵定理 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵现在学习的是第69页，共72页2023/2/2370 2.4连续信源的熵与互信息现在学习的是第70页，共72页2023/2/2371 2.5冗余度n冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号间的相关性；二是信源符号一是信源符号间的相关性；二是信源符号分布的不均匀性分布的不均匀性现在学习的是第71页，共72页2023/2/2372 2.5冗余度nEg.计算英文字母冗余度现在学习的是第72页，共72页
