第2章信源与信息熵精.ppt
第2章信源与信息熵第1页，本讲稿共72页2022/10/1722.1信源的描述与分类n信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源n信源的基本特性是具有随机不确定性具有随机不确定性第2页，本讲稿共72页2022/10/1732.1信源特性与分类n分类n时间 离散 连续n幅度 离散 连续n记忆 有 无n三大类：n单符号离散信源单符号离散信源n符号序列离散信源（有记忆和无记忆）符号序列离散信源（有记忆和无记忆）n连续信源连续信源第3页，本讲稿共72页2022/10/1742.1信源描述与分类n描述：通过概率空间概率空间描述n单符号离散信源n例如：对二进制数字与数据信源第4页，本讲稿共72页2022/10/1752.1信源描述与分类u连续信源第5页，本讲稿共72页2022/10/1762.1信源描述与分类u离散序列信源 以3位PCM信源为例第6页，本讲稿共72页2022/10/1772.1信源描述与分类 当p=1/2第7页，本讲稿共72页2022/10/178 2.1信源描述与分类n离散无记忆序列信源n布袋摸球实验，若每次取出一个球，由这些球的颜色组成的消息就是符号序列。若每次取出后都放回布袋，则序列的联合概率可表示为：第8页，本讲稿共72页2022/10/179 2.1信源描述与分类n离散有记忆序列信源n布袋摸球实验，每次取出一个球，由这些球的颜色组成的消息就是符号序列。若每次取出一个球后，均不再放回布袋均不再放回布袋，则序列的联合概率可表示为：第9页，本讲稿共72页2022/10/1710 2.1信源描述与分类n马尔可夫信源n当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。第10页，本讲稿共72页2022/10/1711 2.1信源描述与分类n马尔可夫信源n由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态：n信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si)第11页，本讲稿共72页2022/10/1712 2.1信源描述与分类n马尔可夫信源n更一般，经过n-m步后转移至sj的概率第12页，本讲稿共72页2022/10/1713 2.1信源描述与分类n马尔可夫信源n特别关心n-m=1情况，pij(m,m+1)第13页，本讲稿共72页2022/10/1714 2.1信源描述与分类n马尔可夫信源n系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵，一步转移转移矩阵为第14页，本讲稿共72页2022/10/1715 2.1信源描述与分类n马尔可夫信源n定义：如果从状态i转移到状态j的概率与m无关，则称这类MovKov链为齐次n对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。nk步转移概率pij(k)与i步和k-i步转移概率之间满足切普曼-柯尔莫郭洛夫方程。第15页，本讲稿共72页2022/10/1716 2.1信源描述与分类n马尔可夫信源n定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，Wj=P(Sk=sj)称为平稳分布第16页，本讲稿共72页2022/10/1717 2.1信源描述与分类n马尔可夫信源n定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为Wj第17页，本讲稿共72页2022/10/1718 2.1信源描述与分类u不可约性，对于任意一对i和j，都存在至少一个k，使pij(k)0.u非周期性，所有pij(n)0的n中没有比1大的公因子。u定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。第18页，本讲稿共72页2022/10/1719 2.1信源描述与分类nEg.一个相对编码器，求输出状态的平稳分布第19页，本讲稿共72页2022/10/1720 2.1信源描述与分类n解由方程：第20页，本讲稿共72页2022/10/1721 2.1信源描述与分类nEg.二阶马氏链，X0,1,求输出状态的平稳分布和最终的符号分布函数 终止状态起始状态000110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)第21页，本讲稿共72页2022/10/17222.2离散信源熵与互信息n信息量n自信息量n联合自信息量n条件自信息量n单符号离散信源熵n符号熵n条件熵n联合熵第22页，本讲稿共72页2022/10/17232.2离散信源熵与互信息n信息不确定性的消除n信息的度量随机性、概率相互独立符合事件概率相乘、信息相加n熵事件集的平均不确定性第23页，本讲稿共72页2022/10/17242.2离散信源熵与互信息G直观推导信息测度C信息I应该是消息概率p的递降函数C由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）第24页，本讲稿共72页2022/10/17252.2离散信源熵与互信息l定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为 以2为底，单位为比特（bit)以e为底，单位为奈特（nat)1nat=1.433bit 以10为底，单位为笛特（det)1det=3.322bit第25页，本讲稿共72页2022/10/17262.2离散信源熵与互信息l定义：联合概率空间中任一联合事件的联合（自）信息量为：l定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：第26页，本讲稿共72页2022/10/17272.2离散信源熵与互信息n联合自信息、条件自信息与自信息间的关系第27页，本讲稿共72页2022/10/17282.2离散信源熵与互信息 Eg1 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置：（1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。第28页，本讲稿共72页2022/10/17292.2离散信源熵与互信息 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布（1）联合（自）信息量为 （2）条件（自）信息量为第29页，本讲稿共72页2022/10/17302.2离散信源熵与互信息 Eg2.一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。解：随机事件的概率空间为第30页，本讲稿共72页2022/10/17312.2离散信源熵与互信息第31页，本讲稿共72页2022/10/17322.2离散信源熵与互信息n单符号离散信源熵n定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源信源的信息熵的信息熵，单位为比特比特/符号符号第32页，本讲稿共72页2022/10/17332.2离散信源熵与互信息n离散信源条件熵n定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵信源的条件熵，单位为比特比特/序列序列第33页，本讲稿共72页2022/10/17342.2离散信源熵与互信息n离散信源联合熵n定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列第34页，本讲稿共72页2022/10/17352.2离散信源熵与互信息n联合熵、条件熵与熵的关系第35页，本讲稿共72页2022/10/17362.2离散信源熵与互信息n单符号离散信源互信息n定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特比特第36页，本讲稿共72页2022/10/17372.2离散信源熵与互信息n单符号离散信源互信息第37页，本讲稿共72页2022/10/17382.2离散信源熵与互信息n条件互信息量与联合互信息量n定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为：第38页，本讲稿共72页2022/10/17392.2离散信源熵与互信息n条件互信息量与联合互信息量n定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为：第39页，本讲稿共72页2022/10/17402.2离散信源熵与互信息nEg1(p23)设信源发出8种消息符号，各消息等概发送，各符号分别用3位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息x4，用二进码011表示，接收到每个二进制码元后得到有关x4信息。第40页，本讲稿共72页2022/10/17412.2离散信源熵与互信息第41页，本讲稿共72页2022/10/17422.2离散信源熵与互信息n平均互信息量 其中第42页，本讲稿共72页2022/10/17432.2离散信源熵与互信息n熵的性质n对称性n非负性n确定性n香农辅助定理n最大熵定理n条件熵小于无条件熵第43页，本讲稿共72页2022/10/17442.2离散信源熵与互信息n非负性第44页，本讲稿共72页2022/10/17452.2离散信源熵与互信息n对称性第45页，本讲稿共72页2022/10/17462.2离散信源熵与互信息n确定性 n香农辅助定理第46页，本讲稿共72页2022/10/17472.2离散信源熵与互信息n最大熵定理 n条件熵小于无条件熵第47页，本讲稿共72页2022/10/17482.2离散信源熵与互信息n平均互信息的性质n非负性n互易性n与熵和条件熵及联合熵关系n极值性n凸性函数性质n信息不增性原理第48页，本讲稿共72页2022/10/17492.2离散信源熵与互信息n非负性第49页，本讲稿共72页2022/10/17502.2离散信源熵与互信息n互易性第50页，本讲稿共72页2022/10/17512.2离散信源熵与互信息n平均互信息与熵的关系第51页，本讲稿共72页2022/10/17522.2离散信源熵与互信息n互信息量与熵的关系第52页，本讲稿共72页2022/10/17532.2离散信源熵与互信息n极值性第53页，本讲稿共72页2022/10/17542.2离散信源熵与互信息n凸性函数n当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数n当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数第54页，本讲稿共72页2022/10/17552.2离散信源熵与互信息n信息不增性第55页，本讲稿共72页2022/10/1756 2.3离散序列信源的熵n离散无记忆信源的序列熵第56页，本讲稿共72页2022/10/1757 2.3离散序列信源的熵n离散无记忆信源的序列熵n平均每个符号熵（消息熵）第57页，本讲稿共72页2022/10/1758 2.3离散序列信源的熵n离散有记忆信源的序列熵和消息熵第58页，本讲稿共72页2022/10/1759 2.3离散序列信源的熵nEg 求信源的序列熵和平均符号熵 a1a2a3a1a2a39/111/802/113/42/901/87/9第59页，本讲稿共72页2022/10/1760 2.3离散序列信源的熵n离散有记忆信源的序列熵和消息熵n结论1 是L的单调非增函数n结论2n结论3 是L的单调非增函数n结论4第60页，本讲稿共72页2022/10/1761 2.3离散序列信源的熵n马氏链极限熵第61页，本讲稿共72页2022/10/1762 2.3离散序列信源的熵第62页，本讲稿共72页2022/10/1763 2.3离散序列信源的熵nEg 求马氏链平均符号熵（三个状态）第63页，本讲稿共72页2022/10/1764 2.4连续信源的熵与互信息n幅度连续的单个符号信源熵第64页，本讲稿共72页2022/10/1765 2.4连续信源的熵与互信息n幅度连续的单个符号信源熵第65页，本讲稿共72页2022/10/1766 2.4连续信源的熵与互信息n波形信源熵第66页，本讲稿共72页2022/10/1767 2.4连续信源的熵与互信息n最大熵定理第67页，本讲稿共72页2022/10/1768 2.4连续信源的熵与互信息第68页，本讲稿共72页2022/10/1769 2.4连续信源的熵与互信息n最大熵定理 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵第69页，本讲稿共72页2022/10/1770 2.4连续信源的熵与互信息第70页，本讲稿共72页2022/10/1771 2.5冗余度n冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号间的相关性；二是信源符号一是信源符号间的相关性；二是信源符号分布的不均匀性分布的不均匀性第71页，本讲稿共72页2022/10/1772 2.5冗余度nEg.计算英文字母冗余度第72页，本讲稿共72页
