北京邮电大学通信工程专业-通信原理课程-PPT-第七章-信源与信源编码学习资料.ppt

北京邮电大学通信工程专北京邮电大学通信工程专业业-通信原理课程通信原理课程-PPT-PPT-第第七章七章-信源与信源编码信源与信源编码7.1 引言n信源编码：去掉信源输出中的冗余信息，提供有效性n内容n信源分类及其统计特性n信息熵，信源剩余度n互信息，各类熵与互信息的关系nHuffman编码7.2 信源分类及其统计特性描述n信源分类n连续/模拟信源n离散/数字信源n重点研究7.2 信源分类及其统计特性描述n单消息（符号）离散信源n只输出一个离散符号n统计特性描述7.2 信源分类及其统计特性描述n离散消息（符号）序列信源n输出一个离散消息（符号）序列n统计特性描述7.2 信源分类及其统计特性描述n离散消息（符号）序列信源n离散无记忆序列信源：序列中前后符号相互统计独立n离散有记忆序列信源：序列中前后符号不是相互统计独立的n可用马尔可夫链表示7.3 信息熵H(X)n信息的基本特征：不确定性。因此信息应该是概率P的函数n信息的两个特点n随概率P的递减性：概率越大，信息量越小n可加性：两个独立消息的总信息量应是两个消息的信息量的和n满足这两个条件的表示信息量的函数只有一种可能：对数函数7.3 信息熵H(X)n单消息离散信源的信息度量n自信息量：出现某个消息时的信息量n理解：消息出现概率越小，信息量越大7.3 信息熵H(X)n单消息离散信源的信息度量n两个单消息离散信源X,Y的联合信息量7.3 信息熵H(X)n单消息离散信源的信息熵n前面定义的是一个具体消息的信息量，因为信源输出的消息有多种可能性，所以可以把信息熵理解为这个输出消息（考虑多种可能性）的平均信息量n信息熵也可以理解为对信源的不确定性的平均度量n在各种可能性等概时，信源的信息熵最大（图7.3.1）7.3 信息熵H(X)n信息量和熵的单位n对数以2为底时，单位为比特(bit)n对数以e为底时，单位为奈特(Nat)n对数以10为底时，单位为笛特(Det)n1bit=0.693Nat=0.301Det7.3 信息熵H(X)n两个单消息离散信源的联合熵和条件熵7.3 信息熵H(X)n联合熵和条件熵的一些性质7.3 信息熵H(X)n离散消息序列信源的信息熵、剩余度7.3 信息熵H(X)n离散消息序列信源的信息熵、剩余度7.4 互信息I(X;Y)n互信息的定义I(X;Y)及理解7.4 互信息I(X;Y)n各种信息熵的关系Huffman编码n等长编码：对信源输出的各种出现概率的符号用等长的码字表示n没有充分利用信源的统计特性n变长编码：根据信源输出符号出现概率不同选择码字，出现概率大的用短码，出现概率小的用长码n利用了信源的统计特性，其编码效率高于等长编码nHuffman编码：Huffman提出的一种变长编码n是单消息信源的最佳变长编码Huffman编码n图解Huffman编码方法n1.写出消息概率n2.对最小的两概率编码（0/1）n3.对这两概率合并n4.重复3，直至结束n5.自顶而下到达某消息即得编码Huffman编码n确定了对信源符号的编码规则，可进行编译码n这种特性得益于Huffman编码的非延长性和异前置性n非延长性：把任一许用码组延长（添加数字）都得不到许用码字；异前置性：将任一许用码组的最后一位或几位去掉都得不到许用码组。n这两种性质可以从Huffman编码的规则看出来结束结束