信息论 第六章PPT讲稿.ppt

《信息论 第六章PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论 第六章PPT讲稿.ppt（43页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论信息论 第六章第六章第1页，共43页，编辑于2022年，星期四6.1 6.1 错误概率和译码规则错误概率和译码规则 通信过程并不是在信道输出端就结束了通信过程并不是在信道输出端就结束了,要经要经过译码过程才到达消息的终端，因此译码过程和过译码过程才到达消息的终端，因此译码过程和译码规则对系统的错误概率影响很大译码规则对系统的错误概率影响很大.例如：例如：已知二元信道已知二元信道(1)发送符号发送符号“0”,接收到符接收到符号仍为号仍为“0”的概率是的概率是(2)译码时，收到符号译码时，收到符号“0”时，若译码时，若译码器译为符号器译为符号“0”，则正确译码的概率是，则正确译码的概率是(3

2、)发送发送“0”收到收到“1”,译成译成“1”，概率为概率为第2页，共43页，编辑于2022年，星期四此译码规则下，平均错误概率此译码规则下，平均错误概率发送发送“0”，译成，译成“1”的的概率概率发送发送“1”,译成译成“0”的的概率概率译对概率译对概率第3页，共43页，编辑于2022年，星期四新译码规则：新译码规则：接收符号接收符号“0”，译成符号，译成符号“1”接收符号接收符号“1”，译成符号，译成符号“0”结论：结论：错误概率既与信道的统计特性有错误概率既与信道的统计特性有 关，也与译码规则有关关，也与译码规则有关第4页，共43页，编辑于2022年，星期四输入符号集输入符号集输出符号集

3、输出符号集s个输出符号中的每一个都可以译成个输出符号中的每一个都可以译成 r 个个输入符号中的任何一个，共有种译码输入符号中的任何一个，共有种译码规则可供选择规则可供选择1、定义：译码规则、定义：译码规则设计一个函数设计一个函数 ，它对于每一个输出，它对于每一个输出符号确定一个唯一的输入符号与其单符号确定一个唯一的输入符号与其单值对应，值对应，第5页，共43页，编辑于2022年，星期四、平均错误概率、平均错误概率好的译码规则、其平均错误概率最小好的译码规则、其平均错误概率最小.译码的译码的条件正确概率：条件正确概率：收到符号收到符号一定译成，而发送的就是，为一定译成，而发送的就是，为正确译码。

4、正确译码。条件错误概率条件错误概率e 表示除了表示除了 以外的所有输入符号以外的所有输入符号的集合。的集合。第6页，共43页，编辑于2022年，星期四平均错误概率：平均错误概率：译码后平均接收到一个符译码后平均接收到一个符号所产生的错误大小。号所产生的错误大小。要使最小，应使要使最小，应使 最小，也就是最小，也就是使为最大。使为最大。第7页，共43页，编辑于2022年，星期四如果采用这种译码函数，它对于每一个如果采用这种译码函数，它对于每一个输出符号均译成具有最大后验概率的那输出符号均译成具有最大后验概率的那个输入符号，则信道的平均错误概率就个输入符号，则信道的平均错误概率就能最小称能最小称“

5、最大后验概率准则最大后验概率准则”或或“最小错误概率准则最小错误概率准则”。选择译码函数选择译码函数且满足条件且满足条件:第8页，共43页，编辑于2022年，星期四、最大似然译码准则、最大似然译码准则若先验概率若先验概率 等概率等概率则选择译码函数则选择译码函数 的条件应满足的条件应满足此译码规则称此译码规则称“最大似然译码准则最大似然译码准则”第9页，共43页，编辑于2022年，星期四根据最大似然译码准则，我们可以直根据最大似然译码准则，我们可以直接根据信道矩阵选定译码函数即收接根据信道矩阵选定译码函数即收到后，译成信道矩阵到后，译成信道矩阵P 的第的第j 列中最列中最大的那个元素所对应的信

6、源符号大的那个元素所对应的信源符号当当 不是等概分布时，仍可采用最大不是等概分布时，仍可采用最大似然译码准则，但不一定能使似然译码准则，但不一定能使 最小最小第10页，共43页，编辑于2022年，星期四4、平均错误概率的进一步推导、平均错误概率的进一步推导平均正确概率平均正确概率第11页，共43页，编辑于2022年，星期四例例6.1 已知信道矩阵，制定译已知信道矩阵，制定译码规则，求出错误概率码规则，求出错误概率解：解：根据最大似然译码准则根据最大似然译码准则(1)另选择译码规则另选择译码规则第12页，共43页，编辑于2022年，星期四由最大似然译码准则，仍选第由最大似然译码准则，仍选第(1)

7、组组 要使要使 最小，使用最小错误概率准则最小，使用最小错误概率准则 当输入当输入不是等概率分布不是等概率分布译码函数为：译码函数为：输入不是等概分布时，最大似然译码准则输入不是等概分布时，最大似然译码准则的平均错误概率不是最小的的平均错误概率不是最小的第13页，共43页，编辑于2022年，星期四6.2 6.2 错误概率与编码方法错误概率与编码方法6.2.1 简单重复编码的错误概率简单重复编码的错误概率6.2.2 简单重复编码的信息传输率简单重复编码的信息传输率6.2.4 最小距离译码准则最小距离译码准则6.2.3 不同编码的错误概率不同编码的错误概率6.2.5 用汉明距离计算用汉明距离计算

8、第14页，共43页，编辑于2022年，星期四6.2.1 简单重复编码的错误概率简单重复编码的错误概率1、输入码字为单符号、输入码字为单符号“0”,“1”选择最佳译码规则选择最佳译码规则通信系统一般要求通信系统一般要求如何提高如何提高第15页，共43页，编辑于2022年，星期四2、消息重复发送、消息重复发送3遍遍“000”，“111”二元对称信道的三次扩展信道二元对称信道的三次扩展信道二元对称信道的二元对称信道的三次扩展信道三次扩展信道根据最大似然译码准则，确定根据最大似然译码准则，确定译码函数译码函数第16页，共43页，编辑于2022年，星期四3、当 时当 时当 时当 时第17页，共43页，编

9、辑于2022年，星期四6.2.2 简单重复编码的信息传输率简单重复编码的信息传输率(1)n=1(无重复无重复),M=2,设设t=1秒秒(2)当当n=3,M=2 结论结论:简单重复编码方法简单重复编码方法,在使在使 降低的降低的 同时同时,也使信息传输率也使信息传输率R 降低很多降低很多.M是输入消息的个数是输入消息的个数,logM等概率时的信息量等概率时的信息量第18页，共43页，编辑于2022年，星期四6.2.3 不同编码的错误概率不同编码的错误概率1、二元对称信道的三次扩展信道、二元对称信道的三次扩展信道错误概率增大到错误概率增大到单符号时的三倍单符号时的三倍!但但第19页，共43页，编辑

10、于2022年，星期四2、在三次扩展信道的输入取、在三次扩展信道的输入取 M=4方案方案：第20页，共43页，编辑于2022年，星期四方案方案：第21页，共43页，编辑于2022年，星期四6.2.4 最小距离译码准则最小距离译码准则1、码字距离、码字距离汉明距离汉明距离长度为长度为n的两个符号序列的两个符号序列(码字码字)和和 之之间的距离是指间的距离是指 和和 之间对应位置上不同之间对应位置上不同码元的个数，用符号码元的个数，用符号 表示。这种码表示。这种码字距离称为字距离称为汉明距离汉明距离。第22页，共43页，编辑于2022年，星期四2、最小距离、最小距离在某一码书中，任意两个码字的汉明距

11、离的在某一码书中，任意两个码字的汉明距离的最小值称为该码最小值称为该码 C 的最小距离。的最小距离。第23页，共43页，编辑于2022年，星期四方案方案：方案方案：结论：结论：码码 C 的最小码距越大，的最小码距越大，越小越小第24页，共43页，编辑于2022年，星期四 传输过程中传输过程中 传输到传输到 有有 个位置发生个位置发生了错误，了错误，个位置没有错误个位置没有错误.设二元对称信道单个符号传输错误概设二元对称信道单个符号传输错误概率为率为p p,则编码后信道的传递概率则编码后信道的传递概率3、最小距离译码准则、最小距离译码准则(1)最大似然译码准则最大似然译码准则 满足满足 信道扩展

12、矩阵列元素中最大元素对应信道扩展矩阵列元素中最大元素对应 越小越小,越大越大.第25页，共43页，编辑于2022年，星期四用汉明距离表示最大似然译码准则用汉明距离表示最大似然译码准则:满足满足在二元对称信道中，在二元对称信道中，最小距离译码准则最大似然译码准则最小距离译码准则最大似然译码准则在任意信道中，也可采用最小距离译码准则，在任意信道中，也可采用最小距离译码准则，但它不一定等于最大似然译码准则。但它不一定等于最大似然译码准则。第26页，共43页，编辑于2022年，星期四6.2.5 用汉明距离计算用汉明距离计算 二元对称无记忆信道二元对称无记忆信道,输入等概分布输入等概分布第27页，共43

13、页，编辑于2022年，星期四总结：总结：编码方法：使选取的编码方法：使选取的M个码字中任意个码字中任意 两两不同码字的距离两两不同码字的距离 尽量大。尽量大。译码方法：把译码方法：把 译成与它最邻近的那译成与它最邻近的那 个发送码字个发送码字 ，即使，即使 尽量小。尽量小。第28页，共43页，编辑于2022年，星期四6.3 6.3 联合联合 典型序列典型序列6.3.1 定义联合定义联合 典型序列典型序列6.3.2 三个定理三个定理第29页，共43页，编辑于2022年，星期四6.3.1 定义联合定义联合 典型序列典型序列无记忆无记忆n次次扩展信道扩展信道单符号离散信道单符号离散信道第30页，共4

14、3页，编辑于2022年，星期四定义：定义：n长的序列对长的序列对 满足满足(1)是是 典型序列典型序列;(2)是是 典型序列典型序列;(3)对于任意小的正数对于任意小的正数 ，存在，存在n使使 称序列对称序列对 为联合为联合 典型序列。典型序列。的典型序列集表示为的典型序列集表示为 的典型序列集表示为的典型序列集表示为的联合典型序列集表示为的联合典型序列集表示为第31页，共43页，编辑于2022年，星期四第32页，共43页，编辑于2022年，星期四6.3.2 三个定理三个定理定理定理 6.1（联合渐进等分割性）（联合渐进等分割性）对于任意小的正数对于任意小的正数 ,当当n足够大时足够大时,则则

15、第33页，共43页，编辑于2022年，星期四定理定理6.1表明表明(1)两个随机变量情况下，信源两个随机变量情况下，信源 和和联合信源联合信源 都具有渐进等分割性。随着都具有渐进等分割性。随着n的增大，典型序列集出现的概率增大，的增大，典型序列集出现的概率增大，且趋于等概分布。且趋于等概分布。(2)典型序列典型序列 是扩展信道输入端高概率是扩展信道输入端高概率出现的序列；出现的序列；典型序列典型序列 是扩展信道输出端高概率出现是扩展信道输出端高概率出现的序列；的序列；联合典型序列对联合典型序列对 是那些信道输入和输是那些信道输入和输出间密切关联，经常出现的序列对。出间密切关联，经常出现的序列对

16、。第34页，共43页，编辑于2022年，星期四定理定理6.2 对于任意小的正数对于任意小的正数 足够大足够大(1)(2)定理定理6.2 表明表明(1)已知已知 典型序列典型序列 条件下，与条件下，与 构成联构成联合合 典型序列的典型序列的 的集合为的集合为 ,即左上即左上角每一列中至多有角每一列中至多有 个黑点。个黑点。(2)同理，已知同理，已知 典型序列典型序列 条件下，其对条件下，其对应行在图左上角至多应行在图左上角至多 个黑点。个黑点。第35页，共43页，编辑于2022年，星期四定理定理6.3 若若 和和 统计独立并与统计独立并与 有相同有相同的边缘分布，则的边缘分布，则定理定理6.3表

17、明表明（1）随机选择序列对是统计独立的联）随机选择序列对是统计独立的联合典型序列对的概率约等于合典型序列对的概率约等于 。（2）对某一典型序列）对某一典型序列 ，与它统计独，与它统计独立的联合典型序列对可能有立的联合典型序列对可能有 个。个。第36页，共43页，编辑于2022年，星期四整体分析（三个定理）结论整体分析（三个定理）结论(2)输出端的典型序列输出端的典型序列 数共约数共约(3)选择码字选择码字 的原则是，其对应的典的原则是，其对应的典型序列型序列 互不重叠。互不重叠。(4)输入端可选取的最多码字数输入端可选取的最多码字数(1)发送某一典型序列发送某一典型序列 ，一定高概率地传，一定

18、高概率地传送到与它构成联合送到与它构成联合 典型序列的那些序列典型序列的那些序列 上上,共有共有 个对应的典型序列个对应的典型序列 。第37页，共43页，编辑于2022年，星期四6.4 6.4 有噪信道编码定理有噪信道编码定理定理定理6.4 （有噪信道编码定理）（有噪信道编码定理）设离散无记忆信道设离散无记忆信道 ，为其信道传递概率，其信道容量为为其信道传递概率，其信道容量为C。当信。当信息传输率息传输率RC,则无则无论码长论码长n多长，总也找不到一种编码多长，总也找不到一种编码 ，使译码错误概率任意小。，使译码错误概率任意小。定理定理6.5 有噪信道编码逆定理有噪信道编码逆定理第39页，共4

19、3页，编辑于2022年，星期四 定理定理6.6（有噪（有噪连续连续信道编码定理）信道编码定理）对于限带高斯白噪声加性信道，噪声功率对于限带高斯白噪声加性信道，噪声功率为为Pn，带宽为，带宽为W，信号平均功率受限为，信号平均功率受限为Ps，则则（1）当当 ，总可以找到一，总可以找到一种信道编码在信道中以信息传输率种信道编码在信道中以信息传输率R 传输信传输信息，而使错误概率任意小。息，而使错误概率任意小。（2）当当 ，找不到一种信道编码，在信道中，找不到一种信道编码，在信道中以以R 传输信息而使错误概率任意小。传输信息而使错误概率任意小。第40页，共43页，编辑于2022年，星期四 6.5 6.

20、5 联合信源信道编码定理联合信源信道编码定理1、第一部分：信源编码、第一部分：信源编码(2)信源压缩编码只与信源有关，不依赖信源压缩编码只与信源有关，不依赖 于信道。于信道。(3)形成了其一个理论分支形成了其一个理论分支数据压缩数据压缩 理论与技术。理论与技术。(1)针对各自信源的不同特点，进行不同的数针对各自信源的不同特点，进行不同的数据压缩，用最有效的二元码来表达这些不据压缩，用最有效的二元码来表达这些不同的信源。同的信源。第41页，共43页，编辑于2022年，星期四2、第二部分：信道编码、第二部分：信道编码(1)信道编码只需针对信道特性进行，信道编码只需针对信道特性进行，不用考虑不同信源

21、的不同特性，其不用考虑不同信源的不同特性，其 输入端只是接收一系列二元码，编输入端只是接收一系列二元码，编 码与信源无关。码与信源无关。(2)形成了一个理论分支形成了一个理论分支纠错码理论纠错码理论3、这种分两步编码的处理方法，可这种分两步编码的处理方法，可 以大大降低通信系统的复杂度。以大大降低通信系统的复杂度。第42页，共43页，编辑于2022年，星期四检错和纠错的规则：检错和纠错的规则：1、要发现、要发现(检测检测)e个随机错误，要求码个随机错误，要求码 的最小距离的最小距离2、要纠正、要纠正e个随机错误，则要求个随机错误，则要求3、要纠正、要纠正e个随机错误同时检测个随机错误同时检测 个错误，则要求个错误，则要求第43页，共43页，编辑于2022年，星期四