信息论与编码讲义第十八讲精选PPT.ppt

《信息论与编码讲义第十八讲精选PPT.ppt》由会员分享，可在线阅读，更多相关《信息论与编码讲义第十八讲精选PPT.ppt（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论与编码讲义第十八讲2023/4/111第1页，此课件共11页哦5.2 离散信道编码定理离散信道编码定理首先需要说明，上述离散信道编码的编码速率（信息率R）本来是设备所确定的。当信源每秒产生ns个字母，信道编码所使用的设备每秒产生nc个字母，则设备所确定的编码速率就是R=ns/nc。其次，实际编码速率（实际信息率L/N）必须不小于设备所确定的编码速率：L/N R。于是对离散信道编码有了以下两条相互矛盾的要求：（1）实际编码速率L/N 尽可能小以便使正确译码（正确接收）的概率尽可能接近1。（2）实际编码速率不小于设备所确定的编码速率L/N R。2023/4/112第2页，此课件共11页哦5.

2、2 离散信道编码定理离散信道编码定理设信源序列经过信源编码后变成了如下的序列X-2X-1X0X1X2。设各随机变量独立同分布。记H(X)为X0的熵，C为信道容量。如果设备所确定的编码速率RC/H(X)，则不能够同时满足这两条要求。（如果设备所确定的编码速率R=C/H(X)，则情况如何？很复杂，属于边界情况，没有简单整齐的结论。）2023/4/113第3页，此课件共11页哦5.2 离散信道编码定理离散信道编码定理定理5.2.1，Fano不等式。上面定义的U和V空间中的事件满足下述不等式：2023/4/114第4页，此课件共11页哦5.2 离散信道编码定理离散信道编码定理定理5.2.2令 是信息序

3、列 和译码判决序列 的联合集，令 。则2023/4/115第5页，此课件共11页哦5.2 离散信道编码定理离散信道编码定理定理5.2.3（编码逆定理）设离散平稳源的字母表有M个字母，且熵为 ，每 秒产生一个字母。令离散无记忆信道的容量为 ，每 秒送出一个信道符号。若长为L的信息序列被编成长为 的码子，则误码率 满足（5.2.8）式，当 时 为非零值。2023/4/116第6页，此课件共11页哦定义5.3.1令X、Y是两个概率空间，。若序列对 和 满足：1.是 典型序列，即对任意小的正数 ，存在 使2.是 典型序列，即对任意小的正数 ，存在 使3.是 典型序列，即对任意小的正数 ，存在 使就称序

4、列对 和 是联合联合 典型序列典型序列2023/4/117第7页，此课件共11页哦定义5.3.2 长 的 典型序列集定义为式中的 是 中的任意子集。2023/4/118第8页，此课件共11页哦5.2 离散信道编码定理离散信道编码定理定义5.3.3对给定离散无记忆信道和任意 ，若有一种编码速率为的 码，在 足够大时，能使 ，就称 是可达的可达的。2023/4/119第9页，此课件共11页哦5.2 离散信道编码定理离散信道编码定理定理5.3.1（Shannon信道编码定理）给定容量为 的离散无记忆信道 ，若编码速率 ，则 是可达的。2023/4/1110第10页，此课件共11页哦5.3 离散信道编码定理离散信道编码定理定理定理5.3.1(p122)（Shannon信道编码定理）如果设备所确定的编码速率RC/H(X)，则对任何正整数L（L=1，2，），存在D元(N,L)码和对应的译码方法，使2023/4/1111第11页，此课件共11页哦