信息论基础与编码第六章信道编码定理课件.ppt

《信息论基础与编码第六章信道编码定理课件.ppt》由会员分享，可在线阅读，更多相关《信息论基础与编码第六章信道编码定理课件.ppt（27页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第六章第六章 信道编码定理信道编码定理 6.1基础知识 6.2信道编码定理 6.3信源信道联合编码定理 16.1基础知识 最大后验概率译码准则是最小平均误码率的最优准则，其次是最大似然概率准则，这些都是常用的译码准则。掌握译码准则和费诺不等式、典型序列的基础概念有助于对信道编码的理解。26.1基础知识6.1.1译码准则 6.1.2费诺不等式 6.1.3典型序列及其性质 36.1.1译码准则1最大后验概率准则 平均误码率：(6-1)其中：表示接收码字为r的时候产生的误码判决；表示r发生的概率；为译码后的码字；c为发送的码字。故可以得到下面的最小平均误码率公式：因此从(6-2)式可以看出最小平均误

2、码等效于最大后验概率。(6-2)4解解：（1）若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为 （2）若收到“0”译作“1”，收到“1”译作“0”，则平均错误概率为6.1.1译码准则 所以方法（1）的平均差错概率明显小于方法（2）。因此，从例6-1看出错误概率与译码准则有关，好的译码准则可以很好地降低平均差错概率。6定义译码准则的相关参数：输入符号集 ，输出符集 ，：译码规则 。在推导中我们借用下面的信道参数来进行分析，此例中i=j=3，假设转移矩阵为 则可以设计2种译码准则。A准则：B准则：6.1.1译码准则7在确定了译码规则以后，收到 的情况下，译码的条件正确概率为:而错误译

3、码的概率为收到 后，推测发出除了 之外其他符号的概率。可以得到平均错误译码概率为信道译码的关键问题就是如何选择 ，经过前边的讨论可以看出，为使 最小，就应选择 为最大，即选择译码函数 并使之满足下列条件。6.1.1译码准则（6-3）（6-4）（6-5）（6-6）即收到一个符号以后译成具有最大后验概率的那个输入符号。这种译码准则称为“最大后验概率准则”或“最小错误概率准则”。83离散无记忆信道的译码对于离散无记忆信道（DMC）有由于对数函数为单调函数，故可将其改写为对数函数形式。6.1.1译码准则（6-11）（6-12）按上述公式进行译码的算法为最大似然译码算法，同时称公式中的 为对数似然函数，

4、有时简称为似然函数。进一步，对于BSC信道（二进制对数信道），有（6-13）10似然函数可以进一步改写为其中：为r和c之间的汉明距离。6.1.1译码准则（6-14）由于对于BSC信道而言，一般 ，所以有 ，为常数，r和c之间的汉明距离由式 确定，所以因此对于BSC信道来说，求最大似然等效于求最小汉明距离。116.1基础知识6.1.1译码准则 6.1.2费诺不等式 6.1.3典型序列及其性质 136.1.2费诺不等式图6-2 费诺不等式曲线图若以 为纵坐标，为横坐标，不等式右半部分的函数曲线如图6-2所示。156.1基础知识6.1.1译码准则 6.1.2费诺不等式 6.1.3典型序列及其性质 1

5、6定义：N长的序列，对于任意小的正数，满足6.1.3典型序列及其性质（6-23）或者 ，则称为N长的x序列为典型序列，其中 是x的自信息，是X的信息熵。反之，如果有 ，则称为N长的x序列为非 典型序列。用 表示典型序列的集合，用 表示非典型序列的集合，如图6-3所示，即有（6-24）186.1.3典型序列及其性质典型序列的意义：N次扩展信源分为两大类，一类为高概率集合，即经常出现的序列，称作 典型序列，当 时这类序列出现的概率为1，且每个序列的概率分布接近于等概分布；另一类为低概率集合，称作非 典型序列，当 时这类序列出现的概率为0。图6-3 典型序列和非典型序列 192联合典型序列6.1.3

6、典型序列及其性质对于单符号的离散信道输入x，输出y，则有：，见图6-4（a），它的N次无记忆扩展信道满足 ，见图6-4（b）。其中，图6-4 单符号离散信道以及N次扩展信道 20如果假设x，y是典型序列，则对任意小的正数 有6.1.3典型序列及其性质（6-25）则xy联合典型序列满足（6-26）用 表示联合典型序列的集合，则有（6-27）216.1.3典型序列及其性质如果用 分别表示集合 的大小，对于任意小的正数 ，可以证明它们满足（6-28）联合典型序列的概念对于信道编码非常重要，可以通过图6-5来理解它的物理意义。图6-5 联合典型序列示意图22第六章第六章 信道编码定理信道编码定理 6.

7、1基础知识 6.2信道编码定理 6.3信源信道联合编码定理 24信道编码定理：如一个离散无记忆信道，信道容量为C，当信息传输率RC时，只要码长足够长，总可以在输入符号集中 找到M 个码字组成的一组码和相应的译码准则，使信道输出端的平均错误译码概率达到任意小。该定理也称为shannon第二编码定理。信道编码逆定理：如一个离散无记忆信道，信道容量为C。当信息传输率RC时，则无论码长n多长，总找不到一种编码 使信道输出端的平均错误译码概率达到任意小。信道编码定理只是一个存在定理，它说明在一定条件下错误概率趋于零的好码是存在的，但是没有说明如何构造这个好码。尽管如此，信道编码（香农第二定理）仍然具有重要的理论意义和实践指导作用，它可以指导各种通信系统的设计，有助于评价各种通信系统及编码效率。6.2 信道编码定理信道编码定理 25第六章第六章 信道编码定理信道编码定理 6.1基础知识 6.2信道编码定理 6.3信源信道联合编码定理 26