近代信息论第四章优秀PPT.ppt

《近代信息论第四章优秀PPT.ppt》由会员分享，可在线阅读，更多相关《近代信息论第四章优秀PPT.ppt（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、近代信息论第四章第一页，本课件共有23页主要内容n第三节：编码方法与平均错译概率n第四节：汉明距离与编码原则n第五节：离散信道编码定理第二页，本课件共有23页第三节：编码方法与平均错译概率recall0011输入分布一定,给定信道,可选择最大后验概率准则使得误码率最小0.990.99译码准则：F(0)=0;F(1)=1Pe=0.01 仅靠译码规则，一般Pe不能满足要求一般通信要求solutionPe与信道及译码准则有关，译码准则潜力与信道及译码准则有关，译码准则潜力已挖尽，考虑通过编码来改变信道特性。已挖尽，考虑通过编码来改变信道特性。第三页，本课件共有23页例：对于X:0 1 二元信源,编码

2、：1111 0000 00110.990.99设等概输入，设等概输入，采用最大似然准则，即挑选每列中最大者来译码。采用最大似然准则，即挑选每列中最大者来译码。译码规则：译码规则：使：使：结论：可通过编码来改变信道特征，使得最小误码率减小结论：可通过编码来改变信道特征，使得最小误码率减小back第四页，本课件共有23页第四节：汉明距离与编码原则例：显然，相当于对应位异或后求和显然，相当于对应位异或后求和第五页，本课件共有23页汉明距离与最大似然准则的关系0011正确传递的概率正确传递的概率错误传递的概率错误传递的概率第六页，本课件共有23页另一方面依据最大似然准则，汉明距离最大似然准则可表示为0

3、p0.5第七页，本课件共有23页最大似然准则可表示为最大似然准则可表示为：n当n即：汉明距离与最大似然准则的关系时，有计算该准则下的误码率：计算该准则下的误码率：or第八页，本课件共有23页编码原则n在在M M个消息，码长个消息，码长N N不变的前提下，不变的前提下，n在在 个可能码符号序列中，选个可能码符号序列中，选M M个作为码字，不同的选法，有不同的个作为码字，不同的选法，有不同的 ，即不同的最小误码率。，即不同的最小误码率。n问题：如何选码，使得最小误码率最小。问题：如何选码，使得最小误码率最小。第九页，本课件共有23页在在 个可用码符号序列中，选择个可用码符号序列中，选择M M个码字

4、，使得这个码字，使得这M M个码字中任两个不同个码字中任两个不同码字间的距离尽量大。码字间的距离尽量大。编码原则即：例：back第十页，本课件共有23页第五节：离散信道编码定理nShannon第二定理n定理表述：证明设某信道有设某信道有r r个输入符号，个输入符号，s s个输出符号，信道容量个输出符号，信道容量C C，当当信道的信息传输率（码率）信道的信息传输率（码率）RCRC时，只要码长时，只要码长N N足够长，足够长，总可在输入的集合中（含有总可在输入的集合中（含有 个长为个长为N N的码符号序列）的码符号序列）找到找到 个码字，分别代表个码字，分别代表M M个等可能性的消息，组成一个码以

5、个等可能性的消息，组成一个码以及相应的译码规则，使信道输出的平均误码率及相应的译码规则，使信道输出的平均误码率P Peminemin达到达到任意小。任意小。第十一页，本课件共有23页证明设单符号错误概率设单符号错误概率p(1|0)=p(0|1)=p(1)(2)示意图第十二页，本课件共有23页示意图第十三页，本课件共有23页译码方法出错的原因于是，第十四页，本课件共有23页(3)由概率论及大数定理可递推法证明因此：第十五页，本课件共有23页(4)随机编码例：N=2,M=2,如果按随机编码，如果按随机编码，PePe需对所有需对所有 种码取平均，方可得平均种码取平均，方可得平均PePe第十六页，本课

6、件共有23页其中：(5)其中：第十七页，本课件共有23页(6)二进对称信道：C=1-H(P)第十八页，本课件共有23页(7)第十九页，本课件共有23页(8)这时，以上为以上为Shannon Theorem 2 的证明思路的证明思路第二十页，本课件共有23页离散信道编码逆定理设某信道有设某信道有r r个输入符号，个输入符号，s s个输出符号，信道容量个输出符号，信道容量C C，若若选用码字个数选用码字个数 则，无则，无论论N N多大，也不可能找到一种编码，使得平均误码率多大，也不可能找到一种编码，使得平均误码率P Peminemin达到任意小。达到任意小。证明：反证法第二十一页，本课件共有23页(2)代入(1)第二十二页，本课件共有23页(4)(3)由Fano不等式：且back第二十三页，本课件共有23页