2022年信息论与编码复习总结 .pdf

《2022年信息论与编码复习总结 .pdf》由会员分享，可在线阅读，更多相关《2022年信息论与编码复习总结 .pdf（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论与编码复习总结题型：填空、解答、计算1、 编码： 无失真与限失真信源编码定理编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真三大定理 : 无失真信源编码定理（第一极限定理） （可逆）信道编码定理（第二极限定理）限失真信源编码定理（第三极限定理）（不可逆）Shannon( 香农)信息论：在噪声环境下， 可靠地、安全地、 有效地传送信息理论。通信系统模型方框图 : 信道的种类 很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Ch

2、annel）和连续信道（ Continuous Channel） 、单用户信道和多用户信道等。信源的描述：通过概率空间描述名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 10 页 - - - - - - - - - 平稳包含齐次，而齐次不包含平稳（重要，第二章计算题）定义：若齐次马尔可夫链对一切i,j 存在不依赖于 i 的极限，则称其具有遍历性，pj称为平稳分布（如下）设有一齐次马尔可夫链，其状态转移矩阵为 P，其稳态分布为wj=p(sj) 自信息量的特性：p(xi)=1

3、,I(xi)=0; p(xi)=0,I(xi)= ; 非负性；单调递减性；可加性；定义：联合概率空间中任一联合事件的联合（自）信息量为：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 10 页 - - - - - - - - - 定义：对于给定离散概率空间表示的信源，在出现 y 事件后所提供有关事件x 的信息量定义 互信息 ，单位为比特名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - -

4、 - - - - 第 3 页，共 10 页 - - - - - - - - - 信道模型： 二进制离散信道 BSC ；离散无记忆信道DMC；波形信道信源编码器的目的： 是使编码后所需的信息传输率R尽量小。信源编码： 主要任务就是减少冗余，提高编码效率。唯一可译码：（任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码 ）0,10,11为唯一可译码，任意有限长码序列： 100111000。（分类）即时码和非即时码变长编码定理：（解答，重要）?名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - -

5、 - - - - 第 4 页，共 10 页 - - - - - - - - - 1、平均码长：2、根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用较长的码，使得编码后平均码长降低，从而提高编码效率。（统计匹配）变长码要求编码效率96%时，序列长仅为2.随着 L的增加，编码效率可接近1，有效的利用信道问：小信号集如何实现统计匹配的变长编码 ？答：基本思想为扩张信源，以实现统计匹配哈夫曼编码（例题）（重要） 哈夫曼码是即时码例： 信源（ u1，u2） ，对应概率为 p1=2 /3，p2=1 /3，取 L=1,2,3，分别进行二进制哈夫曼编码。L=1，编码 u10，u21，对应平均码长

6、k1=1 信源熵 H=0.9183bit 编码效率 =0.9183 L=2，每次取两个消息，组成新的联合信源消息集概率编码u1u14 /9 1 u1u22 /9 01 u2u12 /9 000 u2u21 /9 001 平均码长 k=0.944 编码效率 =0.9725 L=3，三次扩展名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 10 页 - - - - - - - - - 消息集概率编码u1u1u18/27 01 u1u1u24/27 000 u1u2u14/27

7、001 u1u2u22/27 100 u2u1u14/27 110 u2u1u22/27 111 u2u2u12/27 1010 u2u2u21/27 1011 平均码长 k=0.9383 编码效率 =0.9787 纠错能力（汉明码）（重要）名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 10 页 - - - - - - - - - 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - -

8、- - - - 第 7 页，共 10 页 - - - - - - - - - 卷积码（编码状态图、网格图） ：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 10 页 - - - - - - - - - 交织码、级连码（填空）交织码差错的两种类型：随机差错（独立差错） 、突发差错主要缺点：会带来较长的时延，在实时通信中会带来不利影响改造方法：卷积交织器，可降低一半的时延级连码：既能纠随机独立差错又能纠单个或多个突发差错的码：交错码、乘积码、级连码名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 10 页 - - - - - - - - - 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 10 页 - - - - - - - - -