信息论与编码基础知识点.docx

信息论与编码根底学问点仅供复习参考，不作为出卷依据1 当代文明的三大科学支柱2 信息论开展的过程3 信息理论中度量信息的根本观点4 衡量通信系统的性能指标有几个，对应编码是哪些？5 信源符号自信息量的含义与计算6 信源符号间互信息量与平均互信息量的三个含义7 信源熵的三种物理含义。8 离散信源的联合熵, 条件熵, 平均互信息量的含义及相互之间的关系。9 平均互信息量的三种物理含义, 性质及相应的公式，与信道容量, 信息率失真函数的关系10 信源的平稳性与无记忆性的含义11 离散无记忆信源的信源熵, N次扩展的信源熵计算。12 N阶马尔科夫信源的定义13 低阶1, 2马尔科夫信源的状态转移图, 各状态的稳态分布概率(状态极限概率), 极限熵H=Hn+114 信道容量的含义15 常见信道无噪信道, 强对称, 对称, 准对称容量的计算，到达信道容量时对应信源的概率分布状况。16 香浓编码, 费诺编码, 哈夫曼编码方法及步骤，其编码效率的计算17 信息率失真函数的含义18 Dmax的含义19 二, 三元离散信源的Rmax Rmin Dmin, Dmax计算，及等概率信源分布信息率失真函数R(D)的计算20 在信道编码中检错与纠错的含意是什么？理解相关根本概念定理, 性质多练习课后习题作业与讲解第 1 页