信息论基础复习.ppt
上一页上一页下一页下一页信息论基础复习 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望上一页上一页下一页下一页2上一页上一页下一页下一页3上一页上一页下一页下一页4上一页上一页下一页下一页5上一页上一页下一页下一页6上一页上一页下一页下一页7上一页上一页下一页下一页8上一页上一页下一页下一页9上一页上一页下一页下一页10上一页上一页下一页下一页序论序论一、信息论的形成及历史 Claude Shannon及其主要贡献二、通信系统的模型 信源、信道、信宿及相互关系三、信息论的基本研究内容11上一页上一页下一页下一页第一章第一章 随机变量的信息度量随机变量的信息度量一、信源的分类及数学模型12上一页上一页下一页下一页二、自信息二、自信息定义性质、单位、随机事件的不确定性13上一页上一页下一页下一页三、信源的信息熵三、信源的信息熵定义：单位bit、nat、hart、N进信息单位信息含义（物理意义）联合熵：14上一页上一页下一页下一页条件熵：熵的简单性质：等号成立的充要条件是X有退化分布2、极值性等号成立的充分必要条件是X服从均匀分布15上一页上一页下一页下一页3、链法则：二进熵函数：16上一页上一页下一页下一页四、相对熵和互信息相对熵：相对熵的非负性：等号成立的充要条件是17上一页上一页下一页下一页互信息、条件互信息互信息的简单性质：1、非负性2、链法则3、数据处理不等式18上一页上一页下一页下一页各种熵及互信息的相互关系：注：此图表示了一些等式和不等式的关系，能够写出并从信息的角度来解释它们。19上一页上一页下一页下一页五、信息量的一些性质1、凸函数的定义2、Jensen不等式，对数和不等式3、D(p|q)是概率分布对(p,q)的凸函数(证明）4、熵 H(p)是概率分布p的凹函数(证明)6、法诺不等式20上一页上一页下一页下一页第二章 随机过程的信息度量一、信源和随机过程的基本概念各种信源的数学模型：无记忆信源马尔科夫信源：平稳分布、转移概率矩阵、香农线图 相互关系平稳信源大数定理21上一页上一页下一页下一页二、随机过程的信息度量平稳信源的极限熵(熵率):特别1、无记忆信源：2、k阶平稳马氏信源：k1时：注：会计算平稳马氏信源的平稳分布及熵率注：会计算平稳马氏信源的平稳分布及熵率22上一页上一页下一页下一页三、渐近等分性1、对无记忆信源：2、弱典型序列：23上一页上一页下一页下一页四、信源编码定理了解信源编码定理的内容(定理2.4.1)24上一页上一页下一页下一页第三章 数据压缩和信源编码一、等长码等长码的概念码率:25上一页上一页下一页下一页二、变长码变长码的定义、有限扩张码、唯一可译码、平均码长即时码及存在的充要条件Kraft不等式：码树、用树图法进行编码26上一页上一页下一页下一页三、编码方法1、Huffman码熟练掌握编码方法、了解该方法的特点、优势和不足(特别注意补虚元的问题)2、算术码掌握香农法诺编码方法3、通用信源编码了解LZ算法、LZW算法的基本原理和具体方法27上一页上一页下一页下一页第四章 数据可靠传输和信道编码一、离散无记忆信道和信道容量离散信道的数学模型：信道编码的定义、编码速率、错误概率离散无记忆信道容量的定义：几种特殊的信道容量的计算：二进无噪信道、二进对称信道、一般对称信道、弱对称信道、准对称信道28上一页上一页下一页下一页二、信道容量的计算会用拉格朗日乘数法求信道容量了解信道容量的迭代算法的基本思想29上一页上一页下一页下一页三、线性分组码信道的译码规则极大似然译码规则：平均错误概率：30上一页上一页下一页下一页生成矩阵、校验矩阵、相互关系线性分组码的汉明距离、汉明重量检纠能力与最小距离（最小重量）的关系，与校验矩阵的关系(两个定理）系统码最小距离译码规则汉明码注：给出生成矩阵(或校验矩阵)求校验矩阵(或生成矩阵)、求所有码字、最小距离(最小重量)、检纠能力、求给出输出序列的译码。31上一页上一页下一页下一页第五章 限失真信源编码和率失真函数一、限失真信源编码模型和率失真函数2、失真测度、平均失真、失真矩阵1、限失真信源模型3、限失真信源编码、码率4、信息率失真函数32上一页上一页下一页下一页5、信息率失真函数的性质(定理5.1.1)6、平稳信源的率失真函数特别对无记忆信源33上一页上一页下一页下一页二、率失真函数的计算简单信源的信息率函数的计算用拉格朗日乘子法计算了解迭代算法的基本思想三、限失真信源编码定理了解限失真信源编码定理的基本内容34上一页上一页下一页下一页第六章 连续信源和信道编码理论一、可微熵1、连续信源可微熵的定义:简单的信源的熵的计算(均匀分布、指数分布、正态分布)联合熵、条件熵的定义、熵函数的性质随机变量经变换后可微熵的变化情况(定理6.1.2)35上一页上一页下一页下一页二、相对熵、互信息相对熵、互信息的性质及相互关系最大熵原理36上一页上一页下一页下一页三、信息率失真函数失真测度、率失真函数的定义率失真函数的性质高斯信源的率失真函数无记忆信源的率失真函数四、高斯信道高斯信道的定义、容量37
