信息论期末复习ppt课件.ppt

《信息论期末复习ppt课件.ppt》由会员分享，可在线阅读，更多相关《信息论期末复习ppt课件.ppt（60页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1信息论期末复习信息论期末复习2第一章第一章 概述概述l信息论的创始人：美国科学家香农l1948年发表年发表 “通信的数学理论通信的数学理论”，标志着信息论，标志着信息论的诞生的诞生3l信息的概念信息的概念l1.l2.l3.l4.4l信息论的研究对象l信息论的研究目的5l信息的一些重要性质信息的一些重要性质 存在的普遍性存在的普遍性 有序性有序性相对性相对性 可度量性可度量性 可扩充性可扩充性 可存储、传输与携带性可存储、传输与携带性 可压缩性可压缩性 可扩散性可扩散性 可替代性可替代性 可共享性可共享性 时效性时效性 信息的独有性质6l信息论的研究范围信息论的研究范围l经典信息论经典信息论（

2、狭义信息论、香农信息论）（狭义信息论、香农信息论）l一般信息论一般信息论l广义信息论广义信息论主要研究信息的测度、信道容量、信息率失真函数，主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和信道编码。与这三个概念相对应的香农三定理以及信源和信道编码。主要是研究信息传输和处理问题。除了香农基本理论之外，主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳（调制理论。后一部分内容以美国科学家维纳（NWiener）为代表。为

3、代表。概括说来，凡是能够用广义通信系统模型描述的过程或系概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。统，都能用信息基本理论来研究。 7第二章第二章 离散信源及其信息测度离散信源及其信息测度l信源的数学模型及分类信源的数学模型及分类8l自信息l信息熵9l条件熵条件熵l联合熵联合熵)()(jibaIEYXH )(log)(11mjnijijibapbap )()(ijabIEXYH )(log)(11nimjijjiabpbapnimjjijibaIbapXYH11)()()( )(log)(11nimjjijibapbap10l信息熵的基本性质11l离散无记忆

4、的扩展信源12l离散平稳信源l离散平稳信源的极限熵13l另外l马尔可夫信源)()()()( )()(12121312121NNNXXXXHXXXHXXHXHXXXHXH14l求解马尔可夫信源熵的步骤l根据题意画出状态转移图。判断是否是时齐遍历的马尔可夫信源。l根据状态转移图写出一步转移概率矩阵，计算信源的极限概率。l根据一步转移概率矩阵和极限概率计算信源的信息熵。15l注意：l信源剩余度16第三章第三章 离散信道及其容量离散信道及其容量l信道的数学模型与分类17l平均互信息1819l平均互信息的特性l信道容量及其一般计算方法20l无噪无损信道的信道容量（信道的输入输出一一对应）l无损信道（信道

5、的输入输出一对多）21l无噪有损信道（无噪有损信道（信道的输入输出多对一信道的输入输出多对一）l对称离散信道（对称离散信道（信道矩阵的行与列都具有可排列性信道矩阵的行与列都具有可排列性）l准对称信道准对称信道22l一般离散信道的信道容量的计算步骤l求求l求求Cl求求l求求l若若 则则C就是所求的信道容量，否则重新计算就是所求的信道容量，否则重新计算1(5)()2()() (/)()jCjnjijiiip bp bp ap bap a由求出由求出1(5)()2()() (/)()jCjnjijiiip bp bp ap bap a由求出由求出1(5)()2()() (/)()jCjnjijiii

6、p bp bp ap bap a由求出由求出1(5)()2()() (/)()jCjnjijiiip bp bp ap bap a由求出由求出0)(iap23l离散无记忆扩展信道及其信道容量24l独立并联信道及其信道容量l数据处理定理、信息不增性原理25l信源与信道的匹配26第四章第四章 波形信源与波形信道波形信源与波形信道l连续信源的差熵27l两种特殊连续信源的差熵两种特殊连续信源的差熵l均匀分布均匀分布l高斯分布高斯分布28l差熵的性质29l具有最大差熵的连续信源l连续信道与波形信道的分类l按信道输入输出的统计特性l波形信道l多维连续信道l基本连续信道30l按噪声的统计特性l高斯信道l白噪

7、声信道l高斯白噪声信道l有色噪声信道l按噪声对信号的作用l乘性信道l加性信道31l连续信道与波形信道的信息传输率l基本连续信道的平均互信息l连续信道平均互信息的特性3233l连续信道与波形信道的信道容量l单符号高斯加性信道的信道容量l限带高斯白噪声加性波形信道的信道容量34l香农公式重要的实际指导意义3536第五章第五章 无失真的信源编码定理无失真的信源编码定理l编码器3738l等长码l等长信源编码定理39l变长码4041l克拉夫特不等式唯一可译码也满足该不等式。l变长信源编码定理42434445第八章第八章 无失真的信源编码无失真的信源编码l霍夫曼编码l二元霍夫曼编码方法将信源符号按概率由大

8、到小顺序排队给两个概率最小的符号各分配一个码位“0”和“1”，将其概率相加后合并作为一个新的符号，与剩下的符号一起，再重新排队给缩减信源中概率最小的两个符号各分配一个码元重复步骤2、3直至信源剩两个符号为止，此时概率和为1。从最后开始，沿编码路径返回，得到码字。214346lr 元霍夫曼编码l霍夫曼编码的一些说明l霍夫曼编码得到的码字并不唯一。首先，每次缩减信源时所分配的码字是任意的，不同的码元分配，得到的具体码字不同，但码长、平均码长都不变，所以没有本质区别。其次，若合并后的新符号的概率与其他符号的概率相等，从编码的方法上来说，这几个符号的次序可任意排列，编出的码都是正确的，但得到的码字不同

9、。l若合并后的新符号的概率与其他符号的概率相等，一般一般将将合并的概率放在上面。合并的概率放在上面。47l霍夫曼码的特点l霍夫曼码具有最佳性l费诺编码费诺码属于概率匹配编码，比较适合于对分组概率相等或接费诺码属于概率匹配编码，比较适合于对分组概率相等或接近的信源编码。费诺码属于即时码，但是不一定是最佳码。近的信源编码。费诺码属于即时码，但是不一定是最佳码。48l费诺码的编码步骤对概率按r进行分组，使每组概 率尽可能相等。即编二进制码就分2组，编r元码就分成r组。给每个分组分配一个码元对每个分组重复2、3步，直到不可分为止1234按信源符号的概率从大到小的顺序排队)(.)()(21nxpxpxp

10、不妨设不妨设49第六章第六章 有噪信道编码定理有噪信道编码定理l错误概率和译码准则l最大后验概率译码准则（最小错误概率译码准则）l最大似然译码准则50选择译码规则与计算错误概率的方法l判断输入符号的先验概率是否等概率分布。判断输入符号的先验概率是否等概率分布。l若等概率分布，采用最大似然译码准则若等概率分布，采用最大似然译码准则直接从信道矩阵直接从信道矩阵中得到译码函数，此时得到的平均错误概率必然最小。中得到译码函数，此时得到的平均错误概率必然最小。l译码函数的选择方法：译码函数的选择方法：F(bj)应该译成信道矩阵第应该译成信道矩阵第j列概率最大的列概率最大的那个元素对应的信源符号。那个元素

11、对应的信源符号。l平均错误概率的计算方法：平均错误概率的计算方法：按行计算。输入符号概率与其对应行按行计算。输入符号概率与其对应行的错误概率之和相乘，然后各行相加。的错误概率之和相乘，然后各行相加。（注意：非等概率分布时，若使用最大似然译码准则，平均错误概（注意：非等概率分布时，若使用最大似然译码准则，平均错误概率也按此方法计算，只是得到的平均错误概率不一定最小）率也按此方法计算，只是得到的平均错误概率不一定最小）51l若输入符号的先验概率若输入符号的先验概率非等概率分布非等概率分布，则采用，则采用最小错误概最小错误概率准则率准则可以使平均错误概率达到最小。可以使平均错误概率达到最小。l译码函

12、数的选择方法：译码函数的选择方法：计算信道的计算信道的联合概率矩阵联合概率矩阵，F(bj)应该译成应该译成联合概率矩阵第联合概率矩阵第j列概率最大的那个元素对应的信源符号。列概率最大的那个元素对应的信源符号。l平均错误概率的计算方法平均错误概率的计算方法：按列计算，即把联合概率矩阵每列的按列计算，即把联合概率矩阵每列的错误概率相加，再对各列相加。错误概率相加，再对各列相加。52费诺不等式费诺不等式l错误概率与编码方法53 可见，消息数M越多，码率越高；码长n越长，码率越低。l汉明距离（码字距离） 要发现（检测）e个随机错误，要求dmine+1；要纠正t个随机错误，要求dmin2t+1 ；要纠正

13、t个随机错误的同时检测e个随机错误（e t），要求dmint+e+1 54l有噪信道编码定理l有噪信道的信道容量为有噪信道的信道容量为C，若信息传输率，若信息传输率RC则不存在以则不存在以R传输信息而传输信息而PE为任意小的为任意小的码。码。l此定理可以推广到有记忆信道、连续信道、波形信此定理可以推广到有记忆信道、连续信道、波形信道中。道中。55l信源信道编码定理56第七章第七章 保真度准则下的信源编码保真度准则下的信源编码l失真度l平均失真度57l保真度准则lD失真许可的试验信道58l率失真函数及其性质l率失真函数的定义域59l信息率失真函数是允许失真度D的U型凸函数l信息率失真函数的连续性和单调递减性。l二元对称信源的率失真函数lr元对称信源的率失真函数60l保真度准则下的信源编码定理