信息论 第一章优秀课件.ppt

《信息论 第一章优秀课件.ppt》由会员分享，可在线阅读，更多相关《信息论 第一章优秀课件.ppt（19页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论 第一章第1页，本讲稿共19页参考书目参考书目 1 朱雪龙朱雪龙 清华大学出版社清华大学出版社 2001 2 常常 迥迥 清华大学出版社清华大学出版社 TP 14/33 3 吴伟陵吴伟陵 人民邮电出版社人民邮电出版社 4 章照止章照止 林须端林须端 上海科学技术出版社上海科学技术出版社 1993 TN911 2/2 5 信息论基础信息论基础 TN 911/1.2第2页，本讲稿共19页第一章第一章 绪绪 论论1.1 1.1 信息的概念信息的概念1.2 1.2 信息论研究的对象信息论研究的对象 目的和内容目的和内容1.3 1.3 信息论发展简史与信信息论发展简史与信 息科学息科学第3页，本讲

2、稿共19页1.1 1.1 信息的概念信息的概念1.1.1 信息的概念信息的概念1.1.2 概念区别：信息、情报、知识、消息概念区别：信息、情报、知识、消息1.1.3 统计信息的测度统计信息的测度 1.1.4 香农信息定义的优缺点香农信息定义的优缺点1.1.5 信息的属性信息的属性第4页，本讲稿共19页1.1 1.1 信息的概念信息的概念1.1.1 信息的概念信息的概念统计信息统计信息定义：定义：信息是事物运动状态或存在方式的信息是事物运动状态或存在方式的 不确定性的描述。不确定性的描述。1.1.2 概念区别：信息、情报、知识、消息概念区别：信息、情报、知识、消息l l 广义信息已包含了情报、知

3、识、消息广义信息已包含了情报、知识、消息l l 消息是把客观物质运动和主观思维活动的状消息是把客观物质运动和主观思维活动的状态表达出来。态表达出来。第5页，本讲稿共19页l 消息表达方式消息表达方式 文字文字书信书信 符号符号电报电报 数据数据股市股市 语言语言汉语汉语 音符音符歌曲歌曲 图象图象电视节目电视节目第6页，本讲稿共19页信息量信息量不确定性消除程度不确定性消除程度概率概率不确定性不确定性随机性随机性 随机事件随机事件 概率论概率论随机过程随机过程 1.1.3 统计信息的测度统计信息的测度 第7页，本讲稿共19页举例举例1：三个随机变量：三个随机变量 X,Y,Z的密度矩阵为的密度矩

4、阵为等概率分布时，随机变量的不确定性程度最大。等概率分布时，随机变量的不确定性程度最大。第8页，本讲稿共19页举例举例2：两个随机变量：两个随机变量 X,Y 的密度矩阵为的密度矩阵为均等概率分布时，样本数多的不确定性程度均等概率分布时，样本数多的不确定性程度最大。最大。第9页，本讲稿共19页 自信息自信息样本空间：某事物所有可能选择的消息集合样本空间：某事物所有可能选择的消息集合概率空间：样本空间和它的概率测度。概率空间：样本空间和它的概率测度。先验概率：先验概率：某消息某消息 的自信息：的自信息：后验概率：条件概率后验概率：条件概率第10页，本讲稿共19页收到消息收到消息 后，发送端是否是后

5、，发送端是否是 的不确定性：的不确定性：l l 互信息互信息表示收信者收到消息表示收信者收到消息 后，已知消除的不确定后，已知消除的不确定性，即先验的不确定性减去尚存的不确定性，性，即先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量。这就是收信者获得的信息量。第11页，本讲稿共19页（1 1）如果信道无干扰）如果信道无干扰（2）若若 ，则，则 ，无信息，无信息（3）若若 ，则，则 ，信息量大信息量大第12页，本讲稿共19页1.1.4 香农信息定义的优缺点香农信息定义的优缺点 优点优点：(1)科学的定义，有明确的数学模科学的定义，有明确的数学模 型，可进行定量计算；型，可进行定量计算；

6、(2)与日常信息的含义一致；与日常信息的含义一致；(3)计算结果客观。计算结果客观。缺点：缺点：(1)有些事物取值的概率模型难以有些事物取值的概率模型难以 建立；建立；(2)未考虑信息的主观性和实用性。未考虑信息的主观性和实用性。第13页，本讲稿共19页 物质、能量和信息物质、能量和信息是物质世界的是物质世界的三大支柱三大支柱,是是科学历史上三个最重要的基本概念科学历史上三个最重要的基本概念.特征特征:(1)信息、物质、能量统一于事物一身信息、物质、能量统一于事物一身.(2)(2)信息的存在具有普遍性、无限性、动态性、信息的存在具有普遍性、无限性、动态性、时效性和相对独立性时效性和相对独立性.

7、(3)(3)信息具有可传递性、可转换性、可扩散性、信息具有可传递性、可转换性、可扩散性、可复制性、可存储性可复制性、可存储性,因而具有共享性因而具有共享性.(4)(4)信息具有可度量性信息具有可度量性.1.1.5 信息的属性信息的属性第14页，本讲稿共19页1.2 信息论研究的对象、目的和内容1.2.1 研究对象研究对象通信系统模型通信系统模型1.2.2 目的目的信息传输系统最优化信息传输系统最优化1.2.3 信息论研究的内容信息论研究的内容第15页，本讲稿共19页1.2.1 研究对象研究对象通信系统模型通信系统模型信信信信 源源源源编码器编码器编码器编码器信信信信 道道道道译码器译码器译码器

8、译码器噪声源噪声源噪声源噪声源信信信信 宿宿宿宿消息消息消息消息信号信号信号信号干扰干扰干扰干扰消息消息消息消息第16页，本讲稿共19页1.2.2 目的目的信息传输系统最优化信息传输系统最优化1 1 可靠性高可靠性高 使信源发出的消息经过信道传输后，尽使信源发出的消息经过信道传输后，尽 可能准确地、不失真地再现在接收端。可能准确地、不失真地再现在接收端。2 2 有效性高有效性高 经济效果好，用尽可能短的时间和尽可能少经济效果好，用尽可能短的时间和尽可能少的设备来传送一定数量的信息。的设备来传送一定数量的信息。往往提高可靠性和提高有效性是矛盾的。往往提高可靠性和提高有效性是矛盾的。保密性、认证性

9、保密性、认证性第17页，本讲稿共19页1.2.3 信息论研究的内容信息论研究的内容 1.1.狭义信息论狭义信息论 经典信息论：香农主要研经典信息论：香农主要研究信息的测度、信道容量、信源编码、信道究信息的测度、信道容量、信源编码、信道编码理论等。编码理论等。2.2.一般信息论一般信息论 维纳（美）、柯尔莫哥洛夫维纳（美）、柯尔莫哥洛夫（苏），除上述内容，还包括噪声理论、信号（苏），除上述内容，还包括噪声理论、信号滤波和预测、统计检测与滤波和预测、统计检测与估计理论、调制理估计理论、调制理论、信息处理理论、保密理论。论、信息处理理论、保密理论。3 3.广义信息论广义信息论 第18页，本讲稿共19页1.3 1.3 信息论发展简史与信息科学信息论发展简史与信息科学l l信息论是在长期的通信工程实践和理论研究信息论是在长期的通信工程实践和理论研究基础上发展起来的。基础上发展起来的。l l电磁理论和电子学理论促进了电信系统的发电磁理论和电子学理论促进了电信系统的发展。展。由信息论研究形成的分支由信息论研究形成的分支 纠错码纠错码 纠错码理论纠错码理论 压缩编码压缩编码 压缩编码理论压缩编码理论 保密码保密码 密码学理论密码学理论 网络信息理论网络信息理论第19页，本讲稿共19页