信息论发展简史ppt课件.ppt

《信息论发展简史ppt课件.ppt》由会员分享，可在线阅读，更多相关《信息论发展简史ppt课件.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论信息论电子信息工程学院电子信息工程学院1 李玉峰李玉峰信信 息息 论论信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。2课程前言课程前言课程类型：专业课 考试课考试课课程学时：40学时 课程教材：信息论与编码（第2版） 曹雪虹等编著先修课程: 概率论，随机过程，高等数学，线性代数，通信技术. 数字电子技术Here comes your footer Page 2信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、

2、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。3参考书目傅祖芸 赵建中 ， 信息论与编码 ，电子工业出版社 王育民等编著，信息论与编码理论，高等教育出版社仇佩亮，信息论与编码，高等教育出版社陈运、周亮等，信息论与编码，电子工业出版社纠错码-原理与方法，王新梅Here comes your footer Page 3信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“

3、群众性治安防控工程”。4信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。5课程主要内容l信息论的基本问题信息论的基本问题信息的度量信息的度量l无失真信源编码定理无失真信源编码定理香农第一定理香农第一定理l信道编码定理信道编码定理香农第二定理香农第二定理l限失真信源编码定理限失真信源编码定理香农第三定理香农第三定理l信源编码信源编码l信道编码信道编码信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）

4、三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。6教学内容与学时安排第第1章章 绪论绪论 （2学时）学时）第第2章章 信源和信息熵信源和信息熵（10学时）学时）第第3章章 信道与信道容量信道与信道容量（8学时）学时）第第4章章 信息率失真函数信息率失真函数（4学时）学时）第第5章章 信源编码信源编码（6学时）学时）第第6章章 信道编码信道编码（10学时）学时）信息论信息论电子信息工程学院电子信息工程学院7绪绪 论论第一章第一章信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治

5、中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。8本章节教学内容、基本要求、重点与难点本章节教学内容、基本要求、重点与难点 信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。9 第一章第一章 绪绪 论论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4 信息论研究的对象、目的和内容信息论研究的对象

6、、目的和内容l1.5目前信息论的主要研究成果目前信息论的主要研究成果l1.6 通信系统的模型通信系统的模型 信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。10什么是信息什么是信息? ?l“信息是信息，不是物质，也不是能量。” 1948年（美）维纳l “信息是反映事物的形式、关系和差别的东西，信息是包含了客体间的差别中，而不是在客体本身中。” 1975年（意）朗格l“信息是对事物运动状态或存在方式的不确定的描述。” 1948年（美）香

7、农信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。11信息的直观理解 第一个重要概念：第一个重要概念：l信道上传送的是随机变量的值。这就是信道上传送的是随机变量的值。这就是说说:（1）我们在收到消息之前，并不知道消）我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。息的内容。否则消息是没有必要发送的。（2）消息随机变量有一个概率分布。）消息随机变量有一个概率分布。 消息随机变量的一个可能取值就称为消息随机变量的一个可能

8、取值就称为一个事件。一个事件。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。12信息的直观理解 第二个重要概念：第二个重要概念：l事件发生的概率越小，此事件含有的信事件发生的概率越小，此事件含有的信息量就越大。息量就越大。l例如两个事件例如两个事件 A= “中国足球队中国足球队3：0力克韩国足球队力克韩国足球队” B= “中国足球队中国足球队0：1负于韩国足球队负于韩国足球队” 结论是：结论是：A含有的信息量含有的信息量B含有的信息

9、含有的信息量。量。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。13信息的直观理解 第三个重要概念：第三个重要概念：l消息出现的随机性越大，此消息含有的信消息出现的随机性越大，此消息含有的信息量就越大。息量就越大。l例如两个事件例如两个事件 A=“中国足球队与韩国足球队比赛的结果中国足球队与韩国足球队比赛的结果” B=“意大利足球队与德国足球队比赛的结意大利足球队与德国足球队比赛的结果果” 易知：事件易知：事件B随机性大，故含有信息

10、量大。随机性大，故含有信息量大。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。14信息的直观理解 第四个重要概念：第四个重要概念：l两个消息随机变量的相互依赖性越大，两个消息随机变量的相互依赖性越大，它们的互信息量就越大。它们的互信息量就越大。l 例例 X=许昌明日平均气温许昌明日平均气温, Y=郑州明日郑州明日平均气温，平均气温，Z=北京明日平均气温，北京明日平均气温，W=纽约明日平均气温。则纽约明日平均气温。则 X与与Y互信息量

11、大，互信息量大， X与与Z互信息量小得多，互信息量小得多， X与与W互信息量几乎为互信息量几乎为0。 信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。15l例：气象预报例：气象预报 l甲甲l乙乙4/1,4/1,4/1,4/1)(小雨大雨阴晴ypY8/1, 8/1, 4/1, 2/1)(小雨大雨阴晴xpXl一事物状态出现的概率越小，其不确定性一事物状态出现的概率越小，其不确定性越大。越大。 l“甲地晴甲地晴”比比“乙地晴乙地晴”的不确定

12、性来的的不确定性来的小小 .信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。16信息、消息和信号信息信息是对事物运动状态或存在方式的不确是对事物运动状态或存在方式的不确定性描述。定性描述。消息消息是指包含有信息的语言、文字和图像是指包含有信息的语言、文字和图像等。等。 信号信号是消息的物理体现。是消息的物理体现。 信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息

13、化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。17信息、消息和信号 消息是信息的数学载体，信号是信息的消息是信息的数学载体，信号是信息的物理载体。物理载体。l信号：具体的，物理的信号：具体的，物理的l消息：具体的，非物理的消息：具体的，非物理的l信息：非具体的，非物理的信息：非具体的，非物理的信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。18Here comes your footer Pa

14、ge 18v总结总结消息消息是信息的携带者，信息包含于是信息的携带者，信息包含于消息中。消息中。消息不一定含有信息。消息不一定含有信息。信号信号是消息的是消息的载体载体，消息是信号的，消息是信号的具体内容。具体内容。信息信息信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。19 在通信系统中，实际传输在通信系统中，实际传输的是信号，但本质内容是信息。的是信号，但本质内容是信息。 通信的结果是消除或部分通信的结果是消除或部分消除不确定性，

15、从而获得信息。消除不确定性，从而获得信息。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。20信息的特征 信息是十分抽象又复杂的概念，它具有信息是十分抽象又复杂的概念，它具有以下特征：以下特征：l接收到信息之前，其内容未知；接收到信息之前，其内容未知；l信息具有知识的本质，可使主体对事物的信息具有知识的本质，可使主体对事物的不确定性减小；不确定性减小；l信息可以产生，可以消失；信息可以产生，可以消失；l信息可以度量。信息可以度量。信息

16、论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。21 第一章 绪论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.5目前信息论的主要研究成果目前信息论的主要研究成果l1.6 通信系统的模型通信系统的模型信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中

17、心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。22信息的分类l按信息源的性质分类：语声信息、图像信息、文字信按信息源的性质分类：语声信息、图像信息、文字信息、数据信息、计算信息等。息、数据信息、计算信息等。l按信息的作用分类：有用信息、无用信息、干扰信息。按信息的作用分类：有用信息、无用信息、干扰信息。l按信息的逻辑意义分类：真实信息、虚假信息、不定按信息的逻辑意义分类：真实信息、虚假信息、不定信息。信息。l按应用部门分类：工业信息、农业信息、军事信息、按应用部门分类：工业信息、农业信息、军事信息、政治信息、科技信息、文化信息。

18、政治信息、科技信息、文化信息。l按信息的载体性质分类：电子信息、光学信息、生物按信息的载体性质分类：电子信息、光学信息、生物信息等。信息等。l按信号的形式分类：连续信息、离散信息、半连续信按信号的形式分类：连续信息、离散信息、半连续信息息(混合信息混合信息)等。等。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。23 第一章 绪论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论

19、的形成和发展l1.4 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.5目前信息论的主要研究成果目前信息论的主要研究成果l1.6 通信系统的模型通信系统的模型信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。24Claude Shannon (1916-2001)l“通信的基本问题就是在一点通信的基本问题就是在一点重新准确地或近似地再现另一重新准确地或近似地再现另一点所选择的消息点所选择的消息”。这是数学。这是数学家香农家

20、香农(Claude E. Shannon)在他的惊世之著在他的惊世之著通信的数学通信的数学理论理论中的一句铭言。中的一句铭言。l香农应用数理统计的方法来研香农应用数理统计的方法来研究通信系统，从而创立了影响究通信系统，从而创立了影响深远的信息论。深远的信息论。l香农因此成为信息论的香农因此成为信息论的奠基人奠基人信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。25“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。

21、Claude Shannon 1916-2001 信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。26信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。27l香农，香农，1816年生于美国密执安州的加洛德。香农年生于美国密执安州的加洛德。香农创造性地继承了前人的事业创造性地继承

22、了前人的事业,在信息论的领域中钻在信息论的领域中钻研了研了8年之久年之久,终于在终于在1948年在年在贝尔系统技术杂贝尔系统技术杂志志上发表了上发表了244页的长篇论著页的长篇论著通信的数学理通信的数学理论论。l次年次年,他又在同一杂志上发表了另一篇名著他又在同一杂志上发表了另一篇名著噪声噪声下的通信下的通信。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。28l在这两篇文章中在这两篇文章中,香农解决了过去许多悬而未决的香农解决了过去

23、许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。编码等有关精确地传送通信符号的基本技术问题。l两篇文章成了现在信息论的奠基著作。两篇文章成了现在信息论的奠基著作。l香农的成就轰动了世界香农的成就轰动了世界,激起了人们对信息论的巨激起了人们对信息论的巨大热情大热情,它向各门学科冲击它向各门学科冲击,研究规模像滚雪球一研究规模像滚雪球一样越

24、来越大。它已远远地突破了香农本人所研究样越来越大。它已远远地突破了香农本人所研究和意料的范畴和意料的范畴,即从香农的所谓即从香农的所谓“狭义信息论狭义信息论”发发展到了展到了“广义信息论广义信息论”。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。29信息论发展简史信息论发展简史1832年莫尔斯电码对年莫尔斯电码对Shannon编码理论的启发编码理论的启发1885年凯尔文研究了一条电缆的极限传信速率年凯尔文研究了一条电缆的极限传信速率

25、1924年奈奎斯特证明了信号传输速率和带宽成正比年奈奎斯特证明了信号传输速率和带宽成正比1928年年Hartley提出信息量定义为可能消息量的对提出信息量定义为可能消息量的对数数1940维纳将随机过程和数理统计引入通信与控制系维纳将随机过程和数理统计引入通信与控制系统统1948年，年，Shannon总结前人的这些成果，以总结前人的这些成果，以“通通信的数学理论信的数学理论”为题在为题在IEEE Information Theory公开发表文章公开发表文章A mathematical theory of communication，标志着信息论的正式诞生。，标志着信息论的正式诞生。信息论信息论电

26、子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。30qNorbert Wiener, 18941964, founder of cybernetics.信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。31信息论发展简史信息论发展简史1950年汉明码年汉明码1952年年Fano证明了证明了F

27、ano不等式，给出了不等式，给出了shannon信道编码逆定理的证明信道编码逆定理的证明1952年年Fano码，码，Huffman码。码。 1956McMillan证明了证明了Kraft不等式。不等式。1959年，年，Shannon发表发表“保真度准则下的离散信保真度准则下的离散信源编码定理源编码定理” (Coding theorems for a discrete source with a fidelity criterion)，提出信息率失，提出信息率失真理论，为信源压缩编码奠定了理论基础。真理论，为信源压缩编码奠定了理论基础。1961年，香农发表年，香农发表“双路通信系统双路通信系统”

28、 ，开拓了多，开拓了多用户信息理论（网络信息论）的研究。用户信息理论（网络信息论）的研究。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。32信息论发展简史1963年年Alias卷积码的卷积码的Viterbi译码，译码，1974年年Bahl等四人发明了分组码的迭代算法等四人发明了分组码的迭代算法（BCRJ）1976年年Rissanen算术编码算术编码1977年年Lempel和和Ziv的的LZ算法算法1982年年Ungerboeck编码

29、调制技术编码调制技术(TCM)1993年年Turbo编译码技术编译码技术1998年年Space-time编码技术编码技术2000年对年对LDPC码的重新认识码的重新认识信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。33香农信息理论l“非决定论非决定论”l“形式化假说形式化假说”l“不确定性不确定性” 通信后接收者获取的通信后接收者获取的“信息信息”，在数量上等于，在数量上等于通信前后通信前后“不确定性不确定性”的消除量。的消除量。信

30、息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。34 第一章 绪论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4目前信息论的主要研究成果目前信息论的主要研究成果l1.5 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.6 通信系统的模型通信系统的模型信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治

31、中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。351.4 信息论的主要研究成果l语音信号压缩语音信号压缩l长途电话网标准长途电话网标准 1972年年CCITT G.711标准中的标准中的 64kbit/s，1995年年 CCITT G. 723.1标准中的标准中的 6.3 kbit/s。l移动通信中移动通信中 1989年年GSM标准中语音编码速率为标准中语音编码速率为13.2 kbit/s1994年在为半码速年在为半码速GSM研究的研究的VSELP编码算法中，码速编码算法中，码速率为率为5.6 kbit/s l军用通信军用通信

32、 美国美国NSA标准的速率在标准的速率在1975年已达年已达2.4 kbit/s l目前在实验室中已实现目前在实验室中已实现600bit/s的低速率语音编码的低速率语音编码,特别是特别是按音素识别与合成原理构造的声码器其速率可低于按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极限已接近信息论指出的极限信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。36信息论的主要研究成果l图像信号压缩图像信号压缩 l

33、图像信号的信息量特别巨大，这对图像信号的传输及图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便存储都带来极大的不便 。1989年年 CCITT提出电视电话提出电视电话/会议电视的压缩标准会议电视的压缩标准H.261,其压缩比达到其压缩比达到25:1到到48:1左右左右1991年年CCITT与与ISO联合提出的联合提出的“多灰度静止图像压多灰度静止图像压缩编码缩编码”标准标准JPEG,其压缩比为其压缩比为24:1在运动图像方面在运动图像方面,运动图像专家组继成功定义了运动图像专家组继成功定义了MPEG-1和和MPEG-2之后之后,于于1993年年7月开始制订全新的月开始制订全新

34、的MPEG-4标准。随着标准。随着MPEG-4标准的不断扩展标准的不断扩展,它不但它不但能支持码率低于能支持码率低于64kbit/s的多媒体通信的多媒体通信,也能支持广播也能支持广播级的视频。级的视频。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。37信息论的主要研究成果l降低信息传输所需的功率降低信息传输所需的功率l在远距离无线通信在远距离无线通信,特别是深空通信中如何降低信特别是深空通信中如何降低信息传输所需的功率至关重要。因为

35、在这种情况下息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。和使用中的一个困难问题。l正是在这个领域信息论获得了它第一批令人信服正是在这个领域信息论获得了它第一批令人信服的成果。的成果。60年代后期起，年代后期起，NASA发射的所有深空发射的所有深空探测器无一例外地在其通信设备中采取了信道编探测器无一例外地在其通信设备中采取了信道编码措施码措施信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、

36、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。38信息论的主要研究成果l计算机网中数据传输可靠性的保证计算机网中数据传输可靠性的保证 l在用各种电缆连接而成的计算机网中电噪声和在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。传输的信息发生差错。l一般情况下，局域网中的差错率在一般情况下，局域网中的差错率在10-8左右左右,广广域网中的差错率在域网中的差错率在10-310-5。这样高的差错率。这样高的差错率在实际应用中是无法接受的，目前普遍采用的在实际应用中是无法接受的，目前普遍采用的解决办法

37、是带自动重发请求的差错检测码。解决办法是带自动重发请求的差错检测码。l差错检测的方法从最简单的奇偶检验到比较复差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。一般都用循环冗余检验。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。39 第一章 绪论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发

38、展信息论的形成和发展l1.4 目前信息论的主要研究成果目前信息论的主要研究成果l1.5 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.6 通信系统的模型通信系统的模型信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。40信息论的类型l狭义信息论（经典信息论、香农信息论）狭义信息论（经典信息论、香农信息论） ：主要研究信息的测度、信道容量以及信源和信主要研究信息的测度、信道容量以及信源和信道编码理论等问题。道编码理论等问题

39、。l一般信息论：一般信息论：主要也是研究信息传输和处理问题，除香农信主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、保密理论等。计检测和估计、调制理论、保密理论等。l广义信息论：广义信息论：不仅包括上述两方面内容，而且包括所有与信不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言机翻译、心理学、遗传学、神经生理学、语言学等。学等。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（

40、县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。41l信息论信息论一门应用概率论、随机过程、数理统计一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科。提取和处理系统中一般规律的学科。信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。42 第一章 绪论l1.

41、1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4目前信息论的主要研究成果目前信息论的主要研究成果l1.5 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.6 通信系统的模型通信系统的模型信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。43信源编码器信源编码器信道编码器信道编码器信宿信宿信源译码器信源译码器信道译码器信道译码器编码信道编码信道信源信源调

42、调制制器器解解调调器器信道信道干干扰扰源源通信系统理论模型通信系统理论模型信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。44数字通信系统模型信道信源信源编码加密信道编码干 扰 源信宿信源解码解密信道解码加密密钥解密密钥窃听者信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。4

43、5信源、信宿和信道 l信源：产生消息和消息序列的源。信源：产生消息和消息序列的源。 - 核心问题是信源所包含的信息多少。核心问题是信源所包含的信息多少。l信宿：信息归宿之意，亦即收信者或用户，是信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信息传送的终点或目的地。 - 核心是能收到或提取多少信息。核心是能收到或提取多少信息。l信道：传输信息的物理媒介信道：传输信息的物理媒介 。 - 核心问题是信道容量大小。核心问题是信道容量大小。 信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为

44、基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。46信源编码器与译码器 l信源编码器的作用信源编码器的作用是把信源发出的消息变换成由二进制码元是把信源发出的消息变换成由二进制码元(或多或多进制码元进制码元)组成的代码组组成的代码组,这种代码组就是基带这种代码组就是基带信号；信号； 同时通过信源编码可以压缩信源的冗余度同时通过信源编码可以压缩信源的冗余度,以提以提高通信系统传输消息的效率。高通信系统传输消息的效率。 l信源编码器分为两类信源编码器分为两类一类是无失真信源编码一类是无失真信源编码,适用于离散信源或数字适用于离散信源或数字信号；信号； 另一类是限失真信源编码另一类是限

45、失真信源编码,用于连续信源或模拟用于连续信源或模拟信号信号,如语音、图像等信号的数字处理如语音、图像等信号的数字处理信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。47信源编码器与译码器l信源编码器的主要指标信源编码器的主要指标是它的编码效率，即理论上能达到的码率与实是它的编码效率，即理论上能达到的码率与实际达到的码率之比。际达到的码率之比。一般来说，效率越高，编译码器的代价也将越一般来说，效率越高，编译码器的代价也将越大。大。 l信

46、源译码器的作用信源译码器的作用是把信道译码器输出的代码组变换成信宿所需是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的要的消息形式，它的作用相当于信源编码器的逆过程。逆过程。 信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。48信道编码器与译码器l信道编码器的作用信道编码器的作用在信源编码器输出的代码组上有目的地增加一些在信源编码器输出的代码组上有目的地增加一些监督码元监督码元,使之具有检错或纠错的能力

47、使之具有检错或纠错的能力主要作用是提高信息传送的可靠性。主要作用是提高信息传送的可靠性。l信道编码的主要方法信道编码的主要方法增大码率或频带增大码率或频带,即增大所需的信道容量。这恰即增大所需的信道容量。这恰与信源编码相反。与信源编码相反。l信道译码器的作用信道译码器的作用具有检错或纠错的功能具有检错或纠错的功能,它能将落在其检错或纠它能将落在其检错或纠错范围内的错传码元检出或纠正错范围内的错传码元检出或纠正,以提高传输消以提高传输消息的可靠性。息的可靠性。 信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网

48、格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。49密码学研究的内容l如何隐蔽消息中的信息内容如何隐蔽消息中的信息内容,使它在传输过程使它在传输过程中不被窃听，提高通信系统的安全性；中不被窃听，提高通信系统的安全性；将明文变换成密文将明文变换成密文,通常不需要增大信道容量通常不需要增大信道容量,例如在二进码信息流上叠加一密钥流；例如在二进码信息流上叠加一密钥流；信息论信息论电子信息工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。

49、50 问题：能否将三种码问题：能否将三种码(信源编码、信道编信源编码、信道编码和密码码和密码) 合成一种码进行编译？合成一种码进行编译？l从理论方面来说，若能把三种码合并成一种码从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。编译码器更理想化，在经济上可能也更优越。l这种三码合一的设想是当前众所关心的课题，这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。结果，还是相当困难。信息论信息论电子信息

50、工程学院电子信息工程学院“雪亮工程是以区（县）、乡（镇）、村（社区）三级综治中心为指挥平台、以综治信息化为支撑、以网格化管理为基础、以公共安全视频监控联网应用为重点的“群众性治安防控工程”。51如何判定一个通信系统的优劣？如何判定一个通信系统的优劣？ 可靠性可靠性 - 使信源发出的消息经过信道传输以后，尽使信源发出的消息经过信道传输以后，尽可能准确、不失真地再现在接收端。可能准确、不失真地再现在接收端。有效性有效性 - 经济效果好，即用尽可能短的时间和尽可经济效果好，即用尽可能短的时间和尽可能少的设备传输一定的信息。能少的设备传输一定的信息。 保密性保密性 - 隐藏和保护通信系统传输的消息，使