信息论与编码课件第一章优秀PPT.ppt

《信息论与编码课件第一章优秀PPT.ppt》由会员分享，可在线阅读，更多相关《信息论与编码课件第一章优秀PPT.ppt（59页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论与编码课件第一章1第1页，本讲稿共59页开篇寄语开篇寄语l不要以为老师是什么潮人，因为信息论是枯燥不要以为老师是什么潮人，因为信息论是枯燥的，因而也非常的干燥，老师怎么可能潮得起的，因而也非常的干燥，老师怎么可能潮得起来呢！来呢！l中央电视台李咏主持有一档节目叫中央电视台李咏主持有一档节目叫“非常非常6+1”，陈景润研究的哥德巴赫猜想被人称为，陈景润研究的哥德巴赫猜想被人称为“1+1”，其实信息论也可看作，其实信息论也可看作“2+3”。所以，这门课。所以，这门课主要是要搞懂主要是要搞懂“2”和和“3”！2第2页，本讲稿共59页Fundamentals of Fundamentals of

2、 Information TheoryInformation Theory信信 息息 理理 论论 基基 础础3第3页，本讲稿共59页教师情况教师情况 教师：教师：李红莲李红莲 副教授副教授 博士博士 电子信息工程系电子信息工程系 （2-5132-513东）东）E-mail:E-mail:, Mobile:13520630464 Mobile:13520630464 4第4页，本讲稿共59页5第5页，本讲稿共59页授课、考试有关安排授课、考试有关安排l学时数学时数:讲课讲课 3232学时学时 实验实验 8 8学时（学时（1010，1414周周五周周五9-129-12节节?，计算中心），计算中心）

3、l上课时间和地点上课时间和地点:第第1-4,6-161-4,6-16周一周一3 3、4 4节，节，1-1-四阶四阶 第第8 8周二周二1 1、2 2节，节，3-3-五阶五阶6第6页，本讲稿共59页l考试时间：考试时间：第第1717周左右周左右l考试成绩计算：考试成绩计算：作业作业+实验实验 ：30%30%；期末考试：开卷期末考试：开卷 70%70%；l答疑时间：答疑时间：每周三第每周三第5 5、6 6节课（节课（13:30-15:3013:30-15:30）l答疑地点：答疑地点：2-5132-513东东7第7页，本讲稿共59页信息论基础的重要性信息论基础的重要性l信息论是信息科学和技术的基本理

4、论信息论是信息科学和技术的基本理论,是信息科学是信息科学大厦的地基大厦的地基;l没有信息论的基础，从事通信与信息领域的研究和创没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情新是不可能的事情;l总之总之,信息论是高层次信息技术人才必不可少的基础信息论是高层次信息技术人才必不可少的基础知识。知识。8第8页，本讲稿共59页 信息论基础是通信和信息领域的专业基础课信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后续课程、将来程，只有学好这门课，才能学好后续课程、将来进一步从事通信和信息领域的科研和创新。进一步从事通信和信息领域的科研和创新。要珍惜这个良好的学习机会，认

5、真学习，逐要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为将来渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。的进一步学习和科研奠定坚实的基础。信息论基础的重要性信息论基础的重要性9第9页，本讲稿共59页教学目标教学目标l充分理解、熟练掌握教材的内容充分理解、熟练掌握教材的内容熟练掌握基本的信息理论概念和定理熟练掌握基本的信息理论概念和定理熟练掌握通信与信息工程中基本研究对象的数学描述熟练掌握通信与信息工程中基本研究对象的数学描述l通过学习和习题练习，具备一定的解决问题分析通过学习和习题练习，具备一定的解决问题分析问题的能力问题的能力l掌

6、握一定的科学思想方法掌握一定的科学思想方法(用信息论的思想和观点用信息论的思想和观点)10第10页，本讲稿共59页对学习者的要求对学习者的要求l三个重要环节三个重要环节课前预习课前预习课上认真听讲课上认真听讲课后认真复习消化、做作业课后认真复习消化、做作业l经常进行阶段复习经常进行阶段复习掌握知识的窍诀：反复思维实践掌握知识的窍诀：反复思维实践11第11页，本讲稿共59页其他约定其他约定l不得迟到、早退、缺课，有事请假不得迟到、早退、缺课，有事请假l上课时请关闭手机（或调至振动）上课时请关闭手机（或调至振动）l作业不得用纸片信纸之类，必须使用作业本作业不得用纸片信纸之类，必须使用作业本l迟交的

7、作业及纸片做的作业恕不修改，只作记录迟交的作业及纸片做的作业恕不修改，只作记录12第12页，本讲稿共59页信息理论基础信息理论基础的内容的内容l信息论的基本问题信息论的基本问题-信息与信道的度量信息与信道的度量l无失真信源编码定理无失真信源编码定理-香农第一定理香农第一定理l信道编码定理信道编码定理-香农第二定理香农第二定理l限失真信源编码定理限失真信源编码定理-香农第三定理香农第三定理13第13页，本讲稿共59页ShannonShannon信息论的基本任务信息论的基本任务l19481948年年shannonshannon发表了发表了“通信的数学理论通信的数学理论”奠定了奠定了信息论理论基础信

8、息论理论基础l基本任务是设计有效而可靠的通信系统基本任务是设计有效而可靠的通信系统可靠是要使信源发出的消息经过传输后，尽可能准确可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端地、不失真地再现在接收端有效是用尽可能短的时间和尽可能少的设备来传输一有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息定量的消息14第14页，本讲稿共59页 内容安排内容安排 第一章第一章 绪论绪论 2 2学时学时第二章第二章 信源和熵信源和熵 8 8学时学时第三章第三章 信道及其容量信道及其容量 6 6学时学时第四章第四章 离散信源的无失真编码离散信源的无失真编码 6 6学时学时第五章第五

9、章 信道编码信道编码 4 4学时学时第六章第六章 限失真信源编码限失真信源编码 4 4学时学时复习复习 2 2学时学时15第15页，本讲稿共59页第一章第一章 绪绪 论论一、信息的概念一、信息的概念二、信息论产生背景二、信息论产生背景三、信息论的发展简史三、信息论的发展简史四、信息论的应用四、信息论的应用五、信息论研究的内容五、信息论研究的内容六、参考书目六、参考书目16第16页，本讲稿共59页l在人类的历史长河中，信息传输和传播手段经历了五在人类的历史长河中，信息传输和传播手段经历了五次变革：次变革：第一次变革：语言的产生第一次变革：语言的产生第二次变革：文字的产生第二次变革：文字的产生第三

10、次变革：印刷术的发明第三次变革：印刷术的发明第四次变革：电报第四次变革：电报、电话、电话的发明的发明第五次变革：计算机技术与通信技术相结合，促进了第五次变革：计算机技术与通信技术相结合，促进了网络的发展。网络的发展。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁17第17页，本讲稿共59页历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁 我国上古时期的我国上古时期的“结结绳记事绳记事”法，史书上法，史书上有很多记载。有很多记载。汉朝郑玄的汉朝郑玄的周易注周易注中记载：中记载：“古者无古者无文字，结绳为约，事文字，结绳为约，事大，大结其绳，事小，大，大结其绳，事小，小结其绳。小结其

11、绳。”18第18页，本讲稿共59页 后来，文字的出现解后来，文字的出现解决了这一问题。自从决了这一问题。自从造纸术和印刷术的发造纸术和印刷术的发明，使文字成为信息明，使文字成为信息记录、储存和传递的记录、储存和传递的有效手段。有效手段。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁19第19页，本讲稿共59页 特别是电报、电话和特别是电报、电话和电视的发明，使信息电视的发明，使信息传送快速、便利，再传送快速、便利，再次体现了信息加工和次体现了信息加工和传输的变革。传输的变革。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁20第20页，本讲稿共59页 电子计算机的迅速发电子计算机

12、的迅速发展和广泛应用，尤其展和广泛应用，尤其是个人微型计算机的是个人微型计算机的普及，大大提高了人普及，大大提高了人们处理加工信息、存们处理加工信息、存储信息及控制管理信储信息及控制管理信息的能力。息的能力。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁21第21页，本讲稿共59页近年来，以计算机为主近年来，以计算机为主体的互联网技术的兴起体的互联网技术的兴起和发展，以空前的威力和发展，以空前的威力推动着人类经济和社会推动着人类经济和社会高速发展，将人类社会高速发展，将人类社会推入到高度化的信息时推入到高度化的信息时代。代。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁22第2

13、2页，本讲稿共59页信息信息是信息论中最基本、最重要的概念，是一个是信息论中最基本、最重要的概念，是一个既复杂又抽象的概念。既复杂又抽象的概念。信息概念十分广泛，由于信息科学比起其他学科（如信息概念十分广泛，由于信息科学比起其他学科（如物理学、化学、数学）还很年轻，人类对信息的认识物理学、化学、数学）还很年轻，人类对信息的认识还很不够。迄今为止，信息还很不够。迄今为止，信息并没有形成一个很完并没有形成一个很完整的、系统的概念整的、系统的概念。不同的研究学派对信息的本质及其定义还没有形成统不同的研究学派对信息的本质及其定义还没有形成统一的意见和认识。一的意见和认识。一、信息的概念一、信息的概念2

14、3第23页，本讲稿共59页通俗通俗的信息概念的信息概念信息是一种信息是一种消息消息。这是一种最普遍的概念，是目前社会上最流行的概这是一种最普遍的概念，是目前社会上最流行的概念，这个概念好像使人一听就明白，但不准确。确念，这个概念好像使人一听就明白，但不准确。确切地说，这种概念把消息认为是信息。切地说，这种概念把消息认为是信息。信息信息 消息消息，同一条消息有不同信息量。，同一条消息有不同信息量。例如例如:某人收到一条消息某人收到一条消息包含许多原来不知道的包含许多原来不知道的新新内容内容信息量信息量大大包含许多原来已知道的包含许多原来已知道的旧旧内容内容信息量信息量小小24第24页，本讲稿共5

15、9页广义广义的信息概念的信息概念物质、能量和信息是构成客观世界三大要素，信息是物质、能量和信息是构成客观世界三大要素，信息是物物质和能量质和能量在在空间和时间空间和时间中分布的中分布的不均匀程度不均匀程度。信息不是物质信息不是物质，信息是事物的表征，是对，信息是事物的表征，是对物质存在状态和物质存在状态和运动形式运动形式的一般描述。的一般描述。信息存在于任何事物之中，有物质的地方就有信息，信息存在于任何事物之中，有物质的地方就有信息，信息充满物质世界。信息充满物质世界。信息本身看不见、摸不着，它信息本身看不见、摸不着，它必须依附于一定的物质必须依附于一定的物质形式形式（如（如文字、声波、电磁波

16、文字、声波、电磁波等）。这种运载信息的物等）。这种运载信息的物质称为信息的载体，一切物质都有可能成为信息的载体。质称为信息的载体，一切物质都有可能成为信息的载体。25第25页，本讲稿共59页概率概率信息的概念信息的概念概率信息是由美国数学家香农提出来的，故称概率信息是由美国数学家香农提出来的，故称香农信香农信息息或或狭义信息狭义信息。是从。是从不确定性不确定性 (UncertaintyUncertainty)和概率和概率测度出发定义信息的。测度出发定义信息的。香农从信源具有随机不确定度出发，为信源推出一个与香农从信源具有随机不确定度出发，为信源推出一个与统计力学的熵相似的函数，称为信息熵。统计

17、力学的熵相似的函数，称为信息熵。信息熵是信源的信息选择不确定度的测量，但它不等同于信息熵是信源的信息选择不确定度的测量，但它不等同于不确定度，而是为了消除一定的不确定度，必须获得的、不确定度，而是为了消除一定的不确定度，必须获得的、与此不确定度相等的信息量。与此不确定度相等的信息量。26第26页，本讲稿共59页信息的特征信息的特征l信息虽无确切定义，但是却具有两个明显的特征：广泛信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。性与抽象性。l广泛性广泛性客观世界充满着信息客观世界充满着信息 人类离不开信息人类离不开信息 知识、书本是有用信息的积累知识、书本是有用信息的积累 l抽象性抽

18、象性 信信息息是是组组成成客客观观世世界界并并促促进进社社会会发发展展的的最最基基本本的的三三大大要要素素之之一一。三三大大要要素素是是：物物质质、能能量量与与信信息息。三三要要素素中中物物质质是是基基础础，是是实实体体。能能量量是是物物质质运运动动的的形形式式，E=mcE=mc2 2，物物质质可可转转换换成成能能量量，而而能能量量又又是是改造客观世界的主要动力。改造客观世界的主要动力。27第27页，本讲稿共59页信息的重要性质信息的重要性质l存在的普遍性；有序性；相对性；可度量性；可扩充存在的普遍性；有序性；相对性；可度量性；可扩充性；可存储性；可存储、传输与携带性；可压缩性；可替代性；、传

19、输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性。可扩散性；可共享性；时效性。l信息在信息化程度越来越高的社会中将起到越来信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的财富。越重要的作用，是比物质和能量更为宝贵的财富。28第28页，本讲稿共59页l信息：它依附于物质和能量，但又不同于物质和能信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的

20、，利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。对信息的表达分为三个层次：信号、消息、信息。信息的重要性质信息的重要性质29第29页，本讲稿共59页l信号：是信息的物理表达层，是三个层次中最具体信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。可测量、可描述、可显示。l

21、消息：消息：(或称为符号或称为符号)是信息的数学表达层，它虽不是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：抽象为两大类型：离离散散(数数字字)消消息息，是是一一组组未未知知量量，可可用用随随机机序序列列来来描描述述：U U=(U(U1 1 U Ul l U UL L)连连续续(模模拟拟)消消息息，也也是是未未知知量量，它它可可用用随随机机过过程程来来描描述述：U(t,)U(t,)信息、消息、信号信息、消息、信号30第30页

22、，本讲稿共59页l信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。内涵与外延的关系。l理解：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信理解：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同

23、一信息，可以采达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式用不同的信号形式(比如文字、语言、图象等比如文字、语言、图象等)来载荷；同一信息，也可来载荷；同一信息，也可以采用不同的数学表达形式以采用不同的数学表达形式(比如离散或连续比如离散或连续)来定量描述。同样，同一来定量描述。同样，同一信号形式，比如信号形式，比如“0 0”与与“1 1”可以表达不同形式的信息，比如无与有、可以表达不同形式的信息，比如无与有、断与通、低与高断与通、低与高(电平电平)等等。等等。信息、消息、信号信息、消息、信号31第31页，本讲稿共59页信号信号信息、消息、信号信息、消息、信号

24、消息消息信息信息信息蕴含在消息中信息蕴含在消息中消息蕴含在信号中消息蕴含在信号中信号中装着消息信号中装着消息消息中装着信息消息中装着信息第32页，本讲稿共59页什么是信息论什么是信息论l它是它是C.E.ShannonC.E.Shannon四十年代末期，以客观概率信息四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓为研究对象，从通信的信息传输问题中总结和开拓出来的理论。主要研究的问题出来的理论。主要研究的问题 ：信源的描述，信息的定量度量、分析与计算信源的描述，信息的定量度量、分析与计算 信道的描述，信道传输的定量度量、分析与计算。信道的描述，信道传输的定量度量、分析与计

25、算。信源、信道与通信系统之间的统计匹配，以及通信系信源、信道与通信系统之间的统计匹配，以及通信系统的优化统的优化 ShannonShannon的三个编码定理。的三个编码定理。l信息论诞生五十多年来，至今，仍然是指导通信信息论诞生五十多年来，至今，仍然是指导通信技术发展的理论基础，是创新通信体制的源泉技术发展的理论基础，是创新通信体制的源泉 。33第33页，本讲稿共59页1.1.信息的如何度量？信息的如何度量？2.2.需要解决的问题：需要解决的问题：l通信系统中信息传输的效率。通信系统中信息传输的效率。l信息传输的准确性问题。信息传输的准确性问题。l噪声干扰。噪声干扰。l频率特性。频率特性。本质

26、为：信息传输的可靠性与有效性问题。本质为：信息传输的可靠性与有效性问题。二二.信息论产生背景信息论产生背景34第34页，本讲稿共59页信道信道信源信源信宿信宿通信系统模型通信系统模型第35页，本讲稿共59页信源信源信道信道信宿信宿编码编码器器译码译码器器消消息息信信号号噪声噪声源源干干扰扰恢复的恢复的消息消息信号信号+干扰干扰通信系统模型通信系统模型第36页，本讲稿共59页 信源：信源：产生消息的源。消息可以是文字、语言、图像等。产生消息的源。消息可以是文字、语言、图像等。编码器：编码器：将信源发出的消息变换成适于信道传送的信将信源发出的消息变换成适于信道传送的信号的设备。包含信源编码器、纠错

27、编码器、调制器。号的设备。包含信源编码器、纠错编码器、调制器。信道：信道：把载荷消息的信号从发射端传到接收端的媒质或把载荷消息的信号从发射端传到接收端的媒质或通道。狭义的实际信道有电缆、波导、光纤、无线电波通道。狭义的实际信道有电缆、波导、光纤、无线电波传播空间。传播空间。通信系统模型通信系统模型37第37页，本讲稿共59页 干扰源：干扰源：系统其他各部分产生的噪声和干扰都等效成系统其他各部分产生的噪声和干扰都等效成信道干扰，集中作用于信道。信道干扰，集中作用于信道。译码器：译码器：编码的逆变换。它的作用是从受干扰的信号中编码的逆变换。它的作用是从受干扰的信号中最大限度地提取出有关信源传出消息

28、的信息。最大限度地提取出有关信源传出消息的信息。信宿：信宿：信息传送过程中的接收者，即接收消息的人或物。信息传送过程中的接收者，即接收消息的人或物。通信系统模型通信系统模型38第38页，本讲稿共59页三三.信息论发展简史信息论发展简史l电磁理论和电子学理论对通信理论技术发展起重要的电磁理论和电子学理论对通信理论技术发展起重要的促进作用促进作用1820182018301830年，法拉第发现电磁感应年，法拉第发现电磁感应莫尔斯莫尔斯1832183218351835建立电报系统。建立电报系统。18761876年年BellBell发明电话发明电话18641864麦克斯韦预言电磁波存在，麦克斯韦预言电磁

29、波存在，18881888年赫兹验证该理论年赫兹验证该理论18951895年马可尼发明了无线电通信年马可尼发明了无线电通信微波电子管导致微波通信系统，微波雷达系统微波电子管导致微波通信系统，微波雷达系统激光技术使通信进入光通信时代激光技术使通信进入光通信时代39第39页，本讲稿共59页信息论发展简史信息论发展简史l18321832年莫尔斯电码对年莫尔斯电码对shannonshannon编码理论的启发编码理论的启发l18851885年凯尔文研究了一条电缆的极限传信速率年凯尔文研究了一条电缆的极限传信速率l19221922年卡逊对调幅信号的频谱结构进行研究年卡逊对调幅信号的频谱结构进行研究l1924

30、1924年奈奎斯特证明了信号传输速率和带宽成正比年奈奎斯特证明了信号传输速率和带宽成正比l19281928年年HartleyHartley提出信息量定义为可能消息量的对提出信息量定义为可能消息量的对数数l19391939年年DudleyDudley发明声码器发明声码器l19401940维纳将随机过程和数理统计引入通信与控制系维纳将随机过程和数理统计引入通信与控制系统统40第40页，本讲稿共59页信息论发展简史信息论发展简史19481948年年shannonshannon信息论奠基信息论奠基19521952年年FanoFano证明了证明了FanoFano不等式，给出了不等式，给出了shannon

31、shannon信道编码逆定理的证明信道编码逆定理的证明19571957，WolfowitzWolfowitz，1961 Fano1961 Fano，1968Gallager1968Gallager给出信道编码定理的简洁证明给出信道编码定理的简洁证明并描述了码率，码长和错误概率的关系，并描述了码率，码长和错误概率的关系，19721972年年ArimotoArimoto和和BlahutBlahut发明了信道容量的发明了信道容量的迭代算法迭代算法1956McMillan1956McMillan证明了证明了KraftKraft不等式。不等式。19521952年年FanoFano码，码，HuffmanH

32、uffman码。码。1976 Rissanen1976 Rissanen算术编算术编码，码，19771977，78 Ziv78 Ziv和和LempelLempel的的LZLZ算法算法41第41页，本讲稿共59页信息论发展简史信息论发展简史19501950年汉明码，年汉明码，19601960年卷积码的概率译码，年卷积码的概率译码，ViterbiViterbi译码，译码，19821982年年UngerboeckUngerboeck编码调制编码调制技术，技术，19931993年年TurboTurbo编译码技术编译码技术19591959年，年，ShannonShannon提出率失真函数和率失真提出率失

33、真函数和率失真信源编码定理信源编码定理19611961年，年，ShannonShannon的的“双路通信信道双路通信信道”开拓开拓了网络信息论的研究，目前是非常活跃的研了网络信息论的研究，目前是非常活跃的研究领域。究领域。42第42页，本讲稿共59页语音信号压缩（语音信号压缩（G.711,GSM,VocoderG.711,GSM,Vocoder）图象信号的压缩（图象信号的压缩（JPEG,MPEGJPEG,MPEG）计算机文件压缩（计算机文件压缩（compress,gzipcompress,gzip）模拟话路中数据传输速率的提高模拟话路中数据传输速率的提高降低信息传输所需的功率降低信息传输所需的

34、功率四、信息论的应用四、信息论的应用43第43页，本讲稿共59页计算机网中数据传输可靠性的保证计算机网中数据传输可靠性的保证计算机中的容错问题计算机中的容错问题图像信号的复原与重建图像信号的复原与重建模式分类问题与树分类器的设计模式分类问题与树分类器的设计其他（信息经济学、医学、生物学、管理科其他（信息经济学、医学、生物学、管理科学等）学等）四、信息论的应用四、信息论的应用44第44页，本讲稿共59页五五.信息论的研究内容信息论的研究内容l狭义信息论（经典信息论）狭义信息论（经典信息论）研究信息测度，信道容量以及信源和信道编码理论研究信息测度，信道容量以及信源和信道编码理论l一般信息论一般信息

35、论研究信息传输和处理问题，除经典信息论外还包括噪声理论，研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论理理论和保密理论l广义信息论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学如模式识别，计算机翻译，心理学，遗传学，神经生理学45第45页，本讲稿共59页狭义信息论体系结构狭义信息论体系结构ShannonShannon信息论信息论压缩理论压缩理论有失真编码有

36、失真编码无失真编码无失真编码等长编码等长编码定理定理ShannonShannon19481948McMillanMcMillan19531953变长编码变长编码定理定理ShannonShannon19481948McMillanMcMillan19561956HuffmanHuffman码码(1952)(1952)、FanoFano码码算术码算术码(1976,1982)(1976,1982)LZLZ码码(1977,1978)(1977,1978)率失真理论率失真理论ShannonShannonGallagerGallagerBergerBerger压缩编码压缩编码JPEGJPEGMPEGMPE

37、G传输理论传输理论信道编码定理信道编码定理网络信息理论网络信息理论纠错码纠错码编码调制理论编码调制理论网络最佳码网络最佳码46第46页，本讲稿共59页 信息信息用来消除接收者某种认识上不确用来消除接收者某种认识上不确 定性的东西。定性的东西。信息论信息论研究信息的本质、描述和度量方法以及传研究信息的本质、描述和度量方法以及传输和处理的基本原理的理论。输和处理的基本原理的理论。信息科学信息科学信息科学是研究信息规律和指导信息技信息科学是研究信息规律和指导信息技术开发及应用的学问。术开发及应用的学问。信息技术信息技术运用信息科学为经济和社会发展而共同协作运用信息科学为经济和社会发展而共同协作组成的

38、各种工具和规则体系。组成的各种工具和规则体系。信息、材料、能源是现代科学的三大支柱。信息、材料、能源是现代科学的三大支柱。有关概念有关概念47第47页，本讲稿共59页 信息论的主要贡献是：信息论的主要贡献是：（1 1）把统计信息定义为）把统计信息定义为“用来消除信息接收者某种认识上的不用来消除信息接收者某种认识上的不确定性的东西确定性的东西”，并给出了其度量公式，并给出了其度量公式-熵和互信息；熵和互信息；（2 2）建立了一些重要的性能界：信源输出的最大可能的信息）建立了一些重要的性能界：信源输出的最大可能的信息量，满足一定失真度的要求所必须传递的最小信息量，信道上量，满足一定失真度的要求所必

39、须传递的最小信息量，信道上的最大可能通过能力等；的最大可能通过能力等；（3 3）建立了一组重要的编码定理，从理论上指明了为达到上述）建立了一组重要的编码定理，从理论上指明了为达到上述性能界限应当遵循的信息处理的方法和原则。这就不仅从定性方性能界限应当遵循的信息处理的方法和原则。这就不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段转变为科学。信的研究从经验的阶段转变为科学。48第48页，本讲稿共59页六六.参考书目参考书目l焦瑞莉，李红莲，冷俊敏，信息论基础教程。机焦瑞莉，李红莲，冷俊敏，信息论基础教

40、程。机械工业出版社，械工业出版社，20082008年。年。l周荫清，信息理论基础。北京航空航天大学出版社，周荫清，信息理论基础。北京航空航天大学出版社，20062006年。年。l曲炜等曲炜等,信息论基础及应用。清华大学出版社，信息论基础及应用。清华大学出版社，20052005年。年。l曹雪虹等，信息论与编码，清华大学出版社，曹雪虹等，信息论与编码，清华大学出版社，20042004年。年。l仇佩亮，信息论与编码。高等教育出版社，仇佩亮，信息论与编码。高等教育出版社，20032003年。年。l朱雪龙，应用信息论基础。清华大学出版社，朱雪龙，应用信息论基础。清华大学出版社，20042004年。年。4

41、9第49页，本讲稿共59页lROBERT J.MCELIECEROBERT J.MCELIECE，信息论与编码理论。电子工业出版，信息论与编码理论。电子工业出版社，社，20032003年。年。l吴伟陵，信息处理与编码。人民邮电出版社，吴伟陵，信息处理与编码。人民邮电出版社，20032003年。年。l陈运等，信息论与编码。电子工业出版社，陈运等，信息论与编码。电子工业出版社，2003 2003年。年。l吕锋、王虹等，信息理论与编码。人民邮电出版社，吕锋、王虹等，信息理论与编码。人民邮电出版社，20042004年。年。lRANJAN BOSERANJAN BOSE，信息论、编码与密码学。机械工业出

42、版社，信息论、编码与密码学。机械工业出版社，20032003年。年。50第50页，本讲稿共59页附附.Shannon.Shannon及其影响和贡献及其影响和贡献1.1.Shannon Claude Elwood Shannon Claude Elwoodl19161916年年4 4月月3030日出生于美国密执安州的日出生于美国密执安州的加洛德。加洛德。l早年获得了密执安州大学的数学和电子早年获得了密执安州大学的数学和电子工程学的学士学位。工程学的学士学位。l19401940年获得麻省理工学院博士学位。年获得麻省理工学院博士学位。l19411941年至年至19721972年间，在贝尔实验室工年间

43、，在贝尔实验室工作。作。l从从19581958年在麻省理工学院任教，至年在麻省理工学院任教，至19781978年退休。年退休。l20012001年年2 2月月2424日在马萨诸塞州的日在马萨诸塞州的MedfordMedford因老年痴呆症与世长辞，享年因老年痴呆症与世长辞，享年8484岁。岁。51第51页，本讲稿共59页2.2.贡献贡献l奠定了大型数字计算机构建的理论基础。奠定了大型数字计算机构建的理论基础。19381938年：年：继电器和开关电路的符号分析继电器和开关电路的符号分析 首次用布尔代数进行开关电路分析，证明了布尔代数的逻辑运首次用布尔代数进行开关电路分析，证明了布尔代数的逻辑运算

44、，可以通过继电器电路来实现，给出了实现加，减，乘，除算，可以通过继电器电路来实现，给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路理论的等运算的电子电路的设计方法。这篇论文成为开关电路理论的开端。开端。l开创了信息论。开创了信息论。19481948年：年：The mathematical Theory of Communication The mathematical Theory of Communication 1949 1949年：年：Communication in Presence of NoiseCommunication in Presence of No

45、ise52第52页，本讲稿共59页香农的贡献香农的贡献l19481948年发表年发表“保密通信的信息理论保密通信的信息理论”，首先用信息论，首先用信息论的观点对信息保密问题作了全面的论述；的观点对信息保密问题作了全面的论述；l19591959年发表年发表“保真度准则下的离散信源编码定理保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定提出信息率失真理论，为信源压缩编码研究奠定理论基础；理论基础；l19611961年发表年发表“双路通信信道双路通信信道”，开拓了多用户信，开拓了多用户信息理论（网络信息论）的研究。息理论（网络信息论）的研究。53第53页，本讲稿共59页

46、3.3.影响影响l是是2020世纪最杰出的人物之一。如果没有他，很多我们现在使用的世纪最杰出的人物之一。如果没有他，很多我们现在使用的物品根本就不可能存在。数字革命是由香农最初发起的。物品根本就不可能存在。数字革命是由香农最初发起的。内尔内尔斯罗恩（香农理论选集的编辑）斯罗恩（香农理论选集的编辑）lShannonShannon理论的问世，象是引爆了一枚重磅的原子弹，震撼了整理论的问世，象是引爆了一枚重磅的原子弹，震撼了整个科学界。个科学界。J.Pierce(J.Pierce(香农的合作者和朋友）香农的合作者和朋友）54第54页，本讲稿共59页4.4.香农理论的局限性香农理论的局限性 Shann

47、on Theory:dead or aliveShannon Theory:dead or alive？（香农信息论过时了吗？）（香农信息论过时了吗？）“要知道，企望一次就能揭开自然界的全部奥秘是不切要知道，企望一次就能揭开自然界的全部奥秘是不切实际的。实际的。”香农对自己理论的局限性有清醒的认识，他在香农对自己理论的局限性有清醒的认识，他在19521952年指出，年指出，“信息论肯定不是通信工作者医治百病的灵丹妙药，对于其他领信息论肯定不是通信工作者医治百病的灵丹妙药，对于其他领域的人更是如此。实际上，信息论在核心本质上是数学的分支，域的人更是如此。实际上，信息论在核心本质上是数学的分支，是

48、一个严密的演绎系统。信息论的基本结果都是针对某些特殊的是一个严密的演绎系统。信息论的基本结果都是针对某些特殊的问题，他们未必适合于心理学，经济学以及其他一些社会科学。问题，他们未必适合于心理学，经济学以及其他一些社会科学。”因此，我们不能也不应该期望香农信息论能应用于任因此，我们不能也不应该期望香农信息论能应用于任何领域。何领域。55第55页，本讲稿共59页概率复习贝叶斯公贝叶斯公式式第56页，本讲稿共59页概率复习贝叶斯公贝叶斯公式式第57页，本讲稿共59页作作 业业思考题思考题1 1 信号、消息、信号的定义是什么？信号、消息、信号的定义是什么？三者的关系是什么？三者的关系是什么？2 2 简述一个通信系统包括的各主要简述一个通信系统包括的各主要功能模块及其作用。功能模块及其作用。58第58页，本讲稿共59页l皇者李玲玉-天竺少女 l【小品小品】赵本山赵本山,范伟范伟心病心病-视频视频-优酷视频优酷视频-在线观看在线观看迈克尔乔丹十大扣篮 59第59页，本讲稿共59页