信息论与编码课程介绍绪论.ppt

《信息论与编码课程介绍绪论.ppt》由会员分享，可在线阅读，更多相关《信息论与编码课程介绍绪论.ppt（83页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1信息论与编码信息论与编码information theory and codingorinformatics and coding2教学目标教学目标n n掌握基本的理论和应用n n理解信息论思想和方法，总结香农怎么能够创立一套理论n n掌握信息论在实践中的一些重要应用n n不为了毕业和考试而学，不为了应付大纲而教3基本教学环节基本教学环节n n（1）课堂教学：标志性问题；案例启发；鼓励学生共同参与讨论和问题探寻；重点传授方法和思想以及好的学习和研究的方法和习惯。期中和期末会有talk，让学生谈想法，展示自己的作品和发现。n n（2）课外自学：布置一定自学任务和思考题进行课外学习和资料查阅准备

2、。n n（3）研究与实践：学生选择性进行研究与编程实践，提交相应的报告，或者程序，作品等等，作为平时成绩的一部分。要求写创新日记。n n 4基本教学环节基本教学环节n n（4）答疑辅导：固定时间在答疑的教室05505 进行答疑，也可在网络教学平台上或者QQ，E-mail进行讨论。n n（5）考核：本课程将更加强调学生对知识的理解和应用，避开死记硬背和应试技巧。不要划重点，强调平时的学习领悟和理解积累。让考前抱佛脚失效。5基本教学环节基本教学环节n n（6）跟踪、反馈和继续教育：课程结束后可以继续提问，把这一课在今后学习和应用中遇到的问题及时反馈给我。另外在这方面提供进一步的帮助和指导。把这个教

3、学延伸到一种终生的、全程的教育。另外可能根据情况补充一定的教案、视频、屏幕录像教学。6教学方式教学方式n n多媒体教学为主n n教学中会有几个talkn n可能补充录制一定的屏幕录像，提供网络资源和电子资源，推荐一定的自学资料。关于课堂教学，强调发挥学生的自主性，包括鼓励思考，要有创新日记。n n重视学习兴趣的培养，因为信息论与编码在许多人看来是枯燥无味的，欢迎提出反馈意见。7教学方式教学方式n n如同对待科研一样，对待教学，像科研一样去理解钻研它。n n将教材上的直接给出答案变成一种引导，而且是一种引导过程，比如可能会发好几个锦囊，即一种逐步的提示。同时将不同内容进行穿插教学。n n教学过程

4、中提出一些个人见解，也是作为一种示范，希望同学们也能够用类似的方式，提出类似的看法，同时也可以批评指正。8考核的方式与安排考核的方式与安排n n多样化的形式，包括自己的学习心得和感想。n n注重对授课内容的理解和领悟，不死记硬背，减少考前抱佛脚：改名词解释为名词解释、理解与应用，不要求死记硬背，改卷鼓励创新，宽容错误（学生错误都会很多，是正常的）。n n尽量不针对考试题目划重点，可能会有一个总结，但是不是针对考试题划重点，而是对这一门课程画龙点睛。9考核的方式与安排考核的方式与安排n n评分的标准答案将会更加灵活和自由，允许学生用自己的理解和表达方式来给出答案，宽容独立于课本外的新见解。n n

5、不要抱抄袭的想法，答案将会具有很大的随意性，雷同将会受到处罚。n n开放、自由的题型。n n平时个人发言，talk上积极发言有加分。n n品行好的会有加分，体现在平时成绩。10考核的方式与安排考核的方式与安排n n命题原则：鼓励创新，鼓励批判精神，考试题映射学生多方面的能力和素质，强调实践能力，加大答题的自由度，容纳学生平时对知识的理解和思考。坦诚自己的失败将会受到鼓励、宽容学生自主创新中失败原则，鼓励答案有超出书本和讲授内容的新发现。避免应试和临时抱佛脚。注意一些全程思考题会在考试中有映射。不注重咬文嚼字。n n导向：就业、创业、能力（活学活用），避免高分低能和低分高能。好品行导向。11考核

6、的方式与安排考核的方式与安排n n考试注意：n n讨论题：针对重要的问题从多方面进行论述，包括，个人的理解，利弊分析，应用价值探讨，可以应用的领域，鼓励将其与现实问题结合起来（比如将现实问题抽象为该理论问题）。n n名词解释会增加对名词的理解，而不是死记硬背。n n创新题，写自己在整个过程中的创新性想法，平时就可以准备，可以任意发挥。12考勤办法及基本纪律要求考勤办法及基本纪律要求n n点名、布置小作业、其他互动方式、作业情况。n n要求按时到课，不要旷课，本学期严格执行旷课超过三分之一取消考试资格规定。n n请假要有请假条。n n上课不要喧闹。n n上课不要接电话。13参考教材参考教材参考教

7、材傅祖芸编著，信息论基础理论与应用，2002王育民,李晖,梁传甲信息论与编码理论北京：高等教育出版社2006沈连丰，叶芝慧信息与编码北京：科学出版社，2004.傅祖芸信息理论与编码-学习辅导及精选题解北京：电子工业出版社，2004.14参考教材参考教材姜丹，信息论与编码,中国科学技术大学出版社Robert J.McEliece.The Theory of Information and Coding（Second Edition）.电子工业出版社,2003 Gallager.Information Theory and Reliable Communications.John Wiley&So

8、nes,1968姜楠，信息论与编码理论，清华大学出版社姜楠，信息论与编码理论，清华大学出版社王勇，黄雄华，蔡国永，信息论与编码，清华大学出版社，王勇，黄雄华，蔡国永，信息论与编码，清华大学出版社，2013201315参考网站参考网站http:/ Information TheoryQuantum Information TheoryInformation Theory/Information Theory/17参考网站参考网站合肥工业大学合肥工业大学河南理工大学河南理工大学http:/218.87.136.37:8088/http:/218.87.136.37:8088/江西理工大学江西理工大

9、学成都信息工程学院成都信息工程学院18课程特点课程特点理论性强。n n学问做得越深，就越需要。n n对数学的要求高，涉及到概率论、线性代数、微积分等等。适当调整数学多的内容。n n对于不善于领悟的同学，可能是枯燥无味的，对于善于领悟的同学，有如鱼得水的感觉。n n是对信息问题的抽象，应用面、涉及面广，但是建模太多，局限性也多。19学习要求学习要求n n准备一个笔记本做创新日记，不要求很好，但是要是正式的，可以长期使用和存留的本子。作为平时的作业的一部分进行检查，而且会返还。n n要到课，不要以为看教材就能够学好，会在课堂上做一些启发，讲一些教材上没有的东西。按照规定必须点名超过4次，缺课三分之

10、一，会取消考试资格。n n不要抄袭，抄袭比不交作业还影响平时成绩。题目自由，答案不确定。20学习要求学习要求n n考试不要寄希望于抄袭、考前划重点。n n鼓励随时思考，要理解而不是死记硬背。21好习惯好习惯1.反思自己，每天做了什么，对将来的工作有意义吗？自己将来能够做什么？睡觉前把每天学习的东西回忆一遍。2.反思自己的不良习惯和品行，积极改正。总结自己的 好习惯。3.思考自己的前途。4.思念父母恩德。5.思考自己为他人做什么。22好习惯好习惯6.以好人为榜样，能够和好人比较，学好人，远离坏人。远离游戏，电影。软件、数媒专业的不要开发游戏。7.好的品行是方向，方向不对是南辕北辙，好的习惯、方法

11、是加速度，学习的好是速度。常规的教学中往往忽视前面两者。23全程问题全程问题n n思考一切信息都可以用二进制（或者其他进制）数思考一切信息都可以用二进制（或者其他进制）数据表示，一切处理都可以用计算解决给我们的启示据表示，一切处理都可以用计算解决给我们的启示？n n什么是信息？信息如何度量？什么是信息？信息如何度量？n n现实的信源、信道和加密编码各自需要考虑哪些因现实的信源、信道和加密编码各自需要考虑哪些因素，如果要开发一个相应的软件需要考虑哪些因素，素，如果要开发一个相应的软件需要考虑哪些因素，需要增加哪些书本上没有提到的步骤？需要增加哪些书本上没有提到的步骤？n n纸质的，手写的文件针对

12、于现在信息化环境下的文纸质的，手写的文件针对于现在信息化环境下的文件的局限性？要完全取代纸质文件、手写签名，可件的局限性？要完全取代纸质文件、手写签名，可以采用什么样的方法？以采用什么样的方法？n n教材上提到的编码的需求（压缩、纠错、安全）之教材上提到的编码的需求（压缩、纠错、安全）之外，现实编码还需要或可能考虑到那些需求？外，现实编码还需要或可能考虑到那些需求？24全程问题全程问题n n面对信息化环境，你认为可以抽象出哪些问题，需面对信息化环境，你认为可以抽象出哪些问题，需要怎么解决？（发散思维，不要局限于所学）。要怎么解决？（发散思维，不要局限于所学）。n n在搜索引擎和各种电子资源库中

13、检索每一章的关键在搜索引擎和各种电子资源库中检索每一章的关键词，以及这些关键词联合词，以及这些关键词联合“综述综述”、“发展发展”、“进展进展”等进行检索，阅读最新相关文献。等进行检索，阅读最新相关文献。n n学习到的信息论与编码知识是否可以应用在新的领学习到的信息论与编码知识是否可以应用在新的领域？域？n n当前所学习的理论给我们的启示？学习的过程中有当前所学习的理论给我们的启示？学习的过程中有哪些创新性的想法？哪些创新性的想法？n n所学的知识有局限性吗？是否可以据此进行改进或所学的知识有局限性吗？是否可以据此进行改进或拓展？拓展？n n利用学习到的信息论与编码知识可以做哪些对社会利用学习

14、到的信息论与编码知识可以做哪些对社会有益的事情，可能会给社会带来一些什么样的危害有益的事情，可能会给社会带来一些什么样的危害？25自学选题自学选题-选作选作n n阅读和翻译香农的经典论文，或者是其他的相关论文，写读书日记。n n阅读压缩、纠错、检错和安全相关的源代码，学习一些相关的类库和函数，尝试编程。n n阅读量子信息论和广义信息论相关的论文。n n阅读信息理论发展前沿的论文。n n为自己设定就业目标，然后了解这一目标需要的知识，搜索和学习相关知识。26信息论标志性问题信息论标志性问题n n1.信息是什么？如何度量？n n2.关于两个事件互相提供信息量的大小？n n3.信息压缩的极限（与信息

15、度量）n n4.如何进行限失真编码问题n n5.如何进行纠错编码？n n6.如何进行加密编码？27信息论标志性问题信息论标志性问题n n7.在编码、密码算法、密码协议中质数（或者互质）的身影无处不在，一个看起来似乎毫无用处的质数，会有什么用途？n n8.在编码中经常会遇到取模，分析其用途和限制？n n9.长序列对于编码有什么好处？28信息论标志性问题锦囊信息论标志性问题锦囊1n n信息是什么n n（1）什么是知道？什么是不知道？n n（2）假如信息我们确定了班上有30位同学，但是不知道是班上的哪一位同学，后来知道是同学甲，知道前后有什么差异。是否与信息有关系？n n（3）欲建立信息度量，必然要

16、用数学方法。上述问题可以用哪一数学分支表达？用数学的模型或方法，比较一下上例中知道前后的差异。29信息论标志性问题锦囊信息论标志性问题锦囊2n n（4）“完全不知道是班上的哪位同学”与“知道班上某位同学的可能性很大，但是也不能确定是他”之间有差异吗？n n（5）如果实现不知道肇事者，后来被告知肇事者是一个班上的同学，假如这个班上只有2位同学，与这个班上有100位同学，两者提供的信息是否有差异？n n（6）利用极端的例子思考问题。知道肇事者是一个班上的同学，假如这个班上有100位同学，后来更加确定某甲肇事的概率达到99.9999%，两者提供的信息是否有差异？30信息论标志性问题锦囊信息论标志性问

17、题锦囊3n n（7）概率小的事情发生让人觉得惊奇，如范进中举。从消除不确定性的角度来说，它排除的不确定性是大还是小（以概率分布值来计算，而不是可能的消息来计）？n n（8）分析一下消息提供的信息量各自有多少？来考虑洪水的例子：新闻播报某地发生了一年一遇（假如有这样的说法）、两年一遇，千年一遇、万年一遇的洪水，同样的汉字字数，它们的信息量有差异吗？思考信息如何来表达？31信息论标志性问题锦囊信息论标志性问题锦囊4n n（9）我们认为，信息量与概率有关系，概率越小，信息量越大，当一个事情确定的时候，即概率为1的时候，信息量为0，什么函数可以输入1得到0？n n（10）我们一般认为，告诉我们两个独立

18、事件，信息量是相加的关系，但是从概率上来说，两个独立事件同时发生，其概率是相乘的关系，什么函数有这样的性质？32第第1章章 绪论绪论n n1.1信息技术的优势及其带来的根本变革理论应用信息技术的优势-理论角度1.可将所有的数据（信息）都变成统一的二进制。软件、图片、视频等。2.可以将几乎绝大多数数据的处理转换为CPU的计算。3.对现实中涉及到信息的问题进行抽象化，这样我们的信息可以进行转换成它最适用的形式，在存储时候用最利于存储的形式，如磁信号，传输的时候用最为利于传输的形式（光纤），现实中大量的事务变成了可以为信息技术处理的问题。4.理论上证明，一些计算和算法（如神经网络）可以具有很好的学习

19、未知事务的能力，大多数的函数都是可以用这些逼近的。对于离散结果的函数，照样具有逼近能力。信息技术的优势-理论角度5.通过将现实的各种问题，包括分析、判断都可以转换为连续的或离散的函数的问题，然后用算法来逼近它，这样我们就可以通过计算机来解决几乎所有的问题。6.一定程度上可以说：机械化取代人手（体力），信息化取代人脑（脑力）-分析、判断、指挥。信息技术的优势-应用角度1.将任意的交互、指令和数据处理变成一种二进制数据。2.任意的信息处理过程可以转换为程序，也变成二进制，几乎无所不能。3.利用通信技术，可以将任意的二进制数据（包括指令）传递到远方，并且在远方根据二进制数据的约定执行，这种执行只需要

20、用CPU和相应控制器即可。现代通信技术传输速度快、带宽大、可以达到互联网联通、卫星覆盖、无线信号覆盖的地方。4.对比人脑，计算机运算速度快，可以存储和处理的数据量大，更精确。5.信息可以被低成本地有效存储、复制、异地备份，易于分类和查找，很容易被修改、再处理。6.具有很好的智能，可以取代人，并且在未来可以在某些方面优于人的智能-快速学习、海量学习、快速判断。减少人力、适应老龄化。7.可以精确控制（比如用量、用时、强度），可以在各种性能和指标上达到最优化、节能减排。8.可以信息化方式可以取代一些传统的业务，以虚拟操作代替实体操作，减少成本、节能减排，比如签字、邮件。9.改变传统的方式，而催生了大

21、量新概念（电子、数控、数字），并且依然有很大空间。信息论与编码的意义：所有以上这些编码为二进制，以及计算的数字，都是依靠编码方法。37第第1章章 绪论绪论n n信息论的形成与发展n n通信系统的模型381.2 信息论的形成与发展信息论的形成与发展n n信息论的发展过程信息论的发展过程19241924年奈奎斯特年奈奎斯特(HNyquist)(HNyquist)发表了发表了 影响电报速度的某些因素影响电报速度的某些因素一文，指出了电信信号的传输速率与信道频带宽度之一文，指出了电信信号的传输速率与信道频带宽度之 间存在着确间存在着确定的比例关系。定的比例关系。带宽带宽（band widthband

22、width）又叫频宽，是指在固定的的）又叫频宽，是指在固定的的时间可传输的资料数量，亦即在传输管道中可以传递数据的能力。时间可传输的资料数量，亦即在传输管道中可以传递数据的能力。19281928年，哈特莱（年，哈特莱（Ralph Vinton Lyon HartleyRalph Vinton Lyon Hartley，1888-19701888-1970）在）在信信息传输息传输（Transmission of InformationTransmission of Information）（）（19281928）一文中早就指出，）一文中早就指出，信息是包含在消息（讯息）中的抽象量，消息是信息的载

23、荷者；信息是包含在消息（讯息）中的抽象量，消息是信息的载荷者；消息是具体的，信息是抽象的。但是，在传播中，传者传出讯息，消息是具体的，信息是抽象的。但是，在传播中，传者传出讯息，并不意味着受者就一定收到讯息；受者收到讯息，也不能保证并不意味着受者就一定收到讯息；受者收到讯息，也不能保证“翻译翻译”、还原成传者意欲传递的那种信息。因为，传受两者共享、还原成传者意欲传递的那种信息。因为，传受两者共享信息的前提，是拥有基本相同等级的符号系统和经验系统。他认信息的前提，是拥有基本相同等级的符号系统和经验系统。他认为为“信息是指有新内容、新知识的消息信息是指有新内容、新知识的消息”，将信息理解为选择通，

24、将信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。信符号的方式，并用选择的自由度来计量这种信息的大小。符号系统，比如汉字，经验系统：比如语法、约定俗成的东西符号系统，比如汉字，经验系统：比如语法、约定俗成的东西391.2 信息论的形成与发展信息论的形成与发展n n信息论的发展过程信息论的发展过程19361936年，年，EH ArmstrongEH Armstrong，带宽与抗干扰能力，加大带宽来带宽与抗干扰能力，加大带宽来提高抗干扰能力。提高抗干扰能力。19391939年，达德利年，达德利(H.Dudley)(H.Dudley)发明了声码器（发明了声码器（vocodervo

25、coder），用），用于记录和分析声音，基于此，提出了通信所需要的带宽至于记录和分析声音，基于此，提出了通信所需要的带宽至少应与所传送的消息的带宽相同。达德利和莫尔斯都是研少应与所传送的消息的带宽相同。达德利和莫尔斯都是研究信源编码的先驱者。究信源编码的先驱者。401.2 信息论的形成与发展信息论的形成与发展n n信息论的发展过程信息论的发展过程19431943年维纳年维纳（Norbert WienerNorbert Wiener，1894-19641894-1964）教授）教授与别格与别格罗和罗森勃吕特合写了罗和罗森勃吕特合写了行为、目的和目的论行为、目的和目的论的论文，的论文，从反馈角度研

26、究了有目的性的行为，找出了神经系统和自从反馈角度研究了有目的性的行为，找出了神经系统和自动机之间的一致性。这是第一篇关于控制论的论文。这时，动机之间的一致性。这是第一篇关于控制论的论文。这时，神经生理学家匹茨和数理逻辑学家合作应用反馈机制制造神经生理学家匹茨和数理逻辑学家合作应用反馈机制制造了一种神经网络模型。第一代电子计算机的设计者艾肯和了一种神经网络模型。第一代电子计算机的设计者艾肯和冯冯.诺依曼认为这些思想对电子计算机设计十分重要，就建诺依曼认为这些思想对电子计算机设计十分重要，就建议维纳召开一次关于信息、反馈问题的讨论会。议维纳召开一次关于信息、反馈问题的讨论会。19431943年底年

27、底在纽约召开了这样的会议，参加者中有生物学家、数学家、在纽约召开了这样的会议，参加者中有生物学家、数学家、社会学家、经济学家，他们从各自角度对信息反馈问题发社会学家、经济学家，他们从各自角度对信息反馈问题发表意见。以后又连接举行这样的讨论会，对控制论的产生表意见。以后又连接举行这样的讨论会，对控制论的产生起了推动作用。起了推动作用。411.2 信息论的形成与发展信息论的形成与发展n n信息论的发展过程信息论的发展过程19481948年，维纳出版了专著年，维纳出版了专著控制论一动物和机器中控制论一动物和机器中的通信与控制问题的通信与控制问题（CyberneticsCybernetics），并创立

28、了控），并创立了控制论。维纳从更加广阔的领域研究了信息，他认为制论。维纳从更加广阔的领域研究了信息，他认为信息是信息是“我们在适应外部世界、控制外部世界的过我们在适应外部世界、控制外部世界的过程中同外部世界交换内容的名称。程中同外部世界交换内容的名称。”他还认为：他还认为：“接受信息和使用信息的过程，就是我们适应外部世接受信息和使用信息的过程，就是我们适应外部世界环境的偶然性变化的过程，也是我们在这个环境界环境的偶然性变化的过程，也是我们在这个环境中有效地生活的过程。中有效地生活的过程。”421.2 信息论的形成与发展信息论的形成与发展n n信息论的发展过程信息论的发展过程19481948年和

29、年和19491949年，美国著名数学家、贝尔实验室电话研究所的年，美国著名数学家、贝尔实验室电话研究所的香农（香农（Claude Elwood ShannonClaude Elwood Shannon，1916-20011916-2001，也译作申农）博士，也译作申农）博士连续发表了两篇论文，即连续发表了两篇论文，即“通信的数学理论（通信的数学理论（Mathematical Mathematical Theory of CommunicationTheory of Communication）”和和“在噪声中的通信在噪声中的通信”，他提出了，他提出了信息量的概念和信息熵的计算方法，并因此被视为

30、现代信息论信息量的概念和信息熵的计算方法，并因此被视为现代信息论的创始人。香农还给信息下了一个高度抽象化的定义：的创始人。香农还给信息下了一个高度抽象化的定义：“信息信息是用以消除随机不确定性的东西。是用以消除随机不确定性的东西。”5050年代开始，年代开始，IREIRE成立信息论组，出版信息论汇刊。成立信息论组，出版信息论汇刊。431.2 信息论的形成与发展信息论的形成与发展n n信息论的形成与发展19591959年，年，Shannon,Shannon,信源压缩编码理论，信源压缩编码理论，“Coding theorem for a Coding theorem for a discrete

31、source with a fidelity criteriondiscrete source with a fidelity criterion”19611961年，年，Shannon,Shannon,“双路通信信道双路通信信道”，多用户理论，多用户理论-网络信息论网络信息论19721972年，年，Cover,Cover,广播信道广播信道441.2 信息论的形成与发展信息论的形成与发展n n三大定理n n无失真信源编码定理（第一极限定理）无失真信源编码定理（第一极限定理）n n信道编码定理（第二极限定理）信道编码定理（第二极限定理）n n限失真信源编定理（第三极限定理）限失真信源编定理（第三

32、极限定理）ShannonShannon信息论：在噪声环境下，可靠地、安全信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论地、有效地传送信息理论 -狭义信息论狭义信息论狭义信息论狭义信息论45香农的生平、学术风格和习惯香农的生平、学术风格和习惯46n n香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农 业业业业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家机械，这对香农的影响比较直接。此外，香农的家庭与大发明家机械，这对

33、香农的影响比较直接。此外，香农的家庭与大发明家机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生爱迪生爱迪生爱迪生(Thomas Alva Edison(Thomas Alva Edison，1847-1931)1847-1931)还有远亲关系。还有远亲关系。还有远亲关系。还有远亲关系。n n20012001年年年年2 2月月月月2424日，香农在马萨诸塞州日，香农在马萨诸塞州日，香农在马萨诸塞州日，香农在马萨诸塞州MedfordMedford辞世，享年辞世，享年辞世，享年辞世，享年8585岁。贝岁。贝岁。贝岁。贝尔实验室和尔实验室和尔实验室和尔实验室和MITMIT发表的讣告都尊崇

34、香农为信息论及数字通信时代发表的讣告都尊崇香农为信息论及数字通信时代发表的讣告都尊崇香农为信息论及数字通信时代发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。的奠基之父。的奠基之父。的奠基之父。n n1938 1938 年香农在年香农在年香农在年香农在MITMIT获得电气工程硕士学位，硕士论文题目是获得电气工程硕士学位，硕士论文题目是获得电气工程硕士学位，硕士论文题目是获得电气工程硕士学位，硕士论文题目是A A Symbolic Analysis of Relay and Switching CircuitsSymbolic Analysis of Relay and Switching

35、 Circuits(继电器继电器继电器继电器与开关电路的符号分析与开关电路的符号分析与开关电路的符号分析与开关电路的符号分析)。当时他已经注意到电话交换电路与布。当时他已经注意到电话交换电路与布。当时他已经注意到电话交换电路与布。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的尔代数之间的类似性，即把布尔代数的尔代数之间的类似性，即把布尔代数的尔代数之间的类似性，即把布尔代数的“真真真真”与与与与“假假假假”和电路系和电路系和电路系和电路系统的统的统的统的“开开开开”与与与与“关关关关”对应起来，并用对应起来，并用对应起来，并用对应起来，并用1 1和和和和0 0表示。于是他用

36、布尔代表示。于是他用布尔代表示。于是他用布尔代表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。数分析并优化开关电路，这就奠定了数字电路的理论基础。数分析并优化开关电路，这就奠定了数字电路的理论基础。数分析并优化开关电路，这就奠定了数字电路的理论基础。香农的生平、学术风格和习惯香农的生平、学术风格和习惯47n n研究兴趣广泛，多方面取得成就。（生当作人杰，死亦为鬼雄）研究兴趣广泛，多方面取得成就。（生当作人杰，死亦为鬼雄）研究兴趣广泛，多方面取得成就。（生当作人杰，死亦为鬼雄）研究兴趣广泛，多方面取得成就。（生当作人杰，死亦为鬼雄）n n善于刻画问题本质善于刻画问题本质善

37、于刻画问题本质善于刻画问题本质n n白天总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。白天总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。白天总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。白天总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。n n指出不要滥用信息论。指出不要滥用信息论。指出不要滥用信息论。指出不要滥用信息论。n n香农有着非常好的学术眼光，香农一生论文不算太多，但是，不香农有着非常好的学术眼光，香农一生论文不算太多，但是，不香农有着非常好的学术眼光，香农一生论文不算太多，但是，不香农有着非常好的学术眼光，香农一生论文不算太多，但是，不鸣则已，一鸣惊人

38、，篇篇都是经典，许多都具有开拓性，他是信鸣则已，一鸣惊人，篇篇都是经典，许多都具有开拓性，他是信鸣则已，一鸣惊人，篇篇都是经典，许多都具有开拓性，他是信鸣则已，一鸣惊人，篇篇都是经典，许多都具有开拓性，他是信息时代的引路人和开拓者，被称息时代的引路人和开拓者，被称息时代的引路人和开拓者，被称息时代的引路人和开拓者，被称Father of Information TheoryFather of Information Theory。n n他也不提倡人们迷信权威，提醒人们不要滥用信息论，并且认为他也不提倡人们迷信权威，提醒人们不要滥用信息论，并且认为他也不提倡人们迷信权威，提醒人们不要滥用信息论，

39、并且认为他也不提倡人们迷信权威，提醒人们不要滥用信息论，并且认为重要的工作往往是基于谨慎的批判。他反对对一些已有领域的过重要的工作往往是基于谨慎的批判。他反对对一些已有领域的过重要的工作往往是基于谨慎的批判。他反对对一些已有领域的过重要的工作往往是基于谨慎的批判。他反对对一些已有领域的过度研究，而是强调转向有意义的研究领域，他反对跟风研究，强度研究，而是强调转向有意义的研究领域，他反对跟风研究，强度研究，而是强调转向有意义的研究领域，他反对跟风研究，强度研究，而是强调转向有意义的研究领域，他反对跟风研究，强调自己在调自己在调自己在调自己在“自己的屋子里自己的屋子里自己的屋子里自己的屋子里”做自

40、己的、一流的、最高科学水平的做自己的、一流的、最高科学水平的做自己的、一流的、最高科学水平的做自己的、一流的、最高科学水平的工作。工作。工作。工作。n n 香农的生平、学术风格和习惯香农的生平、学术风格和习惯48n nShannonShannon定理的证明是非构造性的，而且也不够严格，但他的定理的证明是非构造性的，而且也不够严格，但他的定理的证明是非构造性的，而且也不够严格，但他的定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确数学直观出奇地正确数学直观出奇地正确数学直观出奇地正确”(A.N.Kolmogrov(A.N.Kolmogrov，1963)1963)。“数学家通常是

41、先通过直觉来发现一个定理；数学家通常是先通过直觉来发现一个定理；数学家通常是先通过直觉来发现一个定理；数学家通常是先通过直觉来发现一个定理；这个结果对于他首这个结果对于他首这个结果对于他首这个结果对于他首先是似然的，先是似然的，先是似然的，先是似然的，然后他再着手去制造一个证明。然后他再着手去制造一个证明。然后他再着手去制造一个证明。然后他再着手去制造一个证明。”哈代哈代哈代哈代n n已在数学上严格地证明了已在数学上严格地证明了已在数学上严格地证明了已在数学上严格地证明了ShannonShannon编码定理，而且发现了各种具编码定理，而且发现了各种具编码定理，而且发现了各种具编码定理，而且发现

42、了各种具体可构造的有效编码理论和方法，可以实现体可构造的有效编码理论和方法，可以实现体可构造的有效编码理论和方法，可以实现体可构造的有效编码理论和方法，可以实现ShannonShannon指出的极限。指出的极限。指出的极限。指出的极限。n n善于简化问题，建立模型。理论的作用是浓缩知识之树，善于简化问题，建立模型。理论的作用是浓缩知识之树，善于简化问题，建立模型。理论的作用是浓缩知识之树，善于简化问题，建立模型。理论的作用是浓缩知识之树，“简单简单简单简单模型胜于繁琐的现象罗列模型胜于繁琐的现象罗列模型胜于繁琐的现象罗列模型胜于繁琐的现象罗列”，“简单化才能显现出事物的本质，简单化才能显现出事

43、物的本质，简单化才能显现出事物的本质，简单化才能显现出事物的本质，它表现了人的洞察力它表现了人的洞察力它表现了人的洞察力它表现了人的洞察力”。n n 香农的生平、学术风格和习惯香农的生平、学术风格和习惯49n n香农平时兴趣广泛，不仅做了许多研究，而且也喜欢动手制作各香农平时兴趣广泛，不仅做了许多研究，而且也喜欢动手制作各种设备，一生有许多杰出的制作发明。如受控飞碟、会走迷宫的种设备，一生有许多杰出的制作发明。如受控飞碟、会走迷宫的机器鼠等。他具有很强的工程素养又精通数学，得天独厚的知识机器鼠等。他具有很强的工程素养又精通数学，得天独厚的知识结构使他能把数学理论自如地运用于工程。结构使他能把数

44、学理论自如地运用于工程。n n 香农的生平、学术风格和习惯香农的生平、学术风格和习惯50n nwe must keep our own house in first class order.The subject of we must keep our own house in first class order.The subject of information theory has certainly been sold,if not oversold.We should information theory has certainly been sold,if not oversold

45、.We should now turn our attention to the business of research and development at now turn our attention to the business of research and development at the highest scientific plane we can maintain.the highest scientific plane we can maintain.n nResearch rather than exposition is the keynote,and our c

46、ritical thresholds Research rather than exposition is the keynote,and our critical thresholds should be raised.Authors should submit only their best efforts,and should be raised.Authors should submit only their best efforts,and these only after careful criticism by themselves and their colleagues.th

47、ese only after careful criticism by themselves and their colleagues.n nThe writer is indebted to his colleagues at the Laboratories,particularly The writer is indebted to his colleagues at the Laboratories,particularly to Dr.H.W.Bode,Dr.J.R.Pierce,Dr.B.McMillan,and Dr.B.M.to Dr.H.W.Bode,Dr.J.R.Pierc

48、e,Dr.B.McMillan,and Dr.B.M.Oliver for many helpful suggestions and criticismsOliver for many helpful suggestions and criticismsn n 香农的生平、学术风格和习惯香农的生平、学术风格和习惯511.1 信息论的形成和发展信息论的形成和发展n n信息定义定义广义定义：广义定义：广义定义：广义定义：信息是物质的普遍属性，所谓物质系统信息是物质的普遍属性，所谓物质系统信息是物质的普遍属性，所谓物质系统信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质的

49、信息是指它所属的物理系统在同一切其他物质的信息是指它所属的物理系统在同一切其他物质的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能系统全面相互作用（或联系）过程中，以质、能系统全面相互作用（或联系）过程中，以质、能系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史和波动的形式所呈现的结构、状态和历史和波动的形式所呈现的结构、状态和历史和波动的形式所呈现的结构、状态和历史概率信息：概率信息：概率信息：概率信息：信息表征信源的不定度，但它不等同于信息表征信源的不定度，但它不等同于信息表征信源的不定度，但它不等同于信息表征信源的不定度，

50、但它不等同于不定度，而是为了消除一定的不定度必须获得与不定度，而是为了消除一定的不定度必须获得与不定度，而是为了消除一定的不定度必须获得与不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量此不定度相等的信息量此不定度相等的信息量此不定度相等的信息量521.2 信息论的形成和发展信息论的形成和发展n n信息性质性质信息是无形的信息是无形的信息是可共享的信息是可共享的信息是无限的信息是无限的信息是无所不在的信息是无所不在的信息是可度量的信息是可度量的531.1 信息论的形成和发展信息论的形成和发展n n信息信息与消息、信号比较信息与消息、信号比较 消息是信息的数学载体、信号是信息的物理