信息论与编码基础教学PPT讲稿.ppt

《信息论与编码基础教学PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论与编码基础教学PPT讲稿.ppt（59页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论与编码基础教学课件第1页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论教学计划内容课时第一章：绪论4第二章：离散信源4第三章：离散信道8第四章：信源压缩编码基础14第五章：信道编码基本原理4第六章：线性分组码14习题讲解与复习2第2页，共59页，编辑于2022年，星期五唐朝京、雷菁，信息论与编码基础信息论与编码基础，电子工业出版社RobertJ.McEliece著，THE THEORY OF INFORMATION AND CODING(SECONDEDITION)，电子工业出版社王育民等编著，信息论与编码理论信息论与编码理论，高等教育出版社傅祖芸，信息论信

2、息论基础理论与应用基础理论与应用，电子工业出版社姜丹，信息论与编码信息论与编码，中国科学技术大学出版社沈连丰，信息论与编码信息论与编码，科学出版社仇佩亮，信息论与编码信息论与编码，高等教育出版社田宝玉，工程信息论工程信息论，北京邮电大学出版社教材及参考书信息论与编码基础信息论与编码基础绪论绪论第3页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论n课堂:（基本概念、方法，课堂讨论）n课后习题（习题和综合拓展题、阅读资料）n实验大作业（关键技术的设计与实现）注意事项军网网络课程平台：四院本科生信息论与编码基础Email：huangyinggfkd.mtn(军网),in

3、form_(民网)Phone：75707(办公室)、62856(手机)交流方式第4页，共59页，编辑于2022年，星期五Without materials nothing exists.Without energy nothing happens.Without information nothing makes sense.欧廷格（美国）信息论与编码基础信息论与编码基础绪论绪论第5页，共59页，编辑于2022年，星期五一、信息概念三、信息论研究的基本问题及内容二、信息论的诞生四、编码技术的发展五、信息论与其它学科的交叉发展信息论与编码基础信息论与编码基础绪论绪论第6页，共59页，编辑于202

4、2年，星期五一、信息概念一、信息概念三、信息论研究的基本问题及内容二、信息论的诞生五、信息论与其它学科的交叉发展四、编码技术的发展信息论与编码基础信息论与编码基础绪论绪论第7页，共59页，编辑于2022年，星期五“梦断美人沉信息，目穿长路依楼台”南唐李中暮春怀故人“欲传春信息，不怕雪埋藏。”宋陈亮梅花信息论与编码基础信息论与编码基础绪论绪论第8页，共59页，编辑于2022年，星期五信息是谈论的事情、新闻和知识.英国牛津字典信息是在观察研究过程中获得的数据情报、新闻和知识.信息是所观察事物的知识.韦氏字典日本广辞苑信息论与编码基础信息论与编码基础绪论绪论第9页，共59页，编辑于2022年，星期五

5、概念区分知识知识信息信息信息信息情报情报信息信息消息消息信息论与编码基础信息论与编码基础绪论绪论第10页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论消息消息用文字、符号、数据、语言、音符、图片、图像等能够被人们感官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息。清明节细雨纷飞。元宵节天气晴朗。信息信息是事物运动状态或存在方式的不确定性的描述。信号信号把消息变换成适合信道传输的物理量，这种物理量就称为信号。消息是信息的载体，信号是消息的运载工具。是事物运动状态或存在方式的不确定性不确定性的描述。第11页，共59页，编辑于2022年，星期五v信

6、息的特征信息的特征信息是事物运动状态或存在方式的不确定性的描述。1）未知性或不确定性信息的最基本属性，否则就不是信息。2）由不知到知，等效为不确定性集合元素的减少可以基于集合论和概率论来描述信息的传输。3）可以度量这是信息理论的基础，使得信息可以比较大小、价值等。4）可以产生、消失，可以被携带、存储、处理信息既有物质的某些属性，又不同于物质。5）可以产生动作信息既有能量的某些属性，又不同于能量。信息论与编码基础信息论与编码基础绪论绪论第12页，共59页，编辑于2022年，星期五例子例子1、2021年9月11日上午9时，一颗小行星将和地球相撞。2、2022年7月11日上午9时，将发生日食。信息论

7、与编码基础信息论与编码基础绪论绪论第13页，共59页，编辑于2022年，星期五一、信息概念三、信息论研究的基本问题及内容二、信息论的诞生二、信息论的诞生五、信息论与其它学科的交叉发展四、编码技术的发展信息论与编码基础信息论与编码基础绪论绪论第14页，共59页，编辑于2022年，星期五1924年H.Nyguist“影响电报速率的一些因素”1832年F.B.Morse电报系统中的高效编码1885年L.Kelvin电缆极限传信率问题如果以一个确定的速度来传输电报信号，就需要一定的带宽。证明了信号传输速率与信道带宽成正比。1928年R.V.Hartley“信息的传输”信息量等于可能消息数的对数。其缺点

8、是没有统计特性的概念1936年E.H.Armstrong调频实用化提出增加信号带宽可以使抑制噪声干扰的能力增强，给出调制指数大的调频方式，出现调频通信装置1939年H.Dudley声码器通信所需要的带宽至少应与所传送的消息的带宽相同消息是一个确定性的过程信息论与编码基础信息论与编码基础绪论绪论第15页，共59页，编辑于2022年，星期五20世纪40年代初“平稳时间序列的外推，内插与平滑及其工程应用“引入随机过程和数理统计的观点揭示了信息传输和处理过程的统计本质信息论与编码基础信息论与编码基础绪论绪论第16页，共59页，编辑于2022年，星期五v香农（香农（Claudee.Shannon）194

9、8年，贝尔系统技术杂志TheMathematicalTheoryofCommunicationCommunicationinthePresenceofNoise信息论与编码基础信息论与编码基础绪论绪论第17页，共59页，编辑于2022年，星期五Born:April30,1916Petoskey,MichiganUnitedStatesDied:February24,2001(aged84)Medford,Massachusetts,UnitedStatesResidence:UnitedStatesNationality:American信息论与编码基础信息论与编码基础绪论绪论第18页，共59

10、页，编辑于2022年，星期五Fields:ElectronicengineerandmathematicianAlma mater:MITUniversityofMichiganInstitutions:BellLaboratoriesMassachusettsInstituteofTechnologyInstituteforAdvancedStudy信息论与编码基础信息论与编码基础绪论绪论第19页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论第20页，共59页，编辑于2022年，星期五Known for:Shannon-FanocodingShannon-Har

11、tleylawNyquist-ShannonsamplingtheoremNoisychannelcodingtheoremShannonswitchinggameShannonnumberShannonssourcecodingtheoremShannonsexpansionShannon-WeavermodelofcommunicationNotable awards:AlfredNoblePrizeIEEEMedalofHonor信息论与编码基础信息论与编码基础绪论绪论第21页，共59页，编辑于2022年，星期五一、信息概念三、信息论研究的基本问题及内容三、信息论研究的基本问题及内容二、

12、信息论的诞生五、信息论与其它学科的交叉发展四、编码技术的发展信息论与编码基础信息论与编码基础绪论绪论第22页，共59页，编辑于2022年，星期五1、信息论研究的基本问题2、信息论研究的内容信息论与编码基础信息论与编码基础绪论绪论第23页，共59页，编辑于2022年，星期五信息论研究的基本问题信息论研究的基本问题达到不失真信源压缩编码的极限（最低）编码速率是多少？你的爷爷生病了，病得很重，希望你能回来一趟，看望他老人家。爷病重，速归极限速率=该信源的信息熵信道的信息传输速率与错误概率之间矛盾的是否可解决？信息传输速率信道容量，错误概率可以任意小信息论与编码基础信息论与编码基础绪论绪论信源编码信源

13、编码信道编码信道编码第24页，共59页，编辑于2022年，星期五2、信息论研究的内容、信息论研究的内容信息论狭义信息论狭义信息论狭义信息论狭义信息论一般信息论一般信息论一般信息论一般信息论广义信息论广义信息论广义信息论广义信息论Shannon信息论：在信息可度量的基础上，研究如何有效、可靠地传输信息Shannon信息论Wiener微弱信号检测理论噪声理论、信号滤波与预测、统计检测和估计理论调制理论、信号处理与信号设计理论心理学、遗传学、神经生理学、语言学、社会学信息论与编码基础信息论与编码基础绪论绪论第25页，共59页，编辑于2022年，星期五信息信息传递传递信息处理信息处理再生再生信息信息传

14、递传递信息信息获取获取信息信息施用施用外部世界外部世界问题环境问题环境信息运动过程信息运动过程语义信息语义信息全信息理论信息论与编码基础信息论与编码基础绪论绪论第26页，共59页，编辑于2022年，星期五思考题一位朋友不赞同“消息中未知的成分才算是信息”的说法他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看不厌，大师正在唱的、正在表演的使我愉快，将要唱的和表演的我都知道，照这种说法电视里没给我任何信息，怎么能让我接收呢？请从信息论的角度对此做出解释。第27页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论一、信息概念三、信息论研究的基本问题及内容二、信息论的诞生五

15、、信息论与其它学科的交叉发展四、编码技术的发展四、编码技术的发展第28页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论1 1、信源压缩编码的发展、信源压缩编码的发展1948年Shannon香农编码1952年Fano费诺编码1952年Huffman霍夫曼编码证明其最佳性1956年B.McMillanCraft不等式证明唯一可译变长码无失真信源编码第29页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论1 1、信源压缩编码的发展、信源压缩编码的发展1968年P.Elias提出算术编码的初步思路发展了香农-费诺码1976年J.Rissanen

16、给出和发展算术编码1982年J.Rissanen将算术编码系统化G.G.Langdon1977年Ziv&Lempel提出通用信源编码(LZ码)Ziv证明此算法可达到信源的熵值1984年T.A.Welch改进LZW码1990年T.C.Bell改进LZ算法与实际应用有关的信源编码Peter EliasLempelZiv第30页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论1 1、信源压缩编码的发展、信源压缩编码的发展1959“保真度准则下的离散信源编码定理”率失真信源编码理论是信源编码的核心问题，是频带压缩、图像和多媒体等数据压缩的理论基础。数据压缩理论与技术第31页

17、，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论DataCompressionmethodsLosslessEntropyencodingHuffman,Arithmetic,Golomb,Universal(Elias.Fibonacci)DictionaryRLE,LZFamily(LZ77/78,LZW,LZT.)AudioAudiocodespartsLPC,CELP,ACELP,A-law,u-law,MDCT,FouriertransformOthersSub-bandcoding,SpeechcompressionImageMethodsRLE,DPC

18、M,Wavelet,EZW,SPIHT,DCT,KLTOthersBitrate,Testimages,PSNRqualitymeasure,QuantizationVideoVideocodecpartsMotioncompensation,DCT,QuantizationOthersVideocodecs,Ratedistortiontheory第32页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论2 2、信道纠错编码的发展、信道纠错编码的发展20世纪50年代60年代初从无到有的迅速发展年代主要研究各种有效的编、译码方法，奠定了线性分组码的理论基础。1950H

19、ammingdescribesHammingcodes1954ReedandMullerbothpresentRMcodes1957Prangeintroducescycliccodes代数编码理论1955Eliasintroducesconvolutionalcodes1959A.Hocquenghemand1960BoseandRay-ChaudhuridescribeBCHcodesReed&SolomonproduceeponymouscodesPetersonprovidesasolutiontoBCHdecoding1961Petersonproduceshisbook,later

20、extendedandrevisedbyPetersonandWeldomReed第33页，共59页，编辑于2022年，星期五20世纪60年代70年代初最为活跃的发展时期不仅提出了许多有效的编译码方法，还注意到纠错码的实用化。与此同时，以代数方法特别以有限域理论为基础的线性分组码理论日趋成熟。1962GallagerintroducesLDPCcodes信息论与编码基础信息论与编码基础绪论绪论1967BerlekampintroducesafastalgorithmforBCH/Reed-Solomondecoding1971ViterbiintroducesthealgorithmforML

21、decodingofconvolutionalcodes维特比译码1972TheBCJRalgorithmisdescribedintheopenliterature1973ForneyelucidatestheViterbialgorithm2 2、信道纠错编码的发展、信道纠错编码的发展第34页，共59页，编辑于2022年，星期五20世纪70年代初80年代极其重要的发展时期在理论上以戈帕(Goppa)为首的一批学者，构造了一类Goppa码，其中一类子码能达到香农限。大规模集成电路和微机的迅速发展，为纠错编码的实用打下坚实的物质基础。1977Voyagerdeepspacemissionuse

22、saconcatenatedRS/convolutionalcode信息论与编码基础信息论与编码基础绪论绪论1980SonyandPhillipsstandardizethecompactdisc,IncludingashortenedReed-Solomoncode1981Goppaintroducesalgebraic-geometrycodes1982Ungerboeckdescribestrellis-codedmodulation198414,400BPSTCMmodemcommerciallyavailable198519,200BPSTCMmodemcommerciallyava

23、ilable2 2、信道纠错编码的发展、信道纠错编码的发展第35页，共59页，编辑于2022年，星期五级联码级联码信息论与编码基础信息论与编码基础绪论绪论第36页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论20世纪90年代初码的性能接近香农限。1993Berrou,Glavieux,andThitimajshimaannounceturbocodes1995MacKayresuscitatesLDPCcodes1998Alamoutidescribesaspace-timecode2000AjiandMcEliecesynthesizeseveraldecodi

24、ngalgorithmsusingmessagepassingideas年份码率BER10-51948Shannon0dB1967(255,125)BCH5.4dB1977卷积码4.5dB1993Turbo码0.7dB2001LDPC码0.0045dB2 2、信道纠错编码的发展、信道纠错编码的发展第37页，共59页，编辑于2022年，星期五Turbo码与LDPC码性能比较第38页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论Turbo码第39页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论Turbo码第40页，共59页，编辑于2022

25、年，星期五信息论与编码基础信息论与编码基础绪论绪论Turbo码第41页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论一、信息概念三、信息论研究的基本问题及内容二、信息论的诞生五、信息论与其它学科的交叉发展五、信息论与其它学科的交叉发展四、编码技术的发展第42页，共59页，编辑于2022年，星期五n第1阶段：1949年以前。n第2阶段：从1949年到1975年。标志：1949年Shannon发表的保密系统的通信理论 一文。用信息论的观点对信息保密问题进行了全面的阐述。宣告了科学的密码学时代的到来。n第3阶段：1976年至今。标志：1976年Diffie和Hellma

26、n发表了密码学新方向一文。信息论与编码基础信息论与编码基础绪论绪论1、密码学、密码学n第1阶段：1949年以前。n第2阶段：从1949年到1975年。标志：1949年Shannon发表的保密系统的通信理论 一文。用信息论的观点对信息保密问题进行了全面的阐述。宣告了科学的密码学时代的到来。n第3阶段：1976年至今。标志：1976年Diffie和Hellman发表了密码学新方向一文。第43页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论1、密码学、密码学明文密文密钥n目的：使窃听者即使在完全准确地收到了接收信号的情况下也无法恢复出原始消息。第44页，共59页，编辑于

27、2022年，星期五无条件安全或完善保密性（unconditionallysecure）：不论提供的密文有多少，密文中所包含的信息都不足以唯一地确定其对应的明文；具有无限计算资源（诸如时间、空间、资金和设备等）的密码分析者也无法破译某个密码系统。信息论与编码基础信息论与编码基础绪论绪论1、密码学、密码学密码系统安全性问题密码系统安全性问题第45页，共59页，编辑于2022年，星期五一个保密系统（P，C，K，E，D）其中，P为明文集合，C为密文集合，K为密钥集合，E为加密算法，D为解密算法信息论与编码基础信息论与编码基础绪论绪论1、密码学、密码学从信息角度讨论从信息角度讨论如果H(P)=H(P|C

28、)则该系统就称为完善的无条件保密系统。完善保密系统存在的必要条件是H(P)H(K)可见，要构造一个完善保密系统，其密钥量的对数（密钥空间为均匀分布的条件下）必须不小于明文集的熵。保密系统的密钥量越小，其密文中含有的关于明文的信息量就越大。第46页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论2、金融工程中的信息论问题、金融工程中的信息论问题游戏 假设有一种可以不断重复的投资或打赌，其收益由掷硬币确定，硬币两面出现的可能性相同；出A面你投一亏一，出B面你投一赚二；假设你开始只有100元，输了没法再借。第47页，共59页，编辑于2022年，星期五信息论与编码基础信息论

29、与编码基础绪论绪论2、金融工程中的信息论问题、金融工程中的信息论问题第48页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论2、金融工程中的信息论问题、金融工程中的信息论问题第49页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论2、金融工程中的信息论问题、金融工程中的信息论问题第50页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论2、金融工程中的信息论问题、金融工程中的信息论问题鸡蛋和篮子问题鸡蛋和篮子问题 假设用两个足够大的篮子贩运鸡蛋，运到目的地可赢利200%(增值为原来的 3倍)，每个篮子在路上被打翻

30、从而损失100%的概率是0.5，两个篮子是否被打翻是相互无关的，每个篮子各装价值多少资金的鸡蛋，可使多次贩运后，资金平均增值最快?第51页，共59页，编辑于2022年，星期五实验序号掷币结果张大胆各下50李糊涂各下25你各下23王保守各下12.501001001001001A,B150125123112.52A,A062.566.4284.383B,A078.1381.797.464B,B0156.26156.86155.55B,A0195.32192.94174.946B,B0390.64370.44262.417A,B0488.3455.64295.218A,A0244.15246.052

31、21.4.0.16A,A0596.09605.41490.18几何平均收益-100%11.8%11.9%11.7%两个篮子第52页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论2、金融工程中的信息论问题、金融工程中的信息论问题鸡蛋和篮子问题鸡蛋和篮子问题 篮子数目1234最优投资比例(%)252321.119.2几何平均收益(%)6.0711.91 17.4522.58组合投资策略可利用信息度量的一些性质在组合投资决策中进行最优策略的递推。第53页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论3、智能问题、智能问题需求需求/约束约束信

32、息获取信息获取信息执行信息执行信息传递信息传递信息传递信息传递预处理预处理决策决策本体本体信息信息智能智能 策略策略智能智能行为行为目标目标认知认知知识知识感觉感觉器官器官传导传导系统系统思维思维器官器官效应效应器官器官传导传导系统系统有序有序信息信息知识库知识库需求需求/约束约束实得实得信息信息第54页，共59页，编辑于2022年，星期五SensingExperiencingThinkingFormValueContentLearning the Concept“Tree”The Mechanism of Understanding Form Value Content信息论与编码基础信息论

33、与编码基础绪论绪论3、智能问题、智能问题第55页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论3、智能问题、智能问题第56页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论4、生命科学、生命科学1）信息论与现代分子生物学渊源1953年，H.Quastler讨论了信息论在生物学中的应用1970年，H.A.JohnsonInformationTheoryinBiologyafter18Years2）1977年DNA测序技术发展起来后，许多物种的基因组序列被测出来，使得人们可以用信息论的方法去研究遗传信息的编码，遗传信号的识别等问题。3）信息论应用于神经科学4）生物网络第57页，共59页，编辑于2022年，星期五信息论与编码基础信息论与编码基础绪论绪论5、网络信息论、网络信息论1）1961年，香农的论文“双路通信信道”2）1971年，艾斯惠特找出多元接入信道的信道容量区3）1972年，科弗尔提出了广播信道的研究SRD主要问题冲突、协作和反馈研究内容分布式信源编码(数据压缩)分布式通信(确定网络的覆盖能力)第58页，共59页，编辑于2022年，星期五第59页，共59页，编辑于2022年，星期五