陈运信息论与编码序论.pptx

《陈运信息论与编码序论.pptx》由会员分享，可在线阅读，更多相关《陈运信息论与编码序论.pptx（55页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 C.E.Shannon：美国科学家，美国科学家，信息论创始人信息论创始人中文译名：中文译名：山农，香农，仙农，商农山农，香农，仙农，商农第1页/共55页1.1 1.1 信息的一般概念信息的一般概念1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 信息的分类信息的分类第2页/共55页 信息信息科学和科学和材料材料、能源能源科学一起被科学一起被称为当代文明的称为当代文明的“三大支柱三大支柱”。一位美国科学家说过：一位美国科学家说过：“没有物质的没有物质的世界是虚无的世界；没有能源的世界是死世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。寂的世界；没

2、有信息的世界是混乱的世界。”第3页/共55页 花朵开放时的花朵开放时的色彩是一种信息色彩是一种信息，它可以引来昆虫为其授粉；它可以引来昆虫为其授粉；成熟的水果会产生香味，诱来动成熟的水果会产生香味，诱来动物，动物食后为其传播种子，物，动物食后为其传播种子，果香也果香也是一种信息是一种信息；药有苦味，让人难以吞咽，药有苦味，让人难以吞咽，药药味是一种信息味是一种信息；听老师讲课可以得到许多知识，听老师讲课可以得到许多知识，知识也是信息知识也是信息。第4页/共55页色彩色彩视觉视觉果香果香嗅觉嗅觉苦药苦药味觉味觉知识知识听觉听觉 总之，信息处处存在，人的眼、耳、总之，信息处处存在，人的眼、耳、鼻、

3、舌、身都能感知信息。鼻、舌、身都能感知信息。冷热冷热触觉触觉第5页/共55页那么信息究竟是什么呢？那么信息究竟是什么呢？信息是事物之间的差异信息是事物之间的差异1 信息是物质和能量在时间和空间中信息是物质和能量在时间和空间中分布的不均匀性分布的不均匀性”2 信息是负熵信息是负熵3 信息是作用于人类感觉器官的东信息是作用于人类感觉器官的东西西 4第6页/共55页 信息就是情报信息就是情报 5 信息就是知识。信息就是知识。6 数学家认为数学家认为“信息是使概率信息是使概率分布发生改变的东西分布发生改变的东西”7 哲学家认为哲学家认为“信息是物质成信息是物质成分的意识成分按完全特殊的分的意识成分按完

4、全特殊的方式融合起来的产物方式融合起来的产物”。8第7页/共55页 19281928年，年，美国数学家美国数学家哈哈 特特 莱莱 (Hartley)(Hartley)在在贝尔系统电话杂志贝尔系统电话杂志上发表了一篇题上发表了一篇题为为信息传输信息传输的论文。他认为的论文。他认为“信息信息是选择的自由度是选择的自由度”。第8页/共55页事隔事隔2020年，年，另一位美国另一位美国数学家数学家香农香农 (C.E.(C.E.Shannon)Shannon)在在贝尔系统电话杂志贝尔系统电话杂志发表了题为发表了题为通信的数学理论通信的数学理论的的长篇论文。他创立了信息论，但是却长篇论文。他创立了信息论，

5、但是却没有给出信息的确切定义他认为没有给出信息的确切定义他认为“信信息就是一种消息息就是一种消息”。第9页/共55页 美国数学家、控制论的美国数学家、控制论的 主要奠基人主要奠基人维纳维纳(Wiener(Wiener）在在19501950年出版年出版的的控制论控制论与社会与社会一书一书中写到：中写到：“信息既不是物质又不是能量，信息就信息既不是物质又不是能量，信息就是信息是信息”。这句话起初受到批评和嘲笑。这句话起初受到批评和嘲笑。但正是这句话揭示了信息的特质：即信但正是这句话揭示了信息的特质：即信息是独立于物质和能量之外存在于客观息是独立于物质和能量之外存在于客观世界的世界的第三要素。第三要

6、素。第10页/共55页 最高的层次的定义是最普遍的层次，最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义事物的也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的信息是该事物运动的状态和状态改变的方式方式”。我们把它叫做我们把它叫做“本体论本体论”层次。层次。在这个层次上定义的信息是最广义的信在这个层次上定义的信息是最广义的信息，使用范围也最广。息，使用范围也最广。第11页/共55页 例如，引入一个最有实际意义的约例如，引入一个最有实际意义的约束条件：束条件：认识主体。认识主体。信息定义就转化为信息定义就转化为“认识论”层次的信息定义。即层次的信息定义。即：信息是认识

7、主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。其中认识主体所感知的其中认识主体所感知的东西是外部世界向认识主体输入的信息，东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部而认识主体所表述的东西则是其向外部世界输出的信息。世界输出的信息。第12页/共55页全全 信信 息息 同时考虑事物运动状态及其变化同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价方式的外在形式、内在含义和效用价值的认识论层次信息。值的认识论层次信息。第13页/共55页 信息存在于自然界，也存在于人信息存在于自然界，也存在于人类社会

8、，其类社会，其本质是运动和变化。本质是运动和变化。可以说可以说哪里有事物的运动和变化，哪里就会产哪里有事物的运动和变化，哪里就会产生信息。生信息。人类交换信息的形式丰富多彩，人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，使用的信息载体非常广泛。概括起来，有有语言、文字和电磁波语言、文字和电磁波。信息必须依附于一定的物质形式信息必须依附于一定的物质形式存在，这种运载信息的物质，称为存在，这种运载信息的物质，称为信信息载体。息载体。第14页/共55页 综合起来，信息有以下主要特征：综合起来，信息有以下主要特征：信息来源于物质，又不是物质本信息来源于物质，又不是物质本身；它从物质的运

9、动中产生出来，又可身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。以脱离源物质而相对独立地存在。信息来源于精神世界，但又不局信息来源于精神世界，但又不局限于精神领域。限于精神领域。12第15页/共55页 信息与能量息息相关，但又与信息与能量息息相关，但又与能量有本质的区别。能量有本质的区别。信息具有知识的本性，但又比信息具有知识的本性，但又比知识的内涵更广泛。知识的内涵更广泛。信息可以被认识主体获取和利信息可以被认识主体获取和利用。用。345第16页/共55页 根据上述特征和信息的基本定义，根据上述特征和信息的基本定义，可以导出信息的一些重要性质：可以导出信息的一些重要性质：存

10、在的普遍性存在的普遍性 有序性有序性相对性相对性 可度量性可度量性 可扩充性可扩充性 可存储、传输与携带性可存储、传输与携带性 第17页/共55页 信息在信息化程度越来越高的社会信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质中将起到越来越重要的作用，是比物质和能量更为宝贵的和能量更为宝贵的资源资源，全面掌握信息，全面掌握信息的概念，正确、及时、有效地利用信息，的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。能够为人类创造更多的财富。可压缩性可压缩性 可扩散性可扩散性 可替代性可替代性 可共享性可共享性 时效性时效性 信息的独有性质第18页/共55页1.1 1.1

11、 信息的一般概念信息的一般概念1.3 1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 1.2 信息的分类信息的分类第19页/共55页 按照信息的性质按照信息的性质 1语法语义语用 按照观察的过程按照观察的过程 实在先验实得 2第20页/共55页客观主观 按照信息的地位按照信息的地位 按照信息的作用按照信息的作用有用有用无用无用干扰干扰34第21页/共55页真实虚假不定 按照信息的逻辑意义按照信息的逻辑意义 按照信息的传递方向按照信息的传递方向 前馈反馈56第22页/共55页宇宙宇宙自然自然社会社会思维思维工业农业军事政治科技文化经济市场管理 按照信息的生成领域按照信息的

12、生成领域 7 按照信息的应用部门按照信息的应用部门 8第23页/共55页语声图象文字数据计算电电磁磁语语声声图图象象文文字字光光学学生生物物 按照信息的来源按照信息的来源9 按照信息载体的性质按照信息载体的性质 10第24页/共55页连续离散半连续 按照携带信息的信号的性质按照携带信息的信号的性质 11第25页/共55页 在众多的分类原则和方法中，最重在众多的分类原则和方法中，最重要的就是按照信息性质的分类。要的就是按照信息性质的分类。按照性质的不同可以把信息划分成按照性质的不同可以把信息划分成语法信息、语义信息和语用信息语法信息、语义信息和语用信息三个三个基本类型。其中最基本也是最抽象的类基

13、本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上型是语法信息。也是迄今为止在理论上研究得最多的类型。研究得最多的类型。第26页/共55页全信息全信息语法信息语法信息语义信息语义信息语用信息语用信息离散信息离散信息 明晰信息明晰信息 连续信息连续信息 模糊信息模糊信息第27页/共55页 语法信息考虑的是事物运动状态语法信息考虑的是事物运动状态和变化方式的和变化方式的外在形式外在形式。当然，按照事物运动的方式，还可当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。信息、确定信息和模糊信息。香农信息论主要讨论

14、的是语法信香农信息论主要讨论的是语法信息中的息中的概率信息概率信息，本书也以概率信息为，本书也以概率信息为主要研究对象。主要研究对象。第28页/共55页1.1 1.1 信息的一般概念信息的一般概念1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 1.2 信息的分类信息的分类第29页/共55页 信息论自诞生到现在不过信息论自诞生到现在不过6060年，在年，在人类科学史上是相当短暂的。但它的发人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种广泛和深刻的。信息作为一种资源资源，如如何开发、利用、共享

15、，是人们普遍关心何开发、利用、共享，是人们普遍关心的问题。的问题。第30页/共55页 在在人人类类历历史史的的长长河河中中，信信息息传传输输和和传播手段经历了五次重大变革：传播手段经历了五次重大变革：语言的产生。语言的产生。文字的产生。文字的产生。印刷术的发明。印刷术的发明。电报、电话的发明。电报、电话的发明。计计算算机机技技术术与与通通信信技技术术相相结结 合，促进了网络通信的发展。合，促进了网络通信的发展。12345第31页/共55页1924年年，奈奈 奎奎 斯斯 特特（Harry Nyquist）(1889-1976)解解 释释 了了 信信号号带带宽宽和和信信息息速速率率之之间间的关系。

16、的关系。第32页/共55页 2020世世纪纪3030年年代代，新新的的调调制制方方式式，如如调调频频、调调相相、单单边边带带调调制制、脉脉冲冲编编码码调调制制和和增增量量调调制制的的出出现现，使使人人们们对对信信息息能能量量、带带宽宽和和干干扰扰的的关关系系有有了了进进一步的认识。一步的认识。第33页/共55页 1936年年，阿阿 姆姆 斯斯 特特 朗朗（EdwinArmstrong)指指出出增增大大带带宽宽可可以以使使抗抗 干干扰扰能能力力加加 强强，并并根根据据 这这一一思思想想提提出了出了宽频移的频率调制宽频移的频率调制方法。方法。第34页/共55页 1939年年，达达得得利利（Home

17、r Dudley）发发 明明了了带带通通声声码码器器，指指出出通通 信信所所需需带带宽宽至至少少同同待待传传送送 消消息息的的带带宽宽应应该该一一样样。声声码码器器是是最最早早的的语语音音数数据据压压缩缩系系统统。这这一一时时期期还还诞诞生生了了无无线线电电广广播和电视广播。播和电视广播。第35页/共55页 19281928年年，哈哈特特莱莱（HartleyHartley）首首先先提提 出出 了了 用用 对对 数数 度度 量量 信信 息息 的的 概概 念念。HartleyHartley的的工工作作给给ShannonShannon很很大大的的启启示示,他他在在1941194419411944年年

18、对对通通信信和和密密码码进进行行深深入入研研究究，用用概概率率论论和和数数理理统统计计的的方方法法系系统统地地讨讨论论了了通通信信的的基基本本问问题题，得得出出了几个重要而带有普遍意义的结论。了几个重要而带有普遍意义的结论。Shannon第36页/共55页阐明通信系统传递的对象；阐明通信系统传递的对象；提出了信息熵的概念；提出了信息熵的概念；指出通信系统的中心问题；指出通信系统的中心问题；指明了解决问题的方法。指明了解决问题的方法。1234第37页/共55页 以以上上这这些些成成果果19481948年年以以“通通信信的的数数学学理理论论”（A mathematical theory of co

19、mmunication）为为题题公公开开发发表表，标志着信息论的正式诞生。标志着信息论的正式诞生。维维纳纳（Wiener）在在研研究究火火控控系系统统和和人人体体神神经经系系统统时时，提提出出了了在在干干扰扰作作用用下下的的信信息息最最佳佳滤滤波波理理论论，成成为为信信息息论论的的一个重要分支。一个重要分支。第38页/共55页 50 年年代代，信信息息论论在在学学术术界界引引起起了了巨巨大大反反响响。1951年年，美美国国无无线线电电工工程程师师协协会会（IRE）成成立立了了信信息息论论组组，并并于于1955年正式出版了年正式出版了信息论汇刊信息论汇刊。1959年年，香香农农发表了“保真度准则

20、下的离散信源编码定理”（Coding theorems for a discrete source with a fidelity criterion）系统地提出了信信息息率率失失真真理理论论（rate-distortion theory）。为信源压缩编码的研究奠定了理论基础。第39页/共55页 60 年年代代，信信道道编编码码技技术术有有了了较较大大发发展展，使使它它成成为为信信息息论论的的又又一一重重要要分支。分支。1961年年，香香农农的的重重要要论论文文“双双路路通通信信信信道道”开开拓拓了了多多用用户户信信息息理理论论的研究。的研究。第40页/共55页 70年年代代以以后后，多多用用

21、户户信信息息论论成成为为中心研究课题之一。中心研究课题之一。后后来来，随随着着通通信信规规模模的的不不断断扩扩大大，人人们们逐逐渐渐意意识识到到信信息息安安全全是是通通信信系系统统正正常常运运行行的的必必要要条条件件。于于是是，把把密密码码学学也也归归类类为为信信息息论论的的分分支支。如如今今信信息息安安全全已已是是网网络络通通信信和和电电子子商商务务系系统统中中不可缺少的重要环节。不可缺少的重要环节。第41页/共55页 人人们们对对信信息息的的认认识识越越来来越越深深入入，先先后后提提出出了了加加权权熵熵、动动态态熵熵等等概概念念，建建立立在在模模糊糊数数学学基基础础之之上上的的模模糊糊信信

22、息息的的研研究究也也取取得得了了一一定定的的进进展展。信信息息论论不不仅仅在在通通信信、广广播播、电电视视、雷雷达达、导导航航、计计算算机机、自自动动控控制制、电电子子对对抗抗等等电电子子学学领领域域得得到到了了直直接接应应用用，还还广广泛泛地地渗渗透透到到诸诸如如医医学学、生生物物学学、心心理理学学、神神经经生生理理学学等等自自然然科科学学的的各各个个方方面面，甚甚至至渗渗透透到到语语言言学学、美美学等领域。学等领域。第42页/共55页 从从60年年代代开开始始，一一些些社社会会学学家家在在研研究究社社会会问问题题和和社社会会现现象象时时，先先后后提提出出了了后后工工业业社社会会和和信信息息

23、社社会会的的概概念念，信信息息论论开开始始向向经经济济学学和和社社会会科科学学领域渗透。领域渗透。第43页/共55页1977年年，美美国国经经济济学学家家马马克克波波拉拉特特发发表表了了长长达达九九卷卷的的信信息息经经济济报报告告，用用信信息息论论的的基基本本概概 念念研研究究经经济济现现象象和和社社会会现现象象，将将信信息息论论的的研研究究从从自自然然科科学学领领 域域正正式式移移植植到到经经济济学学和和社社会会科科学学领领域域。信信息息论论迅迅速速发发展展成成为为涉涉及及范范围围极极广广的的广广义义信信息息论论即信息科学。即信息科学。第44页/共55页 信信息息论论的的研研究究对对象象是是

24、广广义义通通信信系系统统。不不仅仅电电子子的的、光光学学的的信信号号传传递递系系统统，任任何何系系统统，只只要要能能够够抽抽象象成成通通信信系系统统模模型型，都都可可以以用用信信息息论论研研究究，如如神神经经传传导导系系统统、市市场场销销售售系系统统等等等等。关关于于信信息息论论的的研研究究内内容容，一一般般有有以以下下三种解释：三种解释：第45页/共55页 主主要要研研究究信信息息的的测测度度、信信道道容容量量、信信息息率率失失真真函函数数，与与这这三三个个概概念念相相对对应应的的香香农农三三定定理理以以及及信信源源和和信道编码信道编码。信息论基础信息论基础 亦称香农信息论或狭义信息论。亦称

25、香农信息论或狭义信息论。1应用近代概率统计方法研究信息的基本性质及度量方法，研究信息传输、处理等一般规律的学科。第46页/共55页香农信息论信源熵信道容量无失真信源编码定理率失真函数信源编码信道编码限失真信源编码定理 信道 编码定理密码第47页/共55页 主主要要是是研研究究信信息息传传输输和和处处理理问问题题。除除了了香香农农基基本本理理论论之之外外，还还包包括括噪噪声声理理论论、信信号号滤滤波波和和预预测测、统统计计检检测测与与估估计计理理论论、调调制制理理论论。后后一一部部分分内内容容以以美美国国科科学学家家维维纳纳（NWiener）为为代代表。表。一般信息论一般信息论 2第48页/共5

26、5页一般信息论一般信息论香农香农 信息论信息论噪声噪声理论理论调制调制 理论理论信号滤波预测信号滤波预测理论理论统计检测估统计检测估计理论计理论第49页/共55页 虽虽然然维维纳纳和和香香农农等等人人都都是是运运用用概概率率和和统统计计数数学学的的方方法法研研究究准准确确或或近近似似再再现现消消息息的的问问题题，都都是是通通信信系系统统的的最最优优化化问问题题。但但他他们们之之间间有有一一个个重重要要的的区别。区别。第50页/共55页 维维纳纳研研究究的的重重点点是是在在接接收收端端。研研究究消消息息在在传传输输过过程程中中受受到到干干扰扰时时，在在接接收收端端如如何何把把消消息息从从干干扰扰

27、中中提提取取出出来来，并并建建立立了了最最佳佳过过滤滤理理论论（维维纳纳滤滤波波器器）、统计检测与估计理论、噪声理论等。统计检测与估计理论、噪声理论等。发送发送接收接收第51页/共55页 香香农农研研究究的的对对象象是是从从信信源源到到信信宿宿的的全全过过程程，是是收收、发发端端联联合合最最优优化化问问题题，重重点点是是编编码码。为为此此，发发展展了了信信息息测测度度理理论、信道容量理论和编码理论等等。论、信道容量理论和编码理论等等。发送发送接收接收第52页/共55页 反反过过来来，所所有有研研究究信信息息的的识识别别、控控制制、提提取取、变变换换、传传输输、处处理理、存存贮贮、显显示示、价价

28、值值、作作用用、安安全全以以及及信信息息量量的的大大小小的的一一般般规规律律以以及及实实现现这这些些原原理理的的技技术术手手段段的的工工程程学学科科，信信息息论论的的完完备备和和延延伸，也都属于广义信息论的范畴。伸，也都属于广义信息论的范畴。概概括括说说来来，凡凡是是能能够够用用广广义义通通信信系系统统模模型型描描述述的的过过程程或或系系统统，都都能能用用信信息基本理论来研究。息基本理论来研究。广义信息论广义信息论 3第53页/共55页 总之，人们研究信息论的目的是总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。地交换和利用各种各样的信息。第54页/共55页谢谢您的观看！第55页/共55页