信息论与编码序论讲优秀PPT.ppt





《信息论与编码序论讲优秀PPT.ppt》由会员分享,可在线阅读,更多相关《信息论与编码序论讲优秀PPT.ppt(66页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、信息论与编码序论讲第1页,本讲稿共66页联系方式单位:网络工程与信息安全系办公室:第二实验楼213联系电话:87935049Email:课程学习交流群:114097204 2第2页,本讲稿共66页课程考核方法l考核由课程考试和出勤两部分构成。l试卷:以课程讲授内容为基础。3第3页,本讲稿共66页课程的基本要求l不得无故缺席,如果不能出勤,必须事先请假;l上课时间内,不能进进出出,不能出现任何手机铃声;4第4页,本讲稿共66页 C.E.Shannon:美国科学家,美国科学家,信息论创始人信息论创始人中文译名:中文译名:山农,香农,仙农,商农山农,香农,仙农,商农5第5页,本讲稿共66页1.1 1
2、.1 信息的一般概念信息的一般概念1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 信息的分类信息的分类6第6页,本讲稿共66页 信息信息科学和科学和材料材料、能源能源科学一起被称为科学一起被称为当代文明的当代文明的“三大支柱三大支柱”。一位美国科学家说过:一位美国科学家说过:“没有物质的世没有物质的世界是虚无的世界;没有能源的世界是死寂的界是虚无的世界;没有能源的世界是死寂的世界;没有信息的世界是混乱的世界。世界;没有信息的世界是混乱的世界。”7第7页,本讲稿共66页 花朵开放时的花朵开放时的色彩是一种信息色彩是一种信息,它可它可以引来昆虫为其授粉;以引来昆虫为其授粉;
3、成熟的水果会产生香味,诱来动物,成熟的水果会产生香味,诱来动物,动物食后为其传播种子,动物食后为其传播种子,果香也是一果香也是一种信息种信息;药有苦味,让人难以吞咽,药有苦味,让人难以吞咽,药味药味是一种信息是一种信息;听老师讲课可以得到许多知识,听老师讲课可以得到许多知识,知知识也是信息识也是信息。8第8页,本讲稿共66页色彩色彩视觉视觉果香果香嗅觉嗅觉苦药苦药味觉味觉知识知识听觉听觉 总之,信息处处存在,人的眼、耳、总之,信息处处存在,人的眼、耳、鼻、舌、身都能感知信息。鼻、舌、身都能感知信息。冷热冷热触觉触觉9第9页,本讲稿共66页那么信息究竟是什么呢?那么信息究竟是什么呢?信息是事物之
4、间的差异信息是事物之间的差异1 信息是物质和能量在时间和空间中信息是物质和能量在时间和空间中分布的不均匀性分布的不均匀性”2 信息是负熵信息是负熵3 信息是作用于人类感觉器官的东信息是作用于人类感觉器官的东西西 410第10页,本讲稿共66页 信息就是情报信息就是情报 5 信息就是知识。信息就是知识。6 数学家认为数学家认为“信息是使概率信息是使概率分布发生改变的东西分布发生改变的东西”7 哲学家认为哲学家认为“信息是物质成信息是物质成分的意识成分按完全特殊的分的意识成分按完全特殊的方式融合起来的产物方式融合起来的产物”。811第11页,本讲稿共66页 19281928年,年,美国数学家美国数
5、学家哈哈 特特 莱莱 (Hartley)(Hartley)在在贝尔贝尔系统电话杂志系统电话杂志上发表了一篇题为上发表了一篇题为信息信息传输传输的论文。他认为的论文。他认为“信息是选择的自信息是选择的自由度由度”。12第12页,本讲稿共66页事隔事隔2020年,年,另一位美国另一位美国数学家数学家香农香农 (C.E.(C.E.Shannon)Shannon)在在贝尔系统电话杂志贝尔系统电话杂志发发表了题为表了题为通信的数学理论通信的数学理论的长篇论的长篇论文。他创立了信息论,但是却没有给出信文。他创立了信息论,但是却没有给出信息的确切定义;他认为息的确切定义;他认为“信息就是一种消信息就是一种消
6、息息”。13第13页,本讲稿共66页 美国数学家、控制论的美国数学家、控制论的 主要奠基人主要奠基人维纳维纳(Wiener(Wiener)在在19501950年出版的年出版的控制论控制论与社会与社会一书中写到:一书中写到:“信息既不是物质又不是能量,信息就是信息信息既不是物质又不是能量,信息就是信息”。这句话起初受到批评和嘲笑。这句话起初受到批评和嘲笑。但正是这句话揭示了信息的特质:即信息是独立于但正是这句话揭示了信息的特质:即信息是独立于物质和能量之外存在于客观世界的物质和能量之外存在于客观世界的第三要素。第三要素。14第14页,本讲稿共66页 最高的层次的定义是最普遍的层次,最高的层次的定
7、义是最普遍的层次,也是无约束条件的层次,定义事物的也是无约束条件的层次,定义事物的“信信息是该事物运动的状态和状态改变的方式息是该事物运动的状态和状态改变的方式”。我们把它叫做我们把它叫做“本体论本体论”层次。在这个层层次。在这个层次上定义的信息是最广义的信息,使用范次上定义的信息是最广义的信息,使用范围也最广。围也最广。15第15页,本讲稿共66页 例如,引入一个最有实际意义的约束例如,引入一个最有实际意义的约束条件条件:认识主体。认识主体。信息定义就转化为信息定义就转化为“认识认识论论”层次的信息定义。即层次的信息定义。即:信息是认识主信息是认识主体(生物或机器)所感知的或所表述的相体(生
8、物或机器)所感知的或所表述的相应事物的运动状态及其变化方式(包括状应事物的运动状态及其变化方式(包括状态及其变化方式的形式、含义和效用)态及其变化方式的形式、含义和效用)。其中认识主体所感知的东西是外部世界向其中认识主体所感知的东西是外部世界向认识主体输入的信息,而认识主体所表述认识主体输入的信息,而认识主体所表述的东西则是其向外部世界输出的信息。的东西则是其向外部世界输出的信息。16第16页,本讲稿共66页全全 信信 息息 同时考虑事物运动状态及其变化方同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的式的外在形式、内在含义和效用价值的认识论层次信息。认识论层次信息。17第17
9、页,本讲稿共66页 信息存在于自然界,也存在于人类社会,信息存在于自然界,也存在于人类社会,其其本质是运动和变化。本质是运动和变化。可以说哪里有事物的运可以说哪里有事物的运动和变化,哪里就会产生信息。动和变化,哪里就会产生信息。人类交换信息的形式丰富多彩,使用的人类交换信息的形式丰富多彩,使用的信息载体非常广泛。概括起来,有信息载体非常广泛。概括起来,有语言、文字语言、文字和电磁波和电磁波。信息必须依附于一定的物质形式存在,这信息必须依附于一定的物质形式存在,这种运载信息的物质,称为种运载信息的物质,称为信息载体。信息载体。18第18页,本讲稿共66页 综合起来,信息有以下主要特征:综合起来,
10、信息有以下主要特征:信息来源于物质,又不是物质本身;信息来源于物质,又不是物质本身;它从物质的运动中产生出来,又可以脱离它从物质的运动中产生出来,又可以脱离源物质而相对独立地存在。源物质而相对独立地存在。信息来源于精神世界,但又不局限信息来源于精神世界,但又不局限于精神领域。于精神领域。1219第19页,本讲稿共66页 信息与能量息息相关,但又与能信息与能量息息相关,但又与能量有本质的区别。量有本质的区别。信息具有知识的本性,但又比知识信息具有知识的本性,但又比知识的内涵更广泛。的内涵更广泛。信息可以被认识主体获取和利用。信息可以被认识主体获取和利用。34520第20页,本讲稿共66页 根据上
11、述特征和信息的基本定义,可根据上述特征和信息的基本定义,可以导出信息的一些重要性质:以导出信息的一些重要性质:存在的普遍性存在的普遍性 有序性有序性相对性相对性 可度量性可度量性 可扩充性可扩充性 可存储、传输与携带性可存储、传输与携带性 21第21页,本讲稿共66页 信息在信息化程度越来越高的社会中将信息在信息化程度越来越高的社会中将起到越来越重要的作用,是比物质和能量更起到越来越重要的作用,是比物质和能量更为宝贵的为宝贵的资源资源,全面掌握信息的概念,正确、全面掌握信息的概念,正确、及时、有效地利用信息,能够为人类创造更多及时、有效地利用信息,能够为人类创造更多的财富。的财富。可压缩性可压
12、缩性 可扩散性可扩散性 可替代性可替代性 可共享性可共享性 时效性时效性 信息的独有性质22第22页,本讲稿共66页1.1 1.1 信息的一般概念信息的一般概念1.3 1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 1.2 信息的分类信息的分类23第23页,本讲稿共66页 按照信息的性质按照信息的性质 1语法语法语义语义语用语用 按照观察的过程按照观察的过程 实在实在先验先验实得实得 224第24页,本讲稿共66页客观客观主观主观 按照信息的地位按照信息的地位 按照信息的作用按照信息的作用有用有用无用无用干扰干扰3425第25页,本讲稿共66页真实真实虚假虚假不定不定
13、按照信息的逻辑意义按照信息的逻辑意义 按照信息的传递方向按照信息的传递方向 前馈前馈反馈反馈5626第26页,本讲稿共66页宇宙宇宙自然自然社会社会思维思维工业农业军事政治科技文化经济市场管理 按照信息的生成领域按照信息的生成领域 7 按照信息的应用部门按照信息的应用部门 827第27页,本讲稿共66页语声图象文字数据计算电电磁磁语语声声图图象象文文字字光光学学生生物物 按照信息的来源按照信息的来源9 按照信息载体的性质按照信息载体的性质 1028第28页,本讲稿共66页连续连续离散离散半连续半连续 按照携带信息的信号的性质按照携带信息的信号的性质 1129第29页,本讲稿共66页 在众多的分
14、类原则和方法中,最重在众多的分类原则和方法中,最重要的就是按照信息性质的分类。要的就是按照信息性质的分类。按照性质的不同可以把信息划分成按照性质的不同可以把信息划分成语法语法信息、语义信息和语用信息信息、语义信息和语用信息三个基本类三个基本类型。其中最基本也是最抽象的类型是语法信型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类息。也是迄今为止在理论上研究得最多的类型。型。30第30页,本讲稿共66页全信息全信息语法信息语法信息语义信息语义信息语用信息语用信息离散信息离散信息 明晰信息明晰信息 连续信息连续信息 模糊信息模糊信息31第31页,本讲稿共66页 语法信息考
15、虑的是事物运动状态和变语法信息考虑的是事物运动状态和变化方式的化方式的外在形式外在形式。当然,按照事物运动的方式,还可以当然,按照事物运动的方式,还可以把信息进一步细分为概率信息、偶发信把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。息、确定信息和模糊信息。香农信息论主要讨论的是语法信息香农信息论主要讨论的是语法信息中的中的概率信息概率信息,本书也以概率信息为主本书也以概率信息为主要研究对象。要研究对象。32第32页,本讲稿共66页1.1 1.1 信息的一般概念信息的一般概念1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 1.2 信息的分类信息的分类33第33
16、页,本讲稿共66页 信息论自诞生到现在不过信息论自诞生到现在不过6060年,在人类年,在人类科学史上是相当短暂的。但它的发展和对科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深学术界及人类社会的影响是相当广泛和深刻的。信息作为一种刻的。信息作为一种资源资源,如何开发、利如何开发、利用、共享,是人们普遍关心的问题。用、共享,是人们普遍关心的问题。34第34页,本讲稿共66页 在在人人类类历历史史的的长长河河中中,信信息息传传输输和和传传播播手段经历了五次重大变革:手段经历了五次重大变革:语言的产生。语言的产生。文字的产生。文字的产生。印刷术的发明。印刷术的发明。电报、电话
17、的发明。电报、电话的发明。计计算算机机技技术术与与通通信信技技术术相相结结 合,促进了网络通信的发展合,促进了网络通信的发展。1234535第35页,本讲稿共66页1924年年,奈奈 奎奎 斯斯 特特(Harry Nyquist)(1889-1976)解解释释了了信信号号带带宽和信息速率之间的关系。宽和信息速率之间的关系。36第36页,本讲稿共66页 2020世世纪纪3030年年代代,新新的的调调制制方方式式,如如调调频频、调调相相、单单边边带带调调制制、脉脉冲冲编编码码调调制制和和增增量量调调制制的的出出现现,使使人人们们对对信信息息能能量量、带宽和干扰的关系有了进一步的认识。带宽和干扰的关
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 序论 优秀 PPT

限制150内