信息论与编码新题优秀课件.ppt

《信息论与编码新题优秀课件.ppt》由会员分享，可在线阅读，更多相关《信息论与编码新题优秀课件.ppt（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论与编码新题1第1页，本讲稿共38页 1.1 信息的概念信息的概念 内容：1.1.1 信息的定义1.1.2 信息的特征与性质2第2页，本讲稿共38页 信息是一个十分通俗而广泛的名词，信息是一个十分通俗而广泛的名词，抽象和复杂。抽象和复杂。不同的学科领域对其有不同的定不同的学科领域对其有不同的定义和解释。义和解释。3第3页，本讲稿共38页1.1.1 信息的定义信息的定义消息、新闻与知识消息、新闻与知识 据新词源考证，唐代诗人李中，暮春怀故人，“梦断美人沉信息，目穿长路倚楼台”，“信息”是消息的同义词；在西方的早期文献著作中，信息(information)和消息(message)也是互相通用的

2、；英国牛津字典中，信息是谈论的事情、新闻和知识(sth told;news or knowledge given);韦氏字典中，信息是在观察研究过程中获得的数据情报、新闻和知识。4第4页，本讲稿共38页维纳（维纳（WienerWiener）：美国数学家、控制论奠基人）：美国数学家、控制论奠基人 控制论：动物与机器中的通信与控制问题1948 “信息就是信息，不是物质，也不是能量信息就是信息，不是物质，也不是能量”利用排他法告诉人们：信息不是物质和能量。这是对信息本质的最有原则性和最深刻的宣示，是把信息、物质和能量”放在同样地位上的最早科学论断。香农（香农（Shannan):Shannan):美国

3、学者、信息论创始人美国学者、信息论创始人 在贝尔系统技术杂志“通信的数学理论通信的数学理论”1948 把信息与信息的度量作为事物的把信息与信息的度量作为事物的“不肯定性不肯定性”与与 “不肯定性不肯定性”的度量。的度量。以概率为工具，阐述了通信工程的基本理论问题，给出了计算信源信息量和信道容量的方法，得到了表征信息传递重要关系的编码定理。5第5页，本讲稿共38页布里渊（布里渊（Brillouin）：法裔美国科学家）：法裔美国科学家 名著科学与信息论 信息就是负熵信息就是负熵(Negentropy)维纳在控制论与社会1950，正如熵是无组织程度的度量一样，消息集合所包含的信息就是组织程度的度量，

4、事实上完全可以将消息包含的信息解释为负熵。M.TribesM.Tribes等等科学的美国人科学的美国人“能量与信息能量与信息”19711971 信息是使概率分布发生变动的东西信息是使概率分布发生变动的东西 概率是对知识状态的一种数值编码。某人对一个特定问题的知识状态可以这样表示，即对这个问题种种想得出的答案各分配一定的概率；如果对这个答案完全了解，对其中一个赋予1，其他为0.6第6页，本讲稿共38页艾什比艾什比(Ashiby)(Ashiby)：英国生物学家，控制论奠基人英国生物学家，控制论奠基人 控制论导引引入“变异度”的概念 信息定义为变异度信息定义为变异度 任何一个集合所包含的元素数目以2

5、为底的对数称为这个集合的变异度；将变异度当作信息的概念来使用（1956）。变异度实际是均匀概率分布条件下的香农熵。事实上，半个多世纪以来，科学文献中提出过的信息定义数以百计。不同的作者从不同的角度在不同的条件下对信息进行考察的结果。7第7页，本讲稿共38页钟义信 主编信息科学与技术导论一书：根据不同的约束条件，区分不同根据不同的约束条件，区分不同的层次给出信息的定义，同时根据约的层次给出信息的定义，同时根据约束条件的增减，使信息的定义随之进束条件的增减，使信息的定义随之进退。退。8第8页，本讲稿共38页l没有任何约束条件的层次是最高层次，最普遍适用没有任何约束条件的层次是最高层次，最普遍适用的

6、层次，称为本体论层次。的层次，称为本体论层次。l引入一个约束条件，最高层次的定义退变为次高引入一个约束条件，最高层次的定义退变为次高层次的定义，适用范围比最高层次定义的范围窄；层次的定义，适用范围比最高层次定义的范围窄；若引入的约束条件具有主体（人、生物和机器）若引入的约束条件具有主体（人、生物和机器）存在，并且从主体的立场出发来定义信息，本体存在，并且从主体的立场出发来定义信息，本体论层次信息定义就转化为认识论层次信息定义。论层次信息定义就转化为认识论层次信息定义。l引入的约束条件越多，层次越低，适用范围越窄。引入的约束条件越多，层次越低，适用范围越窄。9第9页，本讲稿共38页l本体论层次的

7、信息定义：是事物的运动状态极其变化本体论层次的信息定义：是事物的运动状态极其变化方式的自我表述。方式的自我表述。l认识论层次的信息定义：指主体所感知（或所表述）认识论层次的信息定义：指主体所感知（或所表述）的关于该事物的运动状态极其变化方式，包括这种的关于该事物的运动状态极其变化方式，包括这种状态或方式的形式、含义和效用。状态或方式的形式、含义和效用。l在这个体系下，各种有关信息的定义在不同层次在这个体系下，各种有关信息的定义在不同层次上找到位置。上找到位置。10第10页，本讲稿共38页1.1.2 信息的特征与性质信息的特征与性质1、特征、特征1 1）信息来源于物质，又不是物质本身，它从物质的

8、运动）信息来源于物质，又不是物质本身，它从物质的运动 中中产生出来，又可以脱离源物质而寄生于其它物质（媒体），产生出来，又可以脱离源物质而寄生于其它物质（媒体），相对独立的存在。相对独立的存在。2 2）信息也来源于精神世界，但是又不限于精神世界。）信息也来源于精神世界，但是又不限于精神世界。3 3）信息与能量息息相关，但又与能量有质的区别。）信息与能量息息相关，但又与能量有质的区别。4 4）信息可以被提炼成知识，但信息本身不等于知识。）信息可以被提炼成知识，但信息本身不等于知识。5 5）信息是具体的，可以被主体（人，生物和机器）所感知、）信息是具体的，可以被主体（人，生物和机器）所感知、提取和

9、识别，可以被传递、存储、变换、处理、显示、检提取和识别，可以被传递、存储、变换、处理、显示、检索和利用。索和利用。6 6）信息可以被复制，可以被共享。）信息可以被复制，可以被共享。11第11页，本讲稿共38页2、性质、性质1 1）普遍性：信息是普遍存在的。）普遍性：信息是普遍存在的。2 2）无限性：在整个宇宙时空中，信息是无限的，即使是）无限性：在整个宇宙时空中，信息是无限的，即使是 在有限空间，信息也是无限的。在有限空间，信息也是无限的。3 3）相对性：对于同一事物，不同观察者所获得的信息量可能不同。）相对性：对于同一事物，不同观察者所获得的信息量可能不同。4 4）传递性：信息可以在时空中从

10、一点传递到另一点。）传递性：信息可以在时空中从一点传递到另一点。5 5）变换性：信息是可变换的，它可以由不同的载体用不同的方）变换性：信息是可变换的，它可以由不同的载体用不同的方式来载荷。式来载荷。6 6）有序性：信息可以用来消除系统的不确定性，增加系统的）有序性：信息可以用来消除系统的不确定性，增加系统的有序性。有序性。12第12页，本讲稿共38页7 7）动态性：信息具有动态性质，一切活的信息都随时间而变化，因）动态性：信息具有动态性质，一切活的信息都随时间而变化，因此，信息也是有时效、有此，信息也是有时效、有“寿命寿命”的。的。8 8）转化性：从潜在的意义上讲，信息可以转化。在一定条件下，

11、）转化性：从潜在的意义上讲，信息可以转化。在一定条件下，可以转化为物质、能量和时间等。可以转化为物质、能量和时间等。13第13页，本讲稿共38页3、信息的功能、信息的功能 信息可以通过一定的算法被加工成知识，并针对给定的目标被激活成为求解问题的智能策略，进而按照策略求解实际的问题。这是信息最核心最本质的功能。信息信息知识知识智能（策略）智能（策略）是人类智慧的生长链，或称智慧链是人类智慧的生长链，或称智慧链。14第14页，本讲稿共38页1.2 信息科学技术概述信息科学技术概述 内容：1.2.1 信息科学1.2.2 信息技术1.2.3 信息产业15第15页，本讲稿共38页1.2.1 信息科学信息

12、科学 可以定义为可以定义为“研究信息现象极其运动规律的科学研究信息现象极其运动规律的科学”信息科学是以信息为主要研究对象、以信息运动过程的信息科学是以信息为主要研究对象、以信息运动过程的规律为主要研究内容、以信息科学方法论为主要研究方法、规律为主要研究内容、以信息科学方法论为主要研究方法、以扩展人的信息功能（全部信息功能形成的有机整体就是以扩展人的信息功能（全部信息功能形成的有机整体就是智力功能）为主要研究目标的一门科学。智力功能）为主要研究目标的一门科学。1 1、信息科学的研究对象、信息科学的研究对象 信息科学的研究对象信息，这是信息科学区别于其它科信息科学的研究对象信息，这是信息科学区别于

13、其它科学的最根本的特点之一，也是信息科学之所以能够成为学的最根本的特点之一，也是信息科学之所以能够成为一门独立学科的最根本的前提。一门独立学科的最根本的前提。16第16页，本讲稿共38页2、信息科学的研究内容、信息科学的研究内容 研究内容信息的运动过程及其运动规律。信息全过程模型（信息科学研究内容）人类通过信息器官认识世界和改造世界的信息模型。17第17页，本讲稿共38页1）信息获取）信息获取 信息的感知和表示信息的感知和表示2）信息传递）信息传递 信息的发送、传输和接收，即通信（或存储）过程。信息的发送、传输和接收，即通信（或存储）过程。3）信息处理）信息处理 对信息进行加工和处理，从中提取

14、相关的知识。即认对信息进行加工和处理，从中提取相关的知识。即认 知过程。知过程。4）信息再生）信息再生 利用已有信息产生新信息的过程。求解问题的策略？利用已有信息产生新信息的过程。求解问题的策略？即决策过程即决策过程5）信息施效（应用）信息施效（应用）信息最终发挥效用的过程。通过调节对象的运动状态及信息最终发挥效用的过程。通过调节对象的运动状态及其变化方式，使其处于预期的运动状态。即控制。其变化方式，使其处于预期的运动状态。即控制。18第18页，本讲稿共38页3、信息科学的研究目的、信息科学的研究目的 扩展人类的信息功能，其有机整体就是智力功能。扩展人类的信息功能，其有机整体就是智力功能。随着

15、信息科学研究的不断深入，主体（人和生物）在随着信息科学研究的不断深入，主体（人和生物）在信息获取、信息传递、信息处理、信息再生和信息施效信息获取、信息传递、信息处理、信息再生和信息施效等各种功能的内在机制将逐步被阐明。等各种功能的内在机制将逐步被阐明。逐渐找到越来越有效的方法在机器上模拟或者浮现主体逐渐找到越来越有效的方法在机器上模拟或者浮现主体信息功能的机制，甚至在某些方面改进这些机制的工作性信息功能的机制，甚至在某些方面改进这些机制的工作性能。能。大量高级智能信息系统的问世，以它们的优异性能来大量高级智能信息系统的问世，以它们的优异性能来补充、增强和扩展人的各种天然信息功能，这些功能的补充

16、、增强和扩展人的各种天然信息功能，这些功能的综合综合智力功能。智力功能。19第19页，本讲稿共38页1.2.2 信息技术信息技术定义：定义：“扩展人的信息功能扩展人的信息功能”的手段和方法。的手段和方法。主要包括（功能）：主要包括（功能）：1 1）传感技术：延长人的感觉器官收集信息的功能。）传感技术：延长人的感觉器官收集信息的功能。2 2）通信技术：延长人的神经系统传递信息的功能。）通信技术：延长人的神经系统传递信息的功能。3 3）存储技术：延长人的记忆器官存储信息的功能。）存储技术：延长人的记忆器官存储信息的功能。4 4）计算机技术：思维器官处理信息和决策的功能。）计算机技术：思维器官处理信

17、息和决策的功能。信息的载体是信号，根据信号的不同形式，可分为：信息的载体是信号，根据信号的不同形式，可分为：电磁信息技术、电子信息技术、光信息技术、生物信电磁信息技术、电子信息技术、光信息技术、生物信息技术等。息技术等。20第20页，本讲稿共38页1.2.3 信息产业信息产业 信息技术所产生的各种产品的生产、销售和售后信息技术所产生的各种产品的生产、销售和售后服务，以及对这些产品的使用服务等。服务，以及对这些产品的使用服务等。21第21页，本讲稿共38页1.3 信息论概述信息论概述内容：1.3.1 信息论基本内容信息论基本内容 1.3.2 信息论的特点信息论的特点 1.3.3 信息论产生与发展

18、信息论产生与发展 1.3.4 香农简介与学术风格香农简介与学术风格22第22页，本讲稿共38页u信息论一般是指香农信息论或经典信息论，研究的基本问题是信信息论一般是指香农信息论或经典信息论，研究的基本问题是信源、信道及编码问题。是信息科学产生的基础与起点。源、信道及编码问题。是信息科学产生的基础与起点。u1948年年Bell实验室香农实验室香农:通信的数学理论通信的数学理论(Mathematical Theory of Communication)用统计的方法建立了通信系统中信源信息的度量、信道容量的用统计的方法建立了通信系统中信源信息的度量、信道容量的度量以及保障通信系统信息传输有效性和可靠

19、性的编码原理。度量以及保障通信系统信息传输有效性和可靠性的编码原理。u香农信息论研究通信系统中信息的传输和处理问题，主要是针香农信息论研究通信系统中信息的传输和处理问题，主要是针对通信系统（信息的传递过程）。对通信系统（信息的传递过程）。“信息论信息论”不等于不等于“信息科学信息科学”1.3.1 信息论基本内容信息论基本内容23第23页，本讲稿共38页1.3.2 信息论的特点信息论的特点u以概率论、随机过程为基本研究工具；以概率论、随机过程为基本研究工具；u研究通信的整个过程，并以编码和解码为重点；研究通信的整个过程，并以编码和解码为重点；u关心的是最优系统的性能和怎样达到这个性能；关心的是最

20、优系统的性能和怎样达到这个性能；u信源为随机过程，不研究信宿。信源为随机过程，不研究信宿。24第24页，本讲稿共38页1.3.3 信息论的产生与发展信息论的产生与发展 香农信息论的创立主要是由于香农的杰出的贡献，但也与当时的技术发展背景和前人的工作密不可分。主要通信技术与手段：主要通信技术与手段：电报(Morse,1830s)电话(Bell,1876)AM无线电(1900s 早期)单边带调制(Carson,1922)电视(1925-1927)电传(1931)调频(Armstrong,1936)脉冲调制(Reeves,1937-9)声码器(Dudley,1939)扩频(1940s)25第25页，

21、本讲稿共38页1、信息论的确立期、信息论的确立期 为了提高通信的质量和效率，机电技术和数学两方面为了提高通信的质量和效率，机电技术和数学两方面:机电技术：机电技术：改进通信的物理手段与条件，如有线无线通信的改进通信的物理手段与条件，如有线无线通信的采用，收发设备的改进，波段选择和信噪比等。采用，收发设备的改进，波段选择和信噪比等。数学方面：数学方面：数学描述的重要性，信息论的基本问题开始形成，数学描述的重要性，信息论的基本问题开始形成，一些重要的通信原则开始确定。一些重要的通信原则开始确定。1948-20世纪世纪60年代：年代：香农主要贡献为：香农主要贡献为：26第26页，本讲稿共38页27第

22、27页，本讲稿共38页28第28页，本讲稿共38页特点：对香农理论的研究与说明。特点：对香农理论的研究与说明。29第29页，本讲稿共38页2、信息论的发展、信息论的发展20世纪世纪70年代年代80年代：理论发展期年代：理论发展期率失真理论：率失真理论：失真的数据压缩理论。解决了在一定允许误差条件下的最小信号体积问题。主要标志是T.Berger的专著Rate Distortion Theory问世。已成为数据压缩技术的理论基础。多用户信息论：多用户信息论：多用户信源信道模型及编码定理证明，其发展是现在的网络信息论。30第30页，本讲稿共38页20世纪世纪90年代前后：年代前后：理论的成功应用和多

23、学科结合。理论的成功应用和多学科结合。n无失真信源编码无失真信源编码 Huffman码 算术编码 LZW（Lempel-Ziv-Welch）码 YK（Yang-Kieffer）码31第31页，本讲稿共38页有失真信源压缩编码有失真信源压缩编码 有失真信源压缩编码理论是原理到技术、产品与市场紧密结合的成功范例，是现代多媒体技术的基础与支柱。技术标准：技术标准：JPEG（Joint Photographic Experts Group）静态图像有损压缩标准 JPEG2000 静态图像有损压缩标准 MPEG-1,-2,-4 动态图像与音频压缩标准32第32页，本讲稿共38页调制解调码调制解调码 在一

24、定通信质量要求下，如何提高通信速度？G.Ungerbock等（1982）：利用格子码和软判决理论，针对高斯（Gaussian）信道，给出了调制解调码的结构与编译码算法。数据传输速度提高了近30倍，使网络通信成为实用性的技术。33第33页，本讲稿共38页Turbo码和码和LDPC码码 与以往的编码方法（代数码和卷积码）相比，其性能指标已与以往的编码方法（代数码和卷积码）相比，其性能指标已接近香农编码定理的最优解；接近香农编码定理的最优解；编码理论与实现的统一，即使香农的最优编码理论编码理论与实现的统一，即使香农的最优编码理论在工程中得以实现。在工程中得以实现。34第34页，本讲稿共38页1.3.4 香农简介与学术风格香农简介与学术风格香农简介：35第35页，本讲稿共38页36第36页，本讲稿共38页香农学术风格：37第37页，本讲稿共38页习题：P29:1,3,738第38页，本讲稿共38页