信息论与编码(第1章).ppt

《信息论与编码(第1章).ppt》由会员分享，可在线阅读，更多相关《信息论与编码(第1章).ppt（53页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息理论与编码朱仁祥电子与信息工程学院1考核方式考核方式考查课考查课(48学时学时)，全部为讲课学时，全部为讲课学时 总评成绩总评成绩=平时成绩占平时成绩占40 +测验成测验成 绩占绩占602注意事项注意事项1、实行请假制度、实行请假制度2、保持课堂纪律、保持课堂纪律3、欢迎提出反馈意见、欢迎提出反馈意见3n本课程以概率论为基础，数学推导较多，学习本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到时主要把注意力集中到概念概念的理解上，不过分的理解上，不过分追求数学细节的推导。学习时一定要从始至终追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。注意基本概

2、念的理解，不断加深概念的把握。学习时注意理解各个概念的学习时注意理解各个概念的“用处用处”，结合其，结合其他课程理解它的意义，而不要把它当作数学课他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的来学习，提倡独立思考，注重思考在学习中的重要性重要性。学习方法学习方法4课程概述课程概述n当今的时代是一个当今的时代是一个信息信息的时代，信息处理技术的的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。本课程将介绍信息科学的活质量得到很大提高。本课程将介绍信息科学的基础理论基础理论和和基本方法基本

3、方法，课程将基于一个通讯系统，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为率论。整个课程可分为基础理论基础理论和和编码理论编码理论两部两部分组成分组成5第一章第一章绪论绪论1.1信息论的形成和发展信息论的形成和发展1.2通信系统的模型通信系统的模型本章重点本章重点n信息、消息、信号的联系与区别信息、消息、信号的联系与区别n通信系统模型及其各部件的功能作用通信系统模型及其各部件的功能作用61.1信息论的形成和发展信息论的形成和发展n什么叫信息？什么叫信息？n信息的主要特征是什么？信息的主要特征是什么？n什么叫消息？

4、什么叫消息？n什么叫信号？什么叫信号？n什么叫数据？什么叫数据？n信息、消息、信号三者之间的联系是什么？信息、消息、信号三者之间的联系是什么？7一、信息的概念一、信息的概念1.信息信息从哲学的角度上讲，从哲学的角度上讲，信息信息是构成物质世界的三是构成物质世界的三大支柱之一，其他两个是大支柱之一，其他两个是物质物质和和能量能量。美国安东尼美国安东尼.欧廷教授欧廷教授:没有物质没有物质,就什么东西也不存在就什么东西也不存在.没有能量没有能量,就什么事情也不发生就什么事情也不发生.没有信息没有信息,就什么东西也无意义就什么东西也无意义.可以说我们生活在信息的海洋之中，没有信息就没有可以说我们生活在

5、信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息世界，当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现的历史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会代，信息的利用已经非常重要，以至于我们当今生活的社会被称作被称作信息社会信息社会。可见信息的重要。可见信息的重要。8但是有史以来，人们都没有对信息下过一个确切的定但是有史以来，人们都没有对信息下过一个确切的定义。就像对于物质和能量一样。义。就像对于物质和能量一样。信息虽无确切定义，信息虽无确切定义，但是却具有

6、两个明显的特征：广泛性与抽象性。但是却具有两个明显的特征：广泛性与抽象性。n广泛性广泛性n客观世界充满着信息客观世界充满着信息n人类离不开信息人类离不开信息n知识、书本是有用信息的积累知识、书本是有用信息的积累n抽象性抽象性三三大大要要素素是是：物物质质、能能量量与与信信息息。三三要要素素中中物物质质是是基基础础，是是实实体体。能能量量是是物物质质运运动动的的形形式式，E=mc2，物物质质可可转转换换成成能能量量，而而能能量量又又是是改改造造客客观观世世界界的的主主要动力。要动力。9n信息：信息：它依附于物质和能量，但又不同于物质和能它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好

7、地利用物质和能量，人类量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。认识客观世界的更高层次。n就狭义而言，在通信中对信息的表达分为三个层次：就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。信号、消息、信息。10n信号：信号：是信息的物理表达层，是三个层次中是信息的物理表达层，是三个层次中最具体

8、的层次。它是一个物理量，是一个载最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。荷信息的实体，可测量、可描述、可显示。如电信号、光信号、生物信号等。如电信号、光信号、生物信号等。n消息：消息：(或称为符号或称为符号)是信息的数学表达层，是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。描述，它是具体物理信号的进一步数学抽象。（消息是指包含有信息的语言、文字和图像等）（消息是指包含有信息的语言、文字和图像等）11n信息：信息：是指各个事物运动的状态及状态变化的方式是指各个事物运动的状

9、态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候就是一种信息。信息是信号与消存在脑子中的时候就是一种信息。信息是信号与消息的更高表达层次。息的更高表达层次。三个层次中，信号最具体，信三个层次中，信号最具体，信息最抽象息最抽象。它们三者之间的关系是哲学上的内涵与。它们三者之间的关系是哲学上的内涵与外延的关系。外延的关系。12n信息来源于物质，又不是

10、物质本身；它从物质的运动中产生信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在；出来，又可以脱离源物质而相对独立地存在；n信息来源于精神世界，但又不局限于精神领域；信息来源于精神世界，但又不局限于精神领域；n信息与能量息息相关，但又与能量有本质的区别；信息与能量息息相关，但又与能量有本质的区别；n信息具有知识的本性，但又比知识的内涵更广泛；信息具有知识的本性，但又比知识的内涵更广泛；n信息可以被主体获取和利用。信息可以被主体获取和利用。(P3)n接收者在收到信息之前，对它的内容是不知道的，所以信息接收者在收到信息之前，对它的内容是不知道的，所以信息是新

11、知识、新内容；是新知识、新内容；n信息是能使认识主体对某一事物的未知性或不确定性减少的信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；有用知识；n信息可以产生，也可以消失，同时信息可以被携带、贮存及信息可以产生，也可以消失，同时信息可以被携带、贮存及处理；处理；n信息是可以量度的，信息量有多少的差别。信息是可以量度的，信息量有多少的差别。2.信息的主要特征信息的主要特征13u信息的基本概念在于它的不确定性，任信息的基本概念在于它的不确定性，任何已经确定的事物都不含有信息。何已经确定的事物都不含有信息。例例.如果你问你的同学如果你问你的同学“明天是星期几明天是星期几”，则答案中含有

12、多少信息量？则答案中含有多少信息量？情况一情况一.你不知道今天是星期几你不知道今天是星期几情况二情况二.你知道今天是星期一你知道今天是星期一例例.同学对你说同学对你说”你编码原理考试通过了你编码原理考试通过了”,你得到了消息你得到了消息,获得了信息吗获得了信息吗?u通信过程是一种消除不确定性的过程通信过程是一种消除不确定性的过程,不确定性的消除不确定性的消除,就获得了信息就获得了信息。143.信息、消息和信号信息、消息和信号?n信息信息是事物运动状态或存在方式的不确定性的描述是事物运动状态或存在方式的不确定性的描述n消息是信息的载体，相对消息是信息的载体，相对具体具体的概念，如语言，文的概念，

13、如语言，文字，数字，图像字，数字，图像n信号是把消息变换成适合信道传输的物理量信号是把消息变换成适合信道传输的物理量例例.收到一封收到一封E-mail:”北京成功申办北京成功申办2008年奥运会年奥运会”n是北京申办是北京申办2008年奥运会具体情况的描述年奥运会具体情况的描述(信息信息)n用中文用中文:”北京成功申办北京成功申办2008年奥运会年奥运会”来表述来表述(消息消息)n中文不能直接在中文不能直接在Internet的传输信道中传输的传输信道中传输,中中文文-二进制码二进制码-适合信道传输的物理量适合信道传输的物理量(信号信号),才才能在信道中传输能在信道中传输在通信系统中形式上传输的

14、是消息在通信系统中形式上传输的是消息,但实质上传输的是信息但实质上传输的是信息15什么叫数据？什么叫数据？载有信息的可观测、可传输、可存储及可载有信息的可观测、可传输、可存储及可处理的信号均称为数据。处理的信号均称为数据。16n语义信息语义信息：事物运动状态及方式的具体含义，：事物运动状态及方式的具体含义，研究信息的主体含义。研究信息的主体含义。n语法信息语法信息：事物的状态和状态改变方式本身。事物的状态和状态改变方式本身。研究事物运动出现的各种可能状态和这些状态研究事物运动出现的各种可能状态和这些状态之间的联系。是抽象的。之间的联系。是抽象的。（各种信息要素出现（各种信息要素出现的可能性及各

15、要素之间的相互关系）。的可能性及各要素之间的相互关系）。n语用信息语用信息：事物运动状态、方式及其含义对观：事物运动状态、方式及其含义对观察者的效用，察者的效用，研究信息客观价值。研究信息客观价值。4.信息的分类信息的分类17人们对客观世界运动规律人们对客观世界运动规律 和存在状态的认识结果和存在状态的认识结果信息信息传递传递信息处理信息处理再生再生信息信息传递传递信息信息获取获取信息信息施用施用外部世界外部世界问题环境问题环境信息运动过程信息运动过程18二、信息论的形成和发展二、信息论的形成和发展n信息论的奠基人是谁？信息论的开创文信息论的奠基人是谁？信息论的开创文章是什么？章是什么？n编码

16、理论的开创文章是什么？编码理论的开创文章是什么？n香农的三大定理是什么？香农的三大定理是什么？19信息论的发展历史信息论的发展历史n1924年，奈奎斯特年，奈奎斯特Nyquist提出信息传输理论；提出信息传输理论；n1928年，哈特莱年，哈特莱Hartley提出信息量关系；提出信息量关系；n1932年，莫尔斯年，莫尔斯Morse发明电报编码；发明电报编码；n1946年，柯切尼柯夫提出信号检测理论；年，柯切尼柯夫提出信号检测理论；n1948年，年，Shannon提出信息论，提出信息论，“通信中的数通信中的数学理论学理论20无失真信源编码无失真信源编码n1948年年，香香农农在在通通信信的的数数学

17、学理理论论的的论论文文中中，用用概概率率测测度度和和数数理理统统计计的的方方法法系系统统地地讨讨论论了了通通信信的的基基本本问问题题，得得出出了了几几个个重重要要而而带带有有普普遍遍意意义义的的结结论论。香香农农理理论论的的核核心心是是：在在通通信信系系统统中中采采用用适适当当的的编编码码后后能能够够实实现现高高效效率率和和高高可可靠靠性性的的信信息息传传输输，并并得得出出了了信信源源编编码码定定理理和和信信道编码道编码定理。定理。21n标志着信息论的正式诞生标志着信息论的正式诞生o 在前人工作基础上，用概率统计方法研究通信在前人工作基础上，用概率统计方法研究通信 系统系统o 揭示：通信系统传

18、递的对象揭示：通信系统传递的对象信息信息o 提出：提出：信息熵信息熵、信息量信息量o 指出：通信系统的指出：通信系统的中心问题中心问题 噪声背景下如何噪声背景下如何有效、可靠有效、可靠地传递信息地传递信息 实现的实现的主要方法主要方法编码编码22n提出了无失真信源编码定理、信道编码定理提出了无失真信源编码定理、信道编码定理o 给出了编码的给出了编码的性能极限性能极限o 提供了最佳通信系统的提供了最佳通信系统的理论依据理论依据o 从数学观点看从数学观点看都是最优编码的都是最优编码的存在性存在性定理定理o 从工程观点看，信道编码定理从工程观点看，信道编码定理不是结构性不是结构性的的o 无失真信源编

19、码定理是无失真信源编码定理是结构性结构性的的码的平均码的平均 长度信源统计特性相匹配长度信源统计特性相匹配23n无失真信源编码的方法无失真信源编码的方法o 1948年，香农提出年，香农提出香农编码香农编码o 1952年，费诺年，费诺(Fano)提出提出费诺编码费诺编码o 1952年，霍夫曼年，霍夫曼(DAHuffman)提出提出霍夫霍夫 曼编码曼编码，并证明它是最佳码，并证明它是最佳码有限长度的有限长度的 分组码中，分组码中，平均码长最短平均码长最短o 1982年，里斯桑内年，里斯桑内(JRissanen)在多年研究在多年研究 的基础上，与兰登的基础上，与兰登(GGLangdon)一起将一起将

20、 算术码算术码（非分组码）实用化（非分组码）实用化o 1977年，齐弗年，齐弗(JZiv)和兰佩尔和兰佩尔(ALempel)提出了提出了LZ算法算法一种一种通用编码通用编码方法方法24n1959年，香农发表年，香农发表“保真度准则下的离散信源编保真度准则下的离散信源编码定理码定理”Codingtheoremsforadiscretesourceatthefidelitycriterion限失真信源编码限失真信源编码o 提出提出率失真函数和率失真函数和率失真信源编码定理率失真信源编码定理o 贡献贡献信源编码的信源编码的核心核心，压缩编码的，压缩编码的理论基础理论基础 连续信源在编成代码后不可能无

21、失真地复原连续信源在编成代码后不可能无失真地复原 量化有失真量化有失真最佳量化最佳量化问题问题 对于有记忆信源，条件熵必不大于无条件熵对于有记忆信源，条件熵必不大于无条件熵 解除符号间的相关性解除符号间的相关性可进一步压缩码率可进一步压缩码率25n在在研研究究信信源源编编码码的的同同时时，另另外外一一部部分分科科学学家家从从事事信信道道编编码码(纠纠错错码码)的的研研究究工工作作。这这一一工工作作已已取取得得了了很很大大的的进进展展，并并已已经经形形成成一一门门独独立立的的分分支支纠纠错错码码理理论论。1950年年汉汉明明(RWHamming)发发表表的的论论文文检检错错码码与与纠纠错错码码是

22、是开开拓拓编编码码理理论论研研究究的的第第一一篇篇论论文文。这这篇篇论论文文主主要要考考虑虑在在大大型型计计算算机机中中如如何何纠纠正正所出现的单个错误。所出现的单个错误。26n密密码码编编码码学学是是信信息息安安全全技技术术的的核核心心，密密码码编编码码学学的的主主要要任任务务是是寻寻求求产产生生安安全全性性高高的的有有效效密密码码算算法法和协议，以满足对消息进行加密或认证的要求。和协议，以满足对消息进行加密或认证的要求。n密密码码分分析析学学的的主主要要任任务务是是破破译译密密码码或或伪伪造造认认证证信信息，实现窃取机密信息或进行诈骗破坏活动。息，实现窃取机密信息或进行诈骗破坏活动。n这这

23、两两个个分分支支既既相相互互对对立立又又相相互互依依存存，正正是是由由于于这这种对立统一关系，才推动了密码学自身的发展。种对立统一关系，才推动了密码学自身的发展。n香香农农在在1949年年发发表表的的保保密密通通信信的的信信息息理理论论论论文文中中，首首先先用用信信息息论论的的观观点点对对信信息息保保密密问问题题作作了了全面的论述。全面的论述。27n由于保密问题的特殊性，直至由于保密问题的特殊性，直至1976年迪弗年迪弗(Diffe)和海尔曼和海尔曼(Hellman)发表了密码学的发表了密码学的新方向一文，提出了新方向一文，提出了公开密钥密码体制公开密钥密码体制后，后，保密通信问题才得到广泛研

24、究。保密通信问题才得到广泛研究。n尤尤其其当当今今，信信息息的的安安全全和和保保密密问问题题更更加加突突出出和和重重要要。人人们们把把线线性性代代数数、初初等等数数论论、矩矩阵阵等等引引入入保保密密问问题题的的研研究究，已已形形成成了了独独树树一一帜帜的的分分支支密码学理论。密码学理论。281.2通信系统的模型通信系统的模型n通信系统的模型是什么？各部件的功能通信系统的模型是什么？各部件的功能作用是什么？作用是什么？n通信系统的性能指标有哪些？通信系统的性能指标有哪些？29信息论基础的重要性信息论基础的重要性v信息论是信息科学和技术的基本理论，信息科信息论是信息科学和技术的基本理论，信息科学大

25、厦的地基；学大厦的地基；v没有信息论的基础，从事通信与信息领域的研没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情；究和创新是不可能的事情；v总之，信息论是高层次信息技术人才必不可少总之，信息论是高层次信息技术人才必不可少的基础知识。的基础知识。30n本质本质信息信息的传输系统的传输系统n把把接接收收方方不不知知道道的的信信息息及及时时、可可靠靠、完完整整、安安全、经济地传送给指定的接收方全、经济地传送给指定的接收方1、通信系统、通信系统一、信息论研究的对象一、信息论研究的对象31信源信源信源信源编码编码u加密加密密钥密钥信道信道编码编码信道信道干扰源干扰源窃听者窃听者信道信道解

26、码解码解密解密译码译码解密解密密钥密钥信宿信宿信源信源解码解码加密加密编码编码xyzZyxvkk图图1-1 通信系统的物理模型通信系统的物理模型2、通信系统的物理模型、通信系统的物理模型32加密密钥加密密钥窃听窃听信源信源信源编码信源编码加密加密编码编码信道信道信道编码信道编码信道信道译译码码解密解密译码译码信源信源译译码码信宿信宿解密密钥解密密钥干扰干扰主要实体：信源和信宿主要实体：信源和信宿信道及干扰源信道及干扰源编码器编码器译码部分译码部分编码部分的逆过程编码部分的逆过程 包括：信源、编码器、信道、译码器、信宿五部分包括：信源、编码器、信道、译码器、信宿五部分33加密密钥加密密钥窃听窃听

27、信源信源信源编码信源编码加密加密编码编码信道信道信道编码信道编码信道信道译译码码解密解密译码译码信源信源译译码码信宿信宿解密密钥解密密钥干扰干扰包括：信源、信道、信宿三部分包括：信源、信道、信宿三部分信源信源信道信道信宿信宿等效无干扰信道等效无干扰信道等效信宿等效信宿等效信源等效信源343、模型中各个部分的作用及、模型中各个部分的作用及需要研究的核心问题需要研究的核心问题（1 1）信源）信源n信源是向通信系统提供消息信源是向通信系统提供消息u u的人和机器的人和机器 n信源输出的是以符号形式出现的具体信源输出的是以符号形式出现的具体消息消息，它载荷信息。它载荷信息。信源输出的消息可归纳为两类信

28、源输出的消息可归纳为两类n离散消息，例如由字母、文字、数字等符号离散消息，例如由字母、文字、数字等符号组成的符号序列或者单个符号；组成的符号序列或者单个符号；n连续消息，例如话音、图像、在时间上连续连续消息，例如话音、图像、在时间上连续变化的电参数等。变化的电参数等。信源的核心问题信源的核心问题n它包含的信息到底有多少，怎样将信息定量它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。地表示出来，即如何确定信息量。35（2 2）信宿）信宿n信宿是接收消息信宿是接收消息v v的人和机器的人和机器 信宿的核心问题信宿的核心问题n信宿需要研究的问题是能收到或提取多少信息信宿需要研究的

29、问题是能收到或提取多少信息（3 3）信道）信道n信号从发端传到收端的介质信号从发端传到收端的介质,信道是传递消息的通道，又信道是传递消息的通道，又是传送物理信号的设施是传送物理信号的设施n信道的中心问题主要是它能够传送多少信息的问题，即信信道的中心问题主要是它能够传送多少信息的问题，即信道容量的大小道容量的大小(即研究信道的统计特性和传信能力即研究信道的统计特性和传信能力)狭义信道狭义信道信号的传输媒质信号的传输媒质(介介)例例明线、电缆、波导、光纤、无线电波空间等明线、电缆、波导、光纤、无线电波空间等.广义广义信道信道除狭义信道外，还包括通信系统某些部分除狭义信道外，还包括通信系统某些部分

30、36 （4 4）干扰源）干扰源n是整个通信系统中各个干扰的集中反映，用以表是整个通信系统中各个干扰的集中反映，用以表示消息在信道中传输时遭受干扰的情况。包括衰示消息在信道中传输时遭受干扰的情况。包括衰落，多径，码间干扰，非线性失真，加性噪声，落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性主要是统计特性n对于任何通信系统而言，干扰的性质、大小是影对于任何通信系统而言，干扰的性质、大小是影响系统性能的重要因素。响系统性能的重要因素。（5 5）密钥源）密钥源n是产生密钥是产生密钥k k的源的源 n信源编码器输出信号信源编码器输出信号x x经过密钥经过密钥k k的加密运算后，的加密运算后，就

31、把明文就把明文x x变换为密文变换为密文y y37（6）编码器）编码器n信源编码器：对信源输出进行变换，求得有效性信源编码器：对信源输出进行变换，求得有效性如如“奥林匹克运动会奥林匹克运动会”-“奥运会奥运会”n信道编码器：对信源编码输出变换，提高抗干扰性信道编码器：对信源编码输出变换，提高抗干扰性(例例)n调制器：将信道编码输出变成适合信道传输的信号调制器：将信道编码输出变成适合信道传输的信号（7）译码器）译码器n编码器的逆变换编码器的逆变换n中心问题是研究各种可实现的解调和译码方法中心问题是研究各种可实现的解调和译码方法说明说明不是所有的通信系统都采用这么全面的技术不是所有的通信系统都采用

32、这么全面的技术p6对对实实际际通通信信系系统统，还还应应包包括括换换能能、调调制制、发发射射等各种变换处理等各种变换处理上上述述模模型型只只针针对对1对对1单单向向通通信信系系统统。还还有有1对对多多单单向向系系统统（广广播播），1对对1双双向向系系统统（电电话话），多对多双向系统（会议电视）等多对多双向系统（会议电视）等38n 研研究究通通信信系系统统的的目目的的就就是是要要找找到到信信息息传传输输过过程程的的共共同同规规律律，以以提提高高信信息息传传输输的的可可靠靠性性、有有效效性性、保保密密性性和和认认证证性性，以以达达到到信信息息传传输输系系统统最最优化。优化。n所所谓谓可可靠靠性性高

33、高，就就是是要要使使信信源源发发出出的的消消息息经经过过信信道道传传输输以以后后，尽尽可可能能准准确确地地、不不失失真真地地再再现现在接收端。（首要目标）在接收端。（首要目标）n所所谓谓有有效效性性高高，即即用用尽尽可可能能短短的的时时间间和和尽尽可可能能少少的的设设备备来来传传送送尽尽可可能能多多的的信信息息量量，或或在在每每一一个个传传送送符符号号内内携携带带尽尽可可能能多多的的信信息息量量。(占占用用资资源少，时间、空间、频率等源少，时间、空间、频率等)（重要目标）（重要目标）n以以后后会会看看到到，提提高高可可靠靠性性和和提提高高有有效效性性常常常常会会发生矛盾，这就需要统筹兼顾。发生

34、矛盾，这就需要统筹兼顾。二、信息论研究的目的二、信息论研究的目的39n所所谓谓保保密密性性就就是是隐隐蔽蔽和和保保护护通通信信系系统统中中传传送送的的消消息息，使使它它只只能能被被授授权权接接收收者者获获取取，而而不不能能被被未授权者接收和理解。未授权者接收和理解。n所所谓谓认认证证性性是是指指接接收收者者能能正正确确判判断断所所接接收收的的消消息息的的正正确确性性和和完完整整性性，而而不不是是伪伪造造的的和和被被篡篡改改的。的。40信息论所要解决的问题信息论所要解决的问题n可靠性可靠性n有效性有效性n保密性保密性n认证性认证性41研究某一性能时的简化框图研究某一性能时的简化框图信信源源编编码

35、码信信源源译译码码无噪广义信道无噪广义信道信源信源信宿信宿信信道道编编码码信信源源编编码码保保密密译译码码信信道道译译码码信信源源译译码码保保密密编编码码噪声噪声信道信道信源信源信宿信宿n 有效性研究有效性研究把保密编码、信道编码并入信道。把保密编码、信道编码并入信道。42n可靠性研究可靠性研究信信道道编编码码信信道道译译码码信道信道广义信源广义信源广义信宿广义信宿信信道道编编码码信信源源编编码码保保密密译译码码信信道道译译码码信信源源译译码码保保密密编编码码噪声噪声信道信道信源信源信宿信宿把信源编码、保密编码并入信源。把信源编码、保密编码并入信源。43n保密性、认证性研究保密性、认证性研究保

36、保密密译译码码保保密密编编码码无噪广义信道无噪广义信道广义信源广义信源广义信宿广义信宿信信道道编编码码信信源源编编码码保保密密译译码码信信道道译译码码信信源源译译码码保保密密编编码码噪声噪声信道信道信源信源信宿信宿把信源编码并入信源，信道编码并入信道。把信源编码并入信源，信道编码并入信道。44三、通信系统的性能指标及相应的编码三、通信系统的性能指标及相应的编码 问题问题n通信系统主要性能指标主要是通信系统主要性能指标主要是:有效性、可靠性、有效性、可靠性、安全性安全性和经济性。通信系统优化就是使这些指标和经济性。通信系统优化就是使这些指标达到最佳。达到最佳。n根据信息论的各种编码定理和上述通信

37、系统的指根据信息论的各种编码定理和上述通信系统的指标，编码问题可分解为三类：信源编码、信道编标，编码问题可分解为三类：信源编码、信道编码和密码编码。码和密码编码。451、信源编（译）码器、信源编（译）码器 信源编码器的作用信源编码器的作用n是把信源发出的消息变换成由二进制码元（或是把信源发出的消息变换成由二进制码元（或多进制码元）组成的代码组，这种代码组就是多进制码元）组成的代码组，这种代码组就是基带信号；基带信号；n同时通过信源编码可以压缩信源的冗余度（即同时通过信源编码可以压缩信源的冗余度（即多余度），以提高通信系统传输消息的效率。多余度），以提高通信系统传输消息的效率。信源编码器分为两类

38、信源编码器分为两类n一类是无失真信源编码，适用于离散信源或数一类是无失真信源编码，适用于离散信源或数字信号；字信号；n另一类是限失真信源编码，用于连续信源或模另一类是限失真信源编码，用于连续信源或模拟信号，如语音、图像等信号的数字处理。拟信号，如语音、图像等信号的数字处理。46信源编码器的主要指标信源编码器的主要指标n是它的编码效率，即理论上能达到的码率与实是它的编码效率，即理论上能达到的码率与实际达到的码率之比。一般来说，效率越高，编际达到的码率之比。一般来说，效率越高，编译码器的代价也将越大。译码器的代价也将越大。信源译码器的作用信源译码器的作用n是把信道译码器输出的代码组变换成信宿是把信

39、道译码器输出的代码组变换成信宿所需所需要的消息形式要的消息形式，它的作用相当于信源编码器的，它的作用相当于信源编码器的逆过程。逆过程。2、信道编（译）码器、信道编（译）码器信道编码器的作用信道编码器的作用n在信源编码器输出的代码组上有目的地增加一在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力些监督码元，使之具有检错或纠错的能力(举例举例)47 信道编码的主要方法信道编码的主要方法n增增大大码码率率或或频频带带，即即增增大大所所需需的的信信道道容容量量,这这恰与信源编码相反。恰与信源编码相反。信道译码器的作用信道译码器的作用n具具有有检检错错或或纠纠错错的的功功能能

40、，它它能能将将落落在在其其检检错错或或纠纠错错范范围围内内的的错错传传码码元元检检出出或或纠纠正正，以以提提高高传传输消息的可靠性。输消息的可靠性。3、密码（编码）学研究的内容、密码（编码）学研究的内容n如如何何隐隐蔽蔽消消息息中中的的信信息息内内容容，使使它它在在传传输输过过程程中中不不被被窃窃听听，提提高高通通信信系系统统的的安安全全性性；将将明明文文变变换换成成密密文文，通通常常不不需需要要增增大大信信道道容容量量，例例如如在在二二进进码码信信息息流流上上叠叠加加一一密密钥钥流流；但但也也有有些些密密码要求占用较大的信道容量。码要求占用较大的信道容量。48n例例.如果发电报如果发电报“奥

41、运会奥运会”,当收到电报当收到电报“X运运会会”时时,无法判断所发电报是奥运会、亚运会、无法判断所发电报是奥运会、亚运会、大运会、农运会。大运会、农运会。n如果发电报如果发电报“奥林匹克运动会奥林匹克运动会”，当收到电报，当收到电报“X林匹克运动会林匹克运动会”时时,很容易纠正错误，译为很容易纠正错误，译为“奥林匹克运动会奥林匹克运动会”n说明信源的冗余度对于抵抗信道的干扰说明信源的冗余度对于抵抗信道的干扰是有益的是有益的49n提提高高有有效效性性必必须须去去掉掉信信源源符符号号中中的的冗冗余余部部分分，此此时时信信道道误误码码会会使使接接收收端端不不能能恢恢复复原原来来的的信信息息，也也就就

42、是是必必须须相相应应提提高高传送的可靠性，不然会使通信质量下降；传送的可靠性，不然会使通信质量下降；n反反之之，为为了了可可靠靠而而采采用用信信道道编编码码，往往往往需需扩扩大大码码率率，也也就就降低了有效性。安全性也有类似情况降低了有效性。安全性也有类似情况n编编成成密密码码，有有时时需需扩扩展展码码位位，这这样样就就降降低低有有效效性性；有有时时也也会会因因失失真真而而使使授授权权用用户户无无法法获获得得信信息息，必必须须重重发发而而降降低低有有效性，或丢失信息而降低可靠性。效性，或丢失信息而降低可靠性。n从从理理论论方方面面来来说说，若若能能把把三三种种码码合合并并成成一一种种码码来来编

43、编译译，即即同同时时考考虑虑有有效效、可可靠靠和和安安全全，可可使使编编译译码码器器更更理理想想化化，在在经经济济上上可可能能也也更更优优越越。这这种种三三码码合合一一的的设设想想是是当当前前众众所所关关心心的的课课题题，但但因因理理论论上上和和技技术术上上的的复复杂杂性性，要要取取得得有有用用的的结果，还是相当困难。结果，还是相当困难。问题：能否将三种码（信源编码、信道编码问题：能否将三种码（信源编码、信道编码和密码）合成一种码进行编译？和密码）合成一种码进行编译？50四、信息论研究的内容四、信息论研究的内容n狭义信息论（香农信息论）狭义信息论（香农信息论）信息的测度、信道容量、信源和信道编

44、码理论信息的测度、信道容量、信源和信道编码理论n一般信息论一般信息论噪声、滤波与预测、估计、保密等噪声、滤波与预测、估计、保密等n广义信息论广义信息论所有与信息相关的邻域所有与信息相关的邻域51n狭义信息论狭义信息论（经典信息论经典信息论）n指香农信息理论，研究信息测度，信道容量指香农信息理论，研究信息测度，信道容量以及信源和信道编码理论，是基础理论以及信源和信道编码理论，是基础理论n一般信息论一般信息论n泛指通信理论，通信的数学理论，广泛研究泛指通信理论，通信的数学理论，广泛研究信息传输和处理的问题，除经典信息论外还信息传输和处理的问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测

45、包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保和估值理论，调制理论，信息处理理论和保密理论密理论n广义信息论广义信息论n除上述内容外，还包括自然和社会领域里所除上述内容外，还包括自然和社会领域里所有与信息有关的内容，如模式识别，计算机有与信息有关的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学翻译，心理学，遗传学，神经生理学52狭义信息论体系结构狭义信息论体系结构Shannon信息论信息论压缩理论压缩理论有失真编码有失真编码无失真编码无失真编码等长编码等长编码定理定理Shannon1948McMillan1953变长编码变长编码定理定理Shannon1948McMillan1956Huffman码码(1952)、Fano码码算术码算术码(1968,1976,1982)LZ码码(1977,1978)率失真理论率失真理论ShannonGallagerBerger压缩编码压缩编码JPEGMPEG传输理论传输理论信道编码定理信道编码定理网络信息理论网络信息理论纠错码纠错码编码调制理论编码调制理论网络最佳码网络最佳码53