信息论与编码绪论.ppt

《信息论与编码绪论.ppt》由会员分享，可在线阅读，更多相关《信息论与编码绪论.ppt（33页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 是是一一门门应应用用概概率率论论、随随机机过过程程、数数理理统统计计和和近近世世代代数数的的方方法法，来来研研究究广广义义的的信信息息传传输输、提提取取和和处处理理系系统统中中一一般般规规律律的的科科学学；它它的的主主要要目目的的是是提提高高信信息息系系统统的的有有效效性性和和可可靠靠性性，最最优优化化；其其主主要要内内容容（或或分分支支）包包括括：香香农农理理论论、编编码码理理论论、维维纳纳理理论论、检检测测和和估估计计理理论论、信信号号设设计计与与估估计计理理论、调制理论和随机噪声理论。论、调制理论和随机噪声理论。信息论与编码信息论与编码 目的目的：了解学习信息论的了解学习信息论的作用、

2、方法与意义作用、方法与意义，对信息论的对信息论的研究方法和成果研究方法和成果有广泛的基本有广泛的基本认识，学会认识，学会应用应用，为进一步研究打下基础。，为进一步研究打下基础。课程概况课程概况 以以信息理论信息理论为中心，区别与为中心，区别与“信源编码信源编码”、“信道编码信道编码”以以概念和物理意义概念和物理意义为主，数学推导尽为主，数学推导尽量放到课外量放到课外 结合通信系统实际结合通信系统实际应用应用特点特点：课程内容课程内容n信息论的基本问题信息论的基本问题信息的度量信息的度量n无失真信源编码定理无失真信源编码定理香农第一定理香农第一定理n信道编码定理信道编码定理香农第二定理香农第二定

3、理n限失真信源编码定理限失真信源编码定理香农第三定理香农第三定理n信源编码信源编码n信道编码信道编码教学目标教学目标n充分理解、熟练掌握教材的内容充分理解、熟练掌握教材的内容n熟练掌握基本的信息理论概念和定理熟练掌握基本的信息理论概念和定理n熟练掌握通信与信息工程中基本研究对象的数学描熟练掌握通信与信息工程中基本研究对象的数学描述述n通过学习和习题练习，具备一定的解决问题分通过学习和习题练习，具备一定的解决问题分析问题的能力析问题的能力n掌握一定的科学思想方法掌握一定的科学思想方法(用信息论的思想和用信息论的思想和观点观点)和怎样描述和怎样描述学信息论意义学信息论意义 信息论基础是通信和信息领

4、域的专业信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后继基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通信和信息领域的科课程、将来进一步从事通信和信息领域的科研和创新。研和创新。要珍惜这个良好的学习机会，认真学要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的础，为将来的进一步学习和科研奠定坚实的基础。基础。有关事项有关事项n讲课讲课:（概念、方法、实际应用）（概念、方法、实际应用）n自学自学:（数学推导、定理证明）（数学推导、定理证明）n考试考试：基本概念、基本计

5、算、实际应用：基本概念、基本计算、实际应用n平时成绩平时成绩：上课情况：上课情况+作业作业n成绩成绩：考试成绩：考试成绩+平时成绩平时成绩+实践成绩实践成绩参考书1 1信息论信息论基础理论与应用基础理论与应用，傅祖芸编，电子傅祖芸编，电子工业出版社，工业出版社，200120012 2信息论与编码信息论与编码，陈运编著，电子工业出版社，陈运编著，电子工业出版社，200220023.3.信息理论与编码信息理论与编码，吕锋等编著，人民邮电出，吕锋等编著，人民邮电出版社，版社，20042004第一章第一章 绪论绪论n1.1 1.1 信息信息n1.2 1.2 通信系统通信系统n1.3 1.3 信息论的形

6、成和发展信息论的形成和发展1.1 1.1 信息信息n信息是指各个事物运动的状态及状态变化的信息是指各个事物运动的状态及状态变化的方式。方式。n人们从来自对周围世界的观察得到的数据中人们从来自对周围世界的观察得到的数据中获得信息。获得信息。n信息是抽象的意识或知识，它是看不见、摸信息是抽象的意识或知识，它是看不见、摸不到的。不到的。n人脑的思维活动产生的一种想法，当它仍储人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。存在脑子中的时候它就是一种信息。n信息不是静止的，它会产生也会消亡，人们需信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检要获

7、取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的测、识别、存储、显示等功能。研究这方面的科学就是信息科学。科学就是信息科学。n信息论是信息科学的主要理论基础之一。它研信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究究信息的基本理论，主要研究可能性可能性和和存在性存在性问题，为具体实现提供理论基础。问题，为具体实现提供理论基础。n信息技术主要研究如何实现、怎样实现的问题。信息技术主要研究如何实现、怎样实现的问题。概率信息概率信息19481948年，美国一位数学家克劳特年，美国一位数学家克劳特香农香农(C.EC.EShannon)Shannon)发表了

8、一篇著名的论文通信的数学理论。发表了一篇著名的论文通信的数学理论。差不多与此同时，美国另一位数学家诺伯特差不多与此同时，美国另一位数学家诺伯特维纳也维纳也发表了题为时间序列的内插、外推和平滑化的论发表了题为时间序列的内插、外推和平滑化的论文以及题为控制论的专著。在这些著作中，他们文以及题为控制论的专著。在这些著作中，他们分别解决了按分别解决了按“通信的消息通信的消息”来理解的信息来理解的信息(狭义信息狭义信息)的度量问题，并得到了相同的结果。香农的论文还给的度量问题，并得到了相同的结果。香农的论文还给出了信息传输问题的一系列重要结果，建立了比较完出了信息传输问题的一系列重要结果，建立了比较完整

9、而系统的信息理论，这就是香农信息论，也叫狭义整而系统的信息理论，这就是香农信息论，也叫狭义信息论信息论(简称简称“信息论信息论”)”)。对通信过程作进一步分析就可发现，人们要进行对通信过程作进一步分析就可发现，人们要进行通信，不外有两种情形：通信，不外有两种情形：一是自己有某种形式的信息要告诉对方，同时一是自己有某种形式的信息要告诉对方，同时估计对方既会对这种信息感到兴趣，而又尚不估计对方既会对这种信息感到兴趣，而又尚不知道这个信息。也就是说，对方在关于这个信知道这个信息。也就是说，对方在关于这个信息的知识上存在着不确定性；息的知识上存在着不确定性；另一种情况是，自己有某种疑问要向对方询问，另

10、一种情况是，自己有某种疑问要向对方询问，而且估计对方能够解答自己的疑问。而且估计对方能够解答自己的疑问。接收者收到某一消息后所获得的信息，接收者收到某一消息后所获得的信息，可以用接收者在通信前后可以用接收者在通信前后“不确定性不确定性”的消的消除量来度量。简而言之，接收者所得到的信除量来度量。简而言之，接收者所得到的信息量，在数量上等于通信前后息量，在数量上等于通信前后“不确定性不确定性”的消除量的消除量(或减少量或减少量)。不确定性是与不确定性是与“多种结果的可能性多种结果的可能性”相联相联系的，而在数学上，这些系的，而在数学上，这些“可能性可能性”正是以正是以概率来度量的。概率大，即概率来

11、度量的。概率大，即“可能性可能性”大；大；概率小，概率小，“可能性可能性”小。显然，小。显然，“可能性可能性”大，即意味大，即意味“不确定性不确定性”小；小；“可能性可能性”小，小，即意味即意味“不确定性不确定性”大。大。由此可见，由此可见，“不确定性不确定性”与概率的大小存在着与概率的大小存在着一定的联系，一定的联系，“不确定性不确定性”应该是概率的某一应该是概率的某一函数；那么，函数；那么，“不确定性不确定性”的消除量的消除量(减少量减少量)，也就是狭义信息量，也一定可由概率的某一，也就是狭义信息量，也一定可由概率的某一函数表示。函数表示。狭义信息论：狭义信息论：在信息可以度量的基础上，对

12、在信息可以度量的基础上，对如何有效、可靠地传递信息进行研究。涉及如何有效、可靠地传递信息进行研究。涉及信息度量、信息特性、信息传输速率、信道信息度量、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。容量、干扰对信息传输的影响等方面的知识。又称为香农信息论。又称为香农信息论。广义信息论：广义信息论：包含通信的全部统计特性问题包含通信的全部统计特性问题的研究，除了香农信息论之外，还包括信号的研究，除了香农信息论之外，还包括信号设计、噪声理论、信号的检测与估值等。设计、噪声理论、信号的检测与估值等。本书讲述的信息理论的内容为狭义信息论本书讲述的信息理论的内容为狭义信息论信息的信息

13、的基本概念在于基本概念在于它的它的不确定性不确定性。其其特征特征如下：如下：接收者在收到信息之前，对其内容是未知接收者在收到信息之前，对其内容是未知的是新知识，新内容；的是新知识，新内容；信息是能使认识主体对某一事物的未知性信息是能使认识主体对某一事物的未知性和不确定性减少的有用知识；和不确定性减少的有用知识；信息可以产生，也可以消失，同时它可以信息可以产生，也可以消失，同时它可以被携带、被存储及处理；被携带、被存储及处理；信息是可以度量的，信息量有多少的差别信息是可以度量的，信息量有多少的差别n例：气象预报例：气象预报 n甲甲n乙乙n“甲地晴甲地晴”比比“乙地晴乙地晴”的不确定性来的小的不确

14、定性来的小 n某一事物状态出现的概率越小，其不确定性越某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于大。某一事物状态出现的概率接近于1,1,即预料即预料中肯定会出现的事件，那它的不确定性就接近中肯定会出现的事件，那它的不确定性就接近于零。于零。信息信息：它依附于物质和能量，但又不同于物：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，

15、它是人类认识、形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信信息的表达分为三个层次：信号、消息、信息。息。信息、消息、信号信息、消息、信号信息信息是指各个事物运动的状态及状态的变化的是指各个事物运动的状态及状态的变化的方式。抽象的、非物理的，方式。抽象的、非物理的，是哲学层表达是哲学层表达。消息消息是具体的、非物理的，可描述为语言文字、是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它也

16、符号、数据、图片，能够被感觉到，同时它也是信息的载荷体。是信息论中主要描述形式是信息的载荷体。是信息论中主要描述形式 信息的数学层表达信息的数学层表达信号信号是消息的物理体现。信号最具体，它是一是消息的物理体现。信号最具体，它是一物理量，可测量、可显示、可描述，同时它又物理量，可测量、可显示、可描述，同时它又是载荷信息的实体是载荷信息的实体 信息的物理层表达信息的物理层表达消息是信息的数学载体、信号是信息的物理载体消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的信号：具体的、物理的 消息：具体的、非物理的消息：具体的、非物理的 信息：非具体的、非物理的信息：非具体的、非物理的u

17、信息是具体信号与消息的内涵，是信号载信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。荷的内容，是消息描述的对象。u反过来，信号则是信息在物理表达上的外反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。同延，消息则是信息在数学表达上的外延。同一信息，可以采用不同形式的物理量来载荷，一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信一类型信号或消息也可以代表不同内容的信息息1.2通信系统模型通信系统模型信道信源信源编码信道编码干 扰 源信宿信源解码信道解码信

18、源、信宿和信道信源、信宿和信道 n信源：信源：发送消息的源发送消息的源n离散信源离散信源n模拟信源模拟信源n信源是信息论的主要研究对象之一，但在信息信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论注意力放在信源的输出上，重点讨论信源输出信源输出的描述方法及性质。的描述方法及性质。n信宿：信宿：信息归宿之意，亦即收信者或用户，是信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信息传送的终点或目的地。n信道：信道：传输信息的物理媒介传输信息的物理媒介 信源编码器与译码器信源编码器与译码

19、器 n信源编码器的作用信源编码器的作用n是把信源发出的消息变换成由二进制码元是把信源发出的消息变换成由二进制码元(或多进制码元或多进制码元)组成的代码组组成的代码组,这种代码组这种代码组就是基带信号；就是基带信号；n同时通过信源编码可以压缩信源的冗余度同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。以提高通信系统传输消息的效率。n信源编码器分为两类信源编码器分为两类n一类是无失真信源编码一类是无失真信源编码,适用于离散信源或适用于离散信源或数字信号；数字信号；n另一类是限失真信源编码另一类是限失真信源编码,用于连续信源或用于连续信源或模拟信号模拟信号,如语音、图像等信号的数

20、字处理如语音、图像等信号的数字处理信源编码器与译码器信源编码器与译码器n信源编码器的主要指标信源编码器的主要指标n是它的编码效率，即理论上能达到的码率与是它的编码效率，即理论上能达到的码率与实际达到的码率之比。实际达到的码率之比。n一般来说，效率越高，编译码器的代价也将一般来说，效率越高，编译码器的代价也将越大。越大。n信源译码器的作用信源译码器的作用n是把信道译码器输出的代码组变换成信宿所是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码需要的消息形式，它的作用相当于信源编码器的逆过程。器的逆过程。信道编码器与译码器信道编码器与译码器n信道编码信道编码n主要作用是提

21、高信息传送的主要作用是提高信息传送的可靠性可靠性。n信道编码器的作用信道编码器的作用n在信源编码器输出的代码组上有目的地增加一些在信源编码器输出的代码组上有目的地增加一些监督码元监督码元,使之具有检错或纠错的能力使之具有检错或纠错的能力n信道编码的主要方法信道编码的主要方法n增大码率或频带增大码率或频带,即增大所需的信道容量。这恰即增大所需的信道容量。这恰与信源编码相反。与信源编码相反。n信道译码器的作用信道译码器的作用n具有检错或纠错的功能具有检错或纠错的功能,它能将落在其检错或纠它能将落在其检错或纠错范围内的错传码元检出或纠正错范围内的错传码元检出或纠正,以提高传输消以提高传输消息的可靠性

22、。息的可靠性。1.3 1.3 信息论的形成与发展信息论的形成与发展n从从历历史史上上看看，由由两两部部分分人人共共同同努努力力完完成成（通通信信工工程、统计学）程、统计学）n通信技术的理论基础通信技术的理论基础n人人们们关关心心的的是是信信息息能能在在接接受受端端精精确确再再现现发发送送端端，正因为此，人们苦苦追求一种理论，即信息论。正因为此，人们苦苦追求一种理论，即信息论。n1919世世纪纪面面临临的的主主要要问问题题是是如如何何获获得得信信息息的的电电气气表表现形式，以及如何将它们进行远距离的传输。现形式，以及如何将它们进行远距离的传输。n1919世世纪纪3030年年代代发发明明了了电电报

23、报18761876年年发发明明了了电电话话（BellBell）获获得得电电信信号号形形式式19041904年年发发明明了了二二三三级管，是远距离传输成为可能。级管，是远距离传输成为可能。n2020世世纪纪电电信信技技术术飞飞速速发发展展，如如何何提提高高信信道道利利用用率率问题。问题。n2020世世纪纪3030年年代代前前：研研究究发发送送信信号号无无失失真真地地送送到到接接受端受端n3030、4040年年代代后后期期：香香农农提提出出了了信信息息论论的的一一系系列列概概念（除通用编码外），是信息论的创始人。念（除通用编码外），是信息论的创始人。n5050年年代代：通通信信界界，主主要要精精力

24、力转转向向信信源源编编码码和和信信道道编编码码。如如HuffmanHuffman、算算术术、通通用用编编码码。形形成成各各种种标准。如：标准。如：H.261H.261、JPEGJPEG、MPEGMPEG。n(香香农农提提出出的的理理论论缺缺陷陷是是不不能能构构造造好好的的编编码码提提出出指导指导)！n统计学的一个分歧。（略）统计学的一个分歧。（略）n信号与信息处理的一般理论基础。信号与信息处理的一般理论基础。信息论的主要研究成果信息论的主要研究成果n语音信号压缩语音信号压缩n长途电话网标准长途电话网标准 n19721972年年CCITT G.711CCITT G.711标准中的标准中的 64

25、64kbit/skbit/s，n19951995年年 CCITT G.723.1CCITT G.723.1标准中的标准中的 6.3 6.3 kbit/skbit/s。n移动通信中移动通信中 n19891989年年GSMGSM标准中语音编码速率为标准中语音编码速率为13.2 13.2 kbit/skbit/sn19941994年在为半码速年在为半码速GSMGSM研究的研究的VSELPVSELP编码算法中，码速率为编码算法中，码速率为5.6 5.6 kbit/s kbit/s n军用通信军用通信 n美国美国NSANSA标准的速率在标准的速率在19751975年已达年已达2.4 2.4 kbit/s

26、 kbit/s n目前在实验室中已实现目前在实验室中已实现600600bit/sbit/s的低速率语音编码的低速率语音编码,特别是按特别是按音素识别与合成原理构造的声码器其速率可低于音素识别与合成原理构造的声码器其速率可低于100100bit/s,bit/s,已已接近信息论指出的极限接近信息论指出的极限信息论的主要研究成果信息论的主要研究成果n 图像信号压缩图像信号压缩 n图像信号的信息量特别巨大，这对图像信号的传输图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便及存储都带来极大的不便 。n19891989年年 CCITTCCITT提出电视电话提出电视电话/会议电视的压缩标会

27、议电视的压缩标准准H.261,H.261,其压缩比达到其压缩比达到25:125:1到到48:148:1左右左右n19911991年年CCITTCCITT与与ISOISO联合提出的联合提出的“多灰度静止图像多灰度静止图像压缩编码压缩编码”标准标准JPEG,JPEG,其压缩比为其压缩比为24:124:1n在运动图像方面在运动图像方面,运动图像专家组继成功定义了运动图像专家组继成功定义了MPEG-1MPEG-1和和MPEG-2MPEG-2之后之后,于于19931993年年7 7月开始制订全新月开始制订全新的的MPEG-4MPEG-4标准。随着标准。随着MPEG-4MPEG-4标准的不断扩展标准的不断

28、扩展,它它不但能支持码率低于不但能支持码率低于6464kbit/skbit/s的多媒体通信的多媒体通信,也也能支持广播级的视频。能支持广播级的视频。信息论的主要研究成果信息论的主要研究成果n降低信息传输所需的功率降低信息传输所需的功率n在远距离无线通信在远距离无线通信,特别是深空通信中如何降特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。设备生产和使用中的一个困难问题。n正是在这个领域信息论获得了它第一批令人信正是在这个领域信息论

29、获得了它第一批令人信服的成果。服的成果。6060年代后期起，年代后期起，NASANASA发射的所有深发射的所有深空探测器无一例外地在其通信设备中采取了信空探测器无一例外地在其通信设备中采取了信道编码措施道编码措施信息论的主要研究成果信息论的主要研究成果n计算机网中数据传输可靠性的保证计算机网中数据传输可靠性的保证 n在用各种电缆连接而成的计算机网中电噪声和在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。传输的信息发生差错。n一般情况下，局域网中的差错率在一般情况下，局域网中的差错率在1010-8-8左右左右,广广域网中的差错率在域网中的差错率在1010-3-31010-5-5。这样高的差错率。这样高的差错率在实际应用中是无法接受的，目前普遍采用的在实际应用中是无法接受的，目前普遍采用的解决办法是带解决办法是带自动重发请求的差错检测码自动重发请求的差错检测码。n差错检测的方法从最简单的奇偶检验到比较复差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。一般都用循环冗余检验。