信息论与编码 第一章 绪论.ppt

《信息论与编码 第一章 绪论.ppt》由会员分享，可在线阅读，更多相关《信息论与编码 第一章 绪论.ppt（51页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论与编码课程信息l教材及主要参考书教材及主要参考书：信息论基础教程信息论基础教程第二版第二版 李梅李梅,李亦农李亦农 北京邮电大学出版社，北京邮电大学出版社，20082008年年1010月月 信息论信息论-基础理论与应用基础理论与应用，傅祖芸，傅祖芸 电子工业出版社，电子工业出版社，20012001年年8 8月月l考核考核：平时成绩平时成绩 20（作业、考勤、（作业、考勤、实验实验）期末考试期末考试 80（闭卷）（闭卷）l答疑答疑：实践性教学内容、要求及学践性教学内容、要求及学时分配分配实验一：信道容量的迭代算法一：信道容量的迭代算法 2 学时实验二：二：Huffman 编码 2 学时实验

2、三：通信系三：通信系统仿真仿真 4 学时（备选题目：LZW压缩编码）国外参考教材T.M.Cover,Fundamental of Information Theory 最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用 数学推导适中，强调概念，作为参考教材R.G.Gallager,Information Theory and Reliable Communication 数学推导较为艰深 作为提高教材第一章：绪论一、一、什么是信息什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的形成和发展四、信息论的形成和发展第一章：绪论一、什么是

3、信息一、什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的形成和发展四、信息论的形成和发展1.概述概述2.信息的通俗概念信息的通俗概念3.信息的狭义概念（香农信息）信息的狭义概念（香农信息）4.信息的广义概念信息的广义概念l组成客观世界的三大基本要素：组成客观世界的三大基本要素：物质物质能量能量信息信息l没没有有物物质质什什么么都都不不存存在在，没没有有能能量量什什么么都都不不会会发发生生，没没有信息什么都没有意义。有信息什么都没有意义。美国学者欧廷格美国学者欧廷格研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型第一

4、章：绪论第一章：绪论第一章：绪论第一章：绪论1.概述2.信息的通俗概念 信息的通俗概念：消息就是信息。信息的通俗概念：消息就是信息。l用用文文字字、符符号号、数数据据、语语言言、音音符符、图图片片、图图像像等等能能够够被被人人们们感感觉觉器器官官所所感感知知的的形形式式，把把客客观观物物质质运运动动和和主主观观思维活动的状态表达出来，就称为思维活动的状态表达出来，就称为消息消息。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型第一章：绪论第一章：绪论第一章：绪论第一章：绪论l消息消息中包含信息，消息是信息的载体。中包含信息，消息是信息的载体。2.信息的通俗概念

5、（续1）l信号信号是表示消息的物理量，包括电信号、光信号等。是表示消息的物理量，包括电信号、光信号等。l信号信号中携带着消息，信号是消息的载体。中携带着消息，信号是消息的载体。信息信息信号信号消息消息研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型第一章：绪论第一章：绪论第一章：绪论第一章：绪论3.信息的狭义概念（香农信息）第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型香香农农信信息息：信信息息是是对对事事物物运运动动状状态态或或存存在在方方式式的的不不确确定定 性性的描述。的

6、描述。l通通信信的的基基本本问问题题是是在在一一点点(信信宿宿）精精确确或或近近似似恢恢复复另另一一点点（信源）所选择的消息。（信源）所选择的消息。香农香农l通信的过程就是消除通信的过程就是消除不确定性不确定性的过程。的过程。3.信息的狭义概念（香农信息）（续1）第一章：绪论第一章：绪论第一章：绪论第一章：绪论l例例1 1：甲甲袋袋红红、白白球球各各5050个个，乙乙袋袋红红、白白、蓝蓝、黑黑球球各各2525个个。比比较较从从甲甲袋袋中中取取出出一一个个球球是是红红球球的的事事件件和和从从乙乙袋袋中中取取出出一一个个球球是是红红球球的的事事件件发发生生的的难难易易程程度度，也也就就是是事事件件

7、发生的不确定性。发生的不确定性。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型3.信息的狭义概念（香农信息）（续2）第一章：绪论第一章：绪论第一章：绪论第一章：绪论l例例2 2：北北京京地地区区十十月月份份可可能能出出现现的的天天气气包包括括：晴晴、阴阴、雨雨、雪雪。比比较较天天气气预预报报为为“晴晴”和和天天气气预预报报为为“雪雪”，给给人人们带来的信息量。们带来的信息量。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型结论结论：不确定性的大小与事：不确定性的大小与事件发生的概率有关。件发生的概率有关。3.信息的狭义概念（

8、香农信息）（续3）第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型不确定性的大小与事件发生的概率有关不确定性的大小与事件发生的概率有关因此，信息量可以表示为概率的函数。因此，信息量可以表示为概率的函数。不确定性是概率的函数不确定性是概率的函数3.信息的狭义概念（香农信息）（续4）l信息与概率的关系：信息与概率的关系：事件发生的事件发生的概率越大概率越大，该事件包含的，该事件包含的信息量越小信息量越小；如果一个事件发生的如果一个事件发生的概率为概率为1 1，那么它包含的，那么它包含的信息量为信息量为0 0；两两个个

9、相相互互独独立立事事件件所所提提供供的的信信息息量量应应等等于于它它们们各各自自提提供供的的信息量之和。信息量之和。第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型3.信息的狭义概念（香农信息）（续5）l某个消息的不确定性（含有的信息量）可以表示为：某个消息的不确定性（含有的信息量）可以表示为：第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型信源的平均信源的平均不确定性：不确定性：3.信息的狭义概念（香农信息）（续6）第一章：绪论第

10、一章：绪论第一章：绪论第一章：绪论l香农信息的优点：香农信息的优点：有明确的数学表达式，定量化有明确的数学表达式，定量化与人们直观理解的信息含义一致与人们直观理解的信息含义一致不不考考虑虑收收信信者者主主观观感感受受的的不不同同，认认为为同同一一消消息息对对任何收信者，所得信息量相同。任何收信者，所得信息量相同。研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型3.信息的狭义概念（香农信息）（续7）第一章：绪论第一章：绪论第一章：绪论第一章：绪论l香农信息的局限：香农信息的局限：没有考虑收信者的主观特性和主观意义没有考虑收信者的主观特性和主观意义研究内容研究内容

11、形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型4.信息的广义概念研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型信息信息是认识主体（人、生物、机器）所感受的和表达的事是认识主体（人、生物、机器）所感受的和表达的事物运动的状态和运动状态变化的方式。物运动的状态和运动状态变化的方式。语法信息语法信息语义信息语义信息语用信息语用信息第一章：绪论第一章：绪论第一章：绪论第一章：绪论第一章：绪论一、什么是信息一、什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的形成和发展四、信息论的形成和发展1.通信系统模

12、型通信系统模型2.提高通信系统的性能指标的措施提高通信系统的性能指标的措施1.通信系统模型研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型第一章：绪论第一章：绪论第一章：绪论第一章：绪论图图1 通信系统模型通信系统模型1.通信系统模型（续1）l信源信源l编码器编码器l信道信道l译码器译码器l信宿信宿第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1）信源研究内容：研究内容：l信源发出的消息的信源发出的消息的统计特性统计特性离散离散信源、信源、连续连续信源、信源、波形波形信源信源有

13、记忆有记忆信源和信源和无记忆无记忆信源信源平稳平稳信源和信源和非平稳非平稳信源信源l信源产生信息的信源产生信息的速率速率 熵率熵率第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1.通信系统模型（续2）2）编码器l编码器的功能：将消息变成适合信道传输的信号编码器的功能：将消息变成适合信道传输的信号 l编码器包括：编码器包括：信源编码器信源编码器信道编码器信道编码器调制器调制器第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1.通信系

14、统模型（续3）第一章：绪论第一章：绪论第一章：绪论第一章：绪论图图2 编码器的组成编码器的组成研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1.通信系统模型（续4）l信源编码器：信源编码器：去除信源消息中的冗余度，提高传输的有效性。去除信源消息中的冗余度，提高传输的有效性。第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1.通信系统模型（续5）l信道编码器：信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。将信源编码后的符号加上冗余符号，提高传输的可靠性。第一章：绪

15、论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型图图3 信道编码示例信道编码示例1.通信系统模型（续6）第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型l思考题：思考题：信源编码去除冗余度，信道编码却加上冗余度，为信源编码去除冗余度，信道编码却加上冗余度，为什么要这么做？什么要这么做？1.通信系统模型（续7）l调制器：调制器：功能：将信道编码后的符号变成适合信道传输的信号功能：将信道编码后的符号变成适合信道传输的信号目的：目的：提高传输效率提

16、高传输效率第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1.通信系统模型（续8）3）信道l狭义信道狭义信道l广义信道广义信道第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1.通信系统模型（续9）研究内容：研究内容：l信道的信道的统计特性统计特性无噪声无噪声信道、信道、有噪声有噪声信道信道离散离散信道、信道、连续连续信道、信道、波形波形信道信道有记忆有记忆信道和信道和无记忆无记忆信道信道恒参恒参信道（信道（平稳平稳信道）和信道）和

17、随参随参信道（信道（非平稳非平稳信道）信道）单用户单用户信道和信道和多用户多用户信道信道l信道传输信息的信道传输信息的最高速率最高速率 信道容量信道容量1.通信系统模型（续10）第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型4）译码器l译码器的功能：从接收到的信号中恢复消息。译码器的功能：从接收到的信号中恢复消息。l包括：包括：解调器解调器信道译码器信道译码器信源译码器信源译码器第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1.

18、通信系统模型（续11）第一章：绪论第一章：绪论第一章：绪论第一章：绪论图图4 译码器的组成译码器的组成研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1.通信系统模型（续12）5）信宿l信宿是消息传送的对象（人或机器）。信宿是消息传送的对象（人或机器）。l香农信息论不研究信宿。香农信息论不研究信宿。第一章：绪论第一章：绪论第一章：绪论第一章：绪论研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型1.通信系统模型（续13）第一章：绪论第一章：绪论第一章：绪论第一章：绪论l提高提高有效性有效性：（数据压缩）（数据压缩）信源编码：信源

19、编码：无失真无失真信源编码和信源编码和限失真限失真信源编码信源编码l提高提高可靠性可靠性：（可靠传输）（可靠传输）信道编码信道编码2.提高通信系统性能指标的措施研究内容研究内容形成和发展形成和发展什么是信息什么是信息 通信系统模型通信系统模型第一章：绪论一、什么是信息一、什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的形成和发展四、信息论的形成和发展1.信息论研究的主要问题信息论研究的主要问题2.什么是信息论什么是信息论3.信息论的应用信息论的应用1.信息论研究的主要问题第一章：绪论第一章：绪论第一章：绪论第一章：绪论通信系统模型通信系统模型形成和

20、发展形成和发展什么是信息什么是信息研究内容研究内容 狭义信息论：又称香农信息论。狭义信息论：又称香农信息论。一般信息论：也叫工程信息论。一般信息论：也叫工程信息论。广义信息论广义信息论广义广义信息论信息论一般一般信息论信息论狭义狭义信息论信息论1.信息论研究的主要问题（续1）1 1）什么是信息？如何度量信息？）什么是信息？如何度量信息？第一章：绪论第一章：绪论第一章：绪论第一章：绪论通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容2 2）怎样确定信源输出信息的速率？）怎样确定信源输出信息的速率？3 3）对于一个信道，它传输信息的最高速率（信道容量）是）对于一个信

21、道，它传输信息的最高速率（信道容量）是多少？多少？1.信息论研究的主要问题（续2）4 4）无失真信源编码，所需要的最少码符号数是多少？）无失真信源编码，所需要的最少码符号数是多少？第一章：绪论第一章：绪论第一章：绪论第一章：绪论 香农第一定理香农第一定理：如果编码后的信源序列的如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。在这样的一种无失真信源编码方法。通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容1.信息论研

22、究的主要问题（续3）5 5）在有噪声信道中，有没有可能实现几乎无差错的传输信）在有噪声信道中，有没有可能实现几乎无差错的传输信息？息？第一章：绪论第一章：绪论第一章：绪论第一章：绪论 香农第二定理香农第二定理：如果信道的信息传输率小于信：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。不存在使差错任意小的信道编码方式。通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容1.信息论研究的主要问题（续

23、4）6 6）如果信源编码时，允许一定的失真，那么信源编码所需）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？要的最少码符号数又是多少？第一章：绪论第一章：绪论第一章：绪论第一章：绪论 香农第三定理香农第三定理：对于任意的失真度：对于任意的失真度 ，只要，只要码字足够长，那么总可以找到一种编码方法，使码字足够长，那么总可以找到一种编码方法，使编码后的编码信息率编码后的编码信息率 ，而码的平均失真度，而码的平均失真度 。通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容 信信息息论论是是通通信信的的数数学学基基础础，它它以以概概率率论论为为

24、主主要要数数学学工工具具，详详细细研研究究了了通通信信中中的的各各个个关关键键环环节节，以以定定理理的的形形式式给给出出了了信信源源编编码码、信信道道编编码码的的理理论论极极限限，为为各各种种具具体体的的通通信信技技术术提提供供了理论上的指导。了理论上的指导。信息论创立的标志信息论创立的标志:香农于香农于19481948年发表年发表 的论文的论文：A Mathematical Theory of Communication（通信的数学理论）（通信的数学理论）2.什么是信息论通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容第一章：绪论第一章：绪论第一章：绪论第一章

25、：绪论2.什么是信息论（续1）l以概率论、随机过程为基本研究工具。以概率论、随机过程为基本研究工具。第一章：绪论第一章：绪论第一章：绪论第一章：绪论通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容l研究的是通信系统的整个过程，而不是单个环节，并研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。以编、译码器为重点。l关心的是最优系统的性能和怎样达到这个性能（并不关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。具体设计系统）。l要求信源为随机过程，不研究信宿。要求信源为随机过程，不研究信宿。信息论的特点信息论的特点信息论帮助通信工程师从

26、全局的观点观察和设计通信系统。信息论帮助通信工程师从全局的观点观察和设计通信系统。信息论是从事信息通信系统研究和开发的必备的知识。信息论是从事信息通信系统研究和开发的必备的知识。香农信息论的目标是研究通信系统的信息传递，而不是帮香农信息论的目标是研究通信系统的信息传递，而不是帮助人们理解信息含义。香农信息论有它的局限性。助人们理解信息含义。香农信息论有它的局限性。2.信息论的应用第一章：绪论第一章：绪论第一章：绪论第一章：绪论通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容2.信息论的应用（续1）通通信信的的基基本本问问题题是是在在一一点点精精确确地地或或近近似

27、似地地恢恢复复另另一一点点（信信源源）所所选选择择的的消消息息。通通常常，这这些些消消息息是是有有含含义义的的，但但是是这这些些语语义义方方面面的的问问题题与与通通信信问问题题无无关关，而而重重要要的的方方面面是是实实际际消消息息是是从从一一个个可能的消息集合中选择出的一条消息。可能的消息集合中选择出的一条消息。香农香农第一章：绪论第一章：绪论第一章：绪论第一章：绪论通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容2.信息论的应用（续2）信息论的应用举例语音信号压缩（G.711,GSM,Vocoder）计算机文件压缩模拟话路中数据传输速率的提高其他（音频信号压缩

28、MP3、图象信号的压缩JPEG,MPEG等）第一章：绪论第一章：绪论第一章：绪论第一章：绪论通信系统模型通信系统模型形成和发展形成和发展什么是信息什么是信息研究内容研究内容第一章：绪论一、什么是信息一、什么是信息二、通信系统模型二、通信系统模型三、信息论的研究内容三、信息论的研究内容四、信息论的形成和发展四、信息论的形成和发展1.技术背景技术背景2.理论背景理论背景3.香农的主要工作香农的主要工作1.技术背景l当时通信理论与技术已有较大的发展，存在的通信技术包括：当时通信理论与技术已有较大的发展，存在的通信技术包括：电报（电报（Morse，1838）、电话（）、电话（Bell，1876）、无线

29、电报）、无线电报(Marconi,1887)、调幅广播（、调幅广播（1900s 早期）、单边带调制早期）、单边带调制（Carson，1922）、电视（）、电视（1925-1927）、调频广播）、调频广播（Armstrong，1936）、脉冲编码调制（）、脉冲编码调制（Reeves，1937-1939）、声码器（）、声码器（Dudley，1939）、扩频通信（）、扩频通信（1940s）等。等。第一章：绪论第一章：绪论第一章：绪论第一章：绪论通信系统模型通信系统模型 研究内容研究内容什么是信息什么是信息形成和发展形成和发展2.理论背景l1948年以前，年以前，Nyquist、Hartley、Wie

30、ner做做了许多有影响的工作。了许多有影响的工作。第一章：绪论第一章：绪论第一章：绪论第一章：绪论通信系统模型通信系统模型 研究内容研究内容什么是信息什么是信息形成和发展形成和发展3.香农的主要工作l1948年，发表年，发表通信的数学理论通信的数学理论。第一章：绪论第一章：绪论第一章：绪论第一章：绪论l1949年，发表年，发表噪声下的通信噪声下的通信。l1959年，发表年，发表在保真度准则下的离散信源编在保真度准则下的离散信源编码定理码定理。l1961年，发表年，发表双路通信系统双路通信系统。通信系统模型通信系统模型 研究内容研究内容什么是信息什么是信息形成和发展形成和发展l1956年，发表年，发表噪声信道的零差错容量噪声信道的零差错容量。大写字母等表示随机变量小写字母等表示随机变量的具体取值大写黑体字母 等表示多维随机变量，也就是随机矢量小写黑体字母 等表示随机矢量的具体取值本课程约定的符号表示