信息论与编码技术(第2版)ppt课件汇总(完整版).ppt

《信息论与编码技术(第2版)ppt课件汇总(完整版).ppt》由会员分享，可在线阅读，更多相关《信息论与编码技术(第2版)ppt课件汇总(完整版).ppt（511页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第一章第一章 绪论绪论相结合逐步发展而形相结合逐步发展而形成的一门新兴科学成的一门新兴科学 本章内容：本章内容：信息的概念信息的概念 数字通信系统模型数字通信系统模型 信息论与编码理论研究的主要内容及意义信息论与编码理论研究的主要内容及意义奠基人：美国数学家香农（奠基人：美国数学家香农（C.E.Shannon）1948年年“通信的数学理论通信的数学理论”信息论信息论通信技术通信技术概率论概率论随机过程随机过程数理统计数理统计1.1 信息的概念信息的概念l信息是信息论中最基本、最重要的概念，既抽象又复杂信息是信息论中最基本、最重要的概念，既抽象又复杂l信息在日常生活中被认为是信息在日常生活中被认

2、为是“消息消息”、“知识知识”、“情情报报”等等“信息信息信息信息”不同于消息不同于消息不同于消息不同于消息（在现代信息论形成之前，信息一直（在现代信息论形成之前，信息一直（在现代信息论形成之前，信息一直（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），被看作是通信中消息的同义词，没有严格的数学含义），被看作是通信中消息的同义词，没有严格的数学含义），被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；消息是表现形式，信息是实质；消息是表现形式，信息是实质；消息是表现形式，信息是实质；“信息信息信息信息”不同于情报不同于情报不同于情报不

3、同于情报，情报的含义比情报的含义比情报的含义比情报的含义比“信息信息信息信息”窄的多，窄的多，窄的多，窄的多，一般只限于特殊的领域，是一类特殊的信息；一般只限于特殊的领域，是一类特殊的信息；一般只限于特殊的领域，是一类特殊的信息；一般只限于特殊的领域，是一类特殊的信息；信息不同于信号信息不同于信号信息不同于信号信息不同于信号，信号是承载消息的物理量；，信号是承载消息的物理量；，信号是承载消息的物理量；，信号是承载消息的物理量；信息不同于知识信息不同于知识信息不同于知识信息不同于知识，知识是人们根据某种目的，知识是人们根据某种目的，知识是人们根据某种目的，知识是人们根据某种目的,从自然界收从自然

4、界收从自然界收从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。是一种高层次的信息。是一种高层次的信息。是一种高层次的信息。消息：消息：消息：消息：用文字等能够被人们感觉器官所感知的形式，用文字等能够被人们感觉器官所感知的形式，用文字等能够被人们感觉器官所感知的形式，用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。把客观物质运动和主观思维活动的状态表达出来。把客观物质运动和主观思维

5、活动的状态表达出来。把客观物质运动和主观思维活动的状态表达出来。知识：知识：知识：知识：一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息一种具有普遍和概括性质的高层次的信息，以，以，以，以实践为基础，通过抽象思维，对客观事物规律性的概实践为基础，通过抽象思维，对客观事物规律性的概实践为基础，通过抽象思维，对客观事物规律性的概实践为基础，通过抽象思维，对客观事物规律性的概括。括。括。括。情报：情报：情报：情报：是人们对于某个特定对象所见、所闻、所理解是人们对于某个特定对象所见、所闻、所理解是人们对于某个特定对象所见、所闻、所理解是人们对

6、于某个特定对象所见、所闻、所理解而产生的知识而产生的知识而产生的知识而产生的知识。它们之间有着密切联系但不等同它们之间有着密切联系但不等同它们之间有着密切联系但不等同它们之间有着密切联系但不等同 ，信息的含义更深刻、广泛，信息的含义更深刻、广泛，信息的含义更深刻、广泛，信息的含义更深刻、广泛就狭义而言，就狭义而言，在通信中在通信中对信息的表达分为三个层次：信号、对信息的表达分为三个层次：信号、消息、信息。消息、信息。信号：信号：是信息的物理表达层，是三个层次中最具体的层次。是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、它是一个物理量，是一个

7、载荷信息的实体，可测量、可描述、可显示。可显示。消息：消息：(或称为符号或称为符号)是信息的数学表达层，它虽不是一个是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：一步数学抽象，可将具体物理信号抽象为两大类型：离散离散(数字数字)消息消息，一组未知量，可用随机序列来描述：，一组未知量，可用随机序列来描述：X=(X1XiXn)连续连续(模拟模拟)消息消息，未知量，它可用随机过程来描述：，未知量，它可用随机过程来描述：X(t,)信息：信息：它是更高层次哲学上的抽象，

8、是信号与消息的更高它是更高层次哲学上的抽象，是信号与消息的更高表达层次。表达层次。v信息、消息和信号是既有区别又有联系的三个不同信息、消息和信号是既有区别又有联系的三个不同的概念。的概念。消息中包含信息，是信息的载体消息中包含信息，是信息的载体。信号携带着消息，它是消息的运载工具信号携带着消息，它是消息的运载工具。信息信息可认为可认为是是由具体的物理信号、数学描述的消息的由具体的物理信号、数学描述的消息的内涵内涵，即信号具体载荷的内容、消息描述的即信号具体载荷的内容、消息描述的含义含义。而而信号信号则是抽象信息在则是抽象信息在物理层物理层表达的表达的外延外延；消息消息则是抽象信息在则是抽象信息

9、在数学层数学层表达的表达的外延外延。同一信息，可以采用不同的信号形式同一信息，可以采用不同的信号形式(比如文字、语言、图比如文字、语言、图象等象等)来载荷；同一信息，也可以采用不同的数学表达形式来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续比如离散或连续)来定量描述。来定量描述。同一信号形式，比如同一信号形式，比如“0”与与“1”可以表达不同形式的信息，可以表达不同形式的信息，比如无与有、断与通、低与高比如无与有、断与通、低与高(电平电平)等等。等等。什么是信息什么是信息关关于于信信息息的的科科学学定定义义，到到目目前前为为止止，国国内内外外已已有有不不下下百百余余种种流流行行

10、的的说说法法，它它们们都都是是从从不不同同的的侧侧面面和和不不同的层次同的层次来揭示信息的本质的。来揭示信息的本质的。1928年，哈特莱年，哈特莱(RVL Hartley)在在信信息息传传输输一一文文中中提提出出：发发信信者者所所发发出出的的信信息，就是他在通信符号表中选择符号的具体方式息，就是他在通信符号表中选择符号的具体方式局限性局限性：定定义义不不涉涉及及到到信信息息的的价价值值和和具具体体内内容容，只只考考虑虑选选择择的方式。的方式。即即使使考考虑虑选选择择的的方方法法，但但没没有有考考虑虑各各种种可可能能选选择择方方法的统计特性。法的统计特性。1948年，维纳年，维纳(NWiener

11、)在在控制论控制论-动物和机器中通信与控制问题动物和机器中通信与控制问题一一书中，指出：书中，指出：“信息是信息，不是物质，也不是能信息是信息，不是物质，也不是能量量”。将。将“信息信息”上升到上升到“最基本概念最基本概念”的位置。的位置。后来，维纳在后来，维纳在人有人的用处人有人的用处一书中提出：一书中提出：“信息是人们适应外部世界并且使这种适应反作用于信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内外部世界的过程中，同外部世界进行互相交换的内容的名称。容的名称。”局限性局限性：把信息与物质、能量混同起来。所以，维纳关于信把信息与物质、能量混同起来。所

12、以，维纳关于信息的定义是不确切的。息的定义是不确切的。1948年，香农（年，香农（C.E.Shannon）发表了一篇著名的论文，发表了一篇著名的论文，“通信的数学理论通信的数学理论”。他从研究通信系统传输的实质出发，对信息作了他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。科学的定义，并进行了定性和定量的描述。u信息是事物运动状态或存在方式的不信息是事物运动状态或存在方式的不确定性的描述。确定性的描述。通信系统模型通信系统模型信源信源信源编码器信源编码器信道编码器信道编码器调调制制器器信道信道解解调调器器信宿信宿信源译码器信源译码器信道译码器信道译码器干扰干扰源

13、源编码信道编码信道v信源信源：产生消息和消息序列的来源。：产生消息和消息序列的来源。消息可以是离散的，也可以是连续的（数据、文消息可以是离散的，也可以是连续的（数据、文字、语言、图像），通常信源的消息序列是随机发字、语言、图像），通常信源的消息序列是随机发生的，因此要用随机变量来描述。生的，因此要用随机变量来描述。v 编码器编码器：把消息变换成适合于信道传输的信号。：把消息变换成适合于信道传输的信号。信源编码器信源编码器：将信源的输出进行适当的变换，以提高信息传：将信源的输出进行适当的变换，以提高信息传输的有效性。输的有效性。信道编码器信道编码器：对信源编码器的输出进行变换，用增加多余度：对信

14、源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。的方法提高信道的抗干扰能力，以提高信息传输的可靠性。v 调制器调制器：将信道编码器输出的数字序列变换为振幅、：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。较长距离的传输。v 信道信道：信号由发送端传输到接收端的媒介。：信号由发送端传输到接收端的媒介。典型的传输信道有明线、电缆、高频无线信道、典型的传输信道有明线、电缆、高频无线信道、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、微波通道和光纤通道等；

15、典型的存储媒介有磁芯、磁鼓、磁盘、磁带等。磁盘、磁带等。v干扰源干扰源：对传输信道或存储媒介构成干扰的来源的总称。干：对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述；而噪声源的统计特性又是划分信道的依据。间来描述；而噪声源的统计特性又是划分信道的依据。干扰可以分为两类：干扰可以分为两类：1）加性干扰，它是由外界原因产生）加性干扰，它是由外界原因产生的随机干扰，它与信道中传送的信号的统计特性无关，因而的随机干扰，它与信道中传送的信号的统计特性无关，因而信道的输出是输入和干扰的叠加；信道的

16、输出是输入和干扰的叠加；2）乘性干扰：信道的输出）乘性干扰：信道的输出信号可看成输入信号和一个时变参量相乘的结果。信号可看成输入信号和一个时变参量相乘的结果。v解调器解调器：从载波中提取信号，是调制的逆过程：从载波中提取信号，是调制的逆过程v信道译码器信道译码器：利用信道编码时所提供的多余度，检查或纠正：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。数字序列中的错误。v信源译码器信源译码器：把经过信道译码器核对过的信息序列转换成适：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。合接收者接收的信息形式。v信宿信宿：消息传送的对象：消息传送的对象（人或机器（人或机器）

17、。q在在通通信信系系统统中中形形式式上上传传输输的的是是消消息息，但但实实质质上上传传输输的的是是信信息息。消消息息只只是是表表达达信信息息的的工工具具、载载荷荷信信息息的的客客体体。显显然然，在在通通信信中中被被利利用用的的(亦亦即即携携带带信信息息的的)实实际际客客体体是是不重要的，而重要的是信息。不重要的，而重要的是信息。q通信的结果通信的结果是消除或部分消除不确定性从而获得信息。是消除或部分消除不确定性从而获得信息。q香农定义信息的局限性：香农定义信息的局限性：（1）定义的出发点是假定事物状态可以用一个以经典集）定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述，在

18、实际中要寻找一个合适的合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往是非常困难的。有时是否存在这样一种模型还概率模型往往是非常困难的。有时是否存在这样一种模型还值得探讨。值得探讨。（2）定义没有考虑收信者的主观特性和主观意义，不顾）定义没有考虑收信者的主观特性和主观意义，不顾信息的具体含意、具体用途、重要程度和引起后果等因素。信息的具体含意、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。其实，信息有很强的主观性和这就与实际情况不完全一致。其实，信息有很强的主观性和实用性。实用性。v信信息息的的测测度度：信信息息量量与与不不确确定定性性消消除除的的程程度度有有关

19、关。用用数数学学的的语语言言来来讲讲，不不确确定定就就是是随随机机性性，可可运运用用研研究究随随机机事事件件的的数数学学工工具具-概概率率论论和和随随机机过过程程来来测测度度不不确确定定性性的的大大小。小。v某某一一事事物物状状态态的的不不确确定定性性的的大大小小，与与该该事事物物可可能能出出现现的的不不同同状状态态数数目目以以及及各各状状态态出出现现的的概概率率大大小小有有关关。既既然然不不确定性的大小能够度量，所以信息是可以测度的。确定性的大小能够度量，所以信息是可以测度的。v与信息测度相关的几个概念：与信息测度相关的几个概念：样本空间、概率空间样本空间、概率空间、先验概率、先验概率、自信

20、息、自信息、后验概率、后验概率、互信息互信息 样样本本空空间间：所所有有可可能能选选择择的的消消息息的的集集合合（某某事事物物所所有可能出现的状态有可能出现的状态）概率空间概率空间：一个样本空间和它的概率测度：一个样本空间和它的概率测度 可用X，P来表示 先验概率先验概率：选择符号：选择符号 ai 作为消息的概率作为消息的概率-P(ai)自信息自信息：ai 本身携带的信息量本身携带的信息量 后后验验概概率率：接接收收端端收收到到消消息息(符符号号)bj 后后而而发发送送端端发的是发的是 ai 的概率的概率 P(ai/bj)互互信信息息：收收信信者者获获得得的的信信息息量量-先先验验的的不不确确

21、定定性减去尚存在的不确定性性减去尚存在的不确定性如如果果信信道道没没有有干干扰扰，信信道道的的统统计计特特性性使使 ai 以以概概率率“1”传送到接收端。传送到接收端。这这时时，收收信信者者接接到到消消息息尚尚存存在在的的不不确确定定性性就就等等于于零零，即即P(ai/bj)1，log（1/P(ai/bj)0，不不确确定定性性全部消除。由此得互信息：全部消除。由此得互信息：有关自信息和互信息的概念即为香农关于信息的定有关自信息和互信息的概念即为香农关于信息的定义和度量，通常也称为义和度量，通常也称为概率信息概率信息 信息具有以下信息具有以下特征特征：（1）信息是可以）信息是可以识别识别的的（2

22、）信息的载体是可以）信息的载体是可以转换转换的的（3）信息是可以）信息是可以存贮存贮的的（4）信息是可以）信息是可以传递传递的的（5）信息是可以）信息是可以加工加工的的（6）信息是可以）信息是可以共享共享的的1.2 信息论研究的对象信息论研究的对象,目的目的,内容内容一、一、研究对象研究对象前面介绍的统一的通信系统模型。人们通过系统前面介绍的统一的通信系统模型。人们通过系统中消息的传输和处理来研究信息传输和处理的共中消息的传输和处理来研究信息传输和处理的共同规律。同规律。二、研究目的二、研究目的找到信息传输过程的共同规律，提高信息传输的找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、

23、保密性和认证性，以达到信息可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。传输系统的最优化。可靠性可靠性 使信源发出的消息经过信道传输以后，尽可能使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。准确地、不失真地再现于接收端。有效性有效性 经济性好，即用尽可能短的时间和尽可能少的经济性好，即用尽可能短的时间和尽可能少的设备来传送设备来传送定数量的信息。定数量的信息。保密性保密性 隐蔽和保护通信系统中传送的消息，使它只能隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。被授权接收者获取，而不能被未授权者接收和理解。认证性认证性

24、接收者能正确判断所接收的消息的正确性，验接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。证消息的完整性，而不是伪造的和被窜改的。有效性、可靠性、保密性和认证性四者构成现代通信有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的系统对信息传输的全面要求全面要求。三、三、研究内容研究内容对信息论的研究内容一般有以下三种理解。对信息论的研究内容一般有以下三种理解。狭义信息论狭义信息论（经典信息论）：（经典信息论）：主要研究信息的测度、信道主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息容量以及信源和信道编码理论等问题。这部分内容是信

25、息论的基础理论，又称为论的基础理论，又称为香农信息论香农信息论。一般信息论一般信息论（通信理论）：主要是研究信息传输和处理问（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。统计检测和估计理论、调制理论以及信息处理理论等。广义信息论广义信息论：广义信息论不仅包括上述两方面的内容，而：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。心理

26、学、遗传学、语言学等等。信信息息论论是是一一门门应应用用概概率率论论、随随机机过过程程、数数理理统统计计和和近近代代代代数数的的方方法法，来来研研究究广广义义的的信信息息传传输输、提提取取和和处理系统中一般规律的学科。处理系统中一般规律的学科。它它的的主主要要目目的的是是提提高高信信息息系系统统的的可可靠靠性性、有有效效性性、保密性和认证性，以便达到系统最优化；保密性和认证性，以便达到系统最优化；它它的的主主要要内内容容(或或分分支支)包包括括香香农农理理论论、编编码码理理论论、维维纳纳理理论论、检检测测和和估估计计理理论论、信信号号设设计计和和处处理理理理论论、调制理论、随机噪声理论和密码学

27、理论等。调制理论、随机噪声理论和密码学理论等。v 本课程讨论香农信息理论本课程讨论香农信息理论 1.3 信息论发展简史与现状信息论发展简史与现状 u信信息息论论是是在在长长期期的的通通信信工工程程实实践践和和理理论论研研究究的的基基础础上上发发展展起起来的。来的。一、简史一、简史现代信息论实际上是从现代信息论实际上是从20世纪世纪20年代奈奎斯特和哈特莱的年代奈奎斯特和哈特莱的工作开始的。工作开始的。1924年奈奎斯特年奈奎斯特(HNyquist)的的“影响电报速率因素的影响电报速率因素的确定确定”一文，一文，1928年哈特莱年哈特莱(RVHartley)的的“信息信息传输传输”一文研究了通信

28、系统传输信息的能力，并给出了信一文研究了通信系统传输信息的能力，并给出了信息度量的方法息度量的方法1946年柯切尔尼柯夫年柯切尔尼柯夫 的学位论文的学位论文“起伏噪声下的潜在起伏噪声下的潜在抗干扰理论抗干扰理论”，根据最小错误概率准则和最小均方误差，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题准则研究了离散和连续信道的最佳接收问题1948年香农年香农的权威性长文的权威性长文“通信的数学理论通信的数学理论”，讨论，讨论了信源和信道特性，了信源和信道特性，1949年年香农香农“噪声中的通信噪声中的通信”，上述两篇文章奠定了现代信息论的理论基础上述两篇文章奠定了现代信息论

29、的理论基础此后，在基本理论和实际应用方面，信息论都得到了巨此后，在基本理论和实际应用方面，信息论都得到了巨大的发展大的发展二、现状二、现状在香农理论基础上给出的在香农理论基础上给出的最佳噪声通信系统模型最佳噪声通信系统模型近年来近年来正在成为现实；正在成为现实；在噪声中信号过滤与检测基础上发展起来的在噪声中信号过滤与检测基础上发展起来的信号检测理信号检测理论论和抗干扰编码基础上发展起来的和抗干扰编码基础上发展起来的编码理论编码理论已成为现代已成为现代信息论的两个重要分支；信息论的两个重要分支；此外，模糊信息处理、相对信息处理、主观信息处理、此外，模糊信息处理、相对信息处理、主观信息处理、智能信

30、息处理、自动化信息控制等大量智能信息处理、自动化信息控制等大量崭新课题崭新课题的研究的研究也相继展开，使信息理论的面貌一新，并将大大促进信也相继展开，使信息理论的面貌一新，并将大大促进信息科学的发展。息科学的发展。第二章第二章 信源及其熵信源及其熵本章介绍本章介绍信源的统计特性和数学模型信源的统计特性和数学模型各类信源的信息测度各类信源的信息测度-熵及其性质熵及其性质引入信息理论的一些基本概念和重要结论引入信息理论的一些基本概念和重要结论第第一章的几个推论章的几个推论n通信系统模型：通信系统模型：对信息论的学习可从信源开始对信息论的学习可从信源开始消息是信息的载荷者。信息是抽象的，消息是消息是

31、信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。具体的。要研究信息，还得从研究消息入手。由于信源发送什么消息预先是不可知的，只能由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源用概率空间来描述信源2.1 2.1 信源的数学模型及分类信源的数学模型及分类n单符号信源单符号信源：输出是单个符号（代码）的消息输出是单个符号（代码）的消息n离散信源离散信源n连续信源连续信源n平稳随机序列信源平稳随机序列信源：信源输出的消息由一系列符号序列信源输出的消息由一系列符号序列所组成，可用所组成，可用N维随机矢量维随机矢量 X(X1,X2,XN)描述，且随机描述，且随机矢量

32、矢量X X 的各维概率分布都与时间起点无关的各维概率分布都与时间起点无关-平稳！平稳！n离散平稳信源离散平稳信源n连续平稳信源连续平稳信源n无记忆（独立）离散平稳信源无记忆（独立）离散平稳信源n有记忆信源有记忆信源nm阶马尔可夫信源阶马尔可夫信源n随机波形信源随机波形信源离散信源离散信源(单符号单符号)n特点特点：输出是单个符号（代码）的消息，符号集输出是单个符号（代码）的消息，符号集的取值的取值A:a1,a2,aq是有限的或可数的，可用一是有限的或可数的，可用一维离散型随机变量维离散型随机变量X来描述。来描述。例：例：投硬币、书信、电报符号等等。投硬币、书信、电报符号等等。n数学模型数学模型

33、：设每个信源符号设每个信源符号ai出现的出现的(先验先验)概率概率 p(ai)(i=1,2,q)满足：满足：概率空间概率空间能表征离散信源的统计特性，因此也称概率能表征离散信源的统计特性，因此也称概率空间为信源空间。空间为信源空间。连续信源连续信源n特点特点：输出是单个符号（代码）的消息，：输出是单个符号（代码）的消息，输出消输出消息的符号集息的符号集A的取值是连续的，可用一维的连的取值是连续的，可用一维的连续型随机变量续型随机变量X 来描述。来描述。例：语音信号、热噪声信号、遥控系统中有关电压、例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。温度、压力等测得的连

34、续数据等等。n数学模型数学模型：连续型的概率空间。即：连续型的概率空间。即：或或或或满足满足满足满足 或或或或 平稳随机序列信源平稳随机序列信源n总体总体特点特点：信源输出的消息由一系列符号序列所组成，可用信源输出的消息由一系列符号序列所组成，可用N维随机矢量维随机矢量 X(X1,X2,XN)描述，且随机矢量描述，且随机矢量X X 的各维概率分布都与时间起点无关的各维概率分布都与时间起点无关 平稳！平稳！n离散平稳信源：每个随机变量离散平稳信源：每个随机变量Xi (i1,2,N)都是离散型随机变量都是离散型随机变量n连续平稳信源：每个随机变量连续平稳信源：每个随机变量Xi (i1,2,N)都是

35、取值连续的随机变量都是取值连续的随机变量离散无记忆平稳信源离散无记忆平稳信源n离散平稳信源的特例，信源发出的符号都离散平稳信源的特例，信源发出的符号都相互统计独相互统计独立立，即各随机变量，即各随机变量X Xi (i1,2,N)之间统计独立之间统计独立n性质性质：n独立独立P(X)=P(X X1,X X2,X XN)=P1(X1)P2(X2)PN(XN)n平稳平稳 P1(Xi)=P2(Xi)=PN(Xi)N维随机维随机矢量矢量的一个取的一个取值，值，i(ai1 ai2aiN)P(aik)是符号集是符号集A的的一维概率分布一维概率分布 设各随机变量设各随机变量X Xi取值同样符号集取值同样符号集

36、A:a1,a2,aq，则则n描述的信源描述的信源X的各输出各输出X Xi间统计独立间统计独立、且取值、且取值同一同一符号集符号集A，则，则X为为离散无记忆信源离散无记忆信源，称该信源输出，称该信源输出的的N维维随机矢量随机矢量X 为为离散无记忆信源离散无记忆信源X的的N次扩展次扩展信源信源n若若X 取值为取值为符号集符号集 i(ai1ai2aiN),其中其中(i1,i2,iN=1,2,q)，则则离散无记忆信源的离散无记忆信源的N次扩展信源的次扩展信源的数学模型数学模型是是X信源空间的信源空间的N重空间重空间：有记忆信源有记忆信源n信源在不同时刻发出的信源在不同时刻发出的符号之间是相互依赖的符号

37、之间是相互依赖的，即信源输出的平稳随机序列即信源输出的平稳随机序列X中，各随机变量中，各随机变量Xi之之间相互依赖。间相互依赖。n需在需在N维随机矢量的联合概率分布中，引入维随机矢量的联合概率分布中，引入条件概条件概率分布率分布来说明它们之间的关联。来说明它们之间的关联。n例：例：汉字组成的中文序列中，只有根据中文的语法、汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼

38、此不相列中前后文字的出现是有依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语言都是如此关的。其他如英文，德文等自然语言都是如此m m阶马尔可夫信源阶马尔可夫信源n不同时刻发出的符号间的依赖关系不同时刻发出的符号间的依赖关系记忆信源的记忆长度为记忆信源的记忆长度为m+1时，称这种有记忆信时，称这种有记忆信源为源为m阶马尔可夫信源阶马尔可夫信源若上述条件概率与时间起点若上述条件概率与时间起点 i 无关，信源输出的无关，信源输出的符号序列可看成为时齐马尔可夫链，则此信源称符号序列可看成为时齐马尔可夫链，则此信源称为为时齐马尔可夫信源时齐马尔可夫信源更一般情况：随机波形信源更一般情况：随机波形

39、信源n实际信源输出的消息常常是时间和取值都是连续实际信源输出的消息常常是时间和取值都是连续的。这类信源称为的。这类信源称为随机波形信源随机波形信源。n随机波形信源在某一固定时间随机波形信源在某一固定时间 t0 的可能取值是的可能取值是连连续和随机续和随机的。对于这种信源输出的消息，可用随的。对于这种信源输出的消息，可用随机过程来机过程来描述描述。n例：语音信号例：语音信号X(t)、热噪声信号热噪声信号n(t)、电视图像信电视图像信号号X(r(t),g(t),b(t)等时间连续函数。等时间连续函数。2.2 2.2 离散信源的信息熵其性质离散信源的信息熵其性质 n讨论基本的离散信源讨论基本的离散信

40、源(即输出为单个符号的消即输出为单个符号的消息，且这些消息间两两互不相容息，且这些消息间两两互不相容)n基本的离散信源可用一维随机变量基本的离散信源可用一维随机变量X来描述信来描述信源的输出，信源的数学模型可抽象为源的输出，信源的数学模型可抽象为:问题问题问题问题：这样的信源能输出多少信息：这样的信源能输出多少信息：这样的信源能输出多少信息：这样的信源能输出多少信息?每个消息的出现携带多少信息量每个消息的出现携带多少信息量每个消息的出现携带多少信息量每个消息的出现携带多少信息量?信息的度量信息的度量n考虑：考虑：n信息的度量（信息量）和不确定性消除的程度有关，信息的度量（信息量）和不确定性消除

41、的程度有关，消除的不确定性获得的信息量；消除的不确定性获得的信息量；n不确定性就是随机性，可以用概率论和随机过程来测不确定性就是随机性，可以用概率论和随机过程来测度，概率小度，概率小不确定性大；不确定性大；n推论：推论：n概率小概率小 信息量大，即信息量是概率的单调递减函信息量大，即信息量是概率的单调递减函数；数；n信息量应该具有可加性；信息量应该具有可加性；n信息量的计算公式为（香农（自）信息量的度量）：信息量的计算公式为（香农（自）信息量的度量）：一一.自信息自信息n设离散信源设离散信源X的概率空间为：的概率空间为：I(ai)代表两种代表两种含义含义：（1）当事件当事件ai发生以前，表示事

42、件发生以前，表示事件ai发生的不确定性发生的不确定性（2）当事件）当事件ai发生以后，表示事件发生以后，表示事件ai所提供的信息量所提供的信息量u称事件称事件ai发生所含有的信息量为发生所含有的信息量为 ai 的的自信息量自信息量。定义为：定义为：例例 8个串联的灯泡个串联的灯泡x1，x2，x8，其损坏的可能性是等，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。个灯泡已损坏。解解解解：收到某消息获得的信

43、息量：收到某消息获得的信息量：收到某消息获得的信息量：收到某消息获得的信息量(即收到某消息后获得关于即收到某消息后获得关于即收到某消息后获得关于即收到某消息后获得关于某事件发生的信息量某事件发生的信息量某事件发生的信息量某事件发生的信息量)不确定性减少的量不确定性减少的量不确定性减少的量不确定性减少的量 (收到此消息前关于某事件发生的不确定性收到此消息前关于某事件发生的不确定性收到此消息前关于某事件发生的不确定性收到此消息前关于某事件发生的不确定性)-(-(收到此消息后关于某事件发生的不确定性收到此消息后关于某事件发生的不确定性收到此消息后关于某事件发生的不确定性收到此消息后关于某事件发生的不

44、确定性)已知已知8个灯泡等概率损坏，所以先验概率个灯泡等概率损坏，所以先验概率P(x1)1/8，即，即第二次测量第二次测量获得的信息量获得的信息量=I P(x2)-I P(x3)=1(bit)第三次测量第三次测量获得的信息量获得的信息量=I P(x3)=1(bit)vv至少要获得至少要获得至少要获得至少要获得3 3个比特的信息量就可确切知道哪个灯泡已坏了。个比特的信息量就可确切知道哪个灯泡已坏了。个比特的信息量就可确切知道哪个灯泡已坏了。个比特的信息量就可确切知道哪个灯泡已坏了。第一次测量第一次测量获得的信息量获得的信息量=I P(x1)-I P(x2)=1(bit)经过二次测量后，剩经过二次

45、测量后，剩2个灯泡，等概率损坏，个灯泡，等概率损坏，P(x3)1/2一次测量后，剩一次测量后，剩4个灯泡，等概率损坏，个灯泡，等概率损坏，P(x2)1/4自信息的推导自信息的推导n某事件发生所含有的信息量应该是该事件发生的先验概率某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即：的函数。即：I(ai)f p(ai)n根据客观事实和人们的习惯概念，函数根据客观事实和人们的习惯概念，函数 f p(ai)应满足以应满足以下条件：下条件：（1）它应是先验概率）它应是先验概率p(ai)的单调递减函数，即当的单调递减函数，即当 p(a1)p(a2)时，有时，有 f p(a1)1r1）熵的计算熵

46、的计算例例：有一布袋内放有一布袋内放l00个球，其中个球，其中80个球是红色的，个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：色，那么其概率空间为：如果被告知摸出的是红球，那么获得的信息量是：如果被告知摸出的是红球，那么获得的信息量是：如果被告知摸出的是红球，那么获得的信息量是：如果被告知摸出的是红球，那么获得的信息量是：I(a1)log p(a1)log0.8=0.32 （比特）（比特）（比特）（比特）如被告知摸出来的是白球，所获得的信息量应为：如被告知摸出来的是白球，所获得的信息量应为：如被告知摸出来的是白球，所

47、获得的信息量应为：如被告知摸出来的是白球，所获得的信息量应为：I(a2)log p(a2)log0.2=2.32 （比特）（比特）（比特）（比特）平均摸取一次所能获得的信息量为平均摸取一次所能获得的信息量为平均摸取一次所能获得的信息量为平均摸取一次所能获得的信息量为 ：H(X)=p(a1)I(a1)+p(a2)I(a2)=0.72（比特（比特（比特（比特/符号）符号）符号）符号）熵的含义熵的含义n熵是熵是从整个集合的统计特性从整个集合的统计特性来考虑的，它从平均意义上来来考虑的，它从平均意义上来表征信源的总体特征。表征信源的总体特征。n在信源输出后，信息熵在信源输出后，信息熵H(X)表示每个消

48、息提供的平均信表示每个消息提供的平均信息量；息量；n在信源输出前，信息熵在信源输出前，信息熵H(X)表示信源的平均不确定性；表示信源的平均不确定性；n信息熵信息熵H(X)表征了变量表征了变量X的随机性。的随机性。n n例如例如例如例如，有两信源有两信源有两信源有两信源X X、Y Y，其概率空间分别其概率空间分别其概率空间分别其概率空间分别计算其熵，计算其熵，得：得：得：得：H(X)=0.08H(X)=0.08（bit/bit/符号）符号）符号）符号）H(Y)=1H(Y)=1（bit/bit/符号）符号）符号）符号）H(Y)H(X)，因此信源，因此信源Y比信源比信源X的平均不确定性要大。的平均不

49、确定性要大。例例 设甲地的天气预报为：晴设甲地的天气预报为：晴(占占48)、阴、阴(占占28)、大雨、大雨(占占18)、小雨、小雨(占占18)。又设乙地的天气预报为：晴。又设乙地的天气预报为：晴(占占78)，小雨，小雨(占占18)。试求两地天气预报各自提供的平均信息。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为量。若甲地天气预报为两极端情况，一种是晴出现概率为1而而其余为其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为。另一种是晴、阴、小雨、大雨出现的概率都相等为14。试求这两极端情况所提供的平均信息量。又试求乙地出。试求这两极端情况所提供的平均信

50、息量。又试求乙地出现这两极端情况所提供的平均信息量。现这两极端情况所提供的平均信息量。两个信源两个信源解：甲地天气预报构成的信源空间为解：甲地天气预报构成的信源空间为:则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵:乙地天气预报的信源空间为乙地天气预报的信源空间为:vv结论结论结论结论：甲地：甲地：甲地：甲地天气预报天气预报提供的平均信息量大于乙地，因为乙地提供的平均信息量大于乙地，因为乙地提供的平均信息量大于乙地，因为乙地提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。比甲地的平均不确定性小。