信息及自信息课件.ppt

《信息及自信息课件.ppt》由会员分享，可在线阅读，更多相关《信息及自信息课件.ppt（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于信息及自信息关于信息及自信息现在学习的是第1页，共18页一、认识信息一、认识信息现在学习的是第2页，共18页一、认识信息一、认识信息现在学习的是第3页，共18页消息就消息就是信息是信息吗？吗？ 用文字、符号、数据、语言、用文字、符号、数据、语言、音符、图片、图像等能够被人们音符、图片、图像等能够被人们感觉器官所感知的形式，把客观感觉器官所感知的形式，把客观物质运动和主观思维活动的状态物质运动和主观思维活动的状态表达出来就成为消息。表达出来就成为消息。 消息中包含信息，是信息的载体。消息中包含信息，是信息的载体。一、认识信息一、认识信息现在学习的是第4页，共18页 香农香农在在1948年发表

2、的年发表的通信的数学理论通信的数学理论中对中对信息做了科学的定义：信息做了科学的定义： 信息是事物运动状态或存在方式的不确信息是事物运动状态或存在方式的不确定性的描述。定性的描述。 香农香农信息论的奠基人。信息论的奠基人。 通信的数学理论通信的数学理论信息论信息论 的理论基础。的理论基础。 二、信息的定义二、信息的定义现在学习的是第5页，共18页消息传递消息传递过程有何过程有何特点？特点？对于收信者来说：对于收信者来说：不知不知知知知之甚少知之甚少知之甚多知之甚多不确定不确定部分确定或全部确定部分确定或全部确定信源信源信道信道信宿信宿消息消息（发送者）（发送者）（接收者）（接收者）噪声噪声 通

3、信系统形式上传输的是消息，通信系统形式上传输的是消息，实质上传输的是信息。实质上传输的是信息。二、信息的定义二、信息的定义现在学习的是第6页，共18页 通信的结果是通信的结果是消除或部分消除不确定性从消除或部分消除不确定性从而获得信息而获得信息。 作为消息的发送者，信源输作为消息的发送者，信源输出一则消息携带多少信息量出一则消息携带多少信息量? ?如何计算如何计算? ?二、信息的定义二、信息的定义现在学习的是第7页，共18页 研究对象：单符号离散信源研究对象：单符号离散信源 数学模型：数学模型：三、自信息三、自信息现在学习的是第8页，共18页 信息量，在数量上等于通信前后不确定性信息量，在数量

4、上等于通信前后不确定性的消除。的消除。 例例1：二元信源发送二元信源发送0和和1概率不同时，不概率不同时，不 确定性大小不同。确定性大小不同。 例例2：掷一个质地均匀的骰子，不确定性掷一个质地均匀的骰子，不确定性 较大。较大。 例例3：信源只发送一种消息，不确定性为信源只发送一种消息，不确定性为 零。零。三、自信息三、自信息现在学习的是第9页，共18页收到某消息获得的信息量收到某消息获得的信息量 = 不确定性减少的量不确定性减少的量 = （收到此信息（收到此信息前前关于某事件发生的不确定性关于某事件发生的不确定性） （收到此信息（收到此信息后后关于某事件发生的不关于某事件发生的不确定性）确定性

5、） = 信源输出的某消息中所含有的信息量信源输出的某消息中所含有的信息量 （无（无噪情况下，后项为噪情况下，后项为0）三、自信息三、自信息现在学习的是第10页，共18页 某事件发生所含有的信息量应该是该事件发生某事件发生所含有的信息量应该是该事件发生的先验概率的函数的先验概率的函数)(iaP 事件事件 发生的发生的先验概率先验概率；)(iaI 事件事件 发生所含有的信息量，发生所含有的信息量， 称为称为 的的自信息量自信息量。)()(iiaPfaIiaiaia三、自信息三、自信息现在学习的是第11页，共18页 根据客观事实和人们的习惯，根据客观事实和人们的习惯， 应满足应满足 (1) (1)

6、应是先验概率应是先验概率 的单调递减函数，即当的单调递减函数，即当 时时 (2) (2)当当 时，时， ； (3) (3)当当 时，时， ； (4) (4)两个独立事件的联合信息量应等于它们分别的信息两个独立事件的联合信息量应等于它们分别的信息 量之和，即统计独立信源的信息量等于它们分别的量之和，即统计独立信源的信息量等于它们分别的 信息量之和。信息量之和。)()()()(jijijibIaIbaPfbaI)(iaP)(iaPf)(iaPf)()(2211aPaP)()(21PfPf1)(iaP0)(iPf0)(iaP)(iPf三、自信息三、自信息现在学习的是第12页，共18页 因此，可从数学

7、上证明这种函数形式是对数形式，即因此，可从数学上证明这种函数形式是对数形式，即 代表两种代表两种含义含义：当事件当事件 发生以前，表示事件发生以前，表示事件 发生的不确发生的不确定性；定性；当事件当事件 发生以后表示事件发生以后表示事件 所含有（或所含有（或所提供）的信息量。所提供）的信息量。iaia)(log)(1log)(iiiaPaPaI三、自信息三、自信息现在学习的是第13页，共18页自信息单位：取决于对数所选取的底。自信息单位：取决于对数所选取的底。)()(1log)(2比特iiaPaI)()(1ln)(奈特iiaPaI)()(1lg)(哈特iiaPaI)()(1log)(进制单位r

8、aPaIiri三、自信息三、自信息现在学习的是第14页，共18页例：例：假设一次掷两个各自均匀、互相不可区分又互假设一次掷两个各自均匀、互相不可区分又互 不相关的骰子。如事件不相关的骰子。如事件A、B、C分别表示：分别表示：A仅仅 有一个骰子是有一个骰子是1；B至少有一个骰子是至少有一个骰子是4；C骰子骰子 上点数的总和是偶数。试计算事件上点数的总和是偶数。试计算事件A、B、C发发 生后所提供的信息量。生后所提供的信息量。1 1比特信息量就是比特信息量就是两个互不相容的两个互不相容的等概事件之一发等概事件之一发生时所提供的信生时所提供的信息量。息量。)(8480. 1)(1log)(比特APA

9、I)(7105. 1)(1log)(比特BPBI)(1)(1log)(比特CPCI213618)(;3611)(;1853610)(CPBPAP三、自信息三、自信息现在学习的是第15页，共18页1. 信息信息 信息是事物运动状态或存在方式的不信息是事物运动状态或存在方式的不 确定性的描述。确定性的描述。 2. 自信息自信息)(log)(1log)(iiiaPaPaI四、小结四、小结现在学习的是第16页，共18页思考题：思考题： 信源整体平均携带多少信息量信源整体平均携带多少信息量? ?如何测量？如何测量？作业题：作业题： P662.2、2.4四、小结四、小结现在学习的是第17页，共18页感谢大家观看感谢大家观看现在学习的是第18页，共18页