4信息及其度量.docx

《4信息及其度量.docx》由会员分享，可在线阅读，更多相关《4信息及其度量.docx（2页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息及其度量一、教学目标：能说出信息的定义，并知道信息量与事件发生概率之间的关系；知道信息量与平均信息量的计算公式；会熟练运用公式进行信息量的计算。二、教学重点、难点：重点是会运用信息量公式计算某个信息的信息量；难点是运用平均信息量（熵）计算信源的信息量。三、教学过程设计：1.基本概念：举例说明什么是消息，什么事信息，消息与信息之间的关系。给出信息量的概念。2.度量信息量的原则：1） 能度量任何消息，并与消息的种类无关；2） 度量方法应该与消息的重要程度无关；3） 消息中所含信息量和消息内容的不确定性有关。 给出三个原则过以后，不做过多解释，给出实际案例：太阳从西边出来、法国又遭到袭击、土耳其

2、击落俄罗斯战机、今年夏天是热的、12点是中午了等，问学生哪个含有的信息量大，从而得出，信息量和事件发生的概率之间的关系。3.度量信息量的方法：（1）根据前面给出的结论，从而给出信息量定义的公式：针对不同的底，给出不同的单位，并指出常用的是底取2，单位为bit讲解例题：设二进制离散信源，数字0或1以相等的概率出现，试计算每个符号的信息量。 解:二进制等概率时 有 即二进制等概时，每个符号的信息量相等，为1bit。（2）平均信息量（熵）当各个符号出现的概率不相等时，计算消息的信息量，常用到平均信息量的概念。 平均信息量定义：每个符号所含信息的平均值。用符号 表示。给出计算平均信息量的公式：为了进一

3、步给出加深大家对平均信息量和信息量的理解，举例进行说明。例：一离散信源由“0”，“1”，“2”，“3”四个符符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。试求某消息：201020130213001203210100321010023102002010312032100120210的信息量。这道题让学生来进行计算并讲解。一种方法采用直接计算法，一种采用平均信息量计算法，得出结果以后对其进行对比并说明。四、课后作业或思考题：1、设一信息源的输出由128个不同的符号组成。其中16个出现的概率为1/32，其余112个出现的概率是1/224.信息源每秒发出1000个符号，且每个符号相互独立，试计算信息源的平均信息速率。五、本节小结： 对本节内容进行小结