信息及其度量.pptx

现代通信技术课程主讲主讲：曾庆珠曾庆珠通信技术专业教学资源库南京信息职业技术学院信息及其度量目 录基本概念01度量信息的原则02度量信息的方法031.最佳接收准则消息中包含的有意义的内容。不同形式的消息，可以包含相同的信息。u 信 息 信源的不肯定度就是信源提供的信息量。传输信息的多少用信息量表示。u 信 息 量 2.度量信息的原则度量信息量的原则：能度量任何消息，并与消息的种类无关；度量方法应该与消息的重要程度无关；消息中所含信息量和消息内容的不确定性有关；如：一条概率几乎为零的消息（太阳将从西方升起）将会使人感到惊奇和意外，而一个必然事件（如太阳从东方升起），人们不足为奇，前一条比后一条包含了更多的信息。这表明：消息所表达的事件越不可能发生，信息量就越大。3.度量信息的方法 信息量是消息出现概率的函数；消息出现的概率越小，所包含的信息量就越大；设：P(x)消息发生的概率 I 消息中所含的信息量，则 P(x)和 I 之间应该有如下关系：（1）I 是 P(x)的函数：I I P(x)（2）P(x)，I；P(x)，I；（3）P(x)=1时，I 0；P(x)=0时，I；信息量的定义满足上述3条件的关系式如下：3.度量信息的方法若 a=10，信息量的单位称为哈特莱(Hartley)若a=2，信息量的单位称为比特(bit)，可简记为b；上式中对数的底若a=e，信息量的单位称为奈特(nat)通常广泛使用的单位为比特，这时有：3.度量信息的方法例设二进制离散信源，数字0或1以相等的概率出现，试计算 每个符号的信息量。解:二进制等概率时即二进制等概时，每个符号的信息量相等，为1bit。有3.度量信息的方法当各个符号出现的概率不相等时，计算消息的信息量，常用到平均信息量的概念。平均信息量定义：每个符号所含信息的平均值。用符号 表示多进制时，设各符号出现的概率为：且则平均信息量（信息源的熵）为：3.度量信息的方法例 一离散信源由“0”，“1”，“2”，“3”四个符符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。试求某消息：201020130213001203210100321010023102002010312032100120210的信息量。解 此消息中，“0”出现23次，“1”出现14次，“2”出现13次，“3”出现7次，共有57个符号，故该消息的信息量：每个符号的算术平均信息量为3.度量信息的方法 以上两种结果略有差别的原因在于，它们平均处理方法不同。前一种按算数平均的方法，结果可能存在误差。这种误差将随着消息序列中符号数的增加而减小。当消息序列较长时，用熵的概念计算更为方便。若用熵的概念来计算：则该消息的信息量：通信技术专业教学资源库南京信息职业技术学院谢谢主讲主讲：曾庆珠曾庆珠