信息论编码第二章信息度量优秀课件.ppt
信息论编码第二章信息度量第1页，本讲稿共27页引言预备知识1信息的度量信息的可度量性-建立信息论的基础；信息度量的方法:结构度量统计度量统计度量语义度量模糊度量等；统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念；熵熵概念是香农信息论最基本最重要的概念。第2页，本讲稿共27页2单符号离散信源的数学模型离散信源只涉及一个随机事件，可用离散随机变量来表示。单符号离散的数学模型X，Y，Z代表随机变量，指的是信源整体；代表随机事件的某一结果或信源的某个元素。不可混淆不可混淆!第3页，本讲稿共27页3概率复习第4页，本讲稿共27页4中学数学知识Log(xy)=logx+logyLog(x/y)=logx-logy第5页，本讲稿共27页2.1 自信息和条件自信息量2.1.1自信息量自信息量Information I(ai)of ai must be function of ais uncertainty such as P(ai)It can be expression as I(ai)=fP(ai)How about I(ai)=P(ai)?Not suit for 4 axiom If P(ai),;If P(ai)=0,I(ai)=;If P(ai)=1,I(ai)=0;If P(a1)and P(a2)are independent then I(a1a2)=I(a1)+I(a2)第6页，本讲稿共27页对于单个消息随机变量U，出现某个消息，对应概率为 ，这时可获得的信息量为 ，则有：解释解释：小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。注：I自信息第7页，本讲稿共27页自信息量I(ai)的性质I(ai)是非负值；当P(ai)=1时，I(ai)=0；当P(ai)=0时，I(ai)=；I(ai)是P(ai)的单调递减函数联合自信息量信源模型(涉及两个随机事件)联合自信息量举例2.12(6)第8页，本讲稿共27页2.1.2条件自信息量条件概率对数的负值在特定条件下(已定)随机事件 发生所带来的信息量定义联合自信息量和条件自信息量也满足非负和单调递减性。关系当X和Y独立时，第9页，本讲稿共27页2.2互信息量和条件互信息量信源发出消息 的概率 称为先验概率，信宿收到 后推测信源发出 的概率称为后验概率 。定义 的后验概率与先验概率比值的对数为 对 的互信息量，用 表示，即互信息量等于自信息量减去条件自信息量。第三种表达方式：第10页，本讲稿共27页互信息的性质对称性当X和Y相互独立时，互信息为0互信息量可为正值或负值条件互信息量给定条件 下，与 之间的互信息量，其定义式第11页，本讲稿共27页 问题与思考问题与思考第12页，本讲稿共27页课堂疑问?某地二月份天气构成的信源为 现有人告诉你:“今天不是晴天。”，把这句话作为收到的消息 。当收到消息 后，各种天气发生的概率变成后验概率了。其中第13页，本讲稿共27页计算 与各种天气之间的互信息量信息量信息量X2、x3、x4各1比特的信息量，也可以理解为y1使X2、x3、x4不确定度各减少1比特说明收到y1后，不仅没有使x1的不确定度减少，反而使x1不确定更大，互信息量为负举举例例2.2概率复习第14页，本讲稿共27页2.3 信源熵2.3.1熵的引入 一个离散随机变量X，以不同的取值概率有N个可能取值,XP（x）a1 a2 aNp1 p2 pN信息论关心：X的不确定性不确定性大，获取的信息多第15页，本讲稿共27页熵的引入箱内100个球摸到红球不确定性分析：随机变量X、Y、ZXP（x）a1 a2 0.99 0.01ZP（z）a1 a2 a3 a4 a50.2 0.2 0.2 0.2 0.2YP（y）a1 a2 0.5 0.5问题：能否度量、如何度量？小小大大99个红球，1个黑球50个红球，50个黑球20个红球，其它4种颜色各20个第16页，本讲稿共27页2.3.2信源熵数学描述信源熵定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时也称为无条件熵或熵函数，简称熵。公式：熵函数的自变量是X,表示信源整体，实质上是无记忆信源平均不确定度的度量。也是试验后平均信息量为熵单位：以2为底，比特/符号为什么要用熵这个词，与热熵的区别？不确定性携载的信息第17页，本讲稿共27页熵的单位 信息熵信息熵的单位与公式中的对数取底底有关。通信与信息中最常用的是以2为底，这时单位为比特比特（bit）；理论推导中用以e为底较方便，这时单位为奈特奈特（Nat）；工程上用以10为底较方便，这时单位为笛特笛特（Det）。它们之间可以引用对数换底公式进行互换。比如：1 bit=0.693 Nat=0.301 Det第18页，本讲稿共27页香农熵与热力学中热熵的关系熵熵这个名词是仙农从物理学中的统计热力学借用过来的，在物理学中称它为热熵热熵是表示分子混乱程度的一个物理量，这里，仙农引用它来描述信源的平均不确定性，含义是类似的。但是在热力学中已知任何孤立系统的演化，热熵只能增加不能减少；而在信息论中，信息熵正相反，只会减少，不会增加。所以有人称信息熵为负热熵负热熵。二者还有一个重大差别：热熵是有量纲的，而香农熵是无量纲的。第19页，本讲稿共27页信源熵和平均自信息量平均自信息量两者在数值上是相等的，但含义并不同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。熵作为信息的度量小结：信源熵H(X)的三种物理含义表示信源输出后，每个离散消息所提供的平均信息量。表示信源输出前，信源的平均不确定度。反映了变量X的随机性和无序性。举例第20页，本讲稿共27页（不确定性）熵可以作为信息的量度对于随机变量而言：试验前试验后各取值的概率分布确切取值 （0）（不确定性）熵熵一定的确切性多次试验后通过试验消除了不确定性获得了信息信息的数量第21页，本讲稿共27页例1.1:试验前：试验后：XP（x）1 2 3 4 5 61/6 1/6 1/6 1/6 1/6 1/6H(x)=log6=2.58bits=1.79nats(实验前不确定量-熵）X1P（x1）1 2 3 4 5 6 0 1 0 0 0 0H(x1)=0H(x)H(x1)=log6（做完实验后提供信息量）获得了信息数量熵第22页，本讲稿共27页例1.2:试验前：H(x)=log8=3(bit/符号)H(x2)H(x3)=1 获得1bit信息量XP（x）1 2 3 4 5 6 7 81/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 12312345678第一次测量后：X1P（x1）1 2 3 4 5 6 7 81/4 1/4 1/4 1/4 0 0 0 0 H(x1)=log4=2(bit/符号)第二次测量后：X2P（x2）1 2 3 4 5 6 7 81/2 1/2 0 0 0 0 0 0 H(x2)=log2=1(bit/符号)第三次测量后：X3P（x3）1 2 3 4 5 6 7 8 1 0 0 0 0 0 0 0 H(x3)=log1=0(bit/符号)H(x)H(x1)=1获得1bit信息量H(x1)H(x2)=1 获得1bit信息量H(X)表示在获知哪个灯泡是坏的情况前，关于哪个灯泡已损坏的平均不确定性，即要确定哪个灯泡是坏的，至少需要获得3个bit的信息量，才能完全消除不确定性。？必须测？必须测3次吗？次吗？熵的计算举例2.5概率复习第23页，本讲稿共27页2.3.3条件熵条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随机变量Y的条件下，随机变量X的条件熵定义为：思考：求条件熵时为什么要用联合概率加权？是已知一随机变量，对另一个随机变量的不确定性的量度概率复习第24页，本讲稿共27页条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。2.3.4联合熵（共熵）联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。是二元随机变量不确定性的度量。公式：第25页，本讲稿共27页联合熵、条件熵的关系：当X,Y相互独立时，有：于是有：理解：理解：当随机变量相互独立时，其联合熵等于单个随机变量的熵之和，而条件熵等于无条件熵当随机变量相互独立时，其联合熵等于单个随机变量的熵之和，而条件熵等于无条件熵。第26页，本讲稿共27页联合熵、条件熵的关系：一般情况下理解：表明一般情形下：条件熵总是小于无条件熵。注意：这是平均意义上的联合熵、条件熵的计算举例2.15概率复习第27页，本讲稿共27页
