数学信息论基础.pptx

《数学信息论基础.pptx》由会员分享，可在线阅读，更多相关《数学信息论基础.pptx（37页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、（2）当时（3）当 时（4）两个独立事件的联合信息量应等于它们分别的信息量之和：若(1)应是先验概率的严格单调递减函数，即当 时第1页/共37页 根据上述条件可以从数学上证明这种函数形式是对数函数，即：有两个含义：1、当事件发生前，表示该事件发生的不确定性；2、当事件发生后，标是该事件所提供的信息量 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位第2页/共37页例：设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用 来表示晴天，以 来表示雨天，则我们的信源模型如下：第3页/共37页离散信源的信息

2、熵我们定义自信息的数学期望为信源的平均信息量信息熵具有以下两种物理含义：1、表示信源输出前信源的平均不确定性2、表示信源输出后，每个符号所携带的平均信息量2、信息熵第4页/共37页例：天气预报，有两个信源 则：说明第二个信源的平均不确定性更大一些第5页/共37页第6页/共37页第7页/共37页信息熵的基本性质熵函数可以表示为：第8页/共37页性质1：非负性H(X)0且等号成立的充要条件是X有退化分布。由于0pi1,所以logpi0，logpi0，则总有H(X)0。性质2：对称性 根据加法交换律可以证明，当变量交换顺序时熵函数的值不变。信源的熵只与概率空间的总体结构有关，而与个概率分量对应的状态

3、顺序无关；第9页/共37页性质3：确定性；当信源X的信源空间X，P中。任一个概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。如果一个信源的输出符号几乎必然为某一状态，那么这个信源没有不确定性，信源输出符号后不提供任何信息量。第10页/共37页性质4：扩展性 这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，使信源熵保持不变。第11页/共37页性质5：极值性 上式表明，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这也表明等概分布的信源的平

4、均不确定性最大，这是一个很重要得结论，称为最大离散熵定理例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit第12页/共37页离散二元信源的信息熵第13页/共37页第14页/共37页第15页/共37页第16页/共37页第17页/共37页第18页/共37页1.3 相对熵和互信息第19页/共37页第20页/共37页第21页/共37页第22页/共37页第23页/共37页第24页/共37页第25页/共37页第26页/共37页第27页/共37页第28页/共37页第29页/共37页1.4.信息量的一些基本性质第30页/共37页第31页/共37页第32页/共37页第33页/共37页第34页/共37页第35页/共37页第36页/共37页感谢您的观看！第37页/共37页