信息论基本概念.pptx
投身信息产业的怀抱快三十年了，我有时也在想：信息何以会具备如此强大的力量？它的力量来自哪里？我们又该如何驾驭这一力量？在这三十年间，信息极大地释放了人类的能量，它所创造的价值超过了之前五千年的财富总和，但“信息”依然是个大家耳熟能详却又含义模糊的词。-小米董事长 雷军朗文双解中关于信息（information）的词条解释为：Information:Facts or details that tell you somethingabout a situation,person,event,etc第1页/共50页而香农信息论的伟大贡献就在于，可以用数学公式严格定义信息的量，反映了信息表达形式在统计方面的性质。第2页/共50页体重秤信息秤第3页/共50页思 考“一个电视画面”平均提供的信息量与“一篇千字文”提供的信息量，哪个更大？第4页/共50页克劳德艾尔伍德香农（Shannon，1916年4月30日2001年2月24日）通信系统模型自信息、互信息信息熵、条件熵、联合熵相对熵、交叉熵一点说明第5页/共50页数字通信系统模型第6页/共50页数字通信系统模型信源：产生消息和消息序列的源。编码器：编码是把消息变换成信号的措施。信道：指通信系统把载荷消息的信号从甲地传输到乙地的媒介或通道。译码器：译码是把信道输出的编码信号进行反变换。信宿：消息传送的对象，即接收消息的人或机器。第7页/共50页“比特”/信息论/计算机信息论中“比特”是指抽象的信息量单位；计算机术语中“比特”是代表二元数字；这两种定义之间的关系是：每个二元数字所能提供的最大平均信息量为1比特。第8页/共50页小练习1一个布袋中含有红色和白色球各20个，求摸到两种球的信息量摸出红色和白色球概率为p(0)=1/2,p(1)=1/2,则摸出这两种的自信息量为：I(0)=I(1)=log2(1/2)=log22=1 bit当小球概率为p(0)=1/4,p(1)=3/4,则这两种球的自信息量为：I(0)=log2(1/4)=log24=2bit I(1)=log2(3/4)=0.4151 bit单调递减函数1比特信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。第9页/共50页小练习2l一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。解：依据题意,这一随机事件的概率空间为 其中：a1表示摸出的球为红球事件，a2表示摸出的 球是白球事件.第10页/共50页如果摸出的是红球，则获得的信息量是 I(a1)=log2p(a1)=log20.8 bit如果摸出的是白球，则获得的信息量是 I(a2)=log2p(a2)=log20.2 bit如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为np(a1)次，白球出现的次数为 np(a2)次。随机摸取n次后总共所获得的信息量为 np(a1)I(a1)+np(a2)I(a2)第11页/共50页平均自信息量平均随机摸取一次所获得的信息量为H(X):平均信息量,称为信源X的信息熵。信源熵、香农熵第12页/共50页熵的性质1.非负性 H(X)H(p1，p2，pq)0n式中等号只有在pi=1时成立。2.对称性 H(p1，p2，pn)=H(p2，p1，pn-1)n例如下列信源的熵都是相等的：第13页/共50页熵的性质3.可加性H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)。n统计独立的信源X和Y的联合信源的熵等于分别熵之和。4.强可加性联合熵条件熵第14页/共50页联合熵定义联合符号集合（X，Y）上的每个元素对（xi，yi）的自信息量的概率加权统计平均值为联合熵，即：n联合熵实际上就是描述一对随机变量平均所需要的信息量nH（X，Y）表示X，Y同时发生的不确定度第15页/共50页小练习3布袋内小球的数量分布为：求有放回的摸球，两次摸球摸到一个红球与一个黄球的联合熵。H（x,y）=p(x,y)logp(x,y)=1/2*1/4log(1/2*1/4)=0.375第16页/共50页不确定度定义：随机事件的不确定度在数量上等于它的自信息量。说明:两者的单位相同，但含义却不相同。自信息量和该事件的不确定度的含义有本质的区别。不确定度只与事件的概率有关，是一个统计量，在静态状态下也存在；自信息量只有该随机事件出现时才给出，不出现时不给出，因此它是一个动态的概念。第17页/共50页信息和消除不确定性是相联系的信息越多，随机事件的不确定性就越小条件熵第18页/共50页条件熵在给定yj条件下，xi的条件自信息量为I(xi|yj),X 集合的条件熵H(X|yj)为：在给定Y(即各个yj)条件下,X集合的条件熵H(X|Y)第19页/共50页第20页/共50页水果糖问题两个一模一样的碗，现在随机选择一个碗，从中摸出一颗糖，发现是水果糖。请问这颗水果糖来自一号碗的概率有多大？水果糖巧克力糖从两个碗中随机抽取一个糖，则这颗糖来自一号碗的概率若已知这颗糖为水果糖，则这颗糖来自一号碗的概率第21页/共50页水果糖问题假定：H1表示一号碗，H2表示二号P(H1)=P(H2)，因此，P(H1)=0.5 先验概率，即没有做实验之前，来自一号碗的概率是0.5。假定：E表示水果糖，问题就变成了已知E的情况下，来自一号碗的概率有多大，即求P(H1|E)后验概率，即在E事件发生之后，对P(H1)的修正。第22页/共50页条件熵与信息熵糖来自一号碗的信息熵为：H(H1)=-P(H1)logP(H1)=-0.5log0.5=0.5水果糖来自一号碗的条件熵为：H(H1|E)=-P(E)*P(H1|E)logP(H1|E)=-0.625*0.6*log0.6=0.275条件熵 题目2的熵 条件增加，不确定性降低，熵减小第44页/共50页交叉熵在题目2中，爸爸告诉小明小球的真实分布是（1/2，1/4,1/8，1/8）小明选择策略1，即小球分布为（1/4，1/4，1/4，1/4）这个分布就是非真实分布交叉熵：衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小。第45页/共50页相对熵第46页/共50页作业实践l利用给定的三张图片，根据相对熵定义衡量三张图片两两之间的图片相似性。n将对比的两张图片剪裁为相同尺寸大小n统计每个像素值的个数n计算两张图像素值出现的概率n利用概率计算相对熵，评价对比图之间的相似性第47页/共50页马歇尔麦克卢汉 1964年评论：人们曾经以采集食物为生，而如今他们要重新以采集信息为生，尽管这件事看起来很不可思议。第48页/共50页信息论的巨大知识量等待你们自己探索.第49页/共50页感谢您的观看！第50页/共50页
