数字图像处理信息的统计度量n.ppt

《数字图像处理信息的统计度量n.ppt》由会员分享，可在线阅读，更多相关《数字图像处理信息的统计度量n.ppt（92页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第二章 信息的统计度量2.1自信息量和条件自信息量。2.2互信息2.3平均自信息2.4平均互信息2.5连续随机变量的互信息和相对熵12.1自信息量和条件自信息量信息不确定性不确定性信息的度量随机性、概率随机性、概率相互独立事件符合概率相乘、信息相加相互独立事件符合概率相乘、信息相加熵事件集的平均不确定性事件集的平均不确定性2G G直观推导信息测度C C信息信息I I应该是消息概率应该是消息概率p p的递降函数的递降函数C C由两个不同的消息（相互统计独立）所提供的信由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）息等于它们分别提供信息之和（可加性）345两个消息的

2、相互依赖性越大，它们相互间的信息量就越大（这里指绝对值）例 W：贵阳明日气温 H：修文明日气温 B：北京明日气温 N：纽约明日气温 W与H相互间的信息量大，W与B相互间的信息量小，W与N相互间的信息量几乎为0l l定义2-1：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息量为 以以2 2为底，为底，单位单位为比特（为比特（bit)bit)以以e=2.718281828e=2.718281828为底，单位为奈特（为底，单位为奈特（natnat),),理论理论推导时常用推导时常用 1nat=1.433bit 1bit=0.693nat1nat=1.433bit 1bit=0.69

3、3nat 以以1010为底，单位为笛特（为底，单位为笛特（detdet)或哈特（或哈特（HartHart）1det=3.322bit 1bit=0.301det1det=3.322bit 1bit=0.301det6对通信系统来说：7自信息量和概率成反比。规定 0log0=0自信息量的含义可从多个不同的角度来理解自信息量的单位表示的含义可理解为：用n进制的数表示这些信息量需要多少位数。例2-1 试求两个事件的自信息量。8I=-log1/52!=22558I=-log413/C135213.219l l定义定义2-22-2：联合概率空间中任一联合事件的联合：联合概率空间中任一联合事件的联合（自）

4、信息量为：（自）信息量为：当当x xi i和和y yj j相互独立是，有相互独立是，有10 联合自信息量的单位与自信息量的单位相同，它的含义是：两个事件同时发生的不确定性的大小；两个事件同时发生带来的信息量；将该信息量表示出来所需的n进制位的个数。11自信息量的特性p（xi）=1，I（xi）=0p（xi）0，I（xi）；p（xi）=0，I（xi）=非负性，由于一个符号出现的概率总在闭区间0,1内，所以自信息量为非负值。单调递减性，P7 图2-1可加性12例英文字母中“e”的出现频率为0.105，“c”出现的频率为0.023，“o”出现的频率为0.001，分别计算它们的自信息量。I（e）=-lo

5、g0.105=3.25bitI（c）=-log 0.023=5.44bitI（o）=-log 0.001=9.97bit13定义定义2.3 2.3 事件事件x xi i在事件在事件y yj j给定条件下的条件给定条件下的条件自信息量自信息量为：为：142.2离散信源熵与互信息1516例2-2I（x）=13.2877bitI（x/y）=6.6439bit172.2离散信源熵与互信息 例一个布袋内放例一个布袋内放100100个球，其中个球，其中8080个球为红色，个球为红色，2020球为白色。若随机摸取一个球，猜测其颜色，求平球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息

6、量。均摸取一次所获得的（自）信息量。解：随机事件的概率空间为解：随机事件的概率空间为182.2离散信源熵与互信息192.2 互信息 自信息量是衡量一个事件所包含的信息量的大小，互信息量是衡量两个或多个事件之间关系的紧密程度。20定义2.4对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息量，单位为比特21互信息量=自信息量-条件自信息量 =原有的不确定性-仍然保留的不确定性互信息量的含义：1.由事件yi消除掉的关于事件xi的不确定性。2.由事件yi能够提供的事件xi的信息量。3.一个事件能够提供的关于另一个事件的信息量越多，说明两者关系越密切，因此互信息量还表示了

7、事件yi和事件xi之间关系的密切程度。互信息量的绝对值越大事件yi和事件xi关系越密切。22232425互信息量例例2-32-3262728互信息量的性质1.互易性 I（x；y）=I（y；x）其含义是由事件y所提供的关于事件x的信息量等于由事件x提供的关于事件y的信息量。2.当事件x、y统计独立时，互信息量为0.例2-4293.互信息量可正可负例2-5304.互信息量不大于其中任一事件的自信息量。312.3 平均自信息量熵 自信息量是针对一个事件而言的，很多事件组成一个离散事件集合，概率空间为：p(xi)0，32定义2-5：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息

8、熵，单位为比特/符号集合X的平均自信息量又称为X的信息熵，简称熵。33 在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。34 因此,接收的信息量在无干扰时,在数值上就等于信源的信息熵，式中P(xi)为信源取第i个符号的概率。但在概念上,信息熵与信息量是有区别的。信息熵是描述信源本身统计特性的一个物理量。它是信源平均不定度，是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往

9、往是针对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除了对信源的平均不定度，它具有相对性。35熵的含义：1.表示了集合中所有事件是否发生的平均不确定性的大小。2.表示了集合中事件发生，带给人们的平均信息量的大小。3.表示了确定集合中到底哪个事件发生时所需的平均信息量的大小。4.表示了如果用二进制数据将集合中的各个元素表示出来所需的二进制位的平均数。例 2-6362.3.2熵函数的数学性质熵的性质u对称性对称性u非负性非负性u确定性确定性u香农辅助定理香农辅助定理(香农不等式香农不等式)u极值性（最大熵定理）极值性（最大熵定理）u条件熵不大于无条件熵（熵的不增原理）条件熵不大于无条

10、件熵（熵的不增原理）37对称性38对称性表明，熵具有局限性，它仅与随机变量的总体结构有关，抹杀了个体的特性。例2-7 A、B两地的天气状况。由于熵的这种局限性，提出了加权熵的概念。定义2-6例2-8香农熵是权重系数均为1的加权熵。39非负性式中的等号只有在pi=1时出现。40 非负性的含义是当集合中有一个事件必然出现，其他事件不可能出现时，集合的熵为0，此时这个集合没有不确定性，否则这个集合或多或少总会存在一定的不确定性。41确定性确定性42例2-943极值性（最大熵定理）极值性（最大熵定理）对于包含对于包含MM个不同离散消息的无记忆信源个不同离散消息的无记忆信源X X，有：，有：44上凸性4

11、5条件熵不大于无条件熵（熵的不增原理）增加条件只可能使不确定性减少46定义定义2-72-7：对于给定离散概率空间表示的信源所定义：对于给定离散概率空间表示的信源所定义的随机变量的随机变量I I（x/yx/y)在集合在集合X X上的数学期望为给定上的数学期望为给定y y条件下条件下信源的条件熵，信源的条件熵，单位为单位为比特比特/序列序列2.3.3 条件熵472.3.3 条件熵48492.3.4 联合熵 定义定义2-82-8：对于给定离散概率空间表示的信源所：对于给定离散概率空间表示的信源所定义的随机变量定义的随机变量I I（x x，y)y)的数学期望为集合的数学期望为集合X X和集和集合合Y

12、Y的的信源联合熵，信源联合熵，单位为单位为比特比特/序列序列50uu符号熵符号熵uu条件熵条件熵uu联合熵联合熵512.3.5 各种熵之间的关系1.1.联合熵、条件熵与熵的关系联合熵、条件熵与熵的关系522.联合熵和熵之间的关系 H（X，Y）H（X）+H（Y）；当X，Y统计独立时等号成立。3.条件熵和熵之间的关系 H（Y/X）H（Y）；当X，Y统计独立时等号成立。例2-12532.4 平均互信息54EgEg 设信源发出设信源发出8 8种消息符号，各消息等概发送，种消息符号，各消息等概发送，各符号分别用各符号分别用3 3位二进码元表示，并输出事件。通过位二进码元表示，并输出事件。通过对输出事件的

13、观察来推测信源的输出。假设信源发对输出事件的观察来推测信源的输出。假设信源发出的消息出的消息x x4 4，用二进码用二进码011011表示，表示，接收到每个二进制接收到每个二进制码元后得到有关码元后得到有关x x4 4信息。信息。信源信源输出输出二进码字二进码字先验概先验概率率后验概率后验概率收到收到0 0收到收到0101收到收到011011X1X10000001/81/80 00 0X2X20010011/81/80 00 0X3X30100101/81/80 0X4X40110111/81/81 1X5X51001001/81/80 00 00 0X6X61011011/81/80 00

14、00 0X7X71101101/81/80 00 00 0 x8x81111111/81/80 00 00 0等概率二进码的后验概率信源信源输出输出二进码字二进码字先验概先验概率率后验概率后验概率收到收到0 0收到收到0101收到收到011011X1X10000001/81/81/61/60 00 0X2X20010011/31/30 00 0X3X30100101/81/81/61/61/31/30 0X4X40110111/31/32/32/31 1X5X51001001/161/160 00 00 0X6X61011011/161/160 00 00 0X7X71101101/161/1

15、60 00 00 0 x8x81111111/161/160 00 00 0不等概率二进码的后验概率I(x4；0)=0.145bit/符号I(x4；01)=1.145bit/符号I(x4；011)=2bit/符号同样的事件011，等概时信息要大些。平均互信息量 其中60平均互信息的含义：1.知道了集合Y之后，平均Y中的一个事件消除掉的关于集合X中的一个事件的不确定性。2.由Y中的一个事件平均能够提供出来的关于集合X中的一个事件的信息量。3.表示了两个集合之间关系的密切程度。61626364平均互信息的性质1.非负性652.互易性663.极值性67684.凸性函数uu当条件概率分布给定时，平均互

16、信息量是输入概率分布的上凸函数uu当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数692.4.3 各种熵和平均互信息量之间的关系70信息不增性71数据处理定理数据处理定理72 如果想从测量结果Y中得到越来越多的关于X的信息量，必须付出代价。常用的方法是通过多次测量，因为H（X/Y1,Y2）H（X/Y1），所以 I（X；Y1,Y2）I（X；Y1）。可以证明取测量值Y的次数越多，X的条件熵越小，获得的信息量就越大。尤其当各次测量值相互独立时，趋势更明显。取Y无数次后，H（X/Y1,Y2,Y3,）0 I（X；Y1,Y2Y3,）H（X）解决方法：多次测量解决方法：多次测量74例例 有

17、一信源输出有一信源输出X X00，1 1，22，其概率为，其概率为p p（0 0）=1/4=1/4，p(1)=1/4p(1)=1/4，p(2)=1/2p(2)=1/2。设计两个独。设计两个独立实验去观察它，其结果分别为立实验去观察它，其结果分别为Y Y1 1 00，11，Y Y2 2 00，11 ，已知条件概率为下表所列，已知条件概率为下表所列，p(yp(y1 1/x)/x)0 01 1p(yp(y2 2/x)/x)0 01 10 01 10 00 01 10 01 10 01 11 11 10 02 21/21/21/21/2 2 20 01 1求(1)I（X；Y1）和 I（X；Y2），并判

18、断哪一个实验好些。(2)I（X；Y1，Y2），并计算做Y1和Y2两个实验比作Y1或Y2 中的一个实验各可多得多少关于X的信息。(3)I（X；Y1/Y2）和I（X；Y2/Y1）。7778798081822.5 连续随机变量的互信息和相对熵2.5.1连续随机变量的统计特性83uu连续信源连续信源uu显然应满足显然应满足p pX X(x x)0 0，uu概率密度函数的含义：连续随机变量处在区间c,d之间的概率等于函数曲线，x轴，直线x=c，x=d所围起来的区域的面积。85幅度连续的单个符号信源熵86一般为一个定值一般为一个定值 正无穷大正无穷大87幅度连续的单个符号信源熵888990913.两个1同时出现的自信息量。4.两个点数至少有一个是1的信息量。92