数字图像处理信息的统计度量幻灯片.ppt

《数字图像处理信息的统计度量幻灯片.ppt》由会员分享，可在线阅读，更多相关《数字图像处理信息的统计度量幻灯片.ppt（92页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数字图像处理信息的统计度量第1页，共92页，编辑于2022年，星期六2.1自信息量和条件自信息量信息不确定性信息的度量随机性、概率相互独立事件符合概率相乘、信息相加熵事件集的平均不确定性2 2第2页，共92页，编辑于2022年，星期六直观推导信息测度信息I应该是消息概率p的递降函数由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）3 3第3页，共92页，编辑于2022年，星期六4 4第4页，共92页，编辑于2022年，星期六5 5两个消息的相互依赖性越大，它们相互间的信息量就两个消息的相互依赖性越大，它们相互间的信息量就越大（这里指绝对值）越大（这里指绝对值）例例

2、W W：贵阳明日气温：贵阳明日气温 H H：修文明日气温：修文明日气温 B B：北京明日气温：北京明日气温 N N：纽约明日气温：纽约明日气温 W W与与H H相互间的信息量大，相互间的信息量大，WW与与B B相互间的信息量小，相互间的信息量小，WW与与NN相互间的信息量几乎为相互间的信息量几乎为0 0第5页，共92页，编辑于2022年，星期六l l定义2-1：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息量为 以以2 2为底，为底，单位单位为比特（为比特（bit)bit)以以e=2.718281828e=2.718281828为底，单位为奈特（为底，单位为奈特（nat),n

3、at),理论推导理论推导时常用时常用 1nat=1.433bit 1bit=0.693nat1nat=1.433bit 1bit=0.693nat 以10为底，单位为笛特（det)或哈特（Hart）1det=3.322bit 1bit=0.301det6 6第6页，共92页，编辑于2022年，星期六对通信系统来说：7 7第7页，共92页，编辑于2022年，星期六自信息量和概率成反比。规定 0log0=0自信息量的含义可从多个不同的角度来理解自信息量的单位表示的含义可理解为：用n进制的数表示这些信息量需要多少位数。例2-1 试求两个事件的自信息量。8 8第8页，共92页，编辑于2022年，星期六

4、I=-log1/52!=22558I=-log413/C135213.219 9第9页，共92页，编辑于2022年，星期六定义定义2-22-2：联合概率空间中任一联合事件的联合（自）：联合概率空间中任一联合事件的联合（自）信息量为：信息量为：当当x xi和和y yj j相互独立是，有相互独立是，有1010第10页，共92页，编辑于2022年，星期六 联合自信息量的单位与自信息量的单位相同，它的含义是：两个事件同时发生的不确定性的大小；两个事件同时发生带来的信息量；将该信息量表示出来所需的n进制位的个数。1111第11页，共92页，编辑于2022年，星期六自信息量的特性p（xi）=1，I（xi）

5、=0p（xi）0，I（xi）；p（xi）=0，I（xi）=非负性，由于一个符号出现的概率总在闭区间0,1内，所以自信息量为非负值。单调递减性，P7 图2-1可加性1212第12页，共92页，编辑于2022年，星期六例英文字母中“e”的出现频率为0.105，“c”出现的频率为0.023，“o”出现的频率为0.001，分别计算它们的自信息量。I（e）=-log0.105=3.25bitI（c）=-log 0.023=5.44bitI（o）=-log 0.001=9.97bit1313第13页，共92页，编辑于2022年，星期六定义2.3 事件x xi i在事件y yj j给定条件下的条件自信息量为

6、：1414第14页，共92页，编辑于2022年，星期六2.2离散信源熵与互信息1515第15页，共92页，编辑于2022年，星期六1616第16页，共92页，编辑于2022年，星期六例2-2I（x）=13.2877bitI（x/y）=6.6439bit1717第17页，共92页，编辑于2022年，星期六2.2离散信源熵与互信息 例一个布袋内放例一个布袋内放100100个球，其中个球，其中8080个球为红色，个球为红色，2020球为白色。球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。（自）信息量。解：随机事件的概率

7、空间为1818第18页，共92页，编辑于2022年，星期六2.2离散信源熵与互信息1919第19页，共92页，编辑于2022年，星期六2.2 互信息 自信息量是衡量一个事件所包含的信息量的大小，互信息量是衡量两个或多个事件之间关系的紧密程度。2020第20页，共92页，编辑于2022年，星期六定义2.4对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息量，单位为比特2121第21页，共92页，编辑于2022年，星期六互信息量=自信息量-条件自信息量 =原有的不确定性-仍然保留的不确定性互信息量的含义：1.由事件yi消除掉的关于事件xi的不确定性。2.由事件yi能够

8、提供的事件xi的信息量。3.一个事件能够提供的关于另一个事件的信息量越多，说明两者关系越密切，因此互信息量还表示了事件yi和事件xi之间关系的密切程度。互信息量的绝对值越大事件yi和事件xi关系越密切。2222第22页，共92页，编辑于2022年，星期六2323第23页，共92页，编辑于2022年，星期六2424第24页，共92页，编辑于2022年，星期六2525第25页，共92页，编辑于2022年，星期六互信息量例2-32626第26页，共92页，编辑于2022年，星期六2727第27页，共92页，编辑于2022年，星期六2828第28页，共92页，编辑于2022年，星期六互信息量的性质1.

9、互易性 I（x；y）=I（y；x）其含义是由事件y所提供的关于事件x的信息量等于由事件x提供的关于事件y的信息量。2.当事件x、y统计独立时，互信息量为0.例2-42929第29页，共92页，编辑于2022年，星期六3.互信息量可正可负例2-53030第30页，共92页，编辑于2022年，星期六4.互信息量不大于其中任一事件的自信息量。3131第31页，共92页，编辑于2022年，星期六2.3 平均自信息量熵 自信息量是针对一个事件而言的，很多事件组成一个离散事件集合，概率空间为：p(xi)0，3232第32页，共92页，编辑于2022年，星期六定义2-5：对于给定离散概率空间表示的信源所定义

10、的随机变量I的数学期望为信源的信息熵，单位为比特/符号集合X的平均自信息量又称为X的信息熵，简称熵。3333第33页，共92页，编辑于2022年，星期六 在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。3434第34页，共92页，编辑于2022年，星期六 因此,接收的信息量在无干扰时,在数值上就等于信源的信息熵，式中P(xi)为信源取第i个符号的概率。但在概念上,信息熵与信息量是有区别的。信息熵是

11、描述信源本身统计特性的一个物理量。它是信源平均不定度，是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往往是针对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除了对信源的平均不定度，它具有相对性。3535第35页，共92页，编辑于2022年，星期六熵的含义：1.表示了集合中所有事件是否发生的平均不确定性的大小。2.表示了集合中事件发生，带给人们的平均信息量的大小。3.表示了确定集合中到底哪个事件发生时所需的平均信息量的大小。4.表示了如果用二进制数据将集合中的各个元素表示出来所需的二进制位的平均数。例 2-63636第36页，共92页，编辑于2022年，星

12、期六2.3.2熵函数的数学性质熵的性质 对称性对称性非负性 确定性确定性 香农辅助定理香农辅助定理(香农不等式香农不等式)极值性（最大熵定理）极值性（最大熵定理）条件熵不大于无条件熵（熵的不增原理）条件熵不大于无条件熵（熵的不增原理）3737第37页，共92页，编辑于2022年，星期六对称性3838第38页，共92页，编辑于2022年，星期六对称性表明，熵具有局限性，它仅与随机变量的总体结构有关，抹杀了个体的特性。例2-7 A、B两地的天气状况。由于熵的这种局限性，提出了加权熵的概念。定义2-6例2-8香农熵是权重系数均为1的加权熵。3939第39页，共92页，编辑于2022年，星期六非负性式

13、中的等号只有在pi=1时出现。4040第40页，共92页，编辑于2022年，星期六 非负性的含义是当集合中有一个事件必然出现，其他事件不可能出现时，集合的熵为0，此时这个集合没有不确定性，否则这个集合或多或少总会存在一定的不确定性。4141第41页，共92页，编辑于2022年，星期六确定性4242第42页，共92页，编辑于2022年，星期六例2-94343第43页，共92页，编辑于2022年，星期六极值性（最大熵定理）极值性（最大熵定理）对于包含对于包含MM个不同离散消息的无记忆信源个不同离散消息的无记忆信源X X，有：，有：4444第44页，共92页，编辑于2022年，星期六上凸性4545第

14、45页，共92页，编辑于2022年，星期六条件熵不大于无条件熵（熵的不增原理）增加条件只可能使不确定性减少4646第46页，共92页，编辑于2022年，星期六定义定义2-72-7：对于给定离散概率空间表示的信源所定义的随机：对于给定离散概率空间表示的信源所定义的随机变量变量I I（x/y)x/y)在集合在集合X X上的数学期望为给定上的数学期望为给定y y条件下条件下信源的信源的条件熵，条件熵，单位为单位为比特比特/序列序列2.3.3 条件熵4747第47页，共92页，编辑于2022年，星期六2.3.3 条件熵4848第48页，共92页，编辑于2022年，星期六4949第49页，共92页，编辑

15、于2022年，星期六2.3.4 联合熵 定义定义2-82-8：对于给定离散概率空间表示的信源所定义：对于给定离散概率空间表示的信源所定义的随机变量的随机变量I I（x x，y)y)的数学期望为集合的数学期望为集合X X和集合和集合Y Y的的信信源联合熵，源联合熵，单位为单位为比特比特/序列序列5050第50页，共92页，编辑于2022年，星期六 符号熵符号熵 条件熵条件熵 联合熵联合熵5151第51页，共92页，编辑于2022年，星期六2.3.5 各种熵之间的关系1.1.联合熵、条件熵与熵的关系联合熵、条件熵与熵的关系5252第52页，共92页，编辑于2022年，星期六2.联合熵和熵之间的关系

16、 H（X，Y）H（X）+H（Y）；当X，Y统计独立时等号成立。3.条件熵和熵之间的关系 H（Y/X）H（Y）；当X，Y统计独立时等号成立。例2-125353第53页，共92页，编辑于2022年，星期六2.4 平均互信息5454第54页，共92页，编辑于2022年，星期六Eg Eg 设信源发出设信源发出8 8种消息符号，各消息等概发送，各符号分别用3 3位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息x x4 4，用二进码用二进码011011表示，接收到每个二进制码元后得到有关x x4 4信息。信息。第55页，共92页，编辑于2022年，星期六信源输出二进码字

17、先验概率后验概率收到0收到01收到011X10001/800X20011/800X30101/80X40111/81X51001/8000X61011/8000X71101/8000 x81111/8000等概率二进码的后验概率第56页，共92页，编辑于2022年，星期六第57页，共92页，编辑于2022年，星期六信源输出二进码字先验概率后验概率收到0收到01收到011X10001/81/600X20011/300X30101/81/61/30X40111/32/31X51001/16000X61011/16000X71101/16000 x81111/16000不等概率二进码的后验概率第58

18、页，共92页，编辑于2022年，星期六I(x4；0)=0.145bit/符号I(x4；01)=1.145bit/符号I(x4；011)=2bit/符号同样的事件011，等概时信息要大些。第59页，共92页，编辑于2022年，星期六平均互信息量 其中6060第60页，共92页，编辑于2022年，星期六平均互信息的含义：1.知道了集合Y之后，平均Y中的一个事件消除掉的关于集合X中的一个事件的不确定性。2.由Y中的一个事件平均能够提供出来的关于集合X中的一个事件的信息量。3.表示了两个集合之间关系的密切程度。6161第61页，共92页，编辑于2022年，星期六6262第62页，共92页，编辑于202

19、2年，星期六6363第63页，共92页，编辑于2022年，星期六6464第64页，共92页，编辑于2022年，星期六平均互信息的性质1.非负性6565第65页，共92页，编辑于2022年，星期六2.互易性6666第66页，共92页，编辑于2022年，星期六3.极值性6767第67页，共92页，编辑于2022年，星期六6868第68页，共92页，编辑于2022年，星期六4.凸性函数当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数6969第69页，共92页，编辑于2022年，星期六2.4.3 各种熵和平均互信息量之间的关系

20、7070第70页，共92页，编辑于2022年，星期六信息不增性7171第71页，共92页，编辑于2022年，星期六数据处理定理数据处理定理7272第72页，共92页，编辑于2022年，星期六 如果想从测量结果Y中得到越来越多的关于X的信息量，必须付出代价。常用的方法是通过多次测量，因为H（X/Y1,Y2）H（X/Y1），所以 I（X；Y1,Y2）I（X；Y1）。可以证明取测量值Y的次数越多，X的条件熵越小，获得的信息量就越大。尤其当各次测量值相互独立时，趋势更明显。取Y无数次后，H（X/Y1,Y2,Y3,）0 I（X；Y1,Y2Y3,）H（X）第73页，共92页，编辑于2022年，星期六解决方

21、法：多次测量解决方法：多次测量7474第74页，共92页，编辑于2022年，星期六例 有一信源输出X0，1，2，其概率为p（0）=1/4，p(1)=1/4，p(2)=1/2。设计两个独立实验去观察它，其结果分别为Y1 0，1，Y2 0，1，已知条件概率为下表所列，p(y1/x)01p(y2/x)0101001010111021/21/2 201第75页，共92页，编辑于2022年，星期六求(1)I（X；Y1）和 I（X；Y2），并判断哪一个实验好些。(2)I（X；Y1，Y2），并计算做Y1和Y2两个实验比作Y1或Y2 中的一个实验各可多得多少关于X的信息。(3)I（X；Y1/Y2）和I（X；Y

22、2/Y1）。第76页，共92页，编辑于2022年，星期六7777第77页，共92页，编辑于2022年，星期六7878第78页，共92页，编辑于2022年，星期六7979第79页，共92页，编辑于2022年，星期六8080第80页，共92页，编辑于2022年，星期六8181第81页，共92页，编辑于2022年，星期六8282第82页，共92页，编辑于2022年，星期六2.5 连续随机变量的互信息和相对熵2.5.1连续随机变量的统计特性8383连续信源连续信源显然应满足显然应满足p pX X(x x)0 0，第83页，共92页，编辑于2022年，星期六uu概率密度函数的含义：连续随机变量处在区间c

23、,d之间的概率等于函数曲线，x轴，直线x=c，x=d所围起来的区域的面积。第84页，共92页，编辑于2022年，星期六8585第85页，共92页，编辑于2022年，星期六幅度连续的单个符号信源熵8686一般为一个定值一般为一个定值 正无穷大正无穷大第86页，共92页，编辑于2022年，星期六8787第87页，共92页，编辑于2022年，星期六幅度连续的单个符号信源熵8888第88页，共92页，编辑于2022年，星期六8989第89页，共92页，编辑于2022年，星期六9090第90页，共92页，编辑于2022年，星期六9191第91页，共92页，编辑于2022年，星期六3.两个1同时出现的自信息量。4.两个点数至少有一个是1的信息量。9292第92页，共92页，编辑于2022年，星期六