信息论信息的统计度量优秀课件.ppt
信息论信息的统计度量第1页，本讲稿共37页主要内容 从概率的角度研究问题n自信息量n互信息量n平均自信息量n平均互信息量信息的大小多个信息之间关联的密切程度第2页，本讲稿共37页离散信号和连续信号n连续信号：时间和幅度都是连续的n离散信号：时间和幅度都是离散的，是我们的研究重点第3页，本讲稿共37页离散信号和连续信号之间的转换连续信号连续信号离散时间信号离散时间信号离散信号离散信号抽样抽样离散化离散化插值插值第4页，本讲稿共37页2.1 自信息量和条件自信息量n定义定义2.1.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。n假设事件xi发生的概率为p(xi)，则其自信息定义式为n自信息量一般以2为底，单位为比特。概率自信息量第5页，本讲稿共37页自信息量的含义n自信息量自信息量衡量的是随机事件的不确定性不确定性。n事件的不确定性越大，其自信息量也越大；反之亦然，两者成正比。第6页，本讲稿共37页自信息量的例子n假设“人每天都要吃饭”这个事件发生的概率是99.99%，则该事件的自信息量为：n这表明该事件的不确定性很小。n假设“美国总统的专机发生空难”这个事件发生的概率是0.01%，则该事件的自信息量为：n这表明该事件的不确定性很大。第7页，本讲稿共37页自信息量的例子n例例2.1.1 设在甲袋中放入n个不同阻值的电阻，每个电阻被取出的概率是相等的，则事件“取出的电阻的阻值为i”的信息量为：第8页，本讲稿共37页自信息量的例子n例例2.1.1（续）（续）设在甲袋中放入 个不同阻值的电阻，其中1的1个，2的2个，n的n个，则n那么，事件“取出的电阻的阻值为i”的信息量为：第9页，本讲稿共37页条件自信息量n定义2.1.3 事件x在事件y给定的条件下的条件自信息量定义为：n含义：知道y之后仍然保留的关于x的不确定性。第10页，本讲稿共37页自信息量n事件本身的不确定性。条件自信息量n知道了另一件事情之后，仍然保留的不确定性。衡量的都是不确定性第11页，本讲稿共37页条件自信息量的例子n事件：x=“美国总统的专机发生空难”y=“今天是9.11”n概率：p(x)=0.01%p(x|y)=1%n事件x的自信息量为：事件x在事件y发生的情况下的条件自信息量为：第12页，本讲稿共37页条件自信息量的例子n例例2.1.2 n设xi表示棋子落入第i行；yj表示棋子落入第j列，i,j=1,2,8，则n（1）n（2）第13页，本讲稿共37页2.2 互信息量n定义2.2.1 随机事件y的出现给出关于事件x的信息量，定义为互信息量。n定义式：第14页，本讲稿共37页互信息量的含义n还可表示为：n含义：本身的不确定性，减去知道了事件y之后仍然保留的不确定性，即由y所提供的关于x的信息量互信息量=自信息量-尚存在的不确定性第15页，本讲稿共37页互信息量的例子n事件：x=“美国总统的专机发生空难”y=“今天是9.11”n概率：p(x)=0.01%p(x|y)=1%n前面已求出自信息量和条件自信息量为：而x和y的互信息量为：第16页，本讲稿共37页互信息量的性质n概率乘法公式n全概率公式第17页，本讲稿共37页互信息量的性质n1.互信息量的互易性n含义：由y所提供的关于x的信息量等于等于由x 所提供的关于y的信息量第18页，本讲稿共37页互信息量的性质n2.互信息量可为0n何时为0：这表明当x和y统计独立时，也就是x和y没有什么关系的时候，互信息量为0。n含义：一个事件不能提供另一个事件的任何信息。即一个事件发生之后，对于确定另一个事件是否发生没有任何帮助。第19页，本讲稿共37页互信息量的性质n3.互信息量可正可负n正正：y的出现有助于肯定肯定x的出现 x：张三病了。y：张三没来上课。n负负：y的出现有助于否定否定x的出现 x：李四考了全班第一名。y：李四没有复习功课。n无论正负，互信息量的绝对值越大，x和y的关系越密切。第20页，本讲稿共37页互信息量的性质n4.互信息量不可能大于其中任一事件的自信息量n互信息量=自信息量-尚存在的不确定性第21页，本讲稿共37页互信息量的例子n例2.2.1 已知条件p(B)=p(C)=p(D)=1/3,p(D|E)=0,p(B|E)=p(C|E)=1/2p(C|EF)=p(D|EF)=0,p(B|EF)=1n互信息量第22页，本讲稿共37页2.3 平均自信息量n自信息量的均值n定义2.3.1 集X上，随机变量I(xi)的数学期望定义为平均自信息量。n又称作集X的信息熵，简称熵。第23页，本讲稿共37页平均自信息量n含义n0*log0=0自信息量自信息量：集合：集合X中某一个元素中某一个元素xi的信息量的信息量平均自信息量平均自信息量：集合：集合X中所有元素信息量的平均值中所有元素信息量的平均值 集合集合X的平均不确定性的平均不确定性第24页，本讲稿共37页平均自信息量的例子n例2.3.1n平均平均每个画面可提供的信息量：n平均平均每篇千字文可提供的信息量：第25页，本讲稿共37页平均自信息量的例子n例例2.3.2第26页，本讲稿共37页凸函数一维和二维凸集合的例子凸集合非凸集合第27页，本讲稿共37页熵函数的数学特性n1.对称性对称性：集合中各分量的次序任意变更时，熵值（平均自信息量）不变n从熵（平均自信息量）的公式上来看，该结论是明显的n深层含义：熵是有局限性的。它是平均不确定性的度量，抹煞了个体的特性。第28页，本讲稿共37页熵函数的数学特性n2.非负性非负性：H(X)0n源于自信息量的非负性。n什么时候为0：有且仅有一个pi=1，其余的pi=0，即确定信源。第29页，本讲稿共37页熵函数的数学特性n3.扩展性扩展性n含义：集合X中，一个事件发生的概率比其它事件发生的概率小得多时，这个事件对于集合的熵值的贡献可以忽略。集合X有q个事件，集合Y比X仅仅是多了一个概率接近0的事件，则两个集合的熵值一样。第30页，本讲稿共37页熵函数的数学特性n4.极值性极值性：各事件等概率发生时，熵最大。n5.确定性确定性：集合中只要有一个事件为必然事件，则其余事件为不可能事件，熵为0。H(1,0)=H(1,0,0)=H(1,0,0)=0第31页，本讲稿共37页条件熵n定义2.3.3 条件自信息量I(yj|xi)的概率均值定义为条件熵。n含义：仍然保留的平均不确定性。第32页，本讲稿共37页为什么要用联合概率进行平均第33页，本讲稿共37页2.4 平均互信息量n定义2.4.2 平均互信息量n互信息量的均值第34页，本讲稿共37页平均互信息量的性质n1.非负性非负性I(X;Y)0n2.互易性（对称性）互易性（对称性）I(X;Y)=I(Y;X)n对称性表明：从集合Y中获得的关于X的信息量（I(X;Y)）等于从集合X中获得的关于Y的信息量（I(Y;X)）。第35页，本讲稿共37页平均互信息量的性质n3.极值性极值性I(X;Y)H(X)I(X;Y)H(Y)第36页，本讲稿共37页连续随机变量第37页，本讲稿共37页
