第二章信源及信源熵精选PPT.ppt
《第二章信源及信源熵精选PPT.ppt》由会员分享,可在线阅读,更多相关《第二章信源及信源熵精选PPT.ppt(134页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第二章信源及信源熵第1页,本讲稿共134页第二章第二章 信源熵信源熵胡君红第2页,本讲稿共134页信源熵信源熵n信源的描述与分类(增加部分)n2.1 单符号离散信源n2.2 多符号离散平稳信源n2.3 连续信源n2.4 离散无失真信源编码定理第3页,本讲稿共134页信源信源信息论对信源研究的内容:信息论对信源研究的内容:信源的建模信源的建模:用恰当的随机过程来描述信号关心角度:信号中携带的信息信源输出信号中携带信息的效率的计算信源输出信号中携带信息的效率的计算熵率、冗余度信源输出信息的有效表示信源输出信息的有效表示信源编码信源的描述与分类第4页,本讲稿共134页信源信源信源的特性与分类实际信源
2、举例信源的描述与分类第5页,本讲稿共134页信源特性与分类信源特性与分类信源的统计特性信源的统计特性1)什么是信源?信源是信息的来源,实际通信中常见的信源有:语音、文字、图像、数据。在信息论中,信源是产生消息(符号)、消息(符号)序列以及连续消息的来源,数学上,信源是产生随随机机变变量量U,随随机机序序列列U和随随机机过过程程U(t,)的源。2)信源的主要特性信源的最基本的特性是具有统计不确定性,它可用概率统计特性来描述。信源的描述与分类第6页,本讲稿共134页信源特性与分类信源特性与分类n信源的描述与分类信源的描述与分类n单消息(符号)信源:n离散信源n连续变量信源n平稳信源n无/有记忆信源
3、n马尔可夫信源n随机波形信源n实际信源实际信源信源的描述与分类第7页,本讲稿共134页单消息(符号)信源单消息(符号)信源n单消息(符号)信源n是最简单、最基本的信源,是组成实际信源的基本单元。用信源取值随机变量的范围U和对应概率分布P(u)组成的二元序对U,P(u)来表示。n当信源给定,其相应的概率空间就已给定;反之,如果概率空间给定,这就表示相应的信源已给定。所以,概率空间能表征这离散信源的统计特性,有时也称概率空间为信源空间。信源的描述与分类第8页,本讲稿共134页单消息(符号)信源单消息(符号)信源离散信源离散信源n信源可能输出的消息数是有限的或可数的,且每次只输出其中一个消息。用离散
4、型随机变量X来描述这个信源输出的消息。随机变量X的样本空间就是符号集A;而X的概率分布就是各消息出现的先验概率,信源的概率空间必定是一个完备集完备集。n在实际情况中,存在着很多这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。可用一维离散型随机变量离散型随机变量X来描述这些信源的输出。它的数学模型就是离散型的概率空间:信源的描述与分类第9页,本讲稿共134页单消息(符号)信源单消息(符号)信源离散信源离散信源n对离散信源例:对于二进制数据、数字信源:U=0,1,则有信源的描述与分类第10页,本讲稿共134页单消息(符号)信源单消息(符号)信源连续变量信源连续变量信源n
5、信源输出单个符号(代码)的消息,但其可能出现的消息数是不可数的无限值,即输出消息的符号集A的取值是连续的,或取值是实数集(-,)。例如,语音信号、热噪声信号某时间的连续取值数据,遥控系统中有关电压、温度、压力等测得的连续数据。用一维的连续型随机变量连续型随机变量X来描述这些消息。这种信源称为连续信源,其数学模型是连续型的概率空间:信源的描述与分类第11页,本讲稿共134页单消息(符号)信源单消息(符号)信源连续变量信源连续变量信源其中:对于连续变量信源信源的描述与分类第12页,本讲稿共134页平稳信源平稳信源n信源输出的消息由一系列符号序列组成。该信源输出的消息可看做时间上或空间上离散的一系列
6、随机变量,即随机矢量。用N维随机矢量随机矢量X=(X,X,XN)来描述,其中N可为有限正整数或可数的无限值。N维随机矢量X也称为随机序列。n为了便于分析,假设信源输出的是平稳的随机序列,即序列的统计性质与时间的推移无关。很多实际信源也满足这个假设。n若信源输出的随机序列X=(X,X,XN)中,每个随机变量Xi(i=1,2,,N)都是离散型随机变量,而且随机矢量X的各维概率分布都与时间起点无关,也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为离散平稳信源离散平稳信源。如中文自然语言文字,离散化平面灰度图像都是这种离散型平稳信源。信源的描述与分类第13页,本讲稿共134页无记
7、忆信源无记忆信源n在某些简单的离散平稳信源情况下,信源先后发出的一个个符号彼此是统计独立的。也就是说信源输出的随机矢量X=(XXX)中,各随机变量Xi(i=1,2,N)之间是无依赖的、统计独立的,则N维随机矢量的联合概率分布满足P(X)=P()P()P()n称由上述信源空间X,P(x)描述的信源X为离散无记忆信源。该信源在不同时刻发出的符号之间是无依赖的,彼此统计独立的。信源的描述与分类第14页,本讲稿共134页离散无记忆信源离散无记忆信源X X的的N N次扩展信源次扩展信源n无记忆信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。N次扩展信源是由离散无记忆信源输出N长的
8、随机序列构成的信源。n离散无记忆信源的N次扩展信源的数学模型是信源空间X的N重空间。信源的描述与分类第15页,本讲稿共134页有记忆信源有记忆信源n一般情况下,信源在不同时刻发出的符号之间是相互依赖的。即信源输出的平稳随机序列X中,各随机变量Xi之间是有依赖的。如:在汉字组成的中文序列中,只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以,在汉字序列中前后文字的出现是有依赖的,不能认为是彼此不相关的。这种信源称为有记忆信源有记忆信源。n在N维随机矢量的联合概率分布中,引入条件概率分布条件概率分布来说明它们之间的关联。信源的描述与分类第16
9、页,本讲稿共134页马尔可夫信源马尔可夫信源n表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前若干个符号的依赖关系强,而与更前面的符号依赖关系弱。为此,可以限制随机序列的记忆长度。n当记忆长度为记忆长度为m+1时,称这种有记忆信源为m阶阶马尔可夫信源马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关,与更前面的符号无关。信源的描述与分类第17页,本讲稿共134页时齐马尔可夫信源时齐马尔可夫信源n设马尔可夫信源各时刻随机变量的取值为xk,xkXk,k=1,2,,i-1,i,i+1,N,则描述随机序列中各随机变量之间依赖关系的条件概率为P(xi/xi+2xi+1xi-
10、1xi-2xi-3xi-mx1)=(xi/xi-1xi-2xi-3xi-m)(i=1,2,N)n如果上述条件概率与时间起点i无关,即信源输出的符号序列可看成为时齐马尔可夫链,则此信源称为时齐马尔可信源。信源的描述与分类第18页,本讲稿共134页离散序列信源总结离散序列信源总结信源的描述与分类第19页,本讲稿共134页随机波形信源随机波形信源n更一般地说,实际信源输出的消息常常是时间和取值都是连续的。例如,语音信号X(t)、热噪声信号n(t)、电视图像信号X(x0,y0,t)等时间连续函数。同时,在某一固定时间t,它们的可能取值又是连续的和随机的。对于这种信源输出的消息,可用随机过程随机过程来描
11、述。称这类信源为随机波形信源随机波形信源。信源的描述与分类第20页,本讲稿共134页实际信源实际信源n实际信源在离离散散情况下是消消息息序序列列信信源源,在连连续续情况下是随随机机过过程程信信源源,它们分别代表数字与模拟信源数字与模拟信源。信源的描述与分类第21页,本讲稿共134页离散序列信源离散序列信源其中:i=1,2,n为每个消息(符号)取值的种类数 l=1,2,L为消息(符号)序列的长度应注意的是i和l是代表两个不同范畴的变量,表示不同的概念,切勿混淆。i=1,2,nl=1,2,L信源的描述与分类第22页,本讲稿共134页离散序列信源离散序列信源信源输出是一组随机序列(矢量):其样值为:
12、对应概率为:由于每个随机变量 有n种取值,则 有 种可能取值。信源的描述与分类第23页,本讲稿共134页离散序列信源离散序列信源n例:最简单L=3的三位PCM信源:这时L=3,n=2,即i=0,1,则有:信源的描述与分类第24页,本讲稿共134页连续信源连续信源n在实际的连续信源中,可以采用两种方法进行分析n一类是将连续信源离散化随机序列信源n另一类是仍然采用随机过程来分析n什么样的信源可以进行离散化处理?n只要满足一个非常宽松的条件,即满足限时(T)、限频(F)的连续消息信源,即满足物理可实现条件下,均可离散化为随机序列。信源的描述与分类第25页,本讲稿共134页实际信源举例实际信源举例n1
13、)图像信源 图像信源一般可以引用一个五元的随机场来表示:(简化)主要统计特性:初步可以认为是一个近似的平稳遍历过程信源的描述与分类第26页,本讲稿共134页实际信源举例实际信源举例n对于数字型图像信号,可以采用马氏链模型 而 为相邻像素之间的相关系数。信源的描述与分类第27页,本讲稿共134页实际信源举例实际信源举例n2)语音信源可以近似用一个一维随机过程U(,t)表示。严格的讲,它是一个非平稳过程,但是对于短时段(5-50ms)可认为是平稳的,且某些是随机噪声(清辅音)而某些时段则呈现周期性特征(浊音),还有一些短时段是二者的混合。信源的描述与分类第28页,本讲稿共134页2.1 单符号离散
14、信源单符号离散信源数学模型:第29页,本讲稿共134页常用的概率论的基本概念和性质常用的概率论的基本概念和性质n先验概率、联合概率、条件概率及其相互关系:(1)、(2),(3),单符号离散信源第30页,本讲稿共134页常用的概率论的基本概念和性质常用的概率论的基本概念和性质(4)(5)当X、Y相互独立时,(6),单符号离散信源第31页,本讲稿共134页信息无处不在,但:信息用什么表示?如何表示?不确定性携载的信息可用随机变量的不确定性或随机性作为信息的表示单符号离散信源信息量信息量第32页,本讲稿共134页n非负性n可加性n等概时与取值空间N的关系(单调增)n与发生的概率P的关系(单调减)考察
15、、分析信息的特征考察、分析信息的特征单符号离散信源第33页,本讲稿共134页自信息量自信息量n定义:一个随机事件发生所带来的信息量称为自信息量,简称自信息。n计算公式:n单位:比特(以2为底);奈特(自然对数);哈特(以10为底)1比特=0.693奈特=0.301哈特单符号离散信源第34页,本讲稿共134页自信息(量)的性质自信息(量)的性质(1)I(xi)非负(2)当p(xi)=1时,I(xi)=0,即必然事件不含有任何不确定性,因而不含有任何信息量(3)当p(xi)=0时,I(xi)=,即不可能事件一旦发生,带来的信息量是非常大的,所产生的后果也是难以想象的。(4)I(xi)是p(xi)的
16、单调递减函数单符号离散信源第35页,本讲稿共134页联合自信息量联合自信息量联合自信息量:当X、Y相互独立时,单符号离散信源第36页,本讲稿共134页条件自信息量条件自信息量定义:特定条件下随机事件发生所带来的信息量。计算公式:自信息量、条件自信息量与联合自信息量的关系:单符号离散信源第37页,本讲稿共134页互信息量与条件互信息量互信息量与条件互信息量单符号离散信源第38页,本讲稿共134页互信息量与条件互信息量互信息量与条件互信息量n交互信息量,简称互信息,用I(xi;yj)表示。n计算公式:单符号离散信源第39页,本讲稿共134页互信息量与条件互信息量互信息量与条件互信息量单符号离散信源
17、第40页,本讲稿共134页互信息的性质互信息的性质(1)对称性,即(2)当X、Y相互独立时,互信息为0(3)互信息可为正值或负值单符号离散信源第41页,本讲稿共134页条件互信息条件互信息(1)定义:在给定zk条件下,xi与yj之间的互信息量(2)计算公式:(3)一个联合事件yjzk发生后所提供的有关xi的信息量等于zk发生后提供的有关xi的信息量与给定zk条件下再出现yj后所提供的有关xi的信息量之和。单符号离散信源第42页,本讲稿共134页信源熵信源熵n定义:信源各个离散消息的自信息量的数学期望为信源的平均信息量,一般称为信源的信息熵,也叫信源熵或香农熵,有时称为无条件熵或熵函数熵函数,简
18、称熵,记为H(.)n计算公式:n单位:比特/信源符号(以2为底)单符号离散信源第43页,本讲稿共134页熵的物理含义熵的物理含义观察随机变量X、Y、ZXP(x)a1 a2 0.01 0.99ZP(y)a1 a2 a3 a4 a50.2 0.2 0.2 0.2 0.2YP(z)a1 a2 0.5 0.5H(X)=-0.01log0.01-0.99log0.99=0.08(比特/符号)H(Y)=-0.5log0.5-0.5log0.5=1(比特/符号)H(Z)=5(-0.2log0.2)=2.32(比特/符号)单符号离散信源第44页,本讲稿共134页信源熵信源熵信源熵的物理含义:n熵是随机变量的随
19、机性的描述n变量Y、Z等概,随机性大,变量X不等概,则随机性小n等概情况下,可取值越多,随机性越大nH()是描述随机变量所需的比特数n熵是随机变量平均平均不确定性的描述nX试验中发生a1,获得的自信息为-log0.01=6.64(bit)nY试验中发生a1,获得的自信息为-log0.5=2.32(bit)nH()反映的是平均的不确定性单符号离散信源第45页,本讲稿共134页香农熵与热力学中热熵的关系熵熵n这个名词是香农从物理学中的统计热力学借用过来的,在物理学中称它为热熵热熵是表示分子混乱程度的一个物理量,这里,香农引用它来描述信源的平均不确定性,含义是类似的。但是在热力学中已知任何孤立系统的
20、演化,热熵只能增加不能减少;而在信息论中,信息熵正相反,只会减少,不会增加。所以有人称信息熵为负热熵负热熵。n二者还有一个重大差别:热熵是有量纲的,而香农熵是无量纲的。单符号离散信源第46页,本讲稿共134页条件熵条件熵(1)定义:条件自信息量的数学期望(2)计算公式:(3)在已知yj条件下,X的条件熵H(X/yj)为:(4)单符号离散信源第47页,本讲稿共134页联合熵联合熵(1)计算公式(2)单符号离散信源第48页,本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理(1)非负性(2)对称性:说明熵的总体特征,它只与信源的总体结构有关,而不在乎个别消息的概率,甚至与消息的取值无关。
21、(3)最大离散熵定理:信源X包含有n个不同离散消息时,信源熵H(X)有:H(X)logn,当且仅当X中的各个消息出现的概率全相等时,上式取等号。单符号离散信源第49页,本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理(4)扩展性(5)确定性(6)可加性单符号离散信源第50页,本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理(7)极值性含义:任一概率分布对其它概率分布的自信息量取数学期望时,必大于它自身的熵。单符号离散信源第51页,本讲稿共134页信源熵的基本性质和定理信源熵的基本性质和定理(7)极值性(续)可以证明条件熵不大于信源熵(无条件熵),即:单符号离散信源第52
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第二 信源 精选 PPT
限制150内