信息论基础自信息量精.ppt

《信息论基础自信息量精.ppt》由会员分享，可在线阅读，更多相关《信息论基础自信息量精.ppt（48页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论基础自信息量第1页，本讲稿共48页（1）信息是可以）信息是可以识别识别的的（2）信息的载体是可以）信息的载体是可以转换转换的的（3）信息是可以）信息是可以存贮存贮的的（4）信息是可以）信息是可以传递传递的的（5）信息是可以）信息是可以加工加工的的（6）信息是可以）信息是可以共享共享的的信息具有以下信息具有以下特征特征第2页，本讲稿共48页1.1 自信息自信息 n n通信系统模型通信系统模型n n信源的分类信源的分类n n概率论基础概率论基础n n信息的可度量性信息的可度量性n n自信息自信息n n熵熵第3页，本讲稿共48页v信源信源：产生消息和消息序列的来源。：产生消息和消息序列的来源。

2、通常信源的消息序列是随机发生的，因此要用随机变量来描述。通常信源的消息序列是随机发生的，因此要用随机变量来描述。通信系统模型通信系统模型第4页，本讲稿共48页v编码器编码器：把消息变换成适合于信道传输的信号。：把消息变换成适合于信道传输的信号。信源编码器信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。：将信源的输出进行适当的变换，以提高信息传输的有效性。信道编码器信道编码器：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。干扰能力，以提高信息传输的可靠性。通信系统模型通信系统

3、模型第5页，本讲稿共48页v调制器调制器：将信道编码器输出的数字序列变换为：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合振幅、频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。在信道中进行较长距离的传输。通信系统模型通信系统模型第6页，本讲稿共48页v解调器解调器：从载波中提取信号，是调制的逆过程：从载波中提取信号，是调制的逆过程 MODEM通信系统模型通信系统模型第7页，本讲稿共48页v信道信道：信号由发送端传输到接收端的媒介。：信号由发送端传输到接收端的媒介。典型的传输信道有电缆、高频无线信道光纤通典型的传输信道有电缆、高频无线信道光纤通道等；典

4、型的存储媒介有磁芯、磁盘、磁带等。道等；典型的存储媒介有磁芯、磁盘、磁带等。通信系统模型通信系统模型第8页，本讲稿共48页v干扰源干扰源：对传输信道或存储媒介构成干扰的来源的总：对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述；以用概率空间来描述；通信系统模型通信系统模型第9页，本讲稿共48页v信道译码器信道译码器：利用信道编码时所提供的多余度，检查或纠正数：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。字序列中的错误。v信源译码器信源译码器：把经过信道译码器核对过的信息序列转换

5、成适合：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。接收者接收的信息形式。通信系统模型通信系统模型第10页，本讲稿共48页信宿信宿：消息传送的对象：消息传送的对象（人或机器（人或机器）。通信系统模型通信系统模型第11页，本讲稿共48页q在在通通信信系系统统中中形形式式上上传传输输的的是是消消息息，但但实实质质上上传传输输的的是是信信息息。消消息息只只是是表表达达信信息息的的工工具具、载载荷荷信信息息的的客客体体。显显然然，在在通通信信中中被被利利用用的的(亦亦即即携携带信息的带信息的)实际客体是不重要的，而重要的是信息。实际客体是不重要的，而重要的是信息。q通通信信的的结结

6、果果是是消消除除或或部部分分消消除除不不确确定定性性从从而而获得信息。获得信息。通信系统模型通信系统模型第12页，本讲稿共48页信源的分类信源的分类4按照信源发出的消息在时间上和幅度上按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连的分布情况可将信源分成离散信源和连续信源两大类续信源两大类 信源信源离散信源离散信源连续信源连续信源第13页，本讲稿共48页1.1.连续信源连续信源 连连续续信信源源是是指指发发出出在在时时间间和和幅幅度度上上都都是是连连续续分分布布的的连连续续消消息息（模模拟拟消消息息）的的信信源源，如如语语言言、图像、图形等都是连续消息。图像、图形等都是连续

7、消息。2.2.离散信源离散信源 离离散散信信源源是是指指发发出出在在时时间间和和幅幅度度上上都都是是离离散散分分布布的的离离散散消消息息的的信信源源，如如文文字字、数数字字、数数据据等等符符号号都是离散消息。都是离散消息。信源的分类信源的分类第14页，本讲稿共48页离散无记忆信源离散无记忆信源离散有记忆信源离散有记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源离离散散信信源源信源的分类信源的分类离散无记忆信源离散无记忆信源所发出的各个符号是

8、相互独立的，所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。性，各个符号的出现概率是它自身的先验概率。离散有记忆信源离散有记忆信源所发出的各个符号的概所发出的各个符号的概率是有关联的。率是有关联的。第15页，本讲稿共48页离散无记忆信源离散无记忆信源离散有记忆信源离散有记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源离离散散信信源源信

9、源的分类信源的分类信源每次只发出信源每次只发出一个符号代表一一个符号代表一个消息；个消息；信源每次发出一组含二个以信源每次发出一组含二个以上符号的符号序列代表一个上符号的符号序列代表一个消息消息。第16页，本讲稿共48页离散无记忆信源离散无记忆信源离散有记忆信源离散有记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源离离散散信信源源信源的分类信源的分类用信源发出的一个符号序列用信源发出的一个符号序列的整体概率（即联合概率）的整体概率（即联合概

10、率）反映有记忆信源的特征反映有记忆信源的特征某一个符号出现的概率只某一个符号出现的概率只与前面一个或有限个符号与前面一个或有限个符号有关，而不依赖更前面的有关，而不依赖更前面的那些符号那些符号第17页，本讲稿共48页 符号符号 的先验概率：的先验概率：一个离散信源发出的各个符号消息的集合为一个离散信源发出的各个符号消息的集合为 ，它们的概率分别为，它们的概率分别为 ，为符号为符号 的的先验概率先验概率。知识回顾知识回顾-概率论基础概率论基础第18页，本讲稿共48页,显然有显然有 通常把它们写到一起，称为通常把它们写到一起，称为概率空间概率空间：概率空间概率空间知识回顾知识回顾-概率论基础概率论

11、基础第19页，本讲稿共48页设X取值 x1,x2,xi,xn，Y取值 y1,y2,yj,ym，则联合概率p(xiyj)X 取值xi,Y 取值yj同时成立的概率条件概率p(yj/xi)X 取值xi 条件下,Y 取值yj的概率条件概率p(xi/yj)Y 取值yj条件下,X取值xi的概率知识回顾知识回顾-概率论基础概率论基础第20页，本讲稿共48页性质知识回顾知识回顾-概率论基础概率论基础第21页，本讲稿共48页1.1 自信息自信息 4通信系统模型通信系统模型4信源的分类信源的分类4概率论基础概率论基础4信息的可度量性信息的可度量性4自信息自信息4熵熵第22页，本讲稿共48页通信系统模型通信系统模型

12、离散无记忆信源离散无记忆信源离散有记忆信源离散有记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源离离散散信信源源第23页，本讲稿共48页,其中其中 离散无记忆信源离散无记忆信源数学模型数学模型集合X中，包含该信源包含的所有可能输出的消息，集合P中包含对应消息的概率密度，各个消息的输出概率总和应该为1。第24页，本讲稿共48页l1）中国女子乒乓球队夺取亚运会冠军。l2）中国男子足球队夺取世界杯赛冠军。信息的可度量性（信息的可度量性（1 1）既

13、然不确定性的大小能够度量，所以信息是可以度量的某一事物状态的不确定性的大某一事物状态的不确定性的大小，与该事物可能出现的不同小，与该事物可能出现的不同状态数目以及各状态出现的概状态数目以及各状态出现的概率大小有关率大小有关第25页，本讲稿共48页设有设有12枚同值硬币，其中有一枚同值硬币，其中有一枚为假币，且只知道假币的重枚为假币，且只知道假币的重量与真币的重量不同，但不知量与真币的重量不同，但不知究竟是重还是轻。现采用天平究竟是重还是轻。现采用天平比较左右两边轻重的方法来测比较左右两边轻重的方法来测量（因无砝码）。为了在天平量（因无砝码）。为了在天平上称出哪一枚是假币，试问至上称出哪一枚是假

14、币，试问至少必须称多少次？少必须称多少次？信息的可度量性（信息的可度量性（2 2）第26页，本讲稿共48页讨论题o一般的方法是，在天平的两端各放一个硬币：如果平衡，则都不是假币；如果不平衡，则有一个是假币，再与别的任一硬币比较。第27页，本讲稿共48页将12枚硬币平分为3堆；在天平的两端各放一堆：如果平衡，则假币在剩余一堆；通过这步操作，可消除一些不确定性，获得一定的信息量：存在的不确定性是 的函数：前前存在的不确定性是 的函数：后后讨论题第28页，本讲稿共48页u信息量的直观定义：收到某消息获得的信息量=不确定性减少的量=（收到该消息前关于某事件的不确定性）-（收到该消息后关于某事件的不确定

15、性）讨论题第29页，本讲稿共48页特殊情况：l 发生概率为1的必然事件，无不确定性；l 发生概率为0的不可能事件，确定性无限大l 独立事件发生包含的信息量为各事件信息量的和。信息的可度量性（信息的可度量性（3）某事件发生所含有的信息量应是该事件发生先验概率的函数：某事件发生所含有的信息量应是该事件发生先验概率的函数：xi的自信息的自信息第30页，本讲稿共48页（3）当时（4）当 时（5）两个独立事件的联合信息量应等于它们分别的信息量之和。(2)应是先验概率的单调递减函数，即当 时根据客观事实和人们的习惯概念，应满足以下条件：自信息自信息(1)非负性：第31页，本讲稿共48页根据上述条件可以从数

16、学上证明这种函数形式是对数函数，即：有两个含义：1、当事件发生前，表示该事件发生的不确定性；2、当事件发生后，标是该事件所提供的信息量自信息自信息第32页，本讲稿共48页 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位。自信息自信息第33页，本讲稿共48页例题（例题（1）设有12枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？（用信息论方法证明）第34页，本讲稿共48页4设“在1

17、2枚同值硬币中，某一枚为假币这事件为a。其出现的概率为4设“假币重量比真币重量重，或轻这事件为b。其出现的概率为 4事件a,b的不确定性为 4要发现某假币并知其比真币重还是轻所需的信息量是消除这两事件的不确定性。这两事件是统计独立事件所以所需获得的信息量 例题（例题（1 1）-解答解答第35页，本讲稿共48页4而在天平上称次能判断出三钟情况：重、轻和相等。这三种情况是等概率的 4所以，天平测一次能获得的信息量(即消除的不确定性)为4则至少必须称的次数为例题（例题（1）-解答解答第36页，本讲稿共48页4如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几?”则答案中含有多少信息量?4如果

18、你在已知今天是星期四的情况下提出同样的问题则答案中你能获得多少信息量？4(假设已知星期一至星期日的排序)例题（例题（2）第37页，本讲稿共48页4设事件A知道今天是星期几的悄况下，问明天是星期几的答案；事件B为已知今天是星期四的情况，问明天是星期几的答案。则从而，从事件A中获得的信息量从事件B中获得的信息量由此可看出，必然事件出现的概率为必然事件出现的概率为1，从中获得的信息量为零，从中获得的信息量为零。例题（例题（2）-解答解答第38页，本讲稿共48页设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用 来表示晴天，以 来表示雨天，则我们的信源模型如下：例题（例题（3

19、）第39页，本讲稿共48页i.一一个个以以等等概概率率出出现现的的二二进进制制码码元元（0，1）所所包包含的自信息量为：含的自信息量为：I（0）=I（1）=-log2（1/2）=log22=1 bit ii.若若是是一一个个m位位的的二二进进制制数数，因因为为该该数数的的每每一一位位可可从从0,1两两个个数数字字中中任任取取一一个个，因因此此有有2m个个等等概概率率的的可可能能组组合合。所所以以I=-log2(1/2m)=m bit，就就是是需需要要m比比特特的信息来指明这样的二进制数。的信息来指明这样的二进制数。例题（例题（4）第40页，本讲稿共48页4某电子厂共能生产四种仪器A,B,C,D

20、、其中，A因技术落后停产了，B占全部产量的20，C占30，D占50。有两个消息“现在完成1台仪器B”，和“现在完成1台仪器C”，试确定哪一种消息提供的信息量大些?其中有什么规律?例题（例题（5）第41页，本讲稿共48页4解：解：因为 以及消息提供的信息量与其出现概率倒数的对数成正比，所以 ，即”现在完成一台仪器B”提供的信息量大于”现在完成一台仪器C”提供的信息量。4规律：规律：(1)出现概率为零的消息可略去。(2)概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。例题（例题（5）-解答解答第42页，本讲稿共48页离散信源的（信息）熵定义自信息的数学期望为信源的平均信息量信息熵

21、具有以下两种物理含义：1、表示信源输出前信源的平均不确定性2、表示信源输出后，每个符号所携带的平均信息量第43页，本讲稿共48页天气预报，有两个信源 则：说明第二个信源的平均不确定性更大一些第二个信源的平均不确定性更大一些例题例题第44页，本讲稿共48页熵函数可以表示为：离散信源的（信息）熵第45页，本讲稿共48页作业：4P234T134T15第46页，本讲稿共48页例题（例题（5）4某大学设置五个学院，每个学院的学生数分别如下：学院：数学 物理 外语 外贸 医学 人数：300 400 500 600 200 问“学生王某是外语学院学生”这一消息提供的信息量是多少？第47页，本讲稿共48页4解：总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：该消息提供的信息量：例题（例题（5）-解答解答第48页，本讲稿共48页