《通信原理信息》PPT课件.ppt

《《通信原理信息》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《通信原理信息》PPT课件.ppt（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、通信原理通信原理张敏张敏通信原理通信原理二、想不到的价值二、想不到的价值信息信息Reviewv通信归根到底是点对点的通信通信归根到底是点对点的通信v通信系统通信系统3Review4Reviewv数字通信系统数字通信系统v信源编码：提高传输的有效性信源编码：提高传输的有效性v信道编码：提高传输的可靠性信道编码：提高传输的可靠性5Reviewv通信系统的性能指标通信系统的性能指标6单元概述 通信系统通的是什么信？什么是信息？信息怎么计算？信息度量有什么意义？72 21 1 想知道什么想知道什么 信息信息 消息（消息（MESSAGEMESSAGE）信号（信号（SINGNALSINGNAL）信息（信息

2、（INFORMATIONINFORMATION）82 21 1 想知道什么想知道什么 信息信息 消消息息（MESSAGEMESSAGE）：声声音音、文文字字或或者者图图像像等等等这种人能够感知的描述。等这种人能够感知的描述。信号（信号（SINGNALSINGNAL）：消息的载体形式。消息的载体形式。信信息息（INFORMATIONINFORMATION）：抽抽象象的的、本本质质的的。是消息的有效内容。是消息的有效内容。92 21 1 想知道什么想知道什么信息信息（1）杀敌时的鼓声就是一个信号，他要传达的信息是冲锋陷阵、奋勇杀敌。（2）仗打得差不多的时候的锣声也是一个信号，传达的信息是鸣金收兵，

3、咱不打了。（3）灯塔上的灯光是信号，它要传达的信息可能是此处有暗礁，请绕行！（4）航海用的旗语是信号，它要传达的信息因旗语的不同而异。（5）无线电报用滴答的代码传递消息，无线电传输的是无线电信号。（6）电话将声音信号转换为电信号在电缆中传送。信息信息=信号？消息？信号？消息？102 21 1 想知道什么想知道什么 信息信息“信息信息”(information)既不等于既不等于消息消息(message)，也不等同于，也不等同于信号信号！信息可被理解为消息中包含的信息可被理解为消息中包含的有意义有意义的内容的内容消息可以有各种各样的形式，但消息的内容可统一消息可以有各种各样的形式，但消息的内容可统

4、一用信息来表述用信息来表述传输信息的多少可直观地使用传输信息的多少可直观地使用“信息量信息量”进行衡量进行衡量112 21 1 想知道什么想知道什么想知道什么想知道什么信息信息信息信息v例如，在情人节那天甲对乙说：例如，在情人节那天甲对乙说：“我爱你我爱你”，在在愚人节那天甲对乙说：愚人节那天甲对乙说：“我爱你我爱你”，前一消息包前一消息包含的信息显然要比后者少些。含的信息显然要比后者少些。同样，当你听说同样，当你听说“有人被狗咬了有人被狗咬了”并不会感到惊奇，但若有人告诉并不会感到惊奇，但若有人告诉你你“一条狗被人咬了一条狗被人咬了”你一定非常吃惊。你一定非常吃惊。v对接收者来说，对接收者来

5、说，事件愈不可能发生，愈会使人感事件愈不可能发生，愈会使人感到意外和惊奇，则信息量就愈大到意外和惊奇，则信息量就愈大v量度消息中所含的信息量值，必须能够用来估计量度消息中所含的信息量值，必须能够用来估计任何消息的信息量，且与消息种类无关任何消息的信息量，且与消息种类无关v消息中所含信息的多少也应和消息的重要程度无消息中所含信息的多少也应和消息的重要程度无关关122 22 2 废话有多少信息量废话有多少信息量 用相同的消息量来表达的信息量是不一样的。对于一个通信系统，若用相同长度的二进制信号，能传输的信息量越大，说明其通信能力越强。132 2 2 2 废话有多少信息量废话有多少信息量废话有多少信

6、息量废话有多少信息量v铁路系统运送货物量多少采用铁路系统运送货物量多少采用“货运量货运量”（不管（不管运送什么货物）来度量运送什么货物）来度量v通信系统中传输信息的多少采用通信系统中传输信息的多少采用“信息量信息量”来度来度量。量。v注意：信息量的大小实际上与内容无关注意：信息量的大小实际上与内容无关一个消息对于接收者很有价值（即信息量大）在于这个消息是他不知道的事情或觉得不可能发生的事情（即小概率事件）。142 2 2 2 废话有多少信息量废话有多少信息量信息与信息量信息与信息量:消消消消息息息息中中中中所所所所包包包包含含含含信信信信息息息息量量量量的的的的多多多多少少少少，不不不不是是是

7、是由由由由消消消消息息息息的的的的多少来决定，而是与该消息发生的概率密切相关。多少来决定，而是与该消息发生的概率密切相关。多少来决定，而是与该消息发生的概率密切相关。多少来决定，而是与该消息发生的概率密切相关。消消消消息息息息发发发发生生生生的的的的概概概概率率率率越越越越小小小小（越越越越不不不不可可可可预预预预测测测测），信信信信息息息息量就越大。量就越大。量就越大。量就越大。且概率为零时且概率为零时且概率为零时且概率为零时(不可能发生事件不可能发生事件不可能发生事件不可能发生事件)信息量为无信息量为无信息量为无信息量为无穷大，穷大，穷大，穷大，概率为概率为概率为概率为1 1 1 1时时时

8、时(必然事件必然事件必然事件必然事件)信息量为信息量为信息量为信息量为0 0 0 0 152 22 2 废话有多少信息量废话有多少信息量 （1）消息消息x x发生的概率发生的概率P(x)P(x)越大，信息量越大，信息量I I越越小；反之，发生的小；反之，发生的概率概率P(x)P(x)越小，信息量就越大越小，信息量就越大。162 22 2 废话有多少信息量废话有多少信息量 （2 2 2 2）当概率为）当概率为）当概率为）当概率为1 1 1 1时，信息量为时，信息量为时，信息量为时，信息量为0 0 0 0 P=1时时 I=0P=0时时 I=172 22 2 废话有多少信息量废话有多少信息量（3 3

9、 3 3）当一个消息由多个独立的小消息组成时，那）当一个消息由多个独立的小消息组成时，那）当一个消息由多个独立的小消息组成时，那）当一个消息由多个独立的小消息组成时，那么这个消息所含信息量应等于各小消息所含信息量么这个消息所含信息量应等于各小消息所含信息量么这个消息所含信息量应等于各小消息所含信息量么这个消息所含信息量应等于各小消息所含信息量的和，的和，的和，的和，IP(x1)P(x2)=IP(x1)+IP(x2)+IP(x1)P(x2)=IP(x1)+IP(x2)+IP(x1)P(x2)=IP(x1)+IP(x2)+IP(x1)P(x2)=IP(x1)+IP(x2)+182 22 2 废话有

10、多少信息量废话有多少信息量废话有多少信息量废话有多少信息量v什么函数能满足以上什么函数能满足以上3个要求？个要求？对数！a=2 单位为比特单位为比特(bit，或，或b)a=e 单位为奈特单位为奈特(nat，或，或n)a=10 单位为笛特单位为笛特(Det)或称为十进制单位或称为十进制单位a=r 单位称为单位称为r进制单位进制单位 192 22 2 废话有多少信息量废话有多少信息量废话有多少信息量废话有多少信息量v课本课本P16比特信息量的单位，但工程上习惯把它作为信号的单位通信中的基本问题，就是在一点再生另一点的信息在实际的通信系统中，消息往往是指发送的某些符号。这些符号能携带多少信息量，与这

11、些符号发生的概率有关，而对于接收端来说，接收到的这些符号的概率是一定的。20【例例2.1】试试计计算算二二进进制制符符号号等等概概率率和和多多进进制制(M进进制制)等等概概率率时每个符号的信息量。时每个符号的信息量。解：二进制等概率时，即解：二进制等概率时，即P(1)=P(0)=1/2M进制等概率时，有进制等概率时，有 P(1)=P(2)=P(M)=1/M(M进制单位进制单位)=log2M(bit)21【例例2.22.2】试试计计算算二二进进制制符符号号不不等等概概率率时时的的信信息息量量(设设P P(1)=(1)=P P)。解解 P(1)=P，故故P(0)=1-P，则，则 可见可见,不等概率

12、时，不等概率时，每个符号的信息量不同每个符号的信息量不同22例题例题v一个信息源由一个信息源由0、1、2共共3个符号组成，个符号组成，3个符号个符号出现的概率分别是出现的概率分别是1/8、1/4和和1/2，且每个符，且每个符号出现都是独立的。如果消息序列长为号出现都是独立的。如果消息序列长为18，其中，其中0出现出现8次，次，1和和2各出现各出现5次。试求消息序列所包次。试求消息序列所包含的信息量。含的信息量。v0符号所携带的信息量：符号所携带的信息量：-log2(1/8)=3bitv1符号所携带的信息量：符号所携带的信息量：-log2(1/4)=2bitv2符号所携带的信息量：符号所携带的信

13、息量：-log2(1/2)=1bitv消息序列的总信息量：消息序列的总信息量：I=3*8+2*5+1*5=39bit23例题例题（顺便引出（顺便引出“信息熵信息熵”的概念）的概念）v某信源每天播报某地的天气预报，此地晴天、多云、某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为阴、雨的概率分别为1/2、1/4、1/8、1/8v求：求：（1）晴、多云、阴、雨的各自所含信息量（2）信息串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量（3）此信源的每个消息的平均信息量（称为“信息熵”）24例题例题（顺便引出（顺便引出“信息熵信息熵”的概念）的概念）某信源每天播报某地的天气预报，此

14、地晴天、多云、阴、雨的某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为概率分别为1/2、1/4、1/8、1/8求：求：（1）晴、多云、阴、雨的各自所含信息量25例题例题（顺便引出（顺便引出“信息熵信息熵”的概念）的概念）某信源每天播报某地的天气预报，此地晴天、多云、阴、雨某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为的概率分别为1/2、1/4、1/8、1/8求：求：（2）信息串）信息串“晴晴-多云多云-阴阴-晴晴-晴晴-晴晴-多云多云-雨雨”所含的所含的总信息量总信息量26例题例题（顺便引出（顺便引出“信息熵信息熵”的概念）的概念）称为信息熵，因为其通用公式为

15、称为信息熵，因为其通用公式为这个公式与物理热力学中的熵很相似。但热力学中的熵总是这个公式与物理热力学中的熵很相似。但热力学中的熵总是增加的，而信息熵在通信过程中则总是减小的。增加的，而信息熵在通信过程中则总是减小的。请注意其量纲请注意其量纲某信源每天播报某地的天气预报，此地晴天、多云、阴、某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为雨的概率分别为1/2、1/4、1/8、1/8求：求：（3）此信源的每个消息的平均信息量（称为“信息熵”）27平均信息量平均信息量v平均信息量平均信息量等于各个符号的信息量乘以各自出等于各个符号的信息量乘以各自出现的概率之和现的概率之和v二进制时二

16、进制时把把P(1)=P代入，则代入，则 28平均信息量平均信息量下面计算多个信息符号的平均信息量。设各符号出现的概率为下面计算多个信息符号的平均信息量。设各符号出现的概率为 则每个符号所含信息的平均值则每个符号所含信息的平均值(平均信息量平均信息量)为为 29【例【例2.3】设由设由5个符号组成的信息源，个符号组成的信息源，其相应概率为其相应概率为 试求信源的平均信息量试求信源的平均信息量I。解解 5个符号等概率出现时个符号等概率出现时 30【例例2.4】一信息源由一信息源由4个符号个符号A、B、C、D组成，它们出现组成，它们出现的概率为的概率为3/8、1/4、1/4、1/8，且每个符号的出现

17、都是独立的。，且每个符号的出现都是独立的。试求信息源输出为试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。的信息量。解：信源输出的信息序列中，解：信源输出的信息序列中，A出现出现23次，次，B出现出现14次，次，C出出现现13次，次，D出现出现7次，共有次，共有57个。则个。则出现出现A的信息量为的信息量为 31出现出现B的信息量为的信息量为 出现出现C的信息量为的信息量为 出现出现D的信息量为的信息量为 32该信息源总的信息量为该信息源总的信息量为 I=30.11+28.35+27.72+21.18=

18、107.36(bit)每一个符号的平均信息量为每一个符号的平均信息量为 上上面面计计算算中中，我我们们没没有有利利用用每每个个符符号号出出现现的的概概率率来来计计算算，而是用每个符号在而是用每个符号在5757个符号中出现的次数个符号中出现的次数(频度频度)来计算的来计算的 33实际上，用平均信息量公式直接计算可得实际上，用平均信息量公式直接计算可得 总的信息量为总的信息量为 I=571.90=108.30(bit)可以看出，本例中两种方法的计算结果是有差异的，原因可以看出，本例中两种方法的计算结果是有差异的，原因就是前一种方法中把频度视为概率来计算。当信源中符号出现就是前一种方法中把频度视为概

19、率来计算。当信源中符号出现的数目的数目m时，则上两种计算方法结果一样。时，则上两种计算方法结果一样。当当57个符号等概率出现时个符号等概率出现时 34通信中要寻求解决的问题通信中要寻求解决的问题 通信系统的目的是信息传输，接收端通信系统的目的是信息传输，接收端（信宿）要能最大的获取发送端（信源）的信（信宿）要能最大的获取发送端（信源）的信息。要解决以下问题：息。要解决以下问题：1、发送信号的概率如何分布才能的到最大熵？、发送信号的概率如何分布才能的到最大熵？2、最大熵是多少？、最大熵是多少？35 当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵Hm

20、ax=-36图 2-1 熵与概率的关系37 对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。减小或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。38小结小结信息是消息中包含的有意义的内容消息发生的概率越小信息量越大信息量的定义I=-loga(P(x)信息信息平均信息量的计算39信息对学习通信原理的意义信息对学习通信原理的意义v信息这个概念贯穿了所有的通信原理，香农的信信息这个概念贯穿了所有的通信原理，香农的信息论被认为是息论被认为是2

21、0世纪最重要的科学理论之一，也世纪最重要的科学理论之一，也是高层次技术人才必不可少的基础知识是高层次技术人才必不可少的基础知识v我们要学习的通信技术，想要了解这些技术是被我们要学习的通信技术，想要了解这些技术是被怎样创造出来的，就不能不了解信息的含义怎样创造出来的，就不能不了解信息的含义40自测题 v信息和消息有什么区别？信息和消息有什么区别？信息：消息中包含的有意义的内容消息是信息的载体v信息量的定义和单位是什么？信息量的定义和单位是什么？I=-loga(P(x)信息量的单位由底数a决定。当a=2时，信息量的单位为比特41自测题 v设设有有A、B、C3个个消消息息，分分别别以以概概率率1/4、1/8、1/2传传送送，假假设设它它们们出出现现是是相相互互独独立立的的，试求每个消息的信息量。试求每个消息的信息量。42