通信原理信息.pptx

《通信原理信息.pptx》由会员分享，可在线阅读，更多相关《通信原理信息.pptx（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1Review通信归根到底是点对点的通信通信系统第1页/共41页2Review第2页/共41页3Review数字通信系统信源编码：提高传输的有效性信道编码：提高传输的可靠性第3页/共41页4Review通信系统的性能指标第4页/共41页5单元概述 通信系统通的是什么信？什么是信息？信息怎么计算？信息度量有什么意义？第5页/共41页62 21 1 想知道什么 信息 消息（MESSAGEMESSAGE）信号（SINGNALSINGNAL）信息（INFORMATIONINFORMATION）第6页/共41页72 21 1 想知道什么 信息 消息（MESSAGEMESSAGE）：声音、文字或者图像等等

2、这种人能够感知的描述。信号（SINGNALSINGNAL）：消息的载体形式。信息（INFORMATIONINFORMATION）：抽象的、本质的。是消息的有效内容。第7页/共41页82 21 1 想知道什么信息（1）杀敌时的鼓声就是一个信号，他要传达的信息是冲锋陷阵、奋勇杀敌。（2）仗打得差不多的时候的锣声也是一个信号，传达的信息是鸣金收兵，咱不打了。（3）灯塔上的灯光是信号，它要传达的信息可能是此处有暗礁，请绕行！（4）航海用的旗语是信号，它要传达的信息因旗语的不同而异。（5）无线电报用滴答的代码传递消息，无线电传输的是无线电信号。（6）电话将声音信号转换为电信号在电缆中传送。信息=信号？消

3、息？第8页/共41页92 21 1 想知道什么 信息“信息”(information)既不等于消息(message)，也不等同于信号！信息可被理解为消息中包含的有意义的内容消息可以有各种各样的形式，但消息的内容可统一用信息来表述传输信息的多少可直观地使用“信息量”进行衡量第9页/共41页102 21 1 想知道什么想知道什么想知道什么想知道什么信息信息信息信息例如，在情人节那天甲对乙说：“我爱你”，在愚人节那天甲对乙说：“我爱你”，前一消息包含的信息显然要比后者少些。同样，当你听说“有人被狗咬了”并不会感到惊奇，但若有人告诉你“一条狗被人咬了”你一定非常吃惊。对接收者来说，事件愈不可能发生，愈

4、会使人感到意外和惊奇，则信息量就愈大量度消息中所含的信息量值，必须能够用来估计任何消息的信息量，且与消息种类无关消息中所含信息的多少也应和消息的重要程度无关第10页/共41页112 22 2 废话有多少信息量 用相同的消息量来表达的信息量是不一样的。对于一个通信系统，若用相同长度的二进制信号，能传输的信息量越大，说明其通信能力越强。第11页/共41页122 2 2 2 废话有多少信息量废话有多少信息量废话有多少信息量废话有多少信息量铁路系统运送货物量多少采用“货运量”（不管运送什么货物）来度量通信系统中传输信息的多少采用“信息量”来度量。注意：信息量的大小实际上与内容无关一个消息对于接收者很有

5、价值（即信息量大）在于这个消息是他不知道的事情或觉得不可能发生的事情（即小概率事件）。第12页/共41页132 2 2 2 废话有多少信息量信息与信息量:消消息息中中所所包包含含信信息息量量的的多多少少，不不是是由由消消息息的的多少来决定，而是与该消息发生的概率密切相关。多少来决定，而是与该消息发生的概率密切相关。消消息息发发生生的的概概率率越越小小（越越不不可可预预测测），信信息息量就越大。量就越大。且概率为零时且概率为零时(不可能发生事件不可能发生事件)信息量为无信息量为无穷大，穷大，概率为概率为1 1 1 1时时(必然事件必然事件)信息量为信息量为0 0 0 0 第13页/共41页142

6、 22 2 废话有多少信息量 （1）消息消息x x发生的概率发生的概率P(x)P(x)越大，信息量越大，信息量I I越越小；反之，发生的小；反之，发生的概率概率P(x)P(x)越小，信息量就越大越小，信息量就越大。第14页/共41页152 22 2 废话有多少信息量 （2 2 2 2）当概率为）当概率为1 1 1 1时，信息量为时，信息量为0 0 0 0 P=1时 I=0P=0时 I=第15页/共41页162 22 2 废话有多少信息量（3 3 3 3）当一个消息由多个独立的小消息组成时，那）当一个消息由多个独立的小消息组成时，那么这个消息所含信息量应等于各小消息所含信息量么这个消息所含信息量

7、应等于各小消息所含信息量的和，的和，IP(x1)P(x2)IP(x1)P(x2)IP(x1)P(x2)IP(x1)P(x2)=IP(x1)+IP(x2)+=IP(x1)+IP(x2)+=IP(x1)+IP(x2)+=IP(x1)+IP(x2)+第16页/共41页172 22 2 废话有多少信息量废话有多少信息量废话有多少信息量废话有多少信息量什么函数能满足以上3个要求？对数！a=2 单位为比特(bit，或b)a=e 单位为奈特(nat，或n)a=10 单位为笛特(Det)或称为十进制单位a=r 单位称为r进制单位 第17页/共41页182 22 2 废话有多少信息量废话有多少信息量废话有多少信

8、息量废话有多少信息量课本P16比特信息量的单位，但工程上习惯把它作为信号的单位通信中的基本问题，就是在一点再生另一点的信息在实际的通信系统中，消息往往是指发送的某些符号。这些符号能携带多少信息量，与这些符号发生的概率有关，而对于接收端来说，接收到的这些符号的概率是一定的。第18页/共41页19【例2.1】试计算二进制符号等概率和多进制(M进制)等概率时每个符号的信息量。解：二进制等概率时，即P(1)=P(0)=1/2M进制等概率时，有 P(1)=P(2)=P(M)=1/M(M进制单位)=log2M(bit)第19页/共41页20【例2.22.2】试计算二进制符号不等概率时的信息量(设P P(1

9、)=(1)=P P)。解 P(1)=P，故P(0)=1-P，则 可见,不等概率时，每个符号的信息量不同第20页/共41页21例题例题一个信息源由0、1、2共3个符号组成，3个符号出现的概率分别是1/8、1/4和1/2，且每个符号出现都是独立的。如果消息序列长为18，其中0出现8次，1和2各出现5次。试求消息序列所包含的信息量。0符号所携带的信息量：-log2(1/8)=3bit1符号所携带的信息量：-log2(1/4)=2bit2符号所携带的信息量：-log2(1/2)=1bit消息序列的总信息量：I=3*8+2*5+1*5=39bit第21页/共41页22例题（顺便引出“信息熵”的概念）某信

10、源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（1）晴、多云、阴、雨的各自所含信息量（2）信息串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量（3）此信源的每个消息的平均信息量（称为“信息熵”）第22页/共41页23例题（顺便引出“信息熵”的概念）某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（1）晴、多云、阴、雨的各自所含信息量第23页/共41页24例题（顺便引出“信息熵”的概念）某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（2）信息

11、串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量第24页/共41页25例题（顺便引出“信息熵”的概念）称为信息熵，因为其通用公式为这个公式与物理热力学中的熵很相似。但热力学中的熵总是增加的，而信息熵在通信过程中则总是减小的。请注意其量纲某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8求：（3）此信源的每个消息的平均信息量（称为“信息熵”）第25页/共41页26平均信息量平均信息量平均信息量等于各个符号的信息量乘以各自出现的概率之和二进制时把P(1)=P代入，则 第26页/共41页27平均信息量平均信息量下面计算多个信息符号的平均信息量。设各符

12、号出现的概率为 则每个符号所含信息的平均值(平均信息量)为 第27页/共41页28【例2.3】设由5个符号组成的信息源，其相应概率为 试求信源的平均信息量I。解 5个符号等概率出现时 第28页/共41页29【例2.4】一信息源由4个符号A、B、C、D组成，它们出现的概率为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。解：信源输出的信息序列中，A出现23次，B出现14次，C出现13次，D出现7次，共有57个。则出现A的信息量为 第29页/共41

13、页30出现B的信息量为 出现C的信息量为 出现D的信息量为 第30页/共41页31该信息源总的信息量为 I=30.11+28.35+27.72+21.18=107.36(bit)每一个符号的平均信息量为 上面计算中，我们没有利用每个符号出现的概率来计算，而是用每个符号在5757个符号中出现的次数(频度)来计算的 第31页/共41页32实际上，用平均信息量公式直接计算可得 总的信息量为 I=571.90=108.30(bit)可以看出，本例中两种方法的计算结果是有差异的，原因就是前一种方法中把频度视为概率来计算。当信源中符号出现的数目m时，则上两种计算方法结果一样。当57个符号等概率出现时 第3

14、2页/共41页33通信中要寻求解决的问题通信中要寻求解决的问题 通信系统的目的是信息传输，接收端（信宿）要能最大的获取发送端（信源）的信息。要解决以下问题：1、发送信号的概率如何分布才能的到最大熵？2、最大熵是多少？第33页/共41页34 当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵Hmax=-第34页/共41页35图 2-1 熵与概率的关系第35页/共41页36 对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。减小或消除符号间的关联，并使各符号的出现趋于等概，将使

15、离散信源达到最大熵，从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。第36页/共41页37小结小结信息是消息中包含的有意义的内容消息发生的概率越小信息量越大信息量的定义I=-loga(P(x)信息信息平均信息量的计算第37页/共41页38信息对学习通信原理的意义信息对学习通信原理的意义信息这个概念贯穿了所有的通信原理，香农的信息论被认为是20世纪最重要的科学理论之一，也是高层次技术人才必不可少的基础知识我们要学习的通信技术，想要了解这些技术是被怎样创造出来的，就不能不了解信息的含义第38页/共41页39自测题 信息和消息有什么区别？信息：消息中包含的有意义的内容消息是信息的载体信息量的定义和单位是什么？I=-loga(P(x)信息量的单位由底数a决定。当a=2时，信息量的单位为比特第39页/共41页40自测题 设有A、B、C3个消息，分别以概率1/4、1/8、1/2传送，假设它们出现是相互独立的，试求每个消息的信息量。第40页/共41页41感谢您的观看！第41页/共41页