信息科学基本概念.ppt

《信息科学基本概念.ppt》由会员分享，可在线阅读，更多相关《信息科学基本概念.ppt（29页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息科学基本概念现在学习的是第1页，共29页第第2章：信息科学基本概念章：信息科学基本概念 信息的传递与交换能够又多、又快、又好、又经济是人类活动最为普遍的愿望，并且人们希望能够对信息进行定量分析。 1948年，香农（C.E.Shannonn）在发表的通信中的数学模型一文中建立了狭义信息论的基本理论，对信息的度量问题给出了明确的定义。 狭义信息论的基本思想是把信息作为通信过程中的消息来处理，通信的内容（符号）的传递具有一定的形式。 现在学习的是第2页，共29页通信系统模型 现在学习的是第3页，共29页通信系统模型信源信源产生待传输的消息，消息的形式是多种多样的，如字母、文字、旗语、数据、语声、

2、音乐和图像等（这些都可视为符号序列）。但是消息不同于信息，它是信息的载体。发送机将消息变换为适合于信道的信号，信号信号成为信息的载体。变换变换指的是从消息转变为信号的全过程，其中最主要的是编码与调制。信道信道是信号从发送机传输到接收机的媒质，如导体、传播电磁波的自由空间和光导纤维等。信号在传输途中总要遇到一些干扰产生不可预计的损害，这些干扰被称为噪声噪声，系统各部分的噪声的总和以噪声源表示。接收机接收机是发送机的对应端，它将信号再变换为消息。但是，由于接收信号受到噪声的干扰导致输出的消息中存在失真或错误而丢失部分信息。信宿信宿是被传输信息的归宿，也就是消息的接受者。现在学习的是第4页，共29页

3、信息论简介 狭义信息论 认为 通信对象的信息（符号序列）一般具有统计特性，因此研究的数学工具以概率论与数理统计为基础工具；通信的目的是一种信息的交流，由于对方不知道或者本人有疑问，为了解除疑问需要通信，通信的过程是疑问解除的过程，也是信息获取与交流的过程，在信息交流的过程中，疑问（不确定性）的解除量等价于获取的信息量。也就是说，获取的信息量等价于通信前后“不确定性”的消除量。由于“不确定性”代表有“多种可能的结果”，因此必须用概率来度量。“不确定性”是关于某一个事件x的概率P(x)的函数。即信息量I=f(P(x)。现在学习的是第5页，共29页信息论简介 狭义信息论主要的研究领域为：通信的有效性

4、、通信的可靠性、通信的保密性三个方面。 通信的有效性指数据压缩或称信号压缩编码，其目的是减少通信信源的数据量，节省通信带宽； 通信的可靠性指数据传输失真或传输误码率的减少，使传输过程更准确； 通信的保密性指通信过程中，通信的内容不应当被非授权的第三方获取。 狭义信息论的主要研究内容为：信息侧度、信道容量、信源编码和信道编码理论等内容。 现在学习的是第6页，共29页信息论简介 广义信息论主要研究信息传输和信息处理问题。含香农基本理论、噪声理论、信号滤波和预测、统计检测与估值理论、调制理论、信息处理理论、保密理论等内容。同时广义信息论同时包含狭义信息论研究内容。 广义信息论还研究包含所有的有关信息

5、的自然和社会科学领域，如：模式识别、计算机翻译、心理学、遗传学、语言学、神经生物学、语义学、计算机科学等等。现在学习的是第7页，共29页2.1信息的概念与描述信息的概念与描述 信息定义信息定义： 信息是认识主体所感知的或所表述的客观事物运动的状态和状态改变方式。运动分为内部运动与外部运动；内部运动指事物内部结构状态及其变化；外部运动指事物外部的联系及其相互作用。客观事物即指外部客观世界的实在客体，同时又指主观世界的精神现象。现在学习的是第8页，共29页三类基本的信息定义三类基本的信息定义 第一类：字典和百科全书中的解释第一类：字典和百科全书中的解释 英国：牛津字典信息是谈论的事情、新闻和知识。

6、 韦氏字典信息是观察、研究过程中获得的数据、情报、新闻和知识。 日本：广辞苑信息是所观察的知识等。 对于上述定义的归纳可以看出人们常常把消息中有意义的内容称为信息。现在学习的是第9页，共29页三类基本的信息定义三类基本的信息定义第二类：科学家的定义第二类：科学家的定义香农香农（C.E.Shannon）对信息的定义信息是事物的“不确定性”的度量。因此，信息可以描述为确定性的增加，人们收到信息获得的信息量就是确定性的增加量。1948年，美国数学家、信息论的创始人香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。艾什比艾什比（William Ross Ashby）对信息的

7、定义信息是事物的“差异性”的度量。艾什比是控制论创始人之一、英国生物学家（William Ross Ashby，1903-1972）。维纳维纳（N.Wiener）对信息的定义信息是事物的“组织性”的度量。现在学习的是第10页，共29页三类基本的信息定义三类基本的信息定义 周戟教授对信息的定义：信息是系统的组成部分，是物质和能量的形态、结构、属性、和含义的表征，是人类认识客观的纽带。物质表现为具有一定质量、体积、形状、颜色、温度、强度等性能。这些物质的属性都是以信息的形式表达的。人们通过信息认识物质、认识能量、认识系统、认识周围世界。 邓宇2002年提出的”信息”概念与定义：“信息是事物现象及其

8、属性标识的集合。现在学习的是第11页，共29页三类基本的信息定义三类基本的信息定义 鈡义信教授给出的信息定义鈡义信教授给出的信息定义：信息是认识主体所感知的或所表述的客观事物运动的状态和状态改变方式。运动分为内部运动与外部运动；内部运动指事物内部结构状态及其变化；外部运动指事物外部的联系及其相互作用。客观事物即指外部客观世界的实在客体，同时又指主观世界的精神现象。现在学习的是第12页，共29页三类基本的信息定义三类基本的信息定义 第三类：哲学家的观点第三类：哲学家的观点 1948年，美国著名数学家、控制论的创始人维纳在控制论一书中，指出：“信息就是信息，既非物质，也非能量。” 维纳从哲学观点出

9、发，强调信息是独立于物质与能量的客观事物的对立属性，由此可以看出信息学科是一个独立的与传统机械、化工、农业等学科并存的学科。能量可以载荷信息，客体（物质）可以产生信息。现在学习的是第13页，共29页2.2信息的度量与信息的基本特征信息的度量与信息的基本特征定义定义2.1：设信源产生的随机变量序列为：设信源产生的随机变量序列为 X=(x1,x2,xN)，其中，其中，xm= ai。 如果如果ai，i1,N可以完全代表信源输出的所有符号，则集合可以完全代表信源输出的所有符号，则集合a1,a2,aN为信源输出的符号集合，记为为信源输出的符号集合，记为A。 对信源输出符号序列对信源输出符号序列X进行统计

10、分析，获得符号进行统计分析，获得符号ai出现的概率为出现的概率为P（ai），因此，信源可以用如下数学模型表示：），因此，信源可以用如下数学模型表示： = 其中：其中：P（x）满足完备性条件）满足完备性条件 =1，称该信源为离散无记忆，称该信源为离散无记忆信源。信源。( )Xp x1212.( )().()NNaaap ap ap a1()Niip a现在学习的是第14页，共29页2.2信息的度量与信息的基本特征信息的度量与信息的基本特征定义定义2.22.2：一个信源产生的符号带来的信息量是该符号：一个信源产生的符号带来的信息量是该符号a ai i发生的发生的先验概率先验概率p p( (a ai

11、 i) )的函数，即：的函数，即： I(I(a ai i)=)=f f( (p p( (a ai i)， 并且该函数满足并且该函数满足（1 1）f f( (* *) )是先验概率是先验概率p p( (a ai i) )的单调递减函数，的单调递减函数， 即即: :当当p p( (a ai i)p p( (a aj j) )时，有时，有f f( (p p( (a ai i)f f( (p p( (a aj j)； （2 2）当）当p p( (a ai i)=1)=1时，有时，有f f( (p p( (a ai i)=0)=0； （3 3）当）当p p( (a ai i)=0)=0时，有时，有f f

12、( (p p( (a ai i)=1 )=1 ； （4 4）两个独立事件的联合信息量等于它们分别发生时的信息量）两个独立事件的联合信息量等于它们分别发生时的信息量之和，即：之和，即：I(I(a ai ia aj j)= I()= I(a ai i)+I()+I(a aj j) )。 因此，符号因此，符号ai发生带来的信息量的数学形式为发生带来的信息量的数学形式为 I I（ai）= log = - log p（ai）1( )ip a现在学习的是第15页，共29页2.2信息的度量与信息的基本特征信息的度量与信息的基本特征 设：离散信源X的信源（概率）空间为 = 则事件ai发生所含的信息量（称为自信

13、息量）为 I(ai)= log = - log p(ai) 自信息量的两种含义： （1）当事件ai发生前，I(ai)表示事件ai发生的不确定性。 （2）当事件ai发生后，I (ai)表示事件ai发生所含的信息量。( )Xp x1212.( )().()NNaaap ap ap a1( )ip a现在学习的是第16页，共29页2.2信息的度量与信息的基本特征信息的度量与信息的基本特征 信息量的单位： 当以2为底时，信息量的单位称为比特（Bit）。 当以e为底时，信息量的单位称为奈特（Nat）。 当以10为底时，信息量的单位称为哈特（Hart）。 转换关系为：log a x = log b x /

14、 log b a现在学习的是第17页，共29页2.2信息的度量与信息的基本特征信息的度量与信息的基本特征 定义定义2.3：信源的平均信息量称为信源的信息熵，简称信源的熵,记为H(X)。 H(X) = E- log p(ai) = p(ai)I I(ai) = -p(ai)log p(ai) 一般信息熵用以2为底的对数表示，单位为比特。 R进制信息熵与2进制信息熵的转换关系为： H(X)= HR(X)log R（比特）1Ni1Ni现在学习的是第18页，共29页2.2信息的度量与信息的基本特征信息的度量与信息的基本特征 信息熵的物理意义： （1）信息熵H（X）表示信源的平均不确定性。 （2）信息熵

15、H（X）表示信源输出符号后的每个符号提供的平均信息量。 （3）信息熵H（X）表示信源输出符号前信源的平均不确定性。 （4）信息熵H（X）表示信源输出符号变量X的随机性。现在学习的是第19页，共29页2.2信息的度量与信息的基本特征信息的度量与信息的基本特征信息具有十大特征：信息具有十大特征：（1）可量度：信息可采用某种度量单位进行度量，并进行信息编码。如现代计算机使用的二进制编码。信息度量可用信息量和熵的概念表示。 （2）可识别：信息识别可采取直观识别、比较识别和间接识别等多种方式来把握。（3）可转换：信息可以从一种形态转换为另一种形态。如自然信息可转换为语言、文字和图像等形态，也可转换为电磁

16、波信号或计算机代码。（4）可存储：信息可以存储。大脑就是一个天然信息存储器。人类发明的文字、摄影、录音、录像以及计算机存储器等都可以进行信息存储。（5）可处理：人脑就是最佳的信息处理器。人脑的思维功能可以进行决策、设计、研究、写作、改进、发明、创造等多种信息处理活动。计算机也具有信息处理功能。信息处理满足信息不增原理，处理的目的是改变信息的组织形式或显示效果。现在学习的是第20页，共29页2.2信息的度量与信息的基本特征信息的度量与信息的基本特征（6）可传递：信息传递是与物质和能量的传递同时进行的。语言、表情、动作、报刊、书籍、广播、电视、电话等是人类常用的信息传递方式。（7）可再生：信息经过

17、处理后，可以用其它形式再生。如自然信息经过人工处理后，可用语言或图形等方式再生成信息。输入计算机的各种数据文字等信息，可用显示、打印、绘图等方式再生成信息。（8）可压缩：信息可以进行压缩，可以用不同的信息量来描述同一事物。人们常常用尽可能少的信息量描述一件事物的主要特征。（9）可利用：信息具有一定的实效性和可利用性。（10）可共享：信息具有扩散性，因此可共享。现在学习的是第21页，共29页2.3信息理论与概念的应用 （1）瞬时记忆的解释）瞬时记忆的解释 如果你注视电灯的晕光，几分钟之后，当你将视线移至另一地方时，你会感觉还“看见”了这种晕光。心理学称这种现象为“后像”。不仅视觉如此，其它感觉也

18、有此现象。例如，用铅笔扎一下手背，移去之后还有这种扎的感觉；优美动听的乐声停止后，好似“余音绕梁”等等。这些现象都叫作“瞬时记忆”。现在学习的是第22页，共29页2.3信息理论与概念的应用 瞬时记忆有三个特点： 持续性短暂，瞬息即逝。研究结果表明瞬时记忆时间按大约为0.252秒左右； 容量较小，如以单字为例，有人说45个字符，也有人说大约在72个字符的范围之内； 可在短暂的时期内接收大量信息，犹如所谓登高远眺，尽收眼底，虽然都收眼底，但不能记住。 现在学习的是第23页，共29页2.3信息理论与概念的应用 （2）短时记忆）短时记忆 每个人都会有这种经验：当你查出一个新的电话号码，除非你特别要想记

19、住它，否则随着你拨完号码盘，相应的数字也就忘掉了。这个记忆的时间，大约是520秒，最长也不超过一分钟。尽管时间很短，分析起来，短时记忆已有编码。当你用视觉记忆8866.5731的数字时，在拨电话号码盘是，你还要口述8866.5731。显然，从视觉接受刺激到用词语反应并出现拨号码盘的运动就是一种编码表现。这与瞬时记忆的刺激痕迹只落在视网膜上不同。短时记忆的内容，如果有意地复习它，就会变成长时记忆。 现在学习的是第24页，共29页2.3信息理论与概念的应用 （3）长时记忆）长时记忆 如果在你面前呈现“电脑”这两个字，开始时只有这个词的视觉现象。如果你一再重复地念出这个词的声音，就可能回忆起许多与这

20、个词有关联的事物。这种长时记忆是记忆序列中的一种真正的编码，是记忆存储的最高形式，时间最长，因而叫做长时记忆。 现在学习的是第25页，共29页2.3信息理论与概念的应用现在学习的是第26页，共29页2.3信息理论与概念的应用记忆的信息过程如下：感觉器官完成信息输入功能通过感觉器官引起感知觉进入中枢神经进行编码，可做短时存储，需要时可由反应器输出；如对短时存储的信息给以适当的重复，再经过编码存放于记忆神经系统中，并加以有组织的检索，需要时随即输出，这样就构成了长时记忆。 感觉器官、中枢神经、记忆神经、控制神经、反应器官等结构构成记忆系统的基本框架。瞬时记忆、短时记忆和长时记忆相当于控制流程。这三

21、种流程实现了三种不同的记忆方式，感觉器官、中枢神经、记忆神经、控制神经、反应器官在三个流程中扮演着各自不同的角色。在上述这些流程中，除了信息的编码深度不一样外，还因刺激不同编码也不一样。现在学习的是第27页，共29页2.4人类信息活动的发展历程人类信息活动的发展历程 五次巨大的信息变革 语言的诞生、文字的诞生、印刷术的诞生、利用电磁波和计算机技术。 语言的产生标志着人类信息活动的范围和效率的飞跃性提高，人类的信息活动从具体走向抽象。文字打破了时间和空间的限制，使信息可以传得更久，传得更远，同时文字的产生实现了信息的共享。印刷术的发明使人类信息传递的速度和范围急剧地扩展，人类信息的存储能力进一步加强，并初步实现了广泛的信息共享。电磁波的利用产生的电信革命是人类划时代的进步。现在学习的是第28页，共29页2.4人类信息活动的发展历程人类信息活动的发展历程 计算机和网络技术等现代信息技术是在电信革命之后才产生和发展起来的。新型计算机和互联网的出现，以及与通信技术的结合，使信息处理第一次达到了一体化和自动化，从而实现了人类历史上第五次信息变革。 未来“物联网”技术将进一步使人类生活在“智慧的地球”之上，掀起继“互联网”浪潮之后的又一次信息革命，成为继计算机、互联网之后，世界信息产业的第三次技术革命浪潮。现在学习的是第29页，共29页