浅谈信息论及其应用.docx

《浅谈信息论及其应用.docx》由会员分享，可在线阅读，更多相关《浅谈信息论及其应用.docx（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、浅谈信息论及其应用浅谈信息论及其应用摘要本文主要研究了信息论的起源、信息论的分类、信息论研究的主要内容以及信息论在现实生活中的运用，信息论是运用概率论与数理统计的方法研究信息信息熵通信系统数据传输密码学数据压缩等问题的应用数学学科。主要介绍信息论在数据压缩、密码学、统计及信号处理中的应用。关键字：信息论数据压缩密码学一、信息论的起源随着社会的发展，科学技术的不断进步，近些年信息论，控制论和系统论被作为一种新的理论方法，在社会科学各个领域中被加以尝试和运用。信息反应控制机制稳定性等大量新概念和新名词被人们所接受，并涌进很多传统的社会科学领域这是一场方法论的革命，为社会科学各个领域带来了朝气。信息

2、论最早是美国研究所信息论之父克劳德申农提出1，他于1948年10月发表于贝尔系统技术学报上的论文（通信的数学原理）作为当代信息论研究的开端。二、信息论的定义与分类一定义21.申农以为信息论是：通讯的基本问题就是准确地或近似地在一端复如今另一端所挑选的信号。2.信息论是关于信息的本质和传送规律的科学理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴科学。二分类1.狭义信息论：是用统计学的方法研究通讯系统中存在的信息传递和处理的规律的科学。2.广义信息论：是用数学和其他有关科学的方法研究一切现实系统中存在的信息传递、处理识别和利用的共同规律的科学。三、信息论研究的基本内容实际通信系统比

3、拟复杂，但是任何通信系统都能够抽象为信息源发送机信道接收机收信者，因而，通信经过中信息的定量表示信源和信宿信道和信道容量编码和译码等方面的问题，就构成了信息论的基本内容。信息论是运用概率论与数理统计的方法研究信息信息熵通信系统数据传输密码学数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域这两个方面又由信息传输定理信源信道隔离定理互相联络3。1.信息。从广义上讲，信息是指不同物质在运动经过中发出的各种信号；从狭义上讲，信息是指各种物质在运动经过中发出的映出来的数据。指令消息情报图象信号等对于信息的定义

4、，目前学术界还没有一个一致的看法，信息论的创始人申农以为，信息就是用以消除随机的不定性的东西；控制论的创始人维纳以为，信息是人与环境互相交换内容的名称，可以以叫负商。信息依靠于物质和能量，但是它与物质和能量有明显的区别，它不是独立的实体，它不会由于输送和摄取而消耗，也不会由于无人问津而增殖；信息的作用与物质的多寡也没有必然的联络，而且在很多情况下，信息的作用是物质和能量所不能代替的能够讲信息既不是物质，也不是意识，而是物质联络的形式。2.信息量。它是信息多少的量度很多科学家对信息进行深化的研究以后，发现事件的信息量与事件出现的概率有密切的关系：事件发生的概率大，信息量就越小；反之，事件发生的概

5、率就越小，信息量就越大。例如：池塘周围的护栏越密，小孩或大人掉进池塘的可能性就越少；反之则反4。3.信源和信宿。信源即消息的来源消息一般以符号的形式发出，通常就有随即性信源是多方面的，自然界的一切物体都能够成为信源如：人在碰见歹徒时会发出救命的声音，这对于其别人来讲是一种信息狗看见陌生人就会发出汪汪的叫声，告诉主人有朋友来了或者有盗贼入侵草儿绿了，预示着春天来了由此可见，信息的发出者不仅仅是人类所具有的特质，而且其他动物。植物等也具有这一功能假如信源发出的信号是确定的，即是事先知道的，就不会传输任何信息假如符号的出现是时刻变化的随机事件，就能够用随机变量来表示以随机变量来研究信息，是信息论的一

6、个基本思想。信宿是信息的接收者，它能够接收消息，并使消息再现，到达通讯的目的信宿能够是人，可以以是机器。例如：我们看电视，电视是信息的发出者，人从电视上了解各种各样的信息，人就是信宿；电视相对于各个电视台来讲，也是一个信宿，即信息的接收者。4.信道和信道容量在信源和信宿之间存在着传递信息的通道，其主要任务是传输信息和存储信息。信源发出的信息必须进行编码，使之能转化成为能在信道中传输的信号信道容量是指信道传输信息的多少以及速度。通讯速度的大小并不完全取决于信道的性质，它还随信源性质和编码方法而改变。5.编码和译码。“码是一个符号表达和将这些符号排列起来所必须遵守的一些约定。运用这些符号，遵守相应

7、的约定把信息变成信号，这一经过就是编码用符号来表达消息，称为信源编码；将符号转换成为信道所要求的信号，称为信道编码5。在通讯系统里，消息往往要经过几次编码，才能变成合适信道传输的信号当信号系列通过信道输出后，必须经过译码复制成消息，才能送达接收者。译码经过正好与编码经过相反，所以译码就是编码的逆经过。6.信息方法。所谓信息方法，是指用信息的观察来考察系统的行为构造和功能，通过对信息的获取、传递、存储、加工经过的分析，到达对某个复杂系统运动经过的规律性认识。它不需要对事物的整体构造进行分析性的分析，而仅仅对信息的流程加以综合考察，就可获得关于系统的整体性知识。信息方法的主要特点：是完全撇开对象的

8、详细运动形态，把系统的运动经过抽象为信息经过，在不考虑系统内详细物质形态、不打开机器或活体的条件下研究系统与外界之间的输入与输出的关系。这种方法也叫控制论中的黑箱方法。信息与控制信息论方法与控制论方法是严密相连的没有信息就无所谓控制，控制就是通过信息来实现对系统行为、功能的调整信息方法。可以以讲是用信息观点来考察控制系统的行为功能构造的方法信息方法的另一个特点是：它不是为了讲明客观对象，而是为了讲明客观对象的经过，讲明主、客体之间信息交换经过的方式，以到达对控制系统运动经过的规律性认识。假如从物质构成和运动形态来看，生命系统社会系统人造技术系统是极为不同的，但是，他们的运动经过都能够抽象化为一

9、个信息传递、加工、交换的经过。四、信息论的应用信息很早就被人们利用，但真正被作为一个科学概念讨论，则是20世纪40年代以后的事，而被作为科学为人们普遍认识和利用则是近几十年的事情。当今世界，信息技术日新月异，在经济社会各领域的应用不断深化，日益深入地影响着人类社会发展。信息产业已经发展成为当前世界上最大的产业。能够讲，在当代高新技术群中，信息技术的发展速度最快，应用最为广泛，对经济社会发展的奉献最为显著。信息是人类社会互通情报的实践经过中产生的，在当今信息社会中，常把它作为人们认识世界的向导与智慧的源泉，也是社会与社会生产力发展的动力与资源。信息作为一种资源，怎样开发、利用、分享是人们普遍关注

10、的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学6。其基本任务是为设计有效而可靠的通信系统提供理论根据，主要特点是理论的成功应用。1.信息论在数据压缩理论中的应用信息论之父香农在1948年发表的论文（通信的数学理论）一文中指出，任何信息都有冗余，冗余大小和信息中每个符号的出现概率或者讲不确定性有关7。香农把信息中排除了冗余后的平均信息量称为信息熵，并给出了计算信息熵的数学表达式，这为数据压缩奠定了理论基础。数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以到达提高信息传输速度的目的。数据压缩在近代信息

11、处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅能够大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，到达具有实用意义的标准。数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比厡数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵敏，使得其在数据压缩领域得到了广泛的应用。不过，哈夫曼所得的编码长度只是对信息熵计算结果的一种近似，还无法真正逼近信息熵的极限。所以尽管哈夫曼编码具有良好的压缩性能，也一直占据重要的地位，还是不断有基于哈夫曼

12、编码的改良算法提出。算数编码是一种能够成功地逼近信息熵极限的编码方法，它与部分分配预测模型结合，开发了压缩效果近乎完美的压缩算法。算数编码固然能够获得最短的编码长度，但其本身的复杂性也使得算数编码的任何详细实如今运行时都慢如蜗牛，导致难以知足日常应用的需求。此时，LZ系列算法的优越性很快就在数据压缩领域里体现了出来，LZ系列算法基本解决了通用数据压缩中兼顾速度与压缩效果的难题。数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的将来产生重大影响。2.信息论在密码学中的应用密码学是研究编制密码和破

13、译密码的技术科学。从传统意义上来讲，密码学是研究怎样把信息转换成一种隐蔽的方式并阻止其别人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以讲信息论与密码学的关系特别密切。近代密码学由于数据加密标准与公钥体制的出现于应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免

14、疫函数的构造仍以香农的完善保密性为基础。3.信息论在统计中的应用信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码构造在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因而信息量在统计中的作用日趋重要，在很多问题中以信息量作为它们的基本度量8。在统计领域里，统计计算技术近年来发展很快，它使很多统计方法,尤其是Bayes统计得到广泛的运用。Bayes计算方法有很多，其中一类是直接应用于后验分布以得到后验均值或后验众数的估计，以及这种估计的渐进方差或其近似。EM算法就是一种迭代方法,主要用来计算后验分布的众数或极大似然估计。这

15、种方法能够广泛的应用于缺损数据，截尾数据，成群数据，带有讨厌参数的数据等所谓的不完全数据。EM算法的最大优点是简单和稳定，主要目的是提供一个简单的迭代算法来计算极大似然估计，问题是如此建立的EM算法得到的估计序列能否收敛。它的特点与信道容量的递推渐近算法类似，但应用更为广泛。EM算法实现简单，数值计算稳定，存储量小，并具有良好的全局收敛性。EM算法是一种求参数极大似然估计的迭代算法，在处理不完全数据中有重要应用。信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成互相推动发展的局面。4.信息论在信号处

16、理中的应用信号处理包括数据、影象、语声或其他的信号的处理，从信息论的观点看，信号则是观察客观事物表达其相应信息的技术手段，也就是特定信息的载体9。信息是通过信号来表达的，对信息的加工和处理，也就是信号的加工和处理。所有处理经过无非是信源编码，变换，过滤或决策经过，其实变换也是一种编码经过。这些经过中的大部分的信息论基础是信息率失真理论。譬如数字信号处理，其技术能够归结为以快速傅里叶变换和数字滤波器为核心，以逻电路为基础，以大规模集成电路为手段，利用软硬件来实现各种模拟信号的数字处理，其中要用到信息论中的信号检测、信号变换、信号的调制和解调、信号的运算、信号的传输和信号的交换等。如今，信息理论与

17、技术不仅直接应用于通信、计算机和自动控制等领域，而且还广泛浸透到生物学、医学、语言学、社会学、经济学和管理学等领域，与这些穿插学科的发展，是信息论的应用范围愈加广泛。五、结束语信息论是一门非常系统和理论性很强的学科，它涉及到随机经过，概率论与数理统计，线性代数等多门学科。在张教师的细心指导下，我们对信息论这们课的主要理论有了比拟深入的认识，对其中所提到的香农三大定理也由原来的一知半解到如今的融会贯穿。这将为我以后的通信课程学习奠定了坚实的理论基础。张教师在上课经过中曾经屡次提到过对香农信息论的局限性。香农信息论在对离散信源的平均信息量等问题解释的还是比拟的全面和真实，但是对连续信源来讲，有它缺

18、乏的地方。在当代信息论发展的经过中曾有过很多这方面的专家和学者试图构造另一种较香农信息论更好的理论来描绘连续信源。但是，直到如今为止，所提出来的众多方案中，没有一个是优于香农的。这就是讲，信息论的理论体系还有待人们去完善和充实它。所以张教师也寄希望我们能够在这片领域里能够有所发现，弥补香农信息论的缺陷。我相信，凭着我们这样一批朝气蓬勃的年轻人的敢想，敢为，敢拼的进去精神，和陈教师对我们的殷切期望，一定会有有志之士沿着那些科学泰斗们没有走完的道路，继续前进！参考文献1陈元生.简述信息论,控制论,系统论在当代企业人力资源管理中的应用J.时代经贸,2007,70(5):108-109.2刘大春主编.

19、科学逻辑与科学方法论名释M.江西教育出版社,1997.3王晖主编.科学研究方法论M.上海财经大学出版社,2004.4AdnerR,LevinthalD.TechnologyspeciationandthepathofemergingtechnologiesJ.Whartononmanagingemergingtechnologies,2000,5574.5TushmanML,AndersonP.TechnologicaldiscontinuitiesandorganizationalenvironmentsJ.Administrativesciencequarterly,1986:439-465.6曹雪虹,张宗橙.信息论与编码M.清华大学出版社有限公司,2004.7周叶林.科学研究中的信息论及其应用J.今日南国(理论创新版),2020,5:118.8沈世镒,吴忠华.信息论基础与应用M.高等教育出版社,2004.9周荫清.信息理论基础M.北京航空航天大学出版社,2006.