信息论与编码序论讲精.ppt

信息论与编码序论讲第1页，本讲稿共66页联系方式单位：网络工程与信息安全系办公室：第二实验楼213联系电话：87935049Email:课程学习交流群：114097204 2第2页，本讲稿共66页课程考核方法l考核由课程考试和出勤两部分构成。l试卷：以课程讲授内容为基础。3第3页，本讲稿共66页课程的基本要求l不得无故缺席，如果不能出勤，必须事先请假；l上课时间内，不能进进出出，不能出现任何手机铃声；4第4页，本讲稿共66页 C.E.Shannon：美国科学家，美国科学家，信息论创始人信息论创始人中文译名：中文译名：山农，香农，仙农，商农山农，香农，仙农，商农5第5页，本讲稿共66页1.1 1.1 信息的一般概念信息的一般概念1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 信息的分类信息的分类6第6页，本讲稿共66页 信息信息科学和科学和材料材料、能源能源科学一起被称为科学一起被称为当代文明的当代文明的“三大支柱三大支柱”。一位美国科学家说过：一位美国科学家说过：“没有物质的世没有物质的世界是虚无的世界；没有能源的世界是死寂的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。界；没有信息的世界是混乱的世界。”7第7页，本讲稿共66页 花朵开放时的花朵开放时的色彩是一种信息色彩是一种信息，它它可以引来昆虫为其授粉；可以引来昆虫为其授粉；成熟的水果会产生香味，诱来动物，成熟的水果会产生香味，诱来动物，动物食后为其传播种子，动物食后为其传播种子，果香也是一种果香也是一种信息信息；药有苦味，让人难以吞咽，药有苦味，让人难以吞咽，药味是药味是一种信息一种信息；听老师讲课可以得到许多知识，听老师讲课可以得到许多知识，知知识也是信息识也是信息。8第8页，本讲稿共66页色彩色彩视觉果香果香嗅觉苦药苦药味觉知识知识听觉 总之，信息处处存在，人的眼、耳、总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。鼻、舌、身都能感知信息。冷热冷热触觉9第9页，本讲稿共66页那么信息究竟是什么呢？信息是事物之间的差异1 信息是物质和能量在时间和空间中信息是物质和能量在时间和空间中分布的不均匀性分布的不均匀性”2 信息是负熵3 信息是作用于人类感觉器官的东信息是作用于人类感觉器官的东西西 410第10页，本讲稿共66页 信息就是情报 5 信息就是知识。6 数学家认为数学家认为“信息是使概率信息是使概率分布发生改变的东西分布发生改变的东西”7 哲学家认为哲学家认为“信息是物质成信息是物质成分的意识成分按完全特殊的分的意识成分按完全特殊的方式融合起来的产物方式融合起来的产物”。811第11页，本讲稿共66页 19281928年，年，美国数学家美国数学家哈哈 特特 莱莱 (Hartley)(Hartley)在在贝贝尔系统电话杂志尔系统电话杂志上发表了一篇题为上发表了一篇题为信信息传输息传输的论文。他认为的论文。他认为“信息是选择的信息是选择的自由度自由度”。12第12页，本讲稿共66页事隔事隔2020年，年，另一位美国数另一位美国数学家学家香农香农 (C.E.(C.E.Shannon)Shannon)在在贝尔系统电话杂志贝尔系统电话杂志发发表了题为表了题为通信的数学理论通信的数学理论的长篇论的长篇论文。他创立了信息论，但是却没有给文。他创立了信息论，但是却没有给出信息的确切定义；他认为出信息的确切定义；他认为“信息就信息就是一种消息是一种消息”。13第13页，本讲稿共66页 美国数学家、控制论的美国数学家、控制论的 主要奠基人主要奠基人维纳维纳(Wiener(Wiener）在在19501950年出版的年出版的控制论控制论与社与社会会一书中写到：一书中写到：“信息既不是物质又不是能量，信息就是信息信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。这句话起初受到批评和嘲笑。但正是这句话揭示了信息的特质：即信息是独立但正是这句话揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的于物质和能量之外存在于客观世界的第三要素。第三要素。14第14页，本讲稿共66页 最高的层次的定义是最普遍的层次，也最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义事物的是无约束条件的层次，定义事物的“信息是信息是该事物运动的状态和状态改变的方式该事物运动的状态和状态改变的方式”。我我们把它叫做们把它叫做“本体论本体论”层次。在这个层次层次。在这个层次上定义的信息是最广义的信息，使用范围上定义的信息是最广义的信息，使用范围也最广。也最广。15第15页，本讲稿共66页 例如，引入一个最有实际意义的约束例如，引入一个最有实际意义的约束条件条件：认识主体。认识主体。信息定义就转化为信息定义就转化为“认认识论识论”层次的信息定义。即层次的信息定义。即：信息是认识信息是认识主体（生物或机器）所感知的或所表述的相应主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）变化方式的形式、含义和效用）。其中认识其中认识主体所感知的东西是外部世界向认识主体主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。是其向外部世界输出的信息。16第16页，本讲稿共66页全全 信信 息息 同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。17第17页，本讲稿共66页 信息存在于自然界，也存在于人类社会，信息存在于自然界，也存在于人类社会，其其本质是运动和变化。本质是运动和变化。本质是运动和变化。本质是运动和变化。可以说哪里有事物的运动可以说哪里有事物的运动和变化，哪里就会产生信息。和变化，哪里就会产生信息。人类交换信息的形式丰富多彩，使用的信人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，有息载体非常广泛。概括起来，有语言、文字和语言、文字和电磁波电磁波。信息必须依附于一定的物质形式存在，这信息必须依附于一定的物质形式存在，这种运载信息的物质，称为种运载信息的物质，称为信息载体。信息载体。18第18页，本讲稿共66页 综合起来，信息有以下主要特征：信息来源于物质，又不是物质本身；信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。源物质而相对独立地存在。信息来源于精神世界，但又不局限于精神领域。1219第19页，本讲稿共66页 信息与能量息息相关，但又与能量信息与能量息息相关，但又与能量有本质的区别。有本质的区别。信息具有知识的本性，但又比知识信息具有知识的本性，但又比知识的内涵更广泛。的内涵更广泛。信息可以被认识主体获取和利用。34520第20页，本讲稿共66页 根据上述特征和信息的基本定义，可以导出信息的一些重要性质：存在的普遍性 有序性相对性 可度量性 可扩充性 可存储、传输与携带性 21第21页，本讲稿共66页 信息在信息化程度越来越高的社会中将信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更起到越来越重要的作用，是比物质和能量更为宝贵的为宝贵的资源资源，全面掌握信息的概念，正确、全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更及时、有效地利用信息，能够为人类创造更多的财富。多的财富。可压缩性 可扩散性 可替代性 可共享性 时效性 信息的独有性质22第22页，本讲稿共66页1.1 1.1 信息的一般概念信息的一般概念1.3 1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 1.2 信息的分类信息的分类23第23页，本讲稿共66页 按照信息的性质 1语法语义语用 按照观察的过程 实在先验实得 224第24页，本讲稿共66页客观主观 按照信息的地位 按照信息的作用有用无用干扰3425第25页，本讲稿共66页真实虚假不定 按照信息的逻辑意义 按照信息的传递方向 前馈反馈5626第26页，本讲稿共66页宇宙自然社会思维工业农业军事政治科技文化经济市场管理 按照信息的生成领域 7 按照信息的应用部门 827第27页，本讲稿共66页语声图象文字数据计算电磁语声图象文字光学生物 按照信息的来源9 按照信息载体的性质 1028第28页，本讲稿共66页连续离散半连续 按照携带信息的信号的性质 1129第29页，本讲稿共66页 在众多的分类原则和方法中，最重要的就是按照信息性质的分类。按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。30第30页，本讲稿共66页全信息语法信息语义信息语用信息离散信息 明晰信息 连续信息 模糊信息31第31页，本讲稿共66页 语法信息考虑的是事物运动状态和变化方式的外在形式。当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。32第32页，本讲稿共66页1.1 1.1 信息的一般概念信息的一般概念1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 1.2 信息的分类信息的分类33第33页，本讲稿共66页 信息论自诞生到现在不过60年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。34第34页，本讲稿共66页 在人类历史的长河中，信息传输和传播手段经历了五次重大变革：语言的产生。文字的产生。印刷术的发明。电报、电话的发明。计算机技术与通信技术相结 合，促进了网络通信的发展。1234535第35页，本讲稿共66页1924年年，奈奈 奎奎 斯斯 特特（Harry Nyquist）(1889-1976)解解释释了了信信号号带带宽宽和和信信息息速速率率之之间间的的关系。关系。36第36页，本讲稿共66页 2020世世纪纪3030年年代代，新新的的调调制制方方式式，如如调调频频、调调相相、单单边边带带调调制制、脉脉冲冲编编码码调调制制和和增增量量调调制制的的出出现现，使使人人们们对对信信息息能能量量、带带宽宽和和干干扰扰的的关关系系有有了了进进一一步的认识。步的认识。37第37页，本讲稿共66页 1936年年，阿阿 姆姆 斯斯 特特 朗朗（EdwinArmstrong)指指出出增增大大带带宽宽可可以以使使抗抗 干干扰扰能能力力加加 强强，并并根根据据 这这一一思思想想提提出出了了宽频移的频率调制宽频移的频率调制方法。方法。38第38页，本讲稿共66页 1939年年，达达 得得 利利（Homer Dudley）发发 明明了了带带通通声声码码器器，指指出出通通 信信所所需需带带宽宽至至少少同同待待传传送送 消消息息的的带带宽宽应应该该一一样样。声声码码器器是是最最早早的的语语音音数数据据压压缩缩系系统统。这这一一时时期期还诞生了无线电广播和电视广播。还诞生了无线电广播和电视广播。39第39页，本讲稿共66页 19281928年年，哈哈特特莱莱（HartleyHartley）首首先先提提出出了了用用对对数数度度量量信信息息的的概概念念。HartleyHartley的的工工作作 给给ShannonShannon很很 大大 的的 启启 示示,他他 在在1941194419411944年年对对通通信信和和密密码码进进行行深深入入研研究究，用用概概率率论论和和数数理理统统计计的的方方法法系系统统地地讨讨论论了了通通信信的的基基本本问问题题，得得出出了了几几个个重重要要而而带带有有普遍意义的结论。普遍意义的结论。Shannon40第40页，本讲稿共66页阐明通信系统传递的对象；提出了信息熵的概念；指出通信系统的中心问题；指明了解决问题的方法。123441第41页，本讲稿共66页 以以上上这这些些成成果果19481948年年以以“通通信信的的数数学学理理论论”（A mathematical theory of communication）为为题题公公开开发发表表，标标志志着信息论的正式诞生。着信息论的正式诞生。维维纳纳（Wiener）在在研研究究火火控控系系统统和和人人体体神神经经系系统统时时，提提出出了了在在干干扰扰作作用用下下的的信信息息最佳滤波理论最佳滤波理论，成为信息论的一个重要分支。成为信息论的一个重要分支。42第42页，本讲稿共66页 50 年年代代，信信息息论论在在学学术术界界引引起起了了巨巨大大反反响响。1951年年，美美国国无无线线电电工工程程师师协协会会（IRE）成成立立了了信信息息论论组组，并并于于1955年年正正式出版了式出版了信息论汇刊信息论汇刊。1959年年，香香农农发发表表了了“保保真真度度准准则则下下的的离离散散信信源源编编码码定定理理”（Coding theorems for a discrete source with a fidelity criterion）系系统统地地提提出出了了信信息息率率失失真真理理论论（rate-distortion theory）。为为信信源源压压缩编码的研究奠定了理论基础缩编码的研究奠定了理论基础。43第43页，本讲稿共66页 60 年年代代，信信道道编编码码技技术术有有了了较较大大发展，使它成为信息论的又一重要分支。发展，使它成为信息论的又一重要分支。1961年年，香香农农的的重重要要论论文文“双双路路通通信信道信信道”开拓了开拓了多用户信息理论多用户信息理论的研究。的研究。44第44页，本讲稿共66页 70年代以后，多用户信息论成为中心研究课题之一。后来，随着通信规模的不断扩大，人们逐渐意识到信息安全是通信系统正常运行的必要条件。于是，把密码学也归类为信息论的分支。如今信息安全已是网络通信和电子商务系统中不可缺少的重要环节。45第45页，本讲稿共66页 人人们们对对信信息息的的认认识识越越来来越越深深入入，先先后后提提出出了了加加权权熵熵、动动态态熵熵等等概概念念，建建立立在在模模糊糊数数学学基基础础之之上上的的模模糊糊信信息息的的研研究究也也取取得得了了一一定定的的进进展展。信信息息论论不不仅仅在在通通信信、广广播播、电电视视、雷雷达达、导导航航、计计算算机机、自自动动控控制制、电电子子对对抗抗等等电电子子学学领领域域得得到到了了直直接接应应用用，还还广广泛泛地地渗渗透透到到诸诸如如医医学学、生生物物学学、心心理理学学、神神经经生生理理学学等等自自然然科科学学的的各各个个方方面面，甚甚至渗透到语言学、美学等领域。至渗透到语言学、美学等领域。46第46页，本讲稿共66页 从从60年年代代开开始始，一一些些社社会会学学家家在在研研究究社社会会问问题题和和社社会会现现象象时时，先先后后提提出出了了后后工工业业社社会会和和信信息息社社会会的的概概念念，信息论开始向经济学和社会科学领域渗透。信息论开始向经济学和社会科学领域渗透。47第47页，本讲稿共66页1977年年，美美国国经经济济学学家家马马克克波波拉拉特特发发表表了了长长达达九九卷卷的的信信息息经经济济报报告告，用用信信息息论论的的基基本本概概 念念研研究究经经济济现现象象和和社社会会现现象象，将将信信息息论论的的研研究究从从自自然然科科学学领领 域域正正式式移移植植到到经经济济学学和和社社会会科科学学领领域域。信信息息论论迅迅速速发发展展成成为为涉涉及及范范围极广的广义信息论围极广的广义信息论即信息科学。即信息科学。48第48页，本讲稿共66页 信息论的研究对象是广义通信系统。不仅电子的、光学的信号传递系统，任何系统，只要能够抽象成通信系统模型，都可以用信息论研究，如神经传导系统、市场销售系统等等。关于信息论的研究内容，一般有以下三种解释：49第49页，本讲稿共66页 主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和信道编码。信息论基础 亦称香农信息论或狭义信息论。1应用近代概率统计方法研究信息的基本性质及度量方法，研究信息传输、处理等一般规律的学科。50第50页，本讲稿共66页香农信息论信信源源熵熵信信道道容容量量无失真信源编码定理率率失失真真函函数数信信源源编编码码信信道道编编码码限失真信源编码定理 信道 编码定理密密码码51第51页，本讲稿共66页 主主要要是是研研究究信信息息传传输输和和处处理理问问题题。除除了了香香农农基基本本理理论论之之外外，还还包包括括噪噪声声理理论论、信信号号滤滤波波和和预预测测、统统计计检检测测与与估估计计理理论论、调调制制理理论论。后后一一部部分分内内容容以以美美国国科科学学家家维维纳纳（NWiener）为代表。为代表。一般信息论 252第52页，本讲稿共66页一般信息论香农 信息论噪声理论调制 理论信号滤波预测理论统计检测估计理论53第53页，本讲稿共66页 虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最优化问题。但他们之间有一个重要的区别。54第54页，本讲稿共66页 维纳研究的重点是在接收端。研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来，并建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。发送接收55第55页，本讲稿共66页 香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。为此，发展了信息测度理论、信道容量理论和编码理论等等。发送接收56第56页，本讲稿共66页 反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存贮、显示、价值、作用、安全以及信息量的大小的一般规律以及实现这些原理的技术手段的工程学科，信息论的完备和延伸，也都属于广义信息论的范畴。概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。广义信息论 357第57页，本讲稿共66页 总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。58第58页，本讲稿共66页四、概率复习内容四、概率复习内容记号记号P(A)表示事件表示事件A发生的概率。发生的概率。P(A|B)表示在事件表示在事件B发生的条件下，事件发生的条件下，事件A发生的条件概率。发生的条件概率。EX表示随机变量表示随机变量X的数学期望。的数学期望。离散型随机变量离散型随机变量离散型随机变量离散型随机变量X的所有事件为的所有事件为a1,a2,aN，对应的概率为，对应的概率为P(X=ai)=p(ai),i=1,2,N。通常将此随机变量记为。通常将此随机变量记为X,ai,p(ai),i=1N。又。又X的分布列（分布矩阵）记为：的分布列（分布矩阵）记为：59第59页，本讲稿共66页四、概率复习内容四、概率复习内容另一个离散型随机变量另一个离散型随机变量Y的所有事件为的所有事件为b1,b2,bM，对应的概率为，对应的概率为P(Y=bj)=p(bj)，j=1,2,M。通。通常将此随机变量记为常将此随机变量记为Y,bj,p(bj),j=1M。又。又Y的分布的分布列（分布矩阵）记为：列（分布矩阵）记为：60第60页，本讲稿共66页四、概率复习内容四、概率复习内容两个离散型随机变量两个离散型随机变量X与与Y联立，得到了二维离散型随机变联立，得到了二维离散型随机变量量(X,Y)。(X,Y)的所有事件为的所有事件为(ak,bj),k=1,2,N;j=1,2,M。对应的概率为。对应的概率为P(X,Y)=p(aibj)，i=1,2,N;j=1,2,M。通常将此二维随机变量记为。通常将此二维随机变量记为(X,Y),(ai,bj),p(aibj),i=1N;j=1M。(X,Y)的联合分布列（联合分布矩阵）为：的联合分布列（联合分布矩阵）为：61第61页，本讲稿共66页四、概率复习内容四、概率复习内容联合分布、边际分布、条件分布的关系：联合分布、边际分布、条件分布的关系：62第62页，本讲稿共66页四、概率复习内容四、概率复习内容p(aibj)=p(ai)P(Y=bj|X=ai)=p(bj)P(X=ai|Y=bj)。如果如果X与与Y相互独立，则对任何相互独立，则对任何i=1N，j=1M，都成立，都成立p(aibj)=p(ai)p(bj)。换句话说，对任何换句话说，对任何i=1N，j=1M，都成立，都成立P(Y=bj|X=ai)=p(bj)。P(X=ai|Y=bj)=p(ai)。数学期望（均值）：数学期望（均值）：63第63页，本讲稿共66页四、概率复习内容四、概率复习内容连续型随机变量连续型随机变量连续型随机变量连续型随机变量X的所有事件的所有事件x有不可列无穷多个，对应有不可列无穷多个，对应的密度函数为的密度函数为fX(x)，-x+。通常将此随机变量记为。通常将此随机变量记为X,fX(x)。连续型随机变量连续型随机变量Y的所有事件的所有事件y有不可列无穷多个，对应的密有不可列无穷多个，对应的密度函数为度函数为fY(y)，-y+。通常将此随机变量记为。通常将此随机变量记为Y,fY(y)。我们知道我们知道64第64页，本讲稿共66页四、概率复习内容四、概率复习内容两个连续型随机变量两个连续型随机变量X与与Y连立，得到了二维连连立，得到了二维连续型随机变量续型随机变量(X,Y)。(X,Y)的所有事件为的所有事件为(x,y)。对应的联合密度函数为对应的联合密度函数为f(X,Y)(x,y)。其中。其中 65第65页，本讲稿共66页四、概率复习内容四、概率复习内容联合密度与边际密度的关系：联合密度与边际密度的关系：如果如果X与与Y相互独立，则对任何相互独立，则对任何(x,y)，都成立，都成立f(X,Y)(x,y)=fX(x)fY(y)。数学期望（均值）：数学期望（均值）：66第66页，本讲稿共66页