信息论与编码理论基础第一章讲稿.ppt

信息论与编码理论基础第一章第一页，讲稿共四十六页哦教材教材王育民、李晖，王育民、李晖，信息论与编码理论（信息论与编码理论（第第2版），版），高等教育出版社，高等教育出版社，2013. 第二页，讲稿共四十六页哦参考书参考书n Thomas M. Cover, Joy A. Thomas, Elements of Information Theory，2nd ed, WILEY Press, 2006. 阮吉寿阮吉寿 张华张华 译译 信息论基础，机械工业出版社，信息论基础，机械工业出版社，2007.n 傅祖芸，信息论与编码学习辅导及习题详解，电子工业出版社，傅祖芸，信息论与编码学习辅导及习题详解，电子工业出版社，2004.n 傅祖芸傅祖芸, 信息论信息论基础理论与应用，电子工业出版社，基础理论与应用，电子工业出版社，2001.n 沈世镒沈世镒 等，信息论与编码理论，科学出版社，等，信息论与编码理论，科学出版社，2010.n 姜丹，信息论与编码，中国科学技术大学出版社，姜丹，信息论与编码，中国科学技术大学出版社，2008.第三页，讲稿共四十六页哦信息是什么？信息是什么？nWiener(维纳) ：“信息既不是物质，也不是能量，信息就是信息”。n物质和能量是客观存在的、有形的，信息是抽象的、无形的。物质和能量是系统的“躯体”，信息则系统的“灵魂”。n信息要借助于物质和能量才能产生、传输、存储、处理和感知；物质和能量要借助于信息来表述和控制。第四页，讲稿共四十六页哦第五页，讲稿共四十六页哦信息信息（英语：Information），是一个高度概括抽象概念，很难用统一的文字对其进行定义1，这是由于其具体表现形式的多样性造成的。信息是一个发展中的动态范畴，它随人类社会的演变而相应的扩大或收缩，总的来看从过去到现在信息所涵盖的范围是不断扩大的，可以断定随人类社会的发展信息范畴将进一步扩大。作为一个严谨的科学术语，信息的定义却不存在一个统一的观点，这是由它的极端复杂性决定的。信息的表现形式数不胜数：声音、图片、温度、体积、颜色信息的分类也不计其数：电子信息、财经信息、天气信息、生物信息。信息可以减少不确定性。事件的不确定性是以其发生机率来量测，发生机率越高，不确定性越低事件的不确定性是以其发生机率来量测，发生机率越高，不确定性越低，事件的不确定性越高，越需要额外的信息减少其不确定性。，事件的不确定性越高，越需要额外的信息减少其不确定性。例如投掷一个公正的硬币，其信息为-log2(1/2) = 1 bit，投掷两个公正的硬币，其信息为-log2(1/4) = 2 bits。在热力学中，信息是指任何会影响系统的热力学状态的事件。第六页，讲稿共四十六页哦信息的度量信息的度量n信息可以被感知，但是不是所有的信息都可以定量计数，因此，我们要区分信息和信息量 。 n从数学上来说，关于信息量的定义，大概有100多种。 n如果将信息提升到科学进行研究，必须要对信息进行定量对信息进行定量，给出信息的科学测度，但是这并不是一件很容易的事情。 第七页，讲稿共四十六页哦信息与信息量信息与信息量n信息是多样的，客观事物是多种多样的、五花八门的，事物的状态和变化是多姿多彩、变幻无穷的，属性不同就出现了不同的信息，需要给出不同的信息定义，从而可创建不同的信息理论。n比如说信息的不确定性，引出了概率信息，这是我们讲的最多的。n再如信息的模糊性，引出了模糊信息和模糊信息论，这个在70年代末提出来的。n还如信息的量子属性，引出了量子信息和量子信息论。第八页，讲稿共四十六页哦信息与信息量信息与信息量n信息的复杂性引出了信息的复杂度和复杂度的信息理论，信息的感知属性引出了感知信息和感知信息理论，信息的美学属性引出美学信息和美学信息理论等等。n现在有五花八门的信息理论，已经提出了各式各样的信息理论，而且得到了众多不同的结果，都宣称取得了成功。动态信息论、定性信息论、经济信息论、算法信息论、模糊信息论、量子信息论等等，还有信息生态学、信息代数、信息几何等，信息物理学、信息生物学等。第九页，讲稿共四十六页哦信息与信息量信息与信息量n信息量度定义的困难性，在众多信息中，只有少数的信息有了量，大多数的信息是可以感知的，但是无法度量，因为没有找到合适的信息量的定义，就建不起来一套理论。n比如说对情感信息中的喜怒哀乐，都可以感知，但是我们很难度量它们，只能用一些比较模糊的形容词，描述不同程度的感情。n“你问我对你的爱有多深，我爱你有几分，你去想一想，你去看一看，月亮代表我的心。”我们还不能确切地给出“这份爱”有多少“比特”，“那份爱”比“这份爱”又多多少“比特”。对于美学信息也是如此。第十页，讲稿共四十六页哦信息多少的量度。1928年年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。若信源有m种消息，且每个消息是以相等可能产生的，则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究，还是从1948年C.E.仙农的奠基性工作开始的。在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。第十一页，讲稿共四十六页哦信息与信息量信息与信息量n由于客观信息的多样性，要想给出一个能够包罗万象的统一定义，在此基础上建立起一套信息理论几乎是不大可能的。n香浓(Shannon)信息论： 19481948年发表通信的数学理论，创建了信息论，建立了通信系统的模型，用用概率和统计观点描述信息概率和统计观点描述信息，包括信源、信道、干扰等，给出了不确定的信息量度，指出了客观有效、可靠的信息通信之路，宣告了一门学科信息论的诞生，成为通信领域技术革命的思想或者理论基础。第十二页，讲稿共四十六页哦信息与信息量信息与信息量n19481948年发表的通信的数学理论通信的数学理论文章，这是一篇2020世纪少有的几篇对科学和工程，乃至对人类社会发展产生了重要影响著作，是可与牛顿力学相与牛顿力学相媲美媲美的不朽之作，也是他最重要的科学贡献。n这使他成为信息论之父，时年仅3232岁。作为数学家，他为数学开辟了一个工程应用的新领域。这篇文章虽然在19471947年完成，但至今仍然闪烁着智慧的光芒，它将照耀人类今后的数个世纪。第十三页，讲稿共四十六页哦第十四页，讲稿共四十六页哦第一章：第一章：引论（简介）一、通信系统模型一、通信系统模型二、二、Shannon信息论的中心问题信息论的中心问题三、三、Shannon信息的概念信息的概念四、概率复习内容四、概率复习内容第十五页，讲稿共四十六页哦一、通信系统模型一、通信系统模型信源、信道、信宿信源、信道、信宿信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。信源编码器信道译码器信宿干扰源第十六页，讲稿共四十六页哦通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器第十七页，讲稿共四十六页哦各部件功能第十八页，讲稿共四十六页哦各部件功能第十九页，讲稿共四十六页哦各部件功能第二十页，讲稿共四十六页哦信息、消息和信号第二十一页，讲稿共四十六页哦音信消息音信消息南唐 李中暮春怀故人诗： “梦断美人沉信息，目穿长路倚楼台。” 宋 陈亮梅花诗： “欲传春信息，不怕雪埋藏。”水浒传第四四回： 宋江大喜，说道：“只有贤弟去得快，旬日便知信息。”巴金家 三一：“二表哥的事情怎样了？为什么连信息也不给我一个？”第二十二页，讲稿共四十六页哦二、二、Shannon信息论的中心问题信息论的中心问题“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。第二十三页，讲稿共四十六页哦中心问题中心问题具体地说，就是信源编码和信道编码。问题一：信源消息常常不能够完全发送。（否则发送问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：信源消息是一片无尽的天空。因此优量巨大，比如：信源消息是一片无尽的天空。因此优先捡先捡有用的有用的发送。什么是有用的？就是信息量大的。发送。什么是有用的？就是信息量大的。什么是信息量大的？）什么是信息量大的？）问题二：信道因干扰而出现差错，必须进行检错和纠错问题二：信道因干扰而出现差错，必须进行检错和纠错。（否则所收到的消息无法识别。）。（否则所收到的消息无法识别。） 第二十四页，讲稿共四十六页哦香农信息论的基本任务香农信息论的基本任务第二十五页，讲稿共四十六页哦信源编码问题n信源编码器的作用是根据失真度准则对信源进行划分，给每一类以不同的表示，即码字。n信源译码器的任务是根据收到的信源表示恢复出信源所属的类。第二十六页，讲稿共四十六页哦信源编码问题n在给定信源和失真度条件下，要多大信息速率才行？或对给定信源保留一定的信息速率下，可以达到的最小失真是多少？信源编码问题，即通信“可行性”研究。n如何实现上述理论找出实际可行的信源编码和译码方法。第二十七页，讲稿共四十六页哦信道编码问题n研究在保证信息传输可靠性的条件下最有效地利用信道的传信能力的。n设送入信道的信息速率为R，信道容量为C，信道编码基本理论告诉我们：n若RC，则不可能。n寻找实际可行的编、译码方法。第二十八页，讲稿共四十六页哦香农信息论特点将概率统计的观点和方法引入到通信理论研究中，揭示了通信系统中传送的对象是信息，并对信息给出科学的、定量的描述，指出通信系统设计的中心问题是在随机噪声干扰下如何有效而可靠地传送信息，实现这一目标的途径是编码（信源编码和信道编码），并且从理论上证明了可以达到的最佳性能限。第二十九页，讲稿共四十六页哦类比n对于Shannon信息论，可将通信问题与普通的运输问题做类比。n前者是传送信息，后者是传送货物。n传送货物有货源和运输通道，而货源和运输通道又有货源的体积（或吨位）和运输通道的容量。当运输通道的容量大于货源的体积（吨位）时，就能实现货物的正常运输。n信源和信道编码理论则是解决信息的传输问题。可以通过信息的度量来确定信息量（可形象地称为信号体积）和信道容量。当信道容量大于信息体积时，就能实现信息的正确传输。第三十页，讲稿共四十六页哦信息论的研究内容第三十一页，讲稿共四十六页哦狭义信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码第三十二页，讲稿共四十六页哦信息论发展简史第三十三页，讲稿共四十六页哦信息论发展简史第三十四页，讲稿共四十六页哦信息论发展简史第三十五页，讲稿共四十六页哦信息论发展简史第三十六页，讲稿共四十六页哦三、三、Shannon信息的概念信息的概念（直观地直观地认识认识Shannon信息和信息量，而暂信息和信息量，而暂时不使用定义）时不使用定义） 第一个重要概念：第一个重要概念：信道上传送的是随机变量的值。这就是说：（1）我们在收到消息之前，并不知道并不知道将要收到的是什么消息。否则消息是没有必要发送的。（2）我们在收到消息之前，知道知道将要收到的可能是哪些消息，以及收到每个消息的可能性大小。换句话说，消息随机变量有一个已知的已知的概率分布。（3）消息随机变量的一个可能取值就称为一个事件事件。 第三十七页，讲稿共四十六页哦三、三、 Shannon信息的概念信息的概念第二个重要概念：第二个重要概念：事件的信息量事件的信息量。事件发生的概率越小，此事件含有的信息量就越大。（直观含义：越是不太可能发生的事件竟然发生了，越是令人震惊令人震惊）例 事件A=“中国足球队中国足球队3：0力克韩国足球队力克韩国足球队”，则事件A含有的信息量大。（小概率事件发生了，事件信息量大）例 事件B=“中国足球队中国足球队0：1负于韩国足球队负于韩国足球队” ，则事件B含有的信息量小。（大概率事件发生了，事件信息量小）第三十八页，讲稿共四十六页哦三、三、 Shannon信息的概念信息的概念第三个重要概念：第三个重要概念：消息随机变量的信息量消息随机变量的信息量。消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。（直观含义：这种信息量的大小代表了不可预见性不可预见性的大小）例 消息随机变量X=“中国足球队与韩国足球队比赛的结果中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。（随机性小，可预见性大，因此该消息随机变量含有的信息量小。）例 消息随机变量Y=“意大利足球队与德国足球队比赛的结果意大利足球队与德国足球队比赛的结果”，则消息随机变量Y含有的信息量大。（随机性大，可预见性小，因此该消息随机变量含有的信息量大。） 第三十九页，讲稿共四十六页哦三、三、 Shannon信息的概念信息的概念第四个重要概念：第四个重要概念：两个事件的互信息量两个事件的互信息量。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相否定，它们的互信息量就越小。 如果两个事件既不互相肯定，也不互相否定，它们的互信息量就为0。 （直观含义：这种信息量的大小代表了相互肯定性相互肯定性的大小）例 A=西安明日有雨, B=咸阳明日有雨，BC=咸阳明日无雨， C=北京明日有雨，D=纽约明日有雨。则A与与B互信息量大互信息量大，A与与C互信息量小得多互信息量小得多，A与与D互信息量几乎为互信息量几乎为0，A与与BC互信息量小互信息量小。 第四十页，讲稿共四十六页哦三、三、 Shannon信息的概念信息的概念第五个重要概念：第五个重要概念：两个消息随机变量的互信息量两个消息随机变量的互信息量。两个消息随机变量的互相关性越大，它们的互信息量就越大。（直观含义：这种信息量的大小代表了相互依赖性相互依赖性的大小）例 X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则X与与Y互信息量大互信息量大，X与与Z互信息量小得多互信息量小得多，X与与W互信息量几乎为互信息量几乎为0。 第四十一页，讲稿共四十六页哦四、概率复习内容四、概率复习内容记号记号P(A)表示事件A发生的概率。P(A|B)表示在事件B发生的条件下，事件A发生的条件概率。EX表示随机变量X的数学期望。离散型随机变量离散型随机变量离散型随机变量X的所有事件为x1, x2, , xK，对应的概率为P(X=xk)=qk，k=1, 2, , K。通常将此随机变量记为X, xk, qk, k=1K。又X的分布列（分布矩阵）记为：KkkKKqqqqxxxX121211,其中第四十二页，讲稿共四十六页哦四、概率复习内容四、概率复习内容另一个离散型随机变量Y的所有事件为y1, y2, , yJ，对应的概率为P(Y=yj)=wj，j=1, 2, , J。通常将此随机变量记为Y, yj, wj, j=1J。又Y的分布列（分布矩阵）记为：JjjJJwwwwyyyY121211,其中第四十三页，讲稿共四十六页哦四、概率复习内容四、概率复习内容两个离散型随机变量X与Y联立，得到了二维离散型随机变量(X, Y)。(X, Y)的所有事件为(xk, yj), k=1, 2, , K; j=1, 2, , J。对应的概率为P(X, Y)= (xk, yj)=rkj，k=1, 2, , K; j=1, 2, , J。通常将此二维随机变量记为(X, Y), (xk, yj), rkj, k=1K; j=1J。(X, Y)的联合分布列（联合分布矩阵）为： KkJjkjKJKKKJJJrrrrxrrrxrrrxyyyYXYX1121222212112111211,),(其中第四十四页，讲稿共四十六页哦四、概率复习内容四、概率复习内容联合分布、边际分布、条件分布的关系：联合分布、边际分布、条件分布的关系： KkrqJikik1,1JjrwKiijj1,1KiijkjjkjjjkjkrrwryYPyxYXPyYxXP1)(),(),()|(JikikjkkjkjkkjrrqrxXPyxYXPxXyYP1)(),(),()|(第四十五页，讲稿共四十六页哦四、概率复习内容四、概率复习内容rkj=qkP(Y=yj| X=xk)=wjP(X=xk| Y=yj)。 如果X与Y相互独立，则对任何k=1K，j=1J ，都成立rkj=qkwj。 换句话说，对任何k=1K，j=1J ，都成立P(Y=yj| X=xk)=wj。P(X=xk| Y=yj)=qk。数学期望（均值）：KkkkqxEX1JjjjwyEY1第四十六页，讲稿共四十六页哦