信息论与编码理论第一章优秀课件.ppt
信息论与编码理论第一章第1页，本讲稿共25页第一章第一章 引论引论第2页，本讲稿共25页第一章第一章 引论引论1.1 1.1 通信系统模型通信系统模型1.2 1.2 信息论研究的中心问题及发展信息论研究的中心问题及发展1.3 shannon1.3 shannon信息论的局限性信息论的局限性1.4 1.4 信息的广义性信息的广义性第3页，本讲稿共25页1.1 通信系统模型通信系统模型第4页，本讲稿共25页通信系统模型通信系统模型信源信源编码器编码器信道信道译码器译码器信宿信宿干扰源干扰源通信系统的基本任务要求通信系统的基本任务要求可靠可靠:要使信源发出的消息经过传输后，尽可能准确地、要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端不失真或限定失真地再现在接收端有效有效:用尽可能短的时间和尽可能少的设备来传输最用尽可能短的时间和尽可能少的设备来传输最大的消息大的消息第5页，本讲稿共25页通信系统模型进一步细分通信系统模型进一步细分信源信源信源信源编码器编码器信道信道编码器编码器调制器调制器信信道道干扰源干扰源解调器解调器信道信道译码器译码器信源信源译码器译码器信宿信宿等效离散信道等效离散信道等效离散信等效离散信源源等效信宿等效信宿信道编码器信道编码器信道译码器信道译码器第6页，本讲稿共25页信息、消息和信号信息、消息和信号信息信息n一个抽象的概念，可以定量的描述。信息、物质和能量是构成一一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素切系统的三大要素消息消息n是信息的载体，相对具体的概念，如语言，文字，数字，图像是信息的载体，相对具体的概念，如语言，文字，数字，图像信号信号n表示消息的物理量，电信号的幅度，频率，相位等等表示消息的物理量，电信号的幅度，频率，相位等等第7页，本讲稿共25页1.2 信息论研究的中心问题和发信息论研究的中心问题和发展展第8页，本讲稿共25页Shannon信息论的基本任务信息论的基本任务19481948年年shannonshannon发表了发表了“通信的数学理论通信的数学理论”奠定了信息论理论基础奠定了信息论理论基础基本任务是设计基本任务是设计有效有效而而可靠可靠的通信系统的通信系统第9页，本讲稿共25页信息论的研究内容信息论的研究内容狭义信息论（经典信息论）狭义信息论（经典信息论）n研究信息测度，信道容量以及信源和信道编码理论研究信息测度，信道容量以及信源和信道编码理论一般信息论一般信息论n研究信息传输和处理问题，除经典信息论外还包括噪声理研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论信息处理理论和保密理论广义信息论广义信息论n除上述内容外，还包括自然和社会领域有关信息的内容，如模式除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学识别，计算机翻译，心理学，遗传学，神经生理学第10页，本讲稿共25页Shannon理论Shannon定理的证明是非构造性的，而且也不够严格，但他的定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确数学直观出奇地正确”(A.N.Kolmogrov，1963)。已在数学上严格地证明了已在数学上严格地证明了Shannon编码定理，而且发现了各种编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现具体可构造的有效编码理论和方法，可以实现Shannon指出的指出的极限。极限。n几乎无错地经由几乎无错地经由Gaussian信道传信信道传信n对于非白对于非白Gassian信道，信道，Shannon的注水定理和多载波调制的注水定理和多载波调制(MCM)nCDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息、各种均衡、对消技术、以及信息存储编码调制技术存储编码调制技术第11页，本讲稿共25页信息论几个方面的主要进展信息论几个方面的主要进展信源编码与数据压缩信源编码与数据压缩 信道编码与差错控制技术信道编码与差错控制技术多用户信息论与网络通信多用户信息论与网络通信 多媒体与信息论多媒体与信息论 信息论与密码学和数据安全信息论与密码学和数据安全信息论与概率统计信息论与概率统计信息论与经济学信息论与经济学信息论与计算复杂性信息论与计算复杂性信息论与系统、控制、信号检测和处理信息论与系统、控制、信号检测和处理量子信息论量子信息论Shannon的其它重要贡献的其它重要贡献参见课程网站参见课程网站:信息论进展信息论进展50年年第12页，本讲稿共25页I信源编码与数据压缩信源编码与数据压缩-关键理论进展的关键理论进展的十个里程碑十个里程碑Kieffer 1993Kieffer 19931.无扰信源编码的诞生无扰信源编码的诞生(1948,C.E.Shannon)。2.Huffman算法的发现算法的发现(1952,D.A.Huffman)。3.建立建立Shannon-McMillan定理定理(1953,B.McMillan)。4.发现发现Lloyd算法算法(1957,S.P.Lloyd,1982年发表年发表,)。5.率失真理论系统化率失真理论系统化(1959,C.E.Shannon,)。6.Kolmogorov Complexity概念诞生概念诞生(1964,A.N.Kolmogorov,)。7.通用信源编码理论系统化通用信源编码理论系统化(1973,L.D.Davission)。8.多端信源编码理论诞生多端信源编码理论诞生(1973,D.Slepian和和J.K.Wolf)。9.第一个实际的算术编码方案第一个实际的算术编码方案(1976,J.Rissannen和和R.Pasco 1976 博士论文博士论文)。10.发现发现Lempel-Ziv码码(1977,J.Ziv和和A.Lempel)。第13页，本讲稿共25页信道编码与差错控制技术信道编码与差错控制技术 1Shannon信道编码定理和信道编码定理和Shannon极限。极限。Shannon编码信道定理编码信道定理:RC 不存在有编码方法实现满足误码率要求的速率为不存在有编码方法实现满足误码率要求的速率为R的传信。的传信。Shannon 证明码长证明码长N大时，随机选择的码以很高概率为好码。大时，随机选择的码以很高概率为好码。问题：问题：Shannon的证明是非构造性，如何构造好码实现定理目标的证明是非构造性，如何构造好码实现定理目标?实现实现ML译码的复杂性随译码的复杂性随N呈指数增长。呈指数增长。第14页，本讲稿共25页第15页，本讲稿共25页第16页，本讲稿共25页第17页，本讲稿共25页多用户信息论与网络通信多用户信息论与网络通信(1)理论基础。两路通信系统理论基础。两路通信系统(Shannon 1961)。(2)理论进展。理论进展。Cover,Schalkwijk,Van.der Meulen,Alswede,Slepian,Wolf,Wyner Liao(Universty of Hawaii),Han等。等。(3)技术成就。技术成就。nCDMA(Virerbi,Qaulecom)的技术问题：联合检测和译码、的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆均衡、干扰抵消、速率分拆(rate splitting)、功率检测控制、功率检测控制等等(Verdu,Shamai and Rimoldi)。nSTC(Space time code)，源于信息论考虑。，源于信息论考虑。n线性网络编码线性网络编码n合作编码技术合作编码技术第18页，本讲稿共25页 过去过去5050年中年中ShannonShannon信息论已取得巨大、丰富的理论和技术成果，在信息论已取得巨大、丰富的理论和技术成果，在未来的未来的5050年中，年中，ShannonShannon信息论将继续繁荣还是趋向衰落和消亡信息论将继续繁荣还是趋向衰落和消亡?在过去在过去5050年中也曾几次出现过类似的争论。如果信息论继续推动技术年中也曾几次出现过类似的争论。如果信息论继续推动技术的发展，则在未来的几十年中就会继续繁荣下去，否则会象近的发展，则在未来的几十年中就会继续繁荣下去，否则会象近3030年来的物年来的物理学所经受的萧条。理学所经受的萧条。当前信息论对无线通信的重要作用为信息论的发展提供了契当前信息论对无线通信的重要作用为信息论的发展提供了契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依靠信息论的发展，同时需要更多的信息论人才。靠信息论的发展，同时需要更多的信息论人才。InternetInternet通信、移动通信、光存储、生物等领域将向信息论提出通信、移动通信、光存储、生物等领域将向信息论提出新的挑战。新的挑战。未来的趋势未来的趋势第19页，本讲稿共25页ShannonShannon信息论在研究方法上的启示信息论在研究方法上的启示1.1.理论与实际的关系。五十年信息论发展的历史证明，理论与实际的关系。五十年信息论发展的历史证明，理论必须结合理论必须结合(扎根于扎根于)实际才有旺盛的生命力。实际才有旺盛的生命力。2 2简化模型。理论的作用是浓缩知识之树，简化模型。理论的作用是浓缩知识之树，“简单模简单模型胜于繁琐的现象罗列型胜于繁琐的现象罗列”，“简单化才能显现出事物简单化才能显现出事物的本质，它表现了人的洞察力的本质，它表现了人的洞察力”。好的性能量度和复杂性的量度（信息量、熵、信好的性能量度和复杂性的量度（信息量、熵、信道容量、商品等），常会引导出优秀的理论结果和令道容量、商品等），常会引导出优秀的理论结果和令人满意的实际应用。人满意的实际应用。第20页，本讲稿共25页1.3 Shannon信息论的局限性信息论的局限性第21页，本讲稿共25页如果实际信源或信道符合所采用的概率模如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是型描述，这种方法是有效的，否则只能是近似的，甚至根本无效。近似的，甚至根本无效。n语言的熵描述是非常困难的，其是非平稳的，语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如除了确定的信息，还有模糊的信息，比如“韵韵味味”，“意境意境”n不同的接收者对同一个东西得到的信息可能是不同的接收者对同一个东西得到的信息可能是不同的不同的Shannon信息论适合于能够定量描述的信息，信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力。对难于定量描述的信息则无能为力。第22页，本讲稿共25页1.4 信息论的广义性信息论的广义性第23页，本讲稿共25页信息论常被理解为包括更广的领域信息论常被理解为包括更广的领域n语义学语义学n语言学语言学n神经生理学神经生理学n心理学心理学n组织学组织学信息的不同属性的定义产生不同的信息论信息的不同属性的定义产生不同的信息论n模糊信息论模糊信息论n量子信息论量子信息论n生物信息论生物信息论n信息复杂度的信息理论信息复杂度的信息理论第24页，本讲稿共25页课程内容课程内容Chap2:信息的定义与性质信息的定义与性质Chap3:DMS无失真编码定理和编码方法无失真编码定理和编码方法Chap4:channel Capacity Chap5:channel coding theoremChap7:Block codingChap9:Rate DistortionChap10:Multi-user Information Theory第25页，本讲稿共25页
