信息论与编码理论第一章.ppt

《信息论与编码理论第一章.ppt》由会员分享，可在线阅读，更多相关《信息论与编码理论第一章.ppt（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论基础信息论基础参考书参考书：Elements of Information TheoryElements of Information Theory，Thomas M.Thomas M.Cover Cover 清华大学出版社影印版清华大学出版社影印版应用信息论基础应用信息论基础 朱雪龙，清华大学出版社朱雪龙，清华大学出版社信息论信息论-基础理论与应用，傅祖芸，电子工业出版基础理论与应用，傅祖芸，电子工业出版社社课程网站课程网站:第一章第一章 引论引论第一章第一章 引论引论1.1 1.1 通信系统模型通信系统模型1.2 1.2 信息论研究的中心问题及发展信息论研究的中心问题及发展1.3 s

2、hannon1.3 shannon信息论的局限性信息论的局限性1.4 1.4 信息的广义性信息的广义性1.1 通信系统模型通信系统模型通信系统模型通信系统模型信源信源编码器编码器信道信道译码器译码器信宿信宿干扰源干扰源通信系统的基本任务要求通信系统的基本任务要求可靠可靠:要使信源发出的消息经过传输后，尽可能准确要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端地、不失真或限定失真地再现在接收端有效有效:用尽可能短的时间和尽可能少的设备来传输用尽可能短的时间和尽可能少的设备来传输最大的消息最大的消息通信系统模型进一步细分通信系统模型进一步细分信源信源信源信源编码器编码器信

3、道信道编码器编码器调制器调制器信信道道干扰源干扰源解调器解调器信道信道译码器译码器信源信源译码器译码器信宿信宿等效离散信道等效离散信道等效离散信等效离散信源源等效信宿等效信宿信道编码器信道编码器信道译码器信道译码器信息、消息和信号信息、消息和信号信息信息n一个抽象的概念，可以定量的描述。信息、物质和能一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素量是构成一切系统的三大要素消息消息n是信息的载体，相对具体的概念，如语言，文字，数是信息的载体，相对具体的概念，如语言，文字，数字，图像字，图像信号信号n表示消息的物理量，电信号的幅度，频率，相位等等表示消息的物理量，电信号的

4、幅度，频率，相位等等1.2 信息论研究的中心问题和发信息论研究的中心问题和发展展Shannon信息论的基本任务信息论的基本任务19481948年年shannonshannon发表了发表了“通信的数学理论通信的数学理论”奠定了信息论理论基础奠定了信息论理论基础基本任务是设计基本任务是设计有效有效而而可靠可靠的通信系统的通信系统信息论的研究内容信息论的研究内容狭义信息论（经典信息论）狭义信息论（经典信息论）n研究信息测度，信道容量以及信源和信道编码理论研究信息测度，信道容量以及信源和信道编码理论一般信息论一般信息论n研究信息传输和处理问题，除经典信息论外还包括噪研究信息传输和处理问题，除经典信息论

5、外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论制理论，信息处理理论和保密理论广义信息论广义信息论n除上述内容外，还包括自然和社会领域有关信息的内除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神容，如模式识别，计算机翻译，心理学，遗传学，神经生理学经生理学Shannon理论Shannon定理的证明是非构造性的，而且也不够严格，但定理的证明是非构造性的，而且也不够严格，但他的他的“数学直观出奇地正确数学直观出奇地正确”(A.N.Kolmogrov，1963)。已在数学上

6、严格地证明了已在数学上严格地证明了Shannon编码定理，而且发现了编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。指出的极限。n几乎无错地经由几乎无错地经由Gaussian信道传信信道传信n对于非白对于非白Gassian信道，信道，Shannon的注水定理和多载波调制的注水定理和多载波调制(MCM)nCDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、各种均衡、对消技术、以及信息存储编码调制技术以及信息存储编码调制技术信息论几个方面的主要进展信息论几个方面的主要进展信源编码与数据压缩信源编码

7、与数据压缩 信道编码与差错控制技术信道编码与差错控制技术多用户信息论与网络通信多用户信息论与网络通信 多媒体与信息论多媒体与信息论 信息论与密码学和数据安全信息论与密码学和数据安全信息论与概率统计信息论与概率统计信息论与经济学信息论与经济学信息论与计算复杂性信息论与计算复杂性信息论与系统、控制、信号检测和处理信息论与系统、控制、信号检测和处理量子信息论量子信息论Shannon的其它重要贡献的其它重要贡献参见课程网站参见课程网站:信息论进展信息论进展50年年I信源编码与数据压缩信源编码与数据压缩-关键理论进展关键理论进展的十个里程碑的十个里程碑Kieffer 1993Kieffer 19931.

8、无扰信源编码的诞生无扰信源编码的诞生(1948,C.E.Shannon)。2.Huffman算法的发现算法的发现(1952,D.A.Huffman)。3.建立建立Shannon-McMillan定理定理(1953,B.McMillan)。4.发现发现Lloyd算法算法(1957,S.P.Lloyd,1982年发表年发表,)。5.率失真理论系统化率失真理论系统化(1959,C.E.Shannon,)。6.Kolmogorov Complexity概念诞生概念诞生(1964,A.N.Kolmogorov,)。7.通用信源编码理论系统化通用信源编码理论系统化(1973,L.D.Davission)。

9、8.多端信源编码理论诞生多端信源编码理论诞生(1973,D.Slepian和和J.K.Wolf)。9.第一个实际的算术编码方案第一个实际的算术编码方案(1976,J.Rissannen和和R.Pasco 1976 博士论文博士论文)。10.发现发现Lempel-Ziv码码(1977,J.Ziv和和A.Lempel)。信道编码与差错控制技术信道编码与差错控制技术 1Shannon信道编码定理和信道编码定理和Shannon极限。极限。Shannon编码信道定理编码信道定理:RC 不存在有编码方法实现满足误码率要求的速率为不存在有编码方法实现满足误码率要求的速率为R的的传信。传信。Shannon 证

10、明码长证明码长N大时，随机选择的码以很高概率为好大时，随机选择的码以很高概率为好码。码。问题：问题：Shannon的证明是非构造性，如何构造好码实现定的证明是非构造性，如何构造好码实现定理目标理目标?实现实现ML译码的复杂性随译码的复杂性随N呈指数增长。呈指数增长。多用户信息论与网络通信多用户信息论与网络通信(1)理论基础。两路通信系统理论基础。两路通信系统(Shannon 1961)。(2)理论进展。理论进展。Cover,Schalkwijk,Van.der Meulen,Alswede,Slepian,Wolf,Wyner Liao(Universty of Hawaii),Han等。等。

11、(3)技术成就。技术成就。nCDMA(Virerbi,Qaulecom)的技术问题：联合检测和译的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆码、均衡、干扰抵消、速率分拆(rate splitting)、功率、功率检测控制等检测控制等(Verdu,Shamai and Rimoldi)。nSTC(Space time code)，源于信息论考虑。，源于信息论考虑。n线性网络编码线性网络编码n合作编码技术合作编码技术 过去过去5050年中年中ShannonShannon信息论已取得巨大、丰富的理论和技信息论已取得巨大、丰富的理论和技术成果，在未来的术成果，在未来的5050年中，年中，Sha

12、nnonShannon信息论将继续繁荣还是趋信息论将继续繁荣还是趋向衰落和消亡向衰落和消亡?在过去在过去5050年中也曾几次出现过类似的争论。如果信息论继年中也曾几次出现过类似的争论。如果信息论继续推动技术的发展，则在未来的几十年中就会继续繁荣下去，续推动技术的发展，则在未来的几十年中就会继续繁荣下去，否则会象近否则会象近3030年来的物理学所经受的萧条。年来的物理学所经受的萧条。当前信息论对无线通信的重要作用为信息论的发展提供了当前信息论对无线通信的重要作用为信息论的发展提供了契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依靠信

13、息论的发展，同时需要更多的信息论人才。加依靠信息论的发展，同时需要更多的信息论人才。Internet Internet通信、移动通信、光存储、生物等领域将向信息通信、移动通信、光存储、生物等领域将向信息论提出新的挑战。论提出新的挑战。未来的趋势未来的趋势ShannonShannon信息论在研究方法上的启示信息论在研究方法上的启示1.1.理论与实际的关系。五十年信息论发展的历史证理论与实际的关系。五十年信息论发展的历史证明，理论必须结合明，理论必须结合(扎根于扎根于)实际才有旺盛的生命实际才有旺盛的生命力。力。2 2简化模型。理论的作用是浓缩知识之树，简化模型。理论的作用是浓缩知识之树，“简简单

14、模型胜于繁琐的现象罗列单模型胜于繁琐的现象罗列”，“简单化才能显简单化才能显现出事物的本质，它表现了人的洞察力现出事物的本质，它表现了人的洞察力”。好的性能量度和复杂性的量度（信息量、熵、好的性能量度和复杂性的量度（信息量、熵、信道容量、商品等），常会引导出优秀的理论结信道容量、商品等），常会引导出优秀的理论结果和令人满意的实际应用。果和令人满意的实际应用。1.3 Shannon信息论的局限性信息论的局限性如果实际信源或信道符合所采用的概率模如果实际信源或信道符合所采用的概率模型描述，这种方法是有效的，否则只能是型描述，这种方法是有效的，否则只能是近似的，甚至根本无效。近似的，甚至根本无效。n

15、语言的熵描述是非常困难的，其是非平稳的，语言的熵描述是非常困难的，其是非平稳的，除了确定的信息，还有模糊的信息，比如除了确定的信息，还有模糊的信息，比如“韵韵味味”，“意境意境”n不同的接收者对同一个东西得到的信息可能是不同的接收者对同一个东西得到的信息可能是不同的不同的Shannon信息论适合于能够定量描述的信息，信息论适合于能够定量描述的信息，对难于定量描述的信息则无能为力。对难于定量描述的信息则无能为力。1.4 信息论的广义性信息论的广义性信息论常被理解为包括更广的领域信息论常被理解为包括更广的领域n语义学语义学n语言学语言学n神经生理学神经生理学n心理学心理学n组织学组织学信息的不同属性的定义产生不同的信息论信息的不同属性的定义产生不同的信息论n模糊信息论模糊信息论n量子信息论量子信息论n生物信息论生物信息论n信息复杂度的信息理论信息复杂度的信息理论课程内容课程内容Chap2:信息的定义与性质信息的定义与性质Chap3:DMS无失真编码定理和编码方法无失真编码定理和编码方法Chap4:channel Capacity Chap5:channel coding theoremChap7:Block codingChap9:Rate DistortionChap10:Multi-user Information Theory