信息与编码chap1.ppt

第一章第一章 引论引论第一章第一章 引论引论l1.1 通信系统模型l1.2 信息论研究的中心问题及发展1.1 通信系统模型通信系统模型通信系统模型通信系统模型信源编码器信道译码器信宿干扰源通信系统模型进一步细分通信系统模型进一步细分信源信源编码器信道编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器各部件功能各部件功能l信源l产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。l研究的主要问题是消息的统计特性和产生信息的速率l编码器l信源编码器：对信源输出进行变换，求得有效性l信道编码器：对信源编码输出变换，提高抗干扰性l调制器：将信道编码输出变成适合信道传输的方式各部件功能各部件功能l信道l信号从发端传到手段的介质l干扰源l系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性l信道的中心问题是研究信道的统计特性和传信能力，即信道容量信道容量各部件功能各部件功能l译码器l编码器的逆变换l中心问题是研究各种可实现的解调和译码方法l信宿l信息的接收者信息、消息和信号信息、消息和信号l信息l一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素l消息l是信息的载体，相对具体的概念，如语言，文字，数字，图像l信号l表示消息的物理量，电信号的幅度，频率，相位等等1.2 信息论研究的中心问信息论研究的中心问题和发展题和发展Shannon信息论的基本任务信息论的基本任务l1948年shannon发表了“通信的数学理论”奠定了信息论理论基础l基本任务是设计有效而可靠的通信系统l可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端l有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息信息论的研究内容信息论的研究内容l狭义信息论（经典信息论）l研究信息测度，信道容量以及信源和信道编码理论l一般信息论l研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论l广义信息论l除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学狭义信息论体系结构狭义信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码信息论发展简史信息论发展简史l电磁理论和电子学理论对通信理论技术发展起重要的促进作用l18201830年，法拉第发现电磁感应l莫尔斯18321835建立电报系统。1876年Bell发明电话l1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论l1895年马可尼发明了无线电通信l微波电子管导致微波通信系统，微波雷达系统l激光技术使通信进入光通信时代信息论发展简史信息论发展简史l1832年莫尔斯电码对shannon编码理论的启发l1885年凯尔文研究了一条电缆的极限传信速率l1922年卡逊对调幅信号的频谱结构进行研究l1924年奈奎斯特证明了信号传输速率和带宽成正比l1928年Hartley提出信息量定义为可能消息量的对数l1939年Dudley发明声码器l1940维纳将随机过程和数理统计引入通信与控制系统信息论发展简史信息论发展简史l1948年shannon信息论奠基l1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明l1957，Wolfowitz，1961 Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1972年Arimoto和Blahut发明了信道容量的迭代算法l1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法信息论发展简史信息论发展简史l1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术l1959年，Shannon提出率失真函数和率失真信源编码定理l1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。