《信息论与编码》-第1章-序论.ppt

《《信息论与编码》-第1章-序论.ppt》由会员分享，可在线阅读，更多相关《《信息论与编码》-第1章-序论.ppt（29页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、网络网络工程系工程系- -Information Theory and Coding2第一章：第一章：引论（简介）一、通信系统模型一、通信系统模型二、二、Shannon信息论的中心问题信息论的中心问题三、三、Shannon信息的概念信息的概念四、概率复习内容四、概率复习内容网络网络工程系工程系- -Information Theory and Coding一、通信系统模型一、通信系统模型信源、信道、信宿信源、信道、信宿信源是消息的来源，信源是消息的来源，信道是消息传送媒介，信道是消息传送媒介，信宿是消息的目的地。信宿是消息的目的地。信源信源编码器编码器信道信道译码器译码器信宿信宿干扰源干扰源网

2、络网络工程系工程系- -Information Theory and Coding通信系统模型进一步细分信源信源信源信源编码器编码器纠错纠错编码器编码器调制器调制器信信道道干扰源干扰源解调器解调器信道信道译码器译码器信源信源译码器译码器信宿信宿等效离散信道等效离散信道等效等效离散信源离散信源等效信宿等效信宿信道信道编码器编码器信道译码信道译码器器产生消息的源，消息可以是产生消息的源，消息可以是文字，语言，图像。可以离文字，语言，图像。可以离散，可以连续。随机发生。散，可以连续。随机发生。研究的主要问题是消息的统研究的主要问题是消息的统计特性和产生信息的速率计特性和产生信息的速率对信源输出进对信

3、源输出进行变换，求得行变换，求得有效性有效性对信源编码输出变换，对信源编码输出变换，提高抗干扰性提高抗干扰性将信道编码输出变将信道编码输出变成适合信道传输的成适合信道传输的方式方式信号从发端传到收信号从发端传到收端的介质端的介质信道的中心问题是信道的中心问题是研究信道的统计特研究信道的统计特性和传信能力，即性和传信能力，即信道容量信道容量系统各部分引入的系统各部分引入的干扰，包括衰落，干扰，包括衰落，多径，码间干扰，多径，码间干扰，非线性失真，加性非线性失真，加性噪声，主要是统计噪声，主要是统计特性特性译码器：译码器：编码器的逆变换编码器的逆变换中心问题是研究各种可中心问题是研究各种可实现的解

4、调和译码方法实现的解调和译码方法信息的接收者信息的接收者网络网络工程系工程系- -Information Theory and Coding信息l一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素l辞海：通信系统传输和处理的对象。泛指消息和信号的具体内容和意义。（通常需要分析和处理）网络网络工程系工程系- -Information Theory and Coding信息l定义定义1 1：信息是指各个事物运动的状态及状态变化信息是指各个事物运动的状态及状态变化的方式。（人们从对周围世界的观察得到的方式。（人们从对周围世界的观察得到数据中获取信息）数据中获取信息）l定义定义2

5、 2：信息是认识主体（人、生物或机器）所感信息是认识主体（人、生物或机器）所感受的或表达的事物运动的状态和运动状态受的或表达的事物运动的状态和运动状态变化的方式，是人们在适应外部世界和控变化的方式，是人们在适应外部世界和控制中，从外部交换的信息。制中，从外部交换的信息。网络网络工程系工程系- -Information Theory and Coding信息定义l钟义信：信息就是事物运动的状态信息就是事物运动的状态和方式，就是关于事物运动的千差和方式，就是关于事物运动的千差万别的状态和方式的知识。万别的状态和方式的知识。网络网络工程系工程系- -Information Theory and Co

6、ding信息的特征n接受者在受到信息之前，对它的内容不知接受者在受到信息之前，对它的内容不知道，所以信息是新知识、新内容。道，所以信息是新知识、新内容。n信息是能使认识某一事物的未知性和不确信息是能使认识某一事物的未知性和不确定性减少的有用知识。定性减少的有用知识。n信息可以产生，也可以消失，可以携带存信息可以产生，也可以消失，可以携带存储及处理储及处理n信息是可以度量的，信息量有多少的差别信息是可以度量的，信息量有多少的差别网络网络工程系工程系- -Information Theory and Coding消息和信号l消息：消息：是信息的载体，相对具体的概念，指包含消息是信息的载体，相对具体

7、的概念，指包含消息的语言，文字，数字，图像等。的语言，文字，数字，图像等。在通信系统中消息是指担负着传送信息任务的在通信系统中消息是指担负着传送信息任务的单个符号或符号序列。单个符号或符号序列。可用不同消息（如语言、文字、图像）传递同一信息。如球赛进展情况的信息可用电视图像、广播语言、报纸文字等不同消息来表达。网络网络工程系工程系- -Information Theory and Coding信号l信号：信号：是消息的物理体现，为了在信道上传输信息必须把是消息的物理体现，为了在信道上传输信息必须把消息加载到具有某种特征的信号上去。如：电信消息加载到具有某种特征的信号上去。如：电信号的幅度，频率

8、，相位等等。号的幅度，频率，相位等等。可用不同类型的信号（如声、光、电）传递同一可用不同类型的信号（如声、光、电）传递同一消息，如消息，如“母病愈母病愈”这种关于母亲身体状况的信这种关于母亲身体状况的信息，用汉文息，用汉文“母病愈母病愈”的消息来表述，然后用电的消息来表述，然后用电报系统把汉字转化为莫尔斯码，再转化，调制成报系统把汉字转化为莫尔斯码，再转化，调制成电信号进行传输。此时电信号里载荷有汉文消息电信号进行传输。此时电信号里载荷有汉文消息“母病愈母病愈”。网络网络工程系工程系- -Information Theory and Coding信息、消息和信号通信系统传输的本质是信息，发送端

9、需要将信息表示成具体的消息，再将消息载至信号上，在通信系统中传输。网络网络工程系工程系- -Information Theory and Coding“信息论信息论”，又称为，又称为“通信的数学理论通信的数学理论”，是研究信息的传输、存储、处理的科学是研究信息的传输、存储、处理的科学。信息论的中心问题：为设计有效而可靠的信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。通信系统提供理论依据。可靠是要使信源发出的消息经过传输后，尽可可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端能准确地、不失真地再现在接收端有效是用尽可能短的时间和尽可能少的设备来有效是用尽可能短的

10、时间和尽可能少的设备来传输一定量的消息传输一定量的消息二、二、Shannon信息论的中心问题信息论的中心问题网络网络工程系工程系- -Information Theory and Coding二、二、Shannon信息论的中心问题信息论的中心问题具体地说，就是信源编码和信道编码。以下来看所要解决的具体问题。l 问题一：信源消息常常不能够完全发送问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：信源消息（否则发送量巨大，比如：信源消息是一片无尽的天空。因此优先捡是一片无尽的天空。因此优先捡有用的有用的发送。什么是有用的？就是信息量大的发送。什么是有用的？就是信息量大的。什么是信息量大的

11、？）。什么是信息量大的？）l 问题二：信道因干扰而出现差错，必须问题二：信道因干扰而出现差错，必须进行检错和纠错。进行检错和纠错。（否则所收到的消息（否则所收到的消息无法识别。）无法识别。）网络网络工程系工程系- -Information Theory and Coding信息论的研究内容l 狭义信息论（经典信息论）即狭义信息论（经典信息论）即ShannonShannon信息论信息论研究信息测度，信道容量以及信源和信道编码理论研究信息测度，信道容量以及信源和信道编码理论l 一般信息论一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，研究信息传输和处理问题，除经典信息论外还包括噪声

12、理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论理理论和保密理论l 广义信息论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学式识别，计算机翻译，心理学，遗传学，神经生理学网络网络工程系工程系- -Information Theory and Coding狭义信息论体系结构Shannon信息论信息论压缩理论压缩理论有失真编码有失真编码无失真编码无失真编码等长编码等长编码定理定理Shannon1948Mc

13、Millan1953变长编码变长编码定理定理Shannon1948McMillan1956Huffman码码(1952)、Fano码码算术码算术码(1976,1982)LZ码码(1977,1978)率失真理论率失真理论ShannonGallagerBerger压缩编码压缩编码JPEGMPEG传输理论传输理论信道编码定理信道编码定理网络信息理论网络信息理论纠错码纠错码编码调制理论编码调制理论网络最佳码网络最佳码网络网络工程系工程系- -Information Theory and Coding三、三、Shannon信息的概念信息的概念第一个重要概念：信道上传送的是随机变量的第一个重要概念：信道上

14、传送的是随机变量的值。这就是说：值。这就是说：（1 1）我们在收到消息之前，）我们在收到消息之前，并不知道并不知道将要收到将要收到的是什么消息。否则消息是没有必要发送的。的是什么消息。否则消息是没有必要发送的。（2 2）我们在收到消息之前，）我们在收到消息之前，知道知道将要收到的可将要收到的可能是哪些消息，以及收到每个消息的可能性大能是哪些消息，以及收到每个消息的可能性大小。换句话说，消息随机变量有一个小。换句话说，消息随机变量有一个已知的已知的概概率分布。率分布。（3 3）消息随机变量的一个可能取值就称为一个）消息随机变量的一个可能取值就称为一个事件事件。 网络网络工程系工程系- -Info

15、rmation Theory and Coding三、三、 Shannon信息的概念信息的概念第二个重要概念：第二个重要概念：事件的信息量事件的信息量。事件发生的概率越小，此事件含有的信息量就越大。（直观含义：越是不太可能发生的事件竟然发生了，越是令人震惊令人震惊）例 事件A=“中国足球队中国足球队3：0力克韩国足球队力克韩国足球队”，则事件A含有的信息量大。（小概率事件发生了，事件信息量大）例 事件B=“中国足球队中国足球队0：1负于韩国足球队负于韩国足球队” ，则事件B含有的信息量小。（大概率事件发生了，事件信息量小）网络网络工程系工程系- -Information Theory and

16、Coding三、三、 Shannon信息的概念信息的概念第三个重要概念：第三个重要概念：消息随机变量的信息量消息随机变量的信息量。消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。（直观含义：这种信息量的大小代表了不可预见性不可预见性的大小）例 消息随机变量X=“中国足球队与韩国足球队比赛的结果中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。（随机性小，可预见性大，因此该消息随机变量含有的信息量小。）例 消息随机变量Y=“意大利足球队与德国足球队比赛的结意大利足球队与德国足球队比赛的结果果”，则消息随机变量Y含有的信息量大。（随机性大，可预见性小，因此该消息随机变

17、量含有的信息量大。） 网络网络工程系工程系- -Information Theory and Coding三、三、 Shannon信息的概念信息的概念第四个重要概念：第四个重要概念：两个事件的互信息量两个事件的互信息量。两个事。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相否定，它们的互信息量就越小。件越是互相否定，它们的互信息量就越小。 如果两如果两个事件既不互相肯定，也不互相否定，它们的互信个事件既不互相肯定，也不互相否定，它们的互信息量就为息量就为0 0。 （直观含义：这种信息量的大小代表（直观含义：这种信息量的大小代表了了相互肯

18、定性相互肯定性的大小）的大小）例例 A=西安明日有雨西安明日有雨, B=咸阳明日有雨，咸阳明日有雨，BC=咸阳明日咸阳明日无雨，无雨， C=北京明日有雨，北京明日有雨，D=纽约明日有雨。则纽约明日有雨。则A与与B互信息量大，互信息量大，A与与C互信息量小得多，互信息量小得多，A与与D互信息量几乎为互信息量几乎为0，A与与BC互信息量小。互信息量小。 网络网络工程系工程系- -Information Theory and Coding三、三、 Shannon信息的概念信息的概念第五个重要概念：第五个重要概念：两个消息随机变量的互信息量两个消息随机变量的互信息量。两个消息随机变量的互相关性越大，它

19、们的两个消息随机变量的互相关性越大，它们的互信互信息量息量就越大。（直观含义：这种信息量的大小代就越大。（直观含义：这种信息量的大小代表了表了相互依赖性相互依赖性的大小）的大小）例例 X=西安明日平均气温西安明日平均气温, Y=咸阳明日平均气温，咸阳明日平均气温，Z=北京明日平均气温，北京明日平均气温，W=纽约明日平均气温。纽约明日平均气温。则则X与与Y互信息量大，互信息量大，X与与Z互信息量小得多，互信息量小得多，X与与W互信息量几乎为互信息量几乎为0。 网络网络工程系工程系- -Information Theory and Coding四、概率复习内容四、概率复习内容记号记号P(A)表示事

20、件表示事件A发生的概率。发生的概率。P(A|B)表示在事件表示在事件B发生的条件发生的条件下，事件下，事件A发生的条件概率。发生的条件概率。EX表示随机变量表示随机变量X的数学期望的数学期望。离散型随机变量离散型随机变量离散型随机变量离散型随机变量X的所有事件为的所有事件为x1, x2, , xK，对应的概率为，对应的概率为P(X=xk)=qk，k=1, 2, , K。通常将此随机变量记为。通常将此随机变量记为X, xk, qk, k=1K。又。又X的分布列（分布矩阵）记为：的分布列（分布矩阵）记为：KkkKKqqqqxxxX121211,其中网络网络工程系工程系- -Information

21、Theory and Coding四、概率复习内容四、概率复习内容另一个离散型随机变量另一个离散型随机变量Y的所有事件为的所有事件为y1, y2, , yJ，对应的概率为，对应的概率为P(Y=yj)=wj，j=1, 2, , J。通常将此随机变量记为。通常将此随机变量记为Y, yj, wj, j=1J。又。又Y的分布列（分布矩阵）记为：的分布列（分布矩阵）记为：JjjJJwwwwyyyY121211,其中网络网络工程系工程系- -Information Theory and Coding四、概率复习内容四、概率复习内容两个离散型随机变量两个离散型随机变量X与与Y联立，得到了二维离散联立，得到了

22、二维离散型随机变量型随机变量(X, Y)。(X, Y)的所有事件为的所有事件为(xk, yj), k=1, 2, , K; j=1, 2, , J。对应的概率为。对应的概率为P(X, Y)= (xk, yj)=rkj，k=1, 2, , K; j=1, 2, , J。通常将此二维随机。通常将此二维随机变量记为变量记为(X, Y), (xk, yj), rkj, k=1K; j=1J。(X, Y)的的联合分布列（联合分布矩阵）为：联合分布列（联合分布矩阵）为： KkJjkjKJKKKJJJrrrrxrrrxrrrxyyyYXYX1121222212112111211,),(其中网络网络工程系工程

23、系- -Information Theory and Coding四、概率复习内容四、概率复习内容联合分布、边际分布、条件分布的关系：联合分布、边际分布、条件分布的关系： KkrqJikik1,1JjrwKiijj1,1KiijkjjkjjjkjkrrwryYPyxYXPyYxXP1)(),(),()|(JikikjkkjkjkkjrrqrxXPyxYXPxXyYP1)(),(),()|(网络网络工程系工程系- -Information Theory and Coding四、概率复习内容四、概率复习内容rkj=qkP(Y=yj| X=xk)=wjP(X=xk| Y=yj)。 如果如果X与与Y相

24、互独立，则对任何相互独立，则对任何k=1K，j=1J ，都成立，都成立rkj=qkwj。 换句话说，对任何换句话说，对任何k=1K，j=1J ，都成立，都成立P(Y=yj| X=xk)=wj。P(X=xk| Y=yj)=qk。数学期望（均值）：数学期望（均值）：KkkkqxEX1JjjjwyEY1网络网络工程系工程系- -Information Theory and Coding四、概率复习内容四、概率复习内容连续型随机变量连续型随机变量连续型随机变量连续型随机变量X的所有事件的所有事件x有不可列无穷多个，对有不可列无穷多个，对应的密度函数为应的密度函数为fX(x)，-x+。通常将此随机变。通

25、常将此随机变量记为量记为X, fX(x)。 连续型随机变量连续型随机变量Y的所有事件的所有事件y有不可列无穷多个，对有不可列无穷多个，对应的密度函数为应的密度函数为fY(y)，-y+。通常将此随机变。通常将此随机变量记为量记为Y, fY(y)。我们知道我们知道1)(dxxfX1)(dyyfY网络网络工程系工程系- -Information Theory and Coding四、概率复习内容四、概率复习内容两个连续型随机变量两个连续型随机变量X与与Y连立，得到了二维连立，得到了二维连续型随机变量连续型随机变量(X, Y)。 (X, Y)的所有事件为的所有事件为(x, y)。对应的联合密度函数为。

26、对应的联合密度函数为f(X,Y)(x, y)。其中。其中 1 ),( ),(),(),(),(),(),(2yxdxfdyyxdyfdxdxdyyxfYXYXRyxYX网络网络工程系工程系- -Information Theory and Coding四、概率复习内容四、概率复习内容联合密度与边际密度的关系：联合密度与边际密度的关系：如果如果X与与Y相互独立，则对任何相互独立，则对任何(x, y) ，都成立，都成立f(X,Y)(x, y)= fX(x) fY(y)。 数学期望（均值）：数学期望（均值）：duuxfxfYXX),()(),(duyufyfYXY),()(),(dxxxfEXX)(dyyyfEYY)(