信息论-第二讲自信息和熵课件.ppt

《信息论-第二讲自信息和熵课件.ppt》由会员分享，可在线阅读，更多相关《信息论-第二讲自信息和熵课件.ppt（20页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信信 息息 论论1目目 录录 第一部分 密码1 1、通信系统的数学模型通信系统的数学模型2 2、自信息和熵、自信息和熵 3 3、互信息、互信息4 4、信源编码、信源编码5 5、完善保密、完善保密6 6、唯一解距离、唯一解距离7 7、乘积密码、乘积密码2目目 录录 第二部分 纠错码1 1、纠错编码的基本概念纠错编码的基本概念2、线性分组码的基本理论、线性分组码的基本理论3、线性分组码在计算机系统中的应用、线性分组码在计算机系统中的应用4、循环码的基本理论、循环码的基本理论5、典型循环码及应用、典型循环码及应用3一、一、自信息和熵自信息和熵1 1、信息、信息 什么是信息？信息的本质是什么？这是人类

2、长期思考的问题。什么是信息？信息的本质是什么？这是人类长期思考的问题。Information一词，在英、法、德、西班牙语中同字；在俄语和南斯拉夫语中同音，表明它在世界范围内使用的广泛性。我国古人很早就知道信息的重要性，认为信息是可以寻觅、可以获取的。如:在全唐诗中，检索在全唐诗中，检索“信息信息”，共检到，共检到4646首诗。首诗。唐诗人李中：“梦断美人沉信息，目穿长路倚楼台。梦断美人沉信息，目穿长路倚楼台。”宋女词人李清照：“不乞随珠与和璧，只乞乡关新信息。不乞随珠与和璧，只乞乡关新信息。”关于信息的定义有十几种，举例如下：n商农：商农：“信息是不确定性的消除量信息是不确定性的消除量。”n控

3、制论创始人维纳说：“信息就是信息，不是物质，也不是能量。信息就是信息，不是物质，也不是能量。”n意大利朗格：意大利朗格：“信息是反映事物的形式、关系和差别的东西。信息包含于信息是反映事物的形式、关系和差别的东西。信息包含于客体的差别中，而不在客体本身中。客体的差别中，而不在客体本身中。”n词源：词源：“信息就是收信者事先不知道的报道。信息就是收信者事先不知道的报道。”4一、一、自信息和熵自信息和熵2 2、自信息、自信息 n注意：自信息的定义没有规定对数的底！n对数底为2时，自信息单位为比特（bit）；n对数底取为e时，自信息单位为奈特（nat）；n对数底为10时，自信息单位为哈特（hart）。

4、n 根据对数换底公式：可得：n1奈特=1.44比特，n1哈特=3.32比特。数制的进制越大，则一位数字所含的信息量越大。这数制的进制越大，则一位数字所含的信息量越大。这是因为进制越大，则一位数字的可能取值也越多，不确是因为进制越大，则一位数字的可能取值也越多，不确定度也就越大定度也就越大。6一、一、自信息和熵自信息和熵2 2、自信息、自信息自信息的含义自信息的含义n一个事件越不常出现，它的出现的概率就越小，它的不确定性就越大，当我们知道它出现时获得的信息量就越大。n自信息度量了一个随机事件xi未出现时所呈现的不确定性，同时也度量了该事件xi出现后所给出的信息量。n事件的不确定性越大，则一旦出现

5、给出的信息量也就越大。n例如：第一种天气预报阴，晴，第二种天气预报阴，晴，雨，雪，显然第二种天气预报的自信息大。7一、一、自信息和熵自信息和熵2 2、自信息、自信息举例举例例例2.1 计算从英文字母表中任选一个字母时所给出的自信息计算从英文字母表中任选一个字母时所给出的自信息量。量。因为从26个字母中任取一个字母的概率为 ，所以任选一个字母所给出的信息量为例例2.2 计算从二进制中任选一个字符时所给出的自信息量。计算从二进制中任选一个字符时所给出的自信息量。因为二进制只有0和1两个字符，设任取一个字符的概率为p=1/2，所以任选一个字符所给出的信息量为 I=-log2（1/2）=1比特。比特。

6、8一、一、自信息和熵自信息和熵3 3、熵、熵n举例举例例例2.3 给出集合X=x1，x2，x3，p1=1/2，p2=1/4，p3=1/4按定义有:lI(x1)=-log2 1/2=log2 2=1比特，lI（x2）=I（x3）=-log2 1/4=log2 4=2比特。比特。10一、一、自信息和熵自信息和熵3 3、熵、熵n熵函数熵函数由熵定义，熵H(X)是集合X 概率分布p1,p2,pN 的函数。记P=(p1,p2,pN)，于是熵函数可写成：n由于1pi0，且 ，所以H(P)是N-1元函数。11一、一、自信息和熵自信息和熵4 4、熵的数学性质、熵的数学性质n对称性对称性 改变p1,p2,pN

7、中各分量的位置，熵不变。n非负性非负性 0。n确定性确定性若pj=1，且ij 时pi=0，则H(X)=0。13一、一、自信息和熵自信息和熵4 4、熵的数学性质、熵的数学性质n引理引理2.1 设x0，则有 lnxx-1,且仅当x=1时，上式取等号。n证明证明：令x=1，上式左右两边都等于0，故等号成立。令 ，。对其求导得 可见 x=1时，f(x)取极值0。又因 ，所以上述极值是极大值，于是有 证毕。证毕。或。15一、一、自信息和熵自信息和熵4 4、熵的数学性质、熵的数学性质n定理定理2.2 0H(p)logN。lH(p)=0，当且仅当存在一个1iN，有pi=1，而对其它ji，有pj=0；lH(p

8、)=logN，当且仅当对一切1iN，有 。定理2.2说明，熵函数的非负性，且当集X 中各事件为等概率分布时熵值最大。n证明证明：根据熵的定义，0H(p)是显然的。设另有一概率矢量，q=(q1,q2,qN)，1qi 0且 。16一、一、自信息和熵自信息和熵4 4、熵的数学性质、熵的数学性质例例2.4 设 ,相应的概率为则X 的熵为：bit。l当p=0或p=1时H(X)=0，l当p=1/2时，H(X)=1比特。这说明1比特信息是两个等可能事件中出现1个时给出的信息量。从图2.1可以看到X为等概分布时熵取得最大值。H(p)/bit1.00.5p1.00图2.1 H（X）曲线18一、一、自信息和熵自信息和熵4 4、熵的数学性质、熵的数学性质定理定理2.3 H(P)是的上凸函数。n证明：证明：略n因为H(P)是的上凸函数，所以它有极大值。在例2.2中当 p=1/2时，H(X)=1比特，达到极大值。19谢谢 谢！谢！20