信息与编码PPT讲稿.ppt

《信息与编码PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息与编码PPT讲稿.ppt（36页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息与编码信息与编码第1页，共36页，编辑于2022年，星期四信息量和熵信息量和熵l2.1 离散变量的非平均信息量l2.2 离散集的平均自信息量熵l2.3 离散集的平均互信息量l2.4 连续随机变量的互信息和熵l2.5 凸函数和互信息的凸性第2页，共36页，编辑于2022年，星期四2.1 离散变量的非平均信息离散变量的非平均信息量量第3页，共36页，编辑于2022年，星期四输入，输出空间定义输入，输出空间定义l输入空间X=xk,k=1,2,K,概率记为q(xk)l输出空间Y=yj,j=1,2,J,概率记为(yj)l联合空间XY=xkyj;k=1,2,K;j=1,2,J,概率为p(xkyj)p(

2、xkyj)=p(xk|yj)(yj)=p(yj|xk)q(xk)第4页，共36页，编辑于2022年，星期四非平均互信息量非平均互信息量l例2.1.1输入消息码字p(xk)收到0收到01收到011X1X2X3X4X5X6X7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000第5页，共36页，编辑于2022年，星期四非平均互信息量非平均互信息量输入消息码字p(xk)收到0收到01收到011X1X2X3X4X5X6X7x80000010100111001011101111/81/

3、41/81/41/161/161/161/161/61/31/61/30000001/32/3000000010000第6页，共36页，编辑于2022年，星期四非平均互信息量非平均互信息量l例2.1.2输入消息码字p(xk)收到0收到01收到011X1X20001111/21/21-pp1/21/21-pp1-p1-p0011pp第7页，共36页，编辑于2022年，星期四非平均互信息量非平均互信息量第8页，共36页，编辑于2022年，星期四条件互信息和联合事件互信息条件互信息和联合事件互信息l三个事件集的条件互信息定义为l可以推广到任意有限多个空间情况第9页，共36页，编辑于2022年，星期四

4、互信息的可加性互信息的可加性系统u1u2u3系统u1u2u3第10页，共36页，编辑于2022年，星期四离散变量的非平均自信息量离散变量的非平均自信息量第11页，共36页，编辑于2022年，星期四非平均自信息的性质非平均自信息的性质l非负l体现先验不确定性大小第12页，共36页，编辑于2022年，星期四条件自信息和联合自信息条件自信息和联合自信息第13页，共36页，编辑于2022年，星期四自信息、条件自信息和互信息自信息、条件自信息和互信息I(xk)I(yj)I(xk;yj)第14页，共36页，编辑于2022年，星期四2.2 离散集的平均自信息离散集的平均自信息量熵量熵第15页，共36页，编辑

5、于2022年，星期四熵熵集X中事件出现的平均不确定性例2.2.1 H(p)例2.2.2第16页，共36页，编辑于2022年，星期四条件熵和联合熵条件熵和联合熵 XY独立时有H(X|Y)=H(X)第17页，共36页，编辑于2022年，星期四熵的性质熵的性质l对称性l非负性l确定性l扩展性l可加性l极值性l是H(P)上凸函数第18页，共36页，编辑于2022年，星期四熵的性质可加性熵的性质可加性lH(p1q11,p1q12,p4q44)=H(p1,p4)+p1H(q11,q14)+p4H(q41,q44)p1p2p3p4q11q12q13q14第19页，共36页，编辑于2022年，星期四熵的极值性

6、熵的极值性l引理1:lnxx-1l引理2：lH(X|Y)H(X)lH(U1UN)H(U1)+H(UN)第20页，共36页，编辑于2022年，星期四熵的凸性熵的凸性lH(P)是P的上凸函数第21页，共36页，编辑于2022年，星期四2.3 离散集的平均互信息离散集的平均互信息量量第22页，共36页，编辑于2022年，星期四平均互信息量平均互信息量1.非负性2.对称性3.第23页，共36页，编辑于2022年，星期四平均互信息量平均互信息量4.I(X;Y)H(X),I(X;Y)H(Y)H(X)H(Y)I(X;Y)H(Y|X)H(X|Y)第24页，共36页，编辑于2022年，星期四条件互信息条件互信息

7、第25页，共36页，编辑于2022年，星期四信息处理定理信息处理定理lZ出现情况下，X和Y独立系统1系统2XYZ第26页，共36页，编辑于2022年，星期四信息处理定理信息处理定理第27页，共36页，编辑于2022年，星期四2.4 连续随机变量的互信连续随机变量的互信息和相对熵息和相对熵第28页，共36页，编辑于2022年，星期四连续随机变量的互信息连续随机变量的互信息第29页，共36页，编辑于2022年，星期四随机变量的相对熵随机变量的相对熵熵功率第30页，共36页，编辑于2022年，星期四相对熵的极大化相对熵的极大化l1.峰值功率受限l均匀分布相对熵最大l2.平均功率受限l高斯分布相对熵最

8、大l3.平均功率大于等于熵功率第31页，共36页，编辑于2022年，星期四2.5 凸函数与互信息的凸凸函数与互信息的凸性性第32页，共36页，编辑于2022年，星期四凸函数凸函数l凸集R：a，b属于R，qa+(1-q)b也属于R，其中0q1l概率矢量矢量a的所有分量和为1l上凸函数第33页，共36页，编辑于2022年，星期四凸函数的性质凸函数的性质1.f(a)是上凸的，f(a)是下凸的2.f1(a),fL(a)是R上的上凸函数，c1,cL是正数，c1f1(a)+cLfL(a)也是上凸函数3.f(a)是上凸函数，Ef(a)fE(a),E为求数学期望第34页，共36页，编辑于2022年，星期四K-T条件条件lf(a)是定义域R上的上凸函数，a是概率矢量。偏导数 存在且连续，f(a)在R上为极大的 充分必要条件第35页，共36页，编辑于2022年，星期四互信息的凸性互信息的凸性p(y|x)给定，I(X;Y)是q(x)的上凸函数Q(x)给定，I(X;Y)是p(y|x)的下凸函数第36页，共36页，编辑于2022年，星期四