第8章 微分熵与平均互信息优秀PPT.ppt

《第8章 微分熵与平均互信息优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第8章 微分熵与平均互信息优秀PPT.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第8章 微分熵与平均互信息现在学习的是第1页，共52页8.1 微分熵微分熵1、单符号连续信源、单符号连续信源定义定义信源发出的消息为单一符号，这些符号随机取值于一信源发出的消息为单一符号，这些符号随机取值于一个连续域个连续域表示表示连续型随机变量连续型随机变量X现在学习的是第2页，共52页随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息现在学习的是第3页，共52页例例1例例2现在学习的是第4页，共52页概率密度函数概率密度函数p(x)如图所示如图所示2、熵与微分熵、熵与微分熵p(x)xbaa+(i-1)xa+ix现在学习的是第5页，共52页x落在第落在第i个区域的概率个区域的概

2、率根据中值定理根据中值定理p(x)xbaa+(i-1)xa+ix现在学习的是第6页，共52页熵熵现在学习的是第7页，共52页微分熵微分熵消息消息x所对应概率密度函数所对应概率密度函数p(x)对数负值的数学期望，对数负值的数学期望，用用h(X)表示表示定义定义表示表示现在学习的是第8页，共52页微分熵不能作为连续信源的信息度量微分熵不能作为连续信源的信息度量定义微分熵的目的定义微分熵的目的微分熵差具有信息度量的意义微分熵差具有信息度量的意义连续信源的微分熵与离散信源的熵在形式上统连续信源的微分熵与离散信源的熵在形式上统一一现在学习的是第9页，共52页均匀信源的微分熵均匀信源的微分熵例例3现在学习

3、的是第10页，共52页高斯信源的微分熵高斯信源的微分熵例例4现在学习的是第11页，共52页现在学习的是第12页，共52页不具有非负性不具有非负性例如，当例如，当b-a1时，均匀分布信源的微分熵时，均匀分布信源的微分熵 严格上凸性严格上凸性3、微分熵的主要性质和最大微分熵定理、微分熵的主要性质和最大微分熵定理现在学习的是第13页，共52页平均功率受限下的最大微分熵定理平均功率受限下的最大微分熵定理连续信源一般讨论特定限制条件下的最大微分熵连续信源一般讨论特定限制条件下的最大微分熵最常用的限制条件最常用的限制条件平均功率受限平均功率受限均值为均值为0且方且方差受限差受限现在学习的是第14页，共52

4、页设设p(x)是任意概率密度函数，但是任意概率密度函数，但现在学习的是第15页，共52页现在学习的是第16页，共52页现在学习的是第17页，共52页8.2 联合微分熵与条件微分熵联合微分熵与条件微分熵信源发出的消息为有限或可数的符号序列，符号序列信源发出的消息为有限或可数的符号序列，符号序列中任何时刻的符号都随机取值于同一个连续域中任何时刻的符号都随机取值于同一个连续域1、多符号连续信源、多符号连续信源定义定义表示表示连续型随机变量序列连续型随机变量序列X1X2Xn现在学习的是第18页，共52页现在学习的是第19页，共52页例例1例例2现在学习的是第20页，共52页2、联合微分熵与条件微分熵、

5、联合微分熵与条件微分熵联合微分熵联合微分熵消息消息x1x2xn所对应联合概率密度函数所对应联合概率密度函数p(x1x2xn)对数负值的数学期望，用对数负值的数学期望，用h(X1X2Xn)表示表示定义定义表示表示现在学习的是第21页，共52页条件微分熵条件微分熵消息消息x1x2xn所对应条件概率密度函数所对应条件概率密度函数p(xk/x1xk-1)对数负值的数学期望，用对数负值的数学期望，用h(Xk/X1Xk-1)表示表示其中其中1kn定义定义表示表示现在学习的是第22页，共52页现在学习的是第23页，共52页3、微分熵的链式法则、微分熵的链式法则现在学习的是第24页，共52页现在学习的是第25

6、页，共52页4、联合微分熵的界、联合微分熵的界现在学习的是第26页，共52页8.3 平均互信息平均互信息1、单符号连续信道、单符号连续信道定义定义对应于单符号连续信源和单符号连续信宿的信道对应于单符号连续信源和单符号连续信宿的信道表示表示信源信源连续型随机变量连续型随机变量X信宿信宿连续型随机变量连续型随机变量Y现在学习的是第27页，共52页随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息随机变量随机变量Y的取值的取值y为信宿收到的消息为信宿收到的消息Xp(y/x)Y现在学习的是第28页，共52页p(y/x)为信道转移概率密度函数为信道转移概率密度函数现在学习的是第29页，共5

7、2页2、噪声熵与噪声微分熵、噪声熵与噪声微分熵p(y/xi)ydcc+(j-1)yc+jyx落在第落在第i个区域基础上信道转移概率密度函数个区域基础上信道转移概率密度函数p(y/xi)如如图所示图所示 i=1,2,N现在学习的是第30页，共52页p(y/xi)ydcc+(j-1)yc+jyy/xi落在第落在第j个区域的信道转移概率个区域的信道转移概率根据中值定理根据中值定理现在学习的是第31页，共52页噪声熵噪声熵现在学习的是第32页，共52页现在学习的是第33页，共52页噪声微分熵噪声微分熵信源消息信源消息x信宿消息信宿消息y所对应信道转移概率密度函数所对应信道转移概率密度函数p(y/x)对

8、数负值的数学期望，用对数负值的数学期望，用h(Y/X)表示表示定义定义表示表示现在学习的是第34页，共52页3、平均互信息、平均互信息信宿消息信宿消息y所对应概率密度函数所对应概率密度函数p(y)与信源消息与信源消息x信宿消息信宿消息y所对应信道转移概率密度函数所对应信道转移概率密度函数p(y/x)比值对数负值的数学比值对数负值的数学期望，用期望，用I(X;Y)表示表示定义定义表示表示现在学习的是第35页，共52页现在学习的是第36页，共52页微分熵不能作为信息度量，平均互信息微分熵不能作为信息度量，平均互信息微分熵差，微分熵差，具有信息度量的意义具有信息度量的意义以信宿为参考，利用信宿的微分

9、熵和信道的噪声以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量微分熵来度量信道中传输的平均信息量以信源为参考，利用信源的微分熵和信道的损以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量失微分熵来度量信道中传输的平均信息量现在学习的是第37页，共52页4、平均互信息的主要性质、平均互信息的主要性质 对称性对称性 非负性非负性现在学习的是第38页，共52页现在学习的是第39页，共52页 严格凸性严格凸性信道固定时，信道固定时，I(X;Y)对于信源概率密度函数对于信源概率密度函数p(x)严格上凸严格上凸信源固定时，信源固定时，I(X;Y)对于信

10、道转移概率密度函对于信道转移概率密度函数数p(y/x)严格下凸严格下凸现在学习的是第40页，共52页8.4 联合平均互信息与条件平均互信息联合平均互信息与条件平均互信息1、多符号连续信道、多符号连续信道定义定义对应于多符号连续信源和多符号连续信宿的信道对应于多符号连续信源和多符号连续信宿的信道表示表示信源信源连续型随机变量序列连续型随机变量序列X1X2Xn信宿信宿连续型随机变量序列连续型随机变量序列Y1Y2Yn现在学习的是第41页，共52页现在学习的是第42页，共52页X1X2Xnp(y1y2yn/x1x2xn)Y1Y2Ynp(y1y2yn/x1x2xn)为信道转移概率密度函数为信道转移概率密度函数现在学习的是第43页，共52页2、联合平均互信息与条件平均互信息、联合平均互信息与条件平均互信息定义定义现在学习的是第44页，共52页表示表示现在学习的是第45页，共52页定义定义现在学习的是第46页，共52页表示表示现在学习的是第47页，共52页现在学习的是第48页，共52页现在学习的是第49页，共52页3、平均互信息的链式法则、平均互信息的链式法则现在学习的是第50页，共52页现在学习的是第51页，共52页4、平均互信息的界、平均互信息的界现在学习的是第52页，共52页