第8章 微分熵与平均互信息优秀课件.ppt

第8章 微分熵与平均互信息第1页，本讲稿共52页8.1 微分熵微分熵1、单符号连续信源、单符号连续信源定义定义信源发出的消息为单一符号，这些符号随机取值于一信源发出的消息为单一符号，这些符号随机取值于一个连续域个连续域表示表示连续型随机变量连续型随机变量X第2页，本讲稿共52页随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息第3页，本讲稿共52页例例1例例2第4页，本讲稿共52页概率密度函数概率密度函数p(x)如图所示如图所示2、熵与微分熵、熵与微分熵p(x)xbaa+(i-1)xa+ix第5页，本讲稿共52页x落在第落在第i个区域的概率个区域的概率根据中值定理根据中值定理p(x)xbaa+(i-1)xa+ix第6页，本讲稿共52页熵熵第7页，本讲稿共52页微分熵微分熵消息消息x所对应概率密度函数所对应概率密度函数p(x)对数负值的数学期望，用对数负值的数学期望，用h(X)表示表示定义定义表示表示第8页，本讲稿共52页微分熵不能作为连续信源的信息度量微分熵不能作为连续信源的信息度量定义微分熵的目的定义微分熵的目的微分熵差具有信息度量的意义微分熵差具有信息度量的意义连续信源的微分熵与离散信源的熵在形式上连续信源的微分熵与离散信源的熵在形式上统一统一第9页，本讲稿共52页均匀信源的微分熵均匀信源的微分熵例例3第10页，本讲稿共52页高斯信源的微分熵高斯信源的微分熵例例4第11页，本讲稿共52页第12页，本讲稿共52页不具有非负性不具有非负性例如，当例如，当b-a1时，均匀分布信源的微分熵时，均匀分布信源的微分熵 严格上凸性严格上凸性3、微分熵的主要性质和最大微分熵定理、微分熵的主要性质和最大微分熵定理第13页，本讲稿共52页平均功率受限下的最大微分熵定理平均功率受限下的最大微分熵定理连续信源一般讨论特定限制条件下的最大微分熵连续信源一般讨论特定限制条件下的最大微分熵最常用的限制条件最常用的限制条件平均功率受限平均功率受限均值为均值为0且方差受且方差受限限第14页，本讲稿共52页设设p(x)是任意概率密度函数，但是任意概率密度函数，但第15页，本讲稿共52页第16页，本讲稿共52页第17页，本讲稿共52页8.2 联合微分熵与条件微分熵联合微分熵与条件微分熵信源发出的消息为有限或可数的符号序列，符号序信源发出的消息为有限或可数的符号序列，符号序列中任何时刻的符号都随机取值于同一个连续域列中任何时刻的符号都随机取值于同一个连续域1、多符号连续信源、多符号连续信源定义定义表示表示连续型随机变量序列连续型随机变量序列X1X2Xn第18页，本讲稿共52页第19页，本讲稿共52页例例1例例2第20页，本讲稿共52页2、联合微分熵与条件微分熵、联合微分熵与条件微分熵联合微分熵联合微分熵消息消息x1x2xn所对应联合概率密度函数所对应联合概率密度函数p(x1x2xn)对数负值的数学期望，用对数负值的数学期望，用h(X1X2Xn)表示表示定义定义表示表示第21页，本讲稿共52页条件微分熵条件微分熵消息消息x1x2xn所对应条件概率密度函数所对应条件概率密度函数p(xk/x1xk-1)对数负值的数学期望，用对数负值的数学期望，用h(Xk/X1Xk-1)表示表示其中其中1kn定义定义表示表示第22页，本讲稿共52页第23页，本讲稿共52页3、微分熵的链式法则、微分熵的链式法则第24页，本讲稿共52页第25页，本讲稿共52页4、联合微分熵的界、联合微分熵的界第26页，本讲稿共52页8.3 平均互信息平均互信息1、单符号连续信道、单符号连续信道定义定义对应于单符号连续信源和单符号连续信宿的信道对应于单符号连续信源和单符号连续信宿的信道表示表示信源信源连续型随机变量连续型随机变量X信宿信宿连续型随机变量连续型随机变量Y第27页，本讲稿共52页随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息随机变量随机变量Y的取值的取值y为信宿收到的消息为信宿收到的消息Xp(y/x)Y第28页，本讲稿共52页p(y/x)为信道转移概率密度函数为信道转移概率密度函数第29页，本讲稿共52页2、噪声熵与噪声微分熵、噪声熵与噪声微分熵p(y/xi)ydcc+(j-1)yc+jyx落在第落在第i个区域基础上信道转移概率密度函数个区域基础上信道转移概率密度函数p(y/xi)如如图所示图所示 i=1,2,N第30页，本讲稿共52页p(y/xi)ydcc+(j-1)yc+jyy/xi落在第落在第j个区域的信道转移概率个区域的信道转移概率根据中值定理根据中值定理第31页，本讲稿共52页噪声熵噪声熵第32页，本讲稿共52页第33页，本讲稿共52页噪声微分熵噪声微分熵信源消息信源消息x信宿消息信宿消息y所对应信道转移概率密度函数所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用对数负值的数学期望，用h(Y/X)表示表示定义定义表示表示第34页，本讲稿共52页3、平均互信息、平均互信息信宿消息信宿消息y所对应概率密度函数所对应概率密度函数p(y)与信源消息与信源消息x信宿消息信宿消息y所对应信道转移概率密度函数所对应信道转移概率密度函数p(y/x)比值对数负值的数学比值对数负值的数学期望，用期望，用I(X;Y)表示表示定义定义表示表示第35页，本讲稿共52页第36页，本讲稿共52页微分熵不能作为信息度量，平均互信息微分熵不能作为信息度量，平均互信息微分熵差，具微分熵差，具有信息度量的意义有信息度量的意义以信宿为参考，利用信宿的微分熵和信道的噪以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量声微分熵来度量信道中传输的平均信息量以信源为参考，利用信源的微分熵和信道的损失以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量微分熵来度量信道中传输的平均信息量第37页，本讲稿共52页4、平均互信息的主要性质、平均互信息的主要性质 对称性对称性 非负性非负性第38页，本讲稿共52页第39页，本讲稿共52页 严格凸性严格凸性信道固定时，信道固定时，I(X;Y)对于信源概率密度函数对于信源概率密度函数p(x)严格上凸严格上凸信源固定时，信源固定时，I(X;Y)对于信道转移概率密度函数对于信道转移概率密度函数p(y/x)严格下凸严格下凸第40页，本讲稿共52页8.4 联合平均互信息与条件平均互信息联合平均互信息与条件平均互信息1、多符号连续信道、多符号连续信道定义定义对应于多符号连续信源和多符号连续信宿的信道对应于多符号连续信源和多符号连续信宿的信道表示表示信源信源连续型随机变量序列连续型随机变量序列X1X2Xn信宿信宿连续型随机变量序列连续型随机变量序列Y1Y2Yn第41页，本讲稿共52页第42页，本讲稿共52页X1X2Xnp(y1y2yn/x1x2xn)Y1Y2Ynp(y1y2yn/x1x2xn)为信道转移概率密度函数为信道转移概率密度函数第43页，本讲稿共52页2、联合平均互信息与条件平均互信息、联合平均互信息与条件平均互信息定义定义第44页，本讲稿共52页表示表示第45页，本讲稿共52页定义定义第46页，本讲稿共52页表示表示第47页，本讲稿共52页第48页，本讲稿共52页第49页，本讲稿共52页3、平均互信息的链式法则、平均互信息的链式法则第50页，本讲稿共52页第51页，本讲稿共52页4、平均互信息的界、平均互信息的界第52页，本讲稿共52页