第8章 微分熵与平均互信息精选文档.ppt

《第8章 微分熵与平均互信息精选文档.ppt》由会员分享，可在线阅读，更多相关《第8章 微分熵与平均互信息精选文档.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第8章 微分熵与平均互信息本讲稿第一页，共五十二页8.1 微分熵微分熵1、单符号连续信源、单符号连续信源定义定义信源发出的消息为单一符号，这些符号随机取值于一信源发出的消息为单一符号，这些符号随机取值于一个连续域个连续域表示表示连续型随机变量连续型随机变量X本讲稿第二页，共五十二页随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息本讲稿第三页，共五十二页例例1例例2本讲稿第四页，共五十二页概率密度函数概率密度函数p(x)如图所示如图所示2、熵与微分熵、熵与微分熵p(x)xbaa+(i-1)xa+ix本讲稿第五页，共五十二页x落在第落在第i个区域的概率个区域的概率根据中值定理根据中

2、值定理p(x)xbaa+(i-1)xa+ix本讲稿第六页，共五十二页熵熵本讲稿第七页，共五十二页微分熵微分熵消息消息x所对应概率密度函数所对应概率密度函数p(x)对数负值的数学期望，对数负值的数学期望，用用h(X)表示表示定义定义表示表示本讲稿第八页，共五十二页微分熵不能作为连续信源的信息度量微分熵不能作为连续信源的信息度量定义微分熵的目的定义微分熵的目的微分熵差具有信息度量的意义微分熵差具有信息度量的意义连续信源的微分熵与离散信源的熵在形式上统一连续信源的微分熵与离散信源的熵在形式上统一本讲稿第九页，共五十二页均匀信源的微分熵均匀信源的微分熵例例3本讲稿第十页，共五十二页高斯信源的微分熵高斯

3、信源的微分熵例例4本讲稿第十一页，共五十二页本讲稿第十二页，共五十二页不具有非负性不具有非负性例如，当例如，当b-a1时，均匀分布信源的微分熵时，均匀分布信源的微分熵 严格上凸性严格上凸性3、微分熵的主要性质和最大微分熵定理、微分熵的主要性质和最大微分熵定理本讲稿第十三页，共五十二页平均功率受限下的最大微分熵定理平均功率受限下的最大微分熵定理连续信源一般讨论特定限制条件下的最大微分熵连续信源一般讨论特定限制条件下的最大微分熵最常用的限制条件最常用的限制条件平均功率受限平均功率受限均值为均值为0且且方差受限方差受限本讲稿第十四页，共五十二页设设p(x)是任意概率密度函数，但是任意概率密度函数，但

4、本讲稿第十五页，共五十二页本讲稿第十六页，共五十二页本讲稿第十七页，共五十二页8.2 联合微分熵与条件微分熵联合微分熵与条件微分熵信源发出的消息为有限或可数的符号序列，符号序列中任信源发出的消息为有限或可数的符号序列，符号序列中任何时刻的符号都随机取值于同一个连续域何时刻的符号都随机取值于同一个连续域1、多符号连续信源、多符号连续信源定义定义表示表示连续型随机变量序列连续型随机变量序列X1X2Xn本讲稿第十八页，共五十二页本讲稿第十九页，共五十二页例例1例例2本讲稿第二十页，共五十二页2、联合微分熵与条件微分熵、联合微分熵与条件微分熵联合微分熵联合微分熵消息消息x1x2xn所对应联合概率密度函

5、所对应联合概率密度函数数p(x1x2xn)对数负值的数学期望，用对数负值的数学期望，用h(X1X2Xn)表表示示定义定义表示表示本讲稿第二十一页，共五十二页条件微分熵条件微分熵消息消息x1x2xn所对应条件概率密度函所对应条件概率密度函数数p(xk/x1xk-1)对数负值的数学期望，用对数负值的数学期望，用h(Xk/X1Xk-1)表示表示其中其中1kn定义定义表示表示本讲稿第二十二页，共五十二页本讲稿第二十三页，共五十二页3、微分熵的链式法则、微分熵的链式法则本讲稿第二十四页，共五十二页本讲稿第二十五页，共五十二页4、联合微分熵的界、联合微分熵的界本讲稿第二十六页，共五十二页8.3 平均互信息

6、平均互信息1、单符号连续信道、单符号连续信道定义定义对应于单符号连续信源和单符号连续信宿的信道对应于单符号连续信源和单符号连续信宿的信道表示表示信源信源连续型随机变量连续型随机变量X信宿信宿连续型随机变量连续型随机变量Y本讲稿第二十七页，共五十二页随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息随机变量随机变量Y的取值的取值y为信宿收到的消息为信宿收到的消息Xp(y/x)Y本讲稿第二十八页，共五十二页p(y/x)为信道转移概率密度函数为信道转移概率密度函数本讲稿第二十九页，共五十二页2、噪声熵与噪声微分熵、噪声熵与噪声微分熵p(y/xi)ydcc+(j-1)yc+jyx落在第落

7、在第i个区域基础上信道转移概率密度函数个区域基础上信道转移概率密度函数p(y/xi)如如图所示图所示 i=1,2,N本讲稿第三十页，共五十二页p(y/xi)ydcc+(j-1)yc+jyy/xi落在第落在第j个区域的信道转移概率个区域的信道转移概率根据中值定理根据中值定理本讲稿第三十一页，共五十二页噪声熵噪声熵本讲稿第三十二页，共五十二页本讲稿第三十三页，共五十二页噪声微分熵噪声微分熵信源消息信源消息x信宿消息信宿消息y所对应信道转移概率密度函数所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用对数负值的数学期望，用h(Y/X)表示表示定义定义表示表示本讲稿第三十四页，共五十二页3、

8、平均互信息、平均互信息信宿消息信宿消息y所对应概率密度函数所对应概率密度函数p(y)与信源消息与信源消息x信宿消信宿消息息y所对应信道转移概率密度函数所对应信道转移概率密度函数p(y/x)比值对数负值的比值对数负值的数学期望，用数学期望，用I(X;Y)表示表示定义定义表示表示本讲稿第三十五页，共五十二页本讲稿第三十六页，共五十二页微分熵不能作为信息度量，平均互信息微分熵不能作为信息度量，平均互信息微分熵差，具微分熵差，具有信息度量的意义有信息度量的意义以信宿为参考，利用信宿的微分熵和信道的噪以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量声微分熵来度量信道中传输的平

9、均信息量以信源为参考，利用信源的微分熵和信道的损以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量失微分熵来度量信道中传输的平均信息量本讲稿第三十七页，共五十二页4、平均互信息的主要性质、平均互信息的主要性质 对称性对称性 非负性非负性本讲稿第三十八页，共五十二页本讲稿第三十九页，共五十二页 严格凸性严格凸性信道固定时，信道固定时，I(X;Y)对于信源概率密度函数对于信源概率密度函数p(x)严严格上凸格上凸信源固定时，信源固定时，I(X;Y)对于信道转移概率密度函数对于信道转移概率密度函数p(y/x)严格下凸严格下凸本讲稿第四十页，共五十二页8.4 联合平均互信息与条

10、件平均互信息联合平均互信息与条件平均互信息1、多符号连续信道、多符号连续信道定义定义对应于多符号连续信源和多符号连续信宿的信道对应于多符号连续信源和多符号连续信宿的信道表示表示信源信源连续型随机变量序列连续型随机变量序列X1X2Xn信宿信宿连续型随机变量序列连续型随机变量序列Y1Y2Yn本讲稿第四十一页，共五十二页本讲稿第四十二页，共五十二页X1X2Xnp(y1y2yn/x1x2xn)Y1Y2Ynp(y1y2yn/x1x2xn)为信道转移概率密度函数为信道转移概率密度函数本讲稿第四十三页，共五十二页2、联合平均互信息与条件平均互信息、联合平均互信息与条件平均互信息定义定义本讲稿第四十四页，共五十二页表示表示本讲稿第四十五页，共五十二页定义定义本讲稿第四十六页，共五十二页表示表示本讲稿第四十七页，共五十二页本讲稿第四十八页，共五十二页本讲稿第四十九页，共五十二页3、平均互信息的链式法则、平均互信息的链式法则本讲稿第五十页，共五十二页本讲稿第五十一页，共五十二页4、平均互信息的界、平均互信息的界本讲稿第五十二页，共五十二页