第6章 连续信源的熵、连续信道的平均互信息与信道容量.ppt

《第6章 连续信源的熵、连续信道的平均互信息与信道容量.ppt》由会员分享，可在线阅读，更多相关《第6章 连续信源的熵、连续信道的平均互信息与信道容量.ppt（52页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量第第6章章 连续信源的熵、连续信道的平均互信息连续信源的熵、连续信道的平均互信息与信道容量与信道容量教学内容和要求教学内容和要求理解单符号连续信源及其模型，理解其熵，掌握理解单符号连续信源及其模型，理解其熵，掌握其微分熵其微分熵理解单符号连续信道及其模型，掌握其平均互信理解单符号连续信道及其模型，掌握其平均互信息，理解其信道容量息，理解其信道容量掌握高斯信道掌握高斯信道的信道容量，香农公式的信道容量，香农公式第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信

2、息与信道容量6.1 单符号连续信源的熵与微分熵单符号连续信源的熵与微分熵1、单符号连续信源、单符号连续信源定义定义信源发出的消息为单一符号，这些符号随机取值于信源发出的消息为单一符号，这些符号随机取值于一个连续域一个连续域表示表示连续型随机变量连续型随机变量X第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量例例1例例2第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源

3、的熵、连续信道的平均互信息与信道容量概率密度函数概率密度函数p(x)如图所示如图所示2、熵与微分熵、熵与微分熵p(x)xbaa+(i-1)xa+ix第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量x落在第落在第i个区域的概率个区域的概率根据中值定理根据中值定理p(x)xbaa+(i-1)xa+ix第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量熵熵第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量微分熵微分熵信源发出消息信源发出消息x所对应概

4、率密度函数所对应概率密度函数p(x)对数负值的对数负值的数学期望，用数学期望，用h(X)表示表示定义定义表示表示第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量微分熵不能作为连续信源的信息度量微分熵不能作为连续信源的信息度量定义微分熵的目的定义微分熵的目的微分熵差具有信息度量的意义微分熵差具有信息度量的意义连续信源的微分熵与离散信源的熵在形式上统一连续信源的微分熵与离散信源的熵在形式上统一第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量均匀信源的微分熵均匀信源的微分熵例例3第第6章章 连续信

5、源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量高斯信源的微分熵高斯信源的微分熵例例4第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量不具非负性不具非负性例如，当例如，当b-a1时，均匀信源的微分熵时，均匀信源的微分熵 严格上凸严格上凸3、微分熵的主要性质和最大微分熵定理、微分熵的主要性质和最大微分熵定理微分熵微分熵h(X)对于信源概率密度函数对于信源概率密度函数p(X)严格上凸严格上凸第第6章章 连续信源的熵

6、、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量平均功率受限下的最大微分熵定理平均功率受限下的最大微分熵定理连续信源一般讨论特定限制条件下的最大微分熵连续信源一般讨论特定限制条件下的最大微分熵最常用的限制条件最常用的限制条件平均功率受限平均功率受限均值为均值为0且方差受限且方差受限第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量设设p(x)是任意概率密度函数，但是任意概率密度函数，但第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量第第6章章 连续信源的熵、连续信道

7、的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量6.2 单符号连续信道的平均互信息单符号连续信道的平均互信息1、单符号连续信道、单符号连续信道定义定义对应于对应于单符号连续信源单符号连续信源和和单符号连续信宿单符号连续信宿的信道的信道表示表示信源信源连续型随机变量连续型随机变量X信宿信宿连续型随机变量连续型随机变量Y第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息

8、随机变量随机变量Y的取值的取值y为信宿收到的消息为信宿收到的消息Xp(y/x)Y第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量p(y/x)为信道转移概率密度函数为信道转移概率密度函数第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量2、噪声熵与噪声微分熵、噪声熵与噪声微分熵p(y/xi)ydcc+(j-1)yc+jyx落在第落在第i个区域基础上信道转移概率密度函数个区域基础上信道转移概率密度函数p(y/xi)如图所示如图所示 i=1,2,N第第6章章 连续信源的熵、连续信道的平均互信息与信道

9、容量连续信源的熵、连续信道的平均互信息与信道容量p(y/xi)ydcc+(j-1)yc+jyy/xi落在第落在第j个区域的信道转移概率个区域的信道转移概率根据中值定理根据中值定理第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量噪声熵噪声熵第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量噪声微分熵噪声微分熵信道将信源发出消息信道将信源发出消息x转移为信宿收到消息转移为信宿收到消息y所对应所对应信

10、道转移概率密度函数信道转移概率密度函数p(y/x)对数负值的数学期望，对数负值的数学期望，用用h(Y/X)表示表示定义定义表示表示第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量3、平均互信息、平均互信息信宿收到消息信宿收到消息y所对应概率密度函数所对应概率密度函数p(y)对数负值对数负值的数学期望的数学期望信宿的微分熵与噪声微分熵之差，信宿的微分熵与噪声微分熵之差，用用I(X;Y)表示表示定义定义表示表示第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量微分熵不能作为信息度量，微分熵不能作为

11、信息度量，平均互信息平均互信息微分微分熵熵差，具有信息度量的意义差，具有信息度量的意义信宿每收到一条消息所含信源一条消息的平均信息信宿每收到一条消息所含信源一条消息的平均信息第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量以信宿为参考，利用信宿的微分熵和信道的噪声以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息微分熵来度量信道中传输的平均信息以信源为参考，利用信源的微分熵和信道的损失以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息微分熵来度量信道中传输的平均信息第第6章章 连续信源的熵、连续

12、信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量4、平均互信息的主要性质、平均互信息的主要性质 对称性对称性 非负性非负性第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量 严格严格凸性凸性信道给定时，信道给定时，I(X;Y)对于信源概率对于信源概率密度函数密度函数p(X)严格上凸严格上凸信源给定时，信源给定时，I(X;Y)对于信道转移概率对于信道转移概率密度函数密度函数p(Y/X)严格下凸严格下凸第第6章章 连续信源的熵、

13、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量6.3 高斯信道的信道容量高斯信道的信道容量1、高斯信道、高斯信道加性噪声加性噪声信道中噪声与信号相互独立且对信号信道中噪声与信号相互独立且对信号的作用表现为线性叠加的作用表现为线性叠加定义定义第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量表示表示XY=X+ZZ第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量2、高斯信

14、道的噪声微分熵、高斯信道的噪声微分熵雅可比行列式雅可比行列式第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量3、高斯信道的信道容量、高斯信道的信道容量单符号连续信道给定时，单符号连续信道给定时，I(X;Y)对于信源概率对于信源概率密度密度函数函数p(X)严格上凸严格上凸总能找到一种信源概率总能找到一种信源概率密度密度函数函数p(X)，使使I(X;Y)达到最大达到最大定义定义信道给定时平均互信息信道给定时平均互信息I(X;Y)的最大值，用的最大值

15、，用C表示表示表示表示第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量信源平均功率受限下，信宿高斯分布是否可达？信源平均功率受限下，信宿高斯分布是否可达？第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量达到信道容量的信源概率密度函数达到信道容量的信源概率密度函数信道容量信道容量第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量6.4 带宽有限高斯信道的信道容量带宽有限高斯信道的信道容量香农公式香农公式1、波形信道、波形信道定义定义对应于对应于

16、波形信源波形信源和和波形信宿波形信宿的信道的信道表示表示信源信源连续型随机过程连续型随机过程X(t)信宿信宿连续型随机过程连续型随机过程Y(t)第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量随机过程随机过程X(t)在在t时刻的取值时刻的取值x(t)为信源发出的消息为信源发出的消息随机过程随机过程Y(t)在在t时刻的取值时刻的取值y(t)为信宿收到的消息为信宿收到的消息第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量X(t)py(t)/x(t)Y(t)py(t)/x(t)为信道转移概率密度函

17、数为信道转移概率密度函数第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量2、带宽有限高斯信道、带宽有限高斯信道定义定义表示表示第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量3、带宽有限高斯信道的信道容量、带宽有限高斯信道的信道容量根据采样定理，不失真传输一条消息的最小时间根据采样定理，不失真传输一条消息的最小时间T=1/2W0,T时间，波形信道时间，波形信道单符号连续信道单符号连续信道信源平均功率受限下信源平均功率受限下信道容量信道容量第第6章章 连续信源的熵、连续信道的平均互信息与信道容

18、量连续信源的熵、连续信道的平均互信息与信道容量达到信道容量的信源概率密度函数达到信道容量的信源概率密度函数第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量4、单位时间的、单位时间的信道容量信道容量波形信道习惯于信道单位时间内平均互信息的最大波形信道习惯于信道单位时间内平均互信息的最大值值单位时间的单位时间的信道容量信道容量定义定义单位时间的单位时间的信道容量，用信道容量，用Ct表示表示表示表示第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量其中其中T为平均传输一条消息所需的时间为平均传输一条

19、消息所需的时间单位为单位为bit/sec(bps)第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量5、香农公式、香农公式T=1/2W第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量6、香农公式的意义、香农公式的意义信道容量信道容量正比于信噪功率比，且信噪功率比小于正比于信噪功率比，且信噪功率比小于1时时信道容量信道容量仍大于仍大于0信道容量信道容量正比于所传输信号的带宽，但所传输信正比于所传输信号的带宽，但所传输信号的带宽趋于无穷时，号的带宽趋于无穷时，信道容量信道容量趋于有限值趋于有限值第

20、第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量信道容量信道容量一定时，增大所传输信号的带宽，可以一定时，增大所传输信号的带宽，可以降低对信噪功率比的要求，反之亦然降低对信噪功率比的要求，反之亦然第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量带宽有限高斯信道所传输信号的带宽有限高斯信道所传输信号的带宽带宽W=3kHz，信，信道容量道容量Ct=1.5104bps，求，求信噪功率比；如果将信噪信噪功率比；如果将信噪功率比降低功率比降低到到-3dB，求保持同样信道容量所需的带，求保持同样信道容量所需的带宽宽例例1第第6章章 连续信源的熵、连续信道的平均互信息与信道容量连续信源的熵、连续信道的平均互信息与信道容量