信息论第二讲-离散信源的熵.ppt

《信息论第二讲-离散信源的熵.ppt》由会员分享，可在线阅读，更多相关《信息论第二讲-离散信源的熵.ppt（60页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、离散信源特性：离散信源特性：根据Shannon信息论的观点，信源要含有一定的信息，必然具有随随机机性性，即有不确定性不确定性，可以用其概率来表示。2、离散信源的熵2.1 离散信源的数学模型离散信源的数学模型2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型2/15/20231离散信源空间：离散信源空间：信源的符号（状态）随机地取值于一个离散集合X=（x1,x2,xn）中，一个离散信源可以用一个离离散散随随机机变变量量的概率空间表示。P=(p1,p2,pn)这种表示称为离散无记忆信源离散无记忆信源的信源空间信源空间。信源空间必为一个完备空间完备空间，即其概率和为1。2/15/20232

2、信源数学模型描述的条件：信源数学模型描述的条件：用信源空间（离离散散随随机机变变量量）来表示信源的条条件件是信源符号（状态）的先验概率是可知的，这是Shannon信息论的一个基本假说。2/15/20233信息的理解信息的理解1只有信息的概念没有信息的定义；只有信息的概念没有信息的定义；2山山农农信信息息论论认认为为：“正正如如熵熵表表示示分分子子无无组组织织程程度度的的度度量量一一样样，离离散散信信源源中中所所包包含含的的信信息息就就是是信信源源符符号号不不确定程性的度量确定程性的度量”。组织程度的度量；组织程度的度量；有序程度的度量；有序程度的度量；用以减少不确定性的东西；用以减少不确定性的

3、东西；3还有其它的描述：还有其它的描述：信息就是使概率分布发生变化的东西；信息就是使概率分布发生变化的东西；信信息息是是反反映映事事物物的的形形式式、关关系系和和差差异异的的东东西西，信信息息包包含含在在事事物物的的差差异异之之中中，而而不不在在事物本身。事物本身。2/15/20234不确定性：不确定性：只有不确定性存在，才有信息存在，获得消息后消除了不确定性才得到信息。在一个通信系统中，收信者所获取的信息量，在数量上等于通信前后对信源的不确定性的减少量。不确定性的度量（不确定度）：不确定性的度量（不确定度）：不确定度应该等于猜测某一随机事件是否会发生的难易程度。2.1.2 信源符号不确定性的

4、度量信源符号不确定性的度量(uncertainty)2/15/20235Hartly公式：公式：信信源源不不确确定定度度的的大大小小与与信信源源的的消消息息符符号号数数有有关关；符号数越多，不确定度越大；符号数越多，不确定度越大；信信源源不不确确定定度度的的大大小小与与信信源源的的消消息息符符号号概概率率有有关；概率越小，不确定度越大；关；概率越小，不确定度越大；信源不确定度应具有可加性；信源不确定度应具有可加性；同同时时应应当当满满足足：如如果果p(xi)=0，则则I(xi)=，如如果果p(xi)=1，则，则I(xi)=0。因此为了满足以上四个条件，应把信源不确定度写为因此为了满足以上四个条

5、件，应把信源不确定度写为对数形式：对数形式：2/15/20236自信息量的定义：自信息量的定义：收收信信者者收收到到一一个个消消息息状状态态得得到到的的信信息息量量，等等于于收收到到后后对对这这个个消消息息状状态态不不确确定定度度的的减减少量。少量。I（信息量）（信息量）=不确定度的减少量。不确定度的减少量。2.1.3 信源符号的自信息量信源符号的自信息量2/15/20237无噪声信道下的自信息量：无噪声信道下的自信息量：在在假假设设信信道道没没有有干干扰扰（无无噪噪声声）的的情情况况下下，信信源源发发出出信信源源状状态态xi，接接收收者者就就会会收收到到xi，这这时时接接收收者者收收到到的的

6、信信息息量量就就等等于于信信源源状状态态xi本本身身含含有有的的信信息息量量（不不确确定定度度），称称为为信信源源状状态态xi的的自信息量，记为自信息量，记为I(xi)。这这时时，接接收收到到xi所所获获得得的的信信息息量量等等于于信信源源输输出出发出的信息量。发出的信息量。2/15/20238有噪声信道下的互信息量：有噪声信道下的互信息量：在在有有噪噪声声信信道道下下，信信源源发发出出的的状状态态为为xi，接接收收者者收收到到的的状状态态为为yj，接接收收者者收收到到yj后后，从从yj中中获获取取到到关关于于xi的的信信息息量量，就就是是信信源源发发出出xi后后，接接收收者者收到的信息量，称

7、为互信息量。记为收到的信息量，称为互信息量。记为I(xi,yj)。接接收收到到yj后后，信信源源实实际际发发出出xi时时接接收收者者所所获获得得的的信信息量。息量。由由于于噪噪声声的的干干扰扰，接接收收者者收收到到的的信信息息量量小小于于信信源源发出的信息量。发出的信息量。2/15/20239H(xi)为信源状态为信源状态xi本身具有的不确定性；本身具有的不确定性；H(xi/yj)为为接接收收到到一一个个yj后后，信信源源状状态态xi仍仍存存在在的的不不确确定定度度；收收到到yj后后，信信源源状状态态xi的的不不确确定定性性应应有有所所变变化化，这这个个变变化化量量就就称称为为信源状态信源状态

8、xi的互信息量。的互信息量。这个互信息量在什么条件下为大于零？等于零？小于零？这个互信息量在什么条件下为大于零？等于零？小于零？2/15/202310（1 1）信源熵的定义：）信源熵的定义：信源一个消息状态所具有的平均信息量。离散无记忆信源的熵（独立熵）：2.2 单符号离散信源的熵单符号离散信源的熵2.2.1 信源熵的概念信源熵的概念(Entropy)H(X)H(X)表示信源发出任何一个消息状态所携带的平均信息量，也表示信源发出任何一个消息状态所携带的平均信息量，也等于在无噪声条件下，接收者收到一个消息状态所获得的平均等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量。信息量。2/1

9、5/202311（2 2）熵的物理意义：）熵的物理意义：熵的本意为热力学中表示分子状态的紊乱程度；信息论中熵表示信源中消息状态的不确定度；（3 3）信源熵与信息量有不同的意义；）信源熵与信息量有不同的意义；qH(X)H(X)表示信源X每一个状态所能提供的平均信息量；qH(X)H(X)表示信源X在没有发出符号以前，接收者对信源的平均不确定度；qH(X)H(X)表示随机变量X的随机性；2/15/202312熵函数可以表示为：熵函数可以表示为：2.2.2 熵函数的性质熵函数的性质性质1：非负性；H(X)0性质2：对称性；性质3：确定性；2/15/202313性质4：连续性；性质5：扩展性；2.2.3

10、 离散信源的最大熵离散信源的最大熵（一）一般离散信源的最大熵（一）一般离散信源的最大熵在数学上可以证明熵函数存在最大值，离散信源的熵函数有n个变量，有一个约束条件，作一个辅助函数：2/15/202314Hmax(X)=H(1/n,1/n,1/n)=logn这个结果称为离离散散信信源源得得最最大大熵熵定定理理。它表明，在所有符号数相同，而概率分布不同的离散信源中，当先验概率相等时得到的熵最大。最大熵的值取决于符号状态数，状态数越多，熵越大。2/15/202315这时可求得离散信源得最大熵为（二）均值受限的离散信源的最大熵（二）均值受限的离散信源的最大熵在增加一个约束条件的情况下，求离散信源的最大

11、熵，做辅助函数：2/15/202316加权熵加权熵上上面面定定义义的的信信源源熵熵是是没没有有考考虑虑信信息息的的主主观观因因素素，也也称称为为“概概率率信信息息”或或客客观观信信息息。我我们们可可以以利利用用加加权权熵描述不同信息对于不同对象的重要性差异。熵描述不同信息对于不同对象的重要性差异。2/15/202317联合信源的概率空间：联合信源的概率空间：联合信源可以认为有两个信源X，Y组成：X:x1,x2,xixnP(X):p(x1),p(x2),p(xi),p(xn)Y:y1,y2,yi,ymP(Y):p(y1),p(y2),p(yi),p(ym)2.3 共熵与条件熵共熵与条件熵2.3.

12、1 联合信源的共熵(Joint Entropy)2/15/202318联合信源联合信源X：x1,x2,x3,xnY：y1,y2,y3,ym多元随机变量的概率。多元随机变量的概率。P(X),P(Y),P(X,Y)P(X/Y)P(Y/X)2/15/202319用这两个信源组成一个联合信源，其联合概率空间为：用这两个信源组成一个联合信源，其联合概率空间为：(X,Y):x1y1,x1ym,x2y1,x2ym,xny1,xnymP(X,Y):P(x1,y1)p(x1,ym),p(x2,y1)p(x2,ym),p(xny1)p(xn,ym)其中状态（其中状态（xi,yj）为联合信源输出的一个状态。）为联合

13、信源输出的一个状态。2/15/202320联合信源共熵的表达式：联合信源共熵的表达式：联合信源的共熵：联合信源输出一个组合消息状态(xi,yj)所发出的平均信息量。联合信源的独立熵：将联合信源看成两个独立的信源（当然实际上可能并不是相互独立的）时，各自信源的熵即为独立熵。2/15/202321概率的基本关系：概率的基本关系：当X，Y独立时，有p(x,y)=p(x)p(y)p(x,y)=p(x)p(y)。2/15/2023222/15/2023232.3.1 联合信源的条件熵联合信源的条件熵(Conditional Entropy)一个联合信源（一个联合信源（X，Y）的条件熵定义为：）的条件熵定

14、义为：信信源源Y（或或X）输输出出任任一一状状态态后后，信信源源X（或或Y）输出任一状态所发出的平均信息量。输出任一状态所发出的平均信息量。2/15/202324以以上上讨讨论论的的信信源源符符号号状状态态的的自自信信息息量量和和信信源源的的熵熵是是描描述述信信源源的的特特性性，但但是是对对于于一一个个通通信信系系统统来来说说，最最主主要要的的问问题题是是接接收收者者收收到到信信息息的的能能力力。在在信信源源与与接接收收者者之之间间是是由由信信道道连接的，这里要开始讨论信道的问题。连接的，这里要开始讨论信道的问题。2.4 离散信源的平均交互信息量离散信源的平均交互信息量2/15/202325设

15、设离离散散信信道道的的输输入入为为一一个个随随机机变变量量X，相相应应的的输输出出的的随随机机变量为变量为Y，如图所示：，如图所示：规定一个离散信道应有三个参数：规定一个离散信道应有三个参数：q输入符号集：输入符号集：X=x1,x2,.xnq输出符号集：输出符号集：Y=y1,y2,.ymq信道转移概率：信道转移概率：P(Y/X)=p(y1/x1),p(y2/x1),p(ym/x1),p(y1/xn)p(ym/xn)2.4.1 离散信道的数学模型离散信道的数学模型2/15/202326离散信道主要有三种描述方法。离散信道主要有三种描述方法。概率空间描述概率空间描述X=x1,x2,xnP(Y/X)

16、=p(yj/xi)(i=1,2,n;j=1,2,m)Y=y1,y2,ym0p(yj/xi)1这表明信道有一个输入就一定有一个输出。这表明信道有一个输入就一定有一个输出。2/15/202327转移矩阵描述转移矩阵描述矩阵矩阵P称为转移矩阵或信道矩阵；表示为：称为转移矩阵或信道矩阵；表示为：P=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)P矩阵为一个矩阵为一个nm矩阵，其每行元素之和等于矩阵，其每行元素之和等于1。2/15/202328图示法描述图示法描述离散信道的图示法描述

17、如图所示。离散信道的图示法描述如图所示。2/15/2023292.4.2 X与与Y的关系的关系当当信信道道输输出出一一个个符符号号yj时时，一一定定是是有有一一个个输输入入符符号号xi输入信道。输入信道。对于给定的信道对于给定的信道P，如果已知先验概率，如果已知先验概率p(xi)，则，则可以求出可以求出p(xi,yj)、P(xi/yj)和和p(yj)。先验概率；联合概率；先验概率；联合概率；信道转移概率；后验概率；信道转移概率；后验概率；2/15/2023302.4.3 交互信息量交互信息量(Mutual Information)定义：定义：信信息息传传输输的的根根本本问问题题是是，对对于于给

18、给定定的的信信道道计计算算收收到到一一个个yj后后，从从yj中中获获取取关关于于xi的的信信息息量量。这这个个信信息息量量称称为互信息量，记为为互信息量，记为I(xi,yj)。I(xi,yj)=接收接收yj前接收者对前接收者对xi存在的不确定度存在的不确定度-接收接收yj后接收者对后接收者对xi仍存在的不确定度仍存在的不确定度=通信前后接收者对通信前后接收者对xi不确定度的变化量（减少量）不确定度的变化量（减少量）I(xi,yj)=H(xi)-H(xi/yj)=I(xi)-I(xi/yj)2/15/202331交互关系交互关系由由p(xi,yj)=p(xi)p(yj/xi)=p(yj)p(xi

19、/yj)可以得到如下结果：可以得到如下结果：I(xi,yj)=I(xi)-I(xi/yj)=I(yj)-I(yj/xi)I(xi,yj)=I(yj,xi)称为称为交互信息量交互信息量2/15/202332两个公式两个公式由以上两个公式可以看到：由以上两个公式可以看到：只只要要已已知知某某一一个个信信源源符符号号的的先先验验概概率率及及相相应应的的转转移移概概率率，就就可以得到相应的交互信息量。可以得到相应的交互信息量。2/15/202333后验概率与交互信息量后验概率与交互信息量已知交互信息量已知交互信息量=log(后验概率后验概率/先验概率先验概率)，这里分析后验概率对交互信息量的影响。这里

20、分析后验概率对交互信息量的影响。H(xi/yj)=0收收到到yj后后可可以以准准确确无无误误地地判判断断xi，相相当当于于无无噪噪声声信信道，收到道，收到yj获得的信息量就等于获得的信息量就等于xi的自信息量。的自信息量。H(xi)H(xi/yj)收到收到yj后判断信源发出后判断信源发出xi的概率，大于收到的概率，大于收到yj之前之前判断信源发出判断信源发出xi的概率，通信后接收者对信源符的概率，通信后接收者对信源符号号xi的不确定度减少了，获得的信息量大于的不确定度减少了，获得的信息量大于0。2/15/202334H(xi)=H(xi/yj)收收到到yj后后判判断断信信源源发发出出xi的的概

21、概率率，等等于于收收到到yj之之前前判判断断信信源源发发出出xi的的概概率率，通通信信后后接接收收者者对对信信源源符符号号xi的不确定度没有变化，获得的信息量等于的不确定度没有变化，获得的信息量等于0。H(xi)H(xi/yj)收到收到yj后判断信源发出后判断信源发出xi的概率，小于收到的概率，小于收到yj之前之前判断信源发出判断信源发出xi的概率，通信后接收者对信源符的概率，通信后接收者对信源符号号xi的不确定度不但没减少，反而增加了，获得的不确定度不但没减少，反而增加了，获得的信息量小于的信息量小于0。2/15/202335离散无记忆信道离散无记忆信道DMC离散无记忆信道是一种简单的通信信

22、道模型。离散无记忆信道是一种简单的通信信道模型。离散：某一时刻的输入输出为有限的符号集合；离散：某一时刻的输入输出为有限的符号集合；无记忆：某一时刻的输出只与这一时刻的输入有关；无记忆：某一时刻的输出只与这一时刻的输入有关；X:x1,x2,xnY:y1,y2,ym2/15/202336二元对称信道二元对称信道BSC01101-p1-pppn=m=22/15/202337二元删除信道二元删除信道01101-p1-qpq?n=2;m=32/15/202338后验熵后验熵H(X/Y)接接收收者者(观观测测者者)收收到到Y后后,对对信信源源X仍仍然然存存在在的的不不确确定定量量2/15/202339定

23、义：定义：交交互互信信息息量量接接收收者者通通过过某某一一个个信信道道P从从一一个个信信宿宿符符号号yj中中获获得得某某一一信信源源符符号号xi信信息息量量的的问问题题，但但它它没没有有反反映映一一个个信信道道的的整整体体特特性性，因因此此，这这里里定义定义平均交互信息量。平均交互信息量。对对于于给给定定的的信信道道模模型型；X,P(Y/X),Y，其其平平均均互信息量为：互信息量为：I(X,Y)=H(X)-H(X/Y)2.4.4 平均交互信息量平均交互信息量2/15/202340关系关系：进一步还可以得到：平均交互信息量给出了信道传输一个信源符号所传递的平均信息量，对于给定的信道和信源平均交互

24、信息量是一个确定的量，平均交互信息量实际上就是接收者收到一个符号通过信道从信源所获得的平均信息量，因此也称为平均接收信息量。2/15/202341利用熵的概念来描述交互信息量：利用熵的概念来描述交互信息量：疑义度疑义度I(X,Y)=H(X)-H(X/Y)其其中中条条件件熵熵H(X/Y)称称为为疑疑义义度度，可可疑疑度度，它它表表示示接接收收者者收到收到Y后，对信源后，对信源X仍然存在的平均不确定度。仍然存在的平均不确定度。扩散度扩散度（噪声熵）（噪声熵）I(X,Y)=H(Y)-H(Y/X)其其中中条条件件熵熵H(X/Y)称称为为扩扩散散度度，噪噪声声熵熵，它它表表示示发发信信者者发出发出X后，

25、对信道输出后，对信道输出Y仍然存在的平均不确定度。仍然存在的平均不确定度。联合熵联合熵（共熵）（共熵）I(X,Y)=H(X)+H(Y)-H(X,Y)其中熵其中熵H(X,Y)称为联合熵，共熵，它表示通信完成之后，称为联合熵，共熵，它表示通信完成之后，观察者对通信系统仍然存在的平均不确定度。观察者对通信系统仍然存在的平均不确定度。2/15/202342I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(X,Y)图给出了平均交互信息量、信源熵，信宿熵，联合熵，疑图给出了平均交互信息量、信源熵，信宿熵，联合熵，疑义度和扩散度之间的关系。义度和扩散度之间的关系。2/15

26、/2023432.4.5 平均交互信息量的特性2.5.1 I(X,Y)的非负性2.5.2 平均交互信息量的交互性2.5.3 平均交互信息量的极值性2.5.4 平均交互信息量的凸函数性 2.5.5 平均交互信息量的不增性 2/15/2023442.5.1 I(X,Y)的非负性的非负性当x为大于0的实数时，底大于1的对数logx是x的严格上凸函数。可以证明若f(x)为上凸函数，则有：fpixipif(xi)，如f(x)=logx，则有：logpixipilogxi根据这个关系，考虑平均交互信息量，I(X,Y)=p(xi,yj)logp(xi,yj)/p(xi)p(yj)则：-I(X,Y)=p(xi

27、,yj)logp(xi)p(yj)/p(xi,yj)logp(xi,yj)p(xi)p(yj)/p(xi,yj)=logp(xi)p(yj)=0所以有：I(X,Y)02/15/2023452.5.2 平均交互信息量的交互性平均交互信息量的交互性由于p(xi,yj)=p(yj,xi)则：I(X,Y)=I(Y,X)（对于一个信息系统来说）交互性表明在Y中含有关于X的信息，I(X,Y)；在X中含有关于Y的信息，I(Y,X)；而且两者相等。实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式。2/15/202346X和和Y相互独立，交互性最小，相互独立

28、，交互性最小，I(X,Y)=0；X和和Y完全相关，交互性最大，完全相关，交互性最大，I(X,Y)=H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相当于信道无信息损失。相当于信道无信息损失。2/15/202347这种信道的特点是：这种信道的特点是：n=m，每行只有一个元素为，每行只有一个元素为1，每列只有一个元素，每列只有一个元素为为1。其转移概率不为。其转移概率不为1，就为，就为0。2/15/202348这时有：这时有：所以有：所以有：I(X,Y)=I(Y,X)=H(X)=H(Y)2/15/2023492.5.3 平均交互信息量的极值性平均交互信息量的极值性平均交互信息量I(X,Y)不可

29、能超过信源熵H(X)，因为H(X/Y)0所以有I(X,Y)=H(X)-H(X/Y)H(X)因为H(Y/X)0所以有I(X,Y)=H(Y)-H(Y/X)H(Y)疑疑义义度度、噪噪声声熵熵总总是是大大于于等等于于0，平平均均交交互互信信息息量量总总是小于信源熵或信宿熵。是小于信源熵或信宿熵。在信道的输出端在信道的输出端Y得到的关于输入端得到的关于输入端X的信息量不会的信息量不会超过信源超过信源X的平均信息量。的平均信息量。2/15/202350扩展性无噪声信道扩展性无噪声信道由由于于其其矩矩阵阵的的每每一一列列元元素素只只有有一一个个非非零零元元素素，所所以以后验概率不等于后验概率不等于1，就等于

30、，就等于0.即：即：2/15/202351 这时可知疑义度H(X/Y)=0，平均交互信息量达到最大值I(X,Y)=H(X)。从平均意义上讲，这种信道可以把信源的信息全部传递给信宿。这种每列只有一个非0元素的信道也是一种无噪声信道，称为具有扩展性能的无噪声信道。这时：这时：H(Y/X)=H(Y)-H(X)因为：因为：H(Y/X)0，所以：所以：H(Y)H(X)；得到的结论为：得到的结论为：这时的信宿熵将大于信源熵，因此称为扩这时的信宿熵将大于信源熵，因此称为扩展信道。展信道。2/15/202352并归性无噪声信道并归性无噪声信道 这类信道的转移概率等于1或者等于0，每一列的元素可有一个或多个1，

31、可知其噪声熵H(Y/X)=0，此时的平均交互信息量达到最大值。I(X,Y)=H(Y)-H(Y/X)=H(Y)这时可以证明：疑义度 H(X/Y)=H(X)-H(Y),并且并且H(X)H(Y)，2/15/202353通通过过这这两两个个例例题题可可以以进进一一步步理理解解条条件件熵熵的的概概念念，疑疑义义度度和和噪噪声声熵熵都都是是由由于于信信道道噪噪声声引引起起的的，当当信信道道转转移移概概率率是是一一一一对对应的确定关系时，疑义度和噪声熵等于应的确定关系时，疑义度和噪声熵等于0，无噪声信道无噪声信道。一一个个X产产生生多多个个Y，称称为为扩扩展展信信道道，在在扩扩展展信信道道中中若若P中中每每

32、列列只只有有一一个个非非0元元素素，H(X/Y)=0，即即疑疑义义度度=0，称称为为扩扩展展性性无噪声信道，否则称为无噪声信道，否则称为扩展噪声信道扩展噪声信道。多个多个X产生一个产生一个Y，称为归并信道，在归并信道中若，称为归并信道，在归并信道中若P中中元素为元素为0或或1，H(Y/X)=0，即噪声熵，即噪声熵=0，称为归并性无噪声信，称为归并性无噪声信道，否则称为道，否则称为归并噪声信道归并噪声信道。2/15/202354平平均均交交互互信信息息量量先先验验概概率率p(xi)和和信信道道转转移移概概率率p(yj/xi)的的函函数数，可以记为：可以记为：I(X,Y)=Ip(xi),p(yj/

33、xi)如果信道固定，如果信道固定，I(X,Y)是先验概率的函数是先验概率的函数;如果信源固定，如果信源固定，I(X,Y)是信道转移概率的函数。是信道转移概率的函数。可以进一步证明：可以进一步证明：当当信信道道一一定定时时，I(X,Y)是是信信源源先先验验概概率率的的上上凸凸函函数数；这这就就是是说说，对对于于一一定定的的信信道道转转移移概概率率分分布布，总总可可以以找找到到一一个个先先验验概概率率分分布布为为pm(xi)的的信信源源X，使使平平均均交交互互信信息息量量达达到到相相应应的的最最大大值值Imax，这这时时称称这这个个信信源源为为该该信信道道的的匹匹配配信信源源。可可以以说说不不同同

34、的的信信道道转转移移概概率率对对应应不不同同的的I。或者说或者说Imax是是P(Y/X)的函数。的函数。2.5.4 平均交互信息量的凸函数性平均交互信息量的凸函数性 2/15/202355例例2-11设二元对称信道的信源空间为：X=0,1;P(X)=,1-;平均交互信息量为：I(X,Y)=H(Y)-H(Y/X)；信道转移概率如图。2/15/202356 H(Y/X)=-p(xi)p(yj/xi)logp(yj/xi)=p(xi)-plogp+(1-p)log(1-p)=H(p)其中：记其中：记H(p)=-plogp+(1-p)log(1-p)另外：为了求另外：为了求H(Y)，利用利用p(yj)

35、=p(xi)p(yj/xi)；可得：；可得：p(y=0)=(1-p)+(1-)p p(y=1)=p+(1-)(1-p)则：则：H(Y)=H(1-p)+(1-)p)2/15/202357可得平均交互信息量为：I(X,Y)=H(1-p)+(1-)p)-H(p)可知，当p值一定，I(X,Y)是的上凸函数，2/15/202358当当信信源源一一定定时时，平平均均交交互互信信息息量量I(X,Y)是是信信道道转移概率的下凸函数；转移概率的下凸函数；这这就就是是说说，对对于于一一个个已已知知先先验验概概率率为为P(X)的的离离散散信信源源，总总可可以以找找到到一一个个转转移移概概率率分分布布为为Pm(Y/X)的的信信道道，使使平平均均交交互互信信息息量量达达到到相相应应的的最最小小值值Imin。可可以以说说不不同同的的信信源源先先验验概概率率对对应应不不同同的的Imin。或或者者说说Imin是是P(X)的的函函数数。即即平平均均交交互互信信息息量量的的最最小小值值是体现了信源本身的特性。是体现了信源本身的特性。2/15/202359例例2-12：I(X,Y)=H(1-p)+(1-)p)-H(p)，当固定信源先验概率分布时，I(X,Y)是信道转移概率p的下凸函数，如图所示。2/15/202360