信息论基础理论与应用第三版(傅祖芸)第三章.ppt

《信息论基础理论与应用第三版(傅祖芸)第三章.ppt》由会员分享，可在线阅读，更多相关《信息论基础理论与应用第三版(傅祖芸)第三章.ppt（111页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章第三章 离散信道及其信道容量离散信道及其信道容量 第一节第一节 信道的数学模型及分类信道的数学模型及分类第二节第二节 平均互信息平均互信息第三节第三节 平均互信息的特性平均互信息的特性第四节第四节 信道容量及其计算方法信道容量及其计算方法 第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量第六节第六节 信源与信道的匹配信源与信道的匹配u信道的任务：信道的任务：以以信号方式信号方式传输信息和存储信息。传输信息和存储信息。u研究内容：研究内容：信道中能够传送或存储的最大信息量，即信道容量。信道中能够传送或存储的最大信息量，即信道容量。3.1 3.1 信道的数学模型和分

2、类信道的数学模型和分类 数字通信系统的一般模型数字通信系统的一般模型一、信道的分类一、信道的分类 根据载荷消息的媒体不同根据载荷消息的媒体不同邮递信道邮递信道邮递信道邮递信道电、磁信道电、磁信道电、磁信道电、磁信道光信道光信道光信道光信道声信道声信道声信道声信道根据信道用户的多少根据信道用户的多少单用户（两端）信道单用户（两端）信道单用户（两端）信道单用户（两端）信道 一个输入端和一个输出端的一个输入端和一个输出端的单向单向通信；通信；多用户信道多用户信道多用户信道多用户信道 至少有一端有两个以上的用至少有一端有两个以上的用户，可以是双向通信；（计算机户，可以是双向通信；（计算机通信、卫星通信

3、、广播通信等）通信、卫星通信、广播通信等）根据输入端和输出根据输入端和输出端的关联端的关联无反馈信道无反馈信道无反馈信道无反馈信道有反馈信道有反馈信道有反馈信道有反馈信道信道参数与时间的关系信道参数与时间的关系固定参数信道固定参数信道时变参数信道时变参数信道根据输入输出信号的根据输入输出信号的特点特点 离散信道离散信道（离散随机序列（离散随机序列-离散随机序列）离散随机序列）连续信道连续信道（连续值随机序列（连续值随机序列-连续值随机序列）连续值随机序列）半离散半连续信道半离散半连续信道（离散随机序列（离散随机序列-连续值随机序列）连续值随机序列）波形信道（模拟信道）波形信道（模拟信道）（时间

4、、取值连续随机信号（时间、取值连续随机信号-时间、取值连续随机信号）时间、取值连续随机信号）我们只研究：我们只研究：无反馈、固定参数的单用户离散信道。无反馈、固定参数的单用户离散信道。信道分析的方法信道分析的方法 信源输出的是携带者信息的消息，而消息必须首信源输出的是携带者信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后经过信先转换成能在信道中传输或存储的信号，然后经过信道传送到接收者。道传送到接收者。一般认为，噪声或干扰主要从信道中引入，它使信一般认为，噪声或干扰主要从信道中引入，它使信号通过信道传输后产生错误和失真。号通过信道传输后产生错误和失真。因此，信道的输入和输出信号

5、之间一般不是确定的因此，信道的输入和输出信号之间一般不是确定的函数关系，而是函数关系，而是统计依赖关系统计依赖关系。只要知道信道的输入。只要知道信道的输入信号、输出信号，以及它们之间的统计依赖关系，那信号、输出信号，以及它们之间的统计依赖关系，那么信道的全部特性就确定了。么信道的全部特性就确定了。二、离散信道的数学模型二、离散信道的数学模型 条件概率条件概率 P(y|x)P(y|x)描述了输入信号和输出信号之间统计描述了输入信号和输出信号之间统计依赖关系，反映了依赖关系，反映了信道的统计特性信道的统计特性。根据信道的。根据信道的统计特性统计特性的的不同，离散信道又可分成不同，离散信道又可分成3

6、 3种情况：种情况：1.1.无干扰信道无干扰信道 2.2.有干扰无记忆信道有干扰无记忆信道 3.3.有干扰有记忆信道有干扰有记忆信道 (1)(1)无干扰无干扰(无噪声无噪声)信道信道 信道中没有随机性的干扰或者干扰很小，输出符号信道中没有随机性的干扰或者干扰很小，输出符号 y y 与输入符号与输入符号 x x 之间有确定的、一之间有确定的、一 一对应的关系。即：一对应的关系。即：y f(x)(2)有干扰无记忆信道有干扰无记忆信道 信道输入和输出之间的信道输入和输出之间的条件概率条件概率是是一般的概率分布一般的概率分布。如果任一时刻输出符号只统计依赖于如果任一时刻输出符号只统计依赖于对应时刻对应

7、时刻的输入符的输入符号，则这种信道称为号，则这种信道称为无记忆信道无记忆信道。(3)有干扰有干扰(噪声噪声)有记忆信道有记忆信道 实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声)又有记忆的这种类又有记忆的这种类型。型。例如在数字信道中，由于信道滤波频率特性不理想例如在数字信道中，由于信道滤波频率特性不理想时造成了时造成了码字间串扰码字间串扰。在这一类信道中某一瞬间的输出符号在这一类信道中某一瞬间的输出符号不但与对应时不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，入符号及输出符号有关，这样的信道称为这样的

8、信道称为有记忆信道。有记忆信道。三、单符号离散信道三、单符号离散信道单符号离散信道特性：单符号离散信道特性：输入符号为输入符号为X，取值于，取值于a1,a2,ar输出符号为输出符号为Y，取值于，取值于b1,b2,bs条件概率：条件概率：P(y|x)P(y=bj|x=ai)P(bj|ai)这一组条件概率称为这一组条件概率称为信道的传递概率信道的传递概率或或转移转移概率概率。信道中有干扰信道中有干扰(噪声噪声)存在，可以用传递概率存在，可以用传递概率 P(bj|ai)来描述来描述干扰影响干扰影响的大小。的大小。一般一般简单的单符号离散信道简单的单符号离散信道可用可用 X,P(y|x),Y 三者加以

9、表述，其数学模型可以用如下三者加以表述，其数学模型可以用如下概率空间概率空间 X,P(y|x),Y也可用图形来描述：也可用图形来描述：a1 b1 a2 b2 X .Y.ar bsP(bj/ai)单符号离散信道单符号离散信道信道矩阵信道矩阵（转移矩阵）（转移矩阵）模型模型 一般离散单符号信道的传递概率可用矩阵形式表一般离散单符号信道的传递概率可用矩阵形式表示，即示，即 矩阵矩阵P完全描述了信道的特性，可用它作为离散单符号完全描述了信道的特性，可用它作为离散单符号信道信道的另一种数学模型的另一种数学模型的形式。矩阵的形式。矩阵 P中元素有些是信道干扰引起中元素有些是信道干扰引起的错误概率，有些是信

10、道正确传输的概率。的错误概率，有些是信道正确传输的概率。b1 b2 bsa1 P(b1|a1)P(b2|a1)P(bs|a1)a2 P(b1|a2)P(b2|a2)P(bs|a2).ar P(b1|ar)P(b2|ar)P(bs|ar)例例 二元对称信道，二元对称信道，BSC，Binary Symmetrical Channel解：解：此时，此时，X:0,1;Y:0,1;r=s=2，a1=b1=0；a2=b2=1。传递概率传递概率:p是单个符号是单个符号传输发生错误传输发生错误的概率。的概率。（1-p）表示是）表示是无错误传输无错误传输的概率。的概率。转移矩阵转移矩阵:0 1011p a1=0

11、 0=b11p a2=1 1=b2pp符号符号“2”表示接收到了表示接收到了“0”、“1”以外的特殊以外的特殊符号符号 0 2 101p0 01p1 1q1q2例例二元删除信道。二元删除信道。BEC，Binary Eliminated Channel解：解：X:0，1 Y:0，1，2此时，此时，r 2，s 3，传递矩阵为：传递矩阵为：（1）联合概率）联合概率其中其中前向概率前向概率，描述信道的，描述信道的噪声特性噪声特性后向概率（后验概率）后向概率（后验概率）输入符号的输入符号的先验概率先验概率单符号离散信道的相关概率关系单符号离散信道的相关概率关系（2）输出某符号的概率）输出某符号的概率含义

12、：含义：输出端收到的某符号，必是输入端某一符号输入所致。输出端收到的某符号，必是输入端某一符号输入所致。（3）后验概率）后验概率且且根据贝叶斯定理，可知：根据贝叶斯定理，可知：3.2 信道疑义度与平均互信息信道疑义度与平均互信息研究研究离散单符号信道离散单符号信道的信息传输问题。的信息传输问题。一、信道疑义度一、信道疑义度先验熵：先验熵：即信道输入信源即信道输入信源X的熵的熵 H(X)是在接收到输出是在接收到输出Y以前，关于输入变量以前，关于输入变量X的先的先验不确定性。验不确定性。后验熵后验熵：接收到接收到bj后，关于输入变量后，关于输入变量X的不确定性。的不确定性。后后验验熵熵是是当当信信

13、道道接接收收端端接接收收到到输输出出符符号号bj后后，关关于于输输入入符符号号的的不确定性不确定性的信息测度。的信息测度。信道疑义度：信道疑义度：后验熵在输出符号集后验熵在输出符号集Y Y范围内是随机量。对后验熵范围内是随机量。对后验熵在符号集在符号集Y Y中求中求数学期望数学期望，即，即-信道疑义度信道疑义度：互信息量互信息量 I(x I(x ;y);y)：收到消息收到消息y y 后获得关于后获得关于x x的信息量，即消除的不确定性量。的信息量，即消除的不确定性量。互信息量表示先验的不确定性减去尚存的不确定性，是互信息量表示先验的不确定性减去尚存的不确定性，是互信息量表示先验的不确定性减去尚

14、存的不确定性，是互信息量表示先验的不确定性减去尚存的不确定性，是收信者获得的信息量。收信者获得的信息量。收信者获得的信息量。收信者获得的信息量。若互信息若互信息若互信息若互信息I(I(I(I(x x x x;y y y y)0)0)0)0，说明在收到信息量，说明在收到信息量，说明在收到信息量，说明在收到信息量y y y y以前对消息以前对消息以前对消息以前对消息x x x x是是是是否出现的不确定性较小；但由于信道噪声的存在，反而使得否出现的不确定性较小；但由于信道噪声的存在，反而使得否出现的不确定性较小；但由于信道噪声的存在，反而使得否出现的不确定性较小；但由于信道噪声的存在，反而使得接收到

15、消息接收到消息接收到消息接收到消息y y y y后，反而对后，反而对后，反而对后，反而对x x x x是否出现的不确定程度增加了。是否出现的不确定程度增加了。是否出现的不确定程度增加了。是否出现的不确定程度增加了。二、平均互信息二、平均互信息u平均互信息平均互信息I(X;Y)I(X;Y)：接收到符号接收到符号 Y Y 后后,平均每个符号平均每个符号获得的关于获得的关于 X X 的信息的信息量，体现量，体现输入输入与与输出输出两个随机变量间的两个随机变量间的统计约束程度统计约束程度。另一角度：平均互信息另一角度：平均互信息=通信过程所通信过程所消除的不确定性消除的不确定性：I(X;Y)I(X;Y

16、)I(X;Y)I(X;Y)是是是是I(I(I(I(x x x x;y y y y)的的的的统计平均统计平均统计平均统计平均，可以证明，可以证明，可以证明，可以证明I(X;Y)0I(X;Y)0I(X;Y)0I(X;Y)0 。若若若若I(X;Y)I(X;Y)I(X;Y)I(X;Y)=0=0=0=0，表示，表示，表示，表示在在在在信道信道信道信道输出端接收到符号后不获得任何关于输出端接收到符号后不获得任何关于输出端接收到符号后不获得任何关于输出端接收到符号后不获得任何关于输输输输入符号入符号入符号入符号的信息。的信息。的信息。的信息。I(X;Y)I(X;Y)I(X;Y)=H(X)-H(X|Y)I(X

17、;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)I(X;Y)=H(X)+H(Y)-H(XY)I(X;Y)=H(X)+H(Y)-H(XY)I(X;Y)=H(X)+H(Y)-H(XY)其中：其中：其中：其中：平均互信息与各类熵的关系平均互信息与各类熵的关系u维拉图：维拉图：维拉图：维拉图：可用于各类熵与平均互信息之间关系可用于各类熵与平均互信息之间关系可用于各

18、类熵与平均互信息之间关系可用于各类熵与平均互信息之间关系 H(X|Y)=H(X)-I(X;Y)H(X|Y)=H(X)-I(X;Y)H(X|Y)=H(X)-I(X;Y)H(X|Y)=H(X)-I(X;Y)损失熵损失熵损失熵损失熵 /信道疑义度信道疑义度信道疑义度信道疑义度 H(Y|X)=H(Y)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)噪声熵噪声熵噪声熵噪声熵 /散布度散布度散布度散布度 H(XY)=H(X)+H(Y)-I(X;Y)H(XY)=H(X)+H(Y)-I(X;Y)H(XY)=H(X)+H(Y)-I(X;Y

19、)H(XY)=H(X)+H(Y)-I(X;Y)H(X)图中，左边的圆代表随机图中，左边的圆代表随机图中，左边的圆代表随机图中，左边的圆代表随机变量变量变量变量X X X X的熵，右边的圆代的熵，右边的圆代的熵，右边的圆代的熵，右边的圆代表随机变量表随机变量表随机变量表随机变量Y Y Y Y的熵，两个的熵，两个的熵，两个的熵，两个圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息I I I I(X(X(X(X;Y)Y)Y)Y)。每个圆减去。每个圆减去。每个圆减去。每个圆减去I(XI(XI(XI(X;Y)Y)Y)Y)后剩余的部分代表两个疑后剩余的部分代表两个疑

20、后剩余的部分代表两个疑后剩余的部分代表两个疑义度。义度。义度。义度。H(Y)H(X|Y)H(X|Y)H(Y|X)H(Y|X)H(XY)H(XY)I(X;Y)I(X;Y)n 两种特殊信道分析两种特殊信道分析（1 1 1 1）离散无干扰信道）离散无干扰信道）离散无干扰信道）离散无干扰信道(无损信道无损信道无损信道无损信道)信道的输入和输出一一对应，信息无损失传输。信道的输入和输出一一对应，信息无损失传输。信道的输入和输出一一对应，信息无损失传输。信道的输入和输出一一对应，信息无损失传输。信道传递概率信道传递概率信道传递概率信道传递概率对应某对应某对应某对应某y y y y，只有一个，只有一个，只有

21、一个，只有一个p(x|y)!=0p(x|y)!=0p(x|y)!=0p(x|y)!=0则平均互信息则平均互信息则平均互信息则平均互信息=H(X)=H(Y)=H(X)=H(Y)=H(X)=H(Y)=H(X)=H(Y)损失熵损失熵损失熵损失熵(信道疑义度信道疑义度信道疑义度信道疑义度)=0)=0)=0)=0噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）=0=0=0=0I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=I(X;Y)=H(X)-H(X

22、|Y)=H(Y)-H(Y|X)=H(X)H(X)H(X)H(X)P(x|y)!=0,P(x|y)!=0,P(x|y)!=0,P(x|y)!=0,其它取值时为其它取值时为其它取值时为其它取值时为0 0 0 0无损信道特性无损信道特性无损信道特性无损信道特性 在在在在无损信道无损信道无损信道无损信道中，输入符号和输出符号之间一一对应中，输入符号和输出符号之间一一对应中，输入符号和输出符号之间一一对应中，输入符号和输出符号之间一一对应，所以接收到，所以接收到，所以接收到，所以接收到Y Y Y Y后不存在对于输入后不存在对于输入后不存在对于输入后不存在对于输入X X X X的任何不确定性，的任何不确定

23、性，的任何不确定性，的任何不确定性，即即即即信道疑义度（损失熵）信道疑义度（损失熵）信道疑义度（损失熵）信道疑义度（损失熵）等于零。等于零。等于零。等于零。同时，因为输入和输出符号之间一一对应，所以同时，因为输入和输出符号之间一一对应，所以同时，因为输入和输出符号之间一一对应，所以同时，因为输入和输出符号之间一一对应，所以噪噪噪噪声熵声熵声熵声熵等于零。这时，接收到的等于零。这时，接收到的等于零。这时，接收到的等于零。这时，接收到的平均互信息量平均互信息量平均互信息量平均互信息量就是输入信就是输入信就是输入信就是输入信源所提供的信息量。源所提供的信息量。源所提供的信息量。源所提供的信息量。维拉

24、图：维拉图：维拉图：维拉图：I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)各集合完全重迭各集合完全重迭各集合完全重迭各集合完全重迭无损信道：无损信道：无损信道：无损信道：（2 2 2 2）输入输出独立信道）输入输出独立信道）输入输出独立信道）输入输出独立信道(全损信道全损信道全损信道全损信道)信道输入和输出没有依赖关系，信息

25、无法传输，称为信道输入和输出没有依赖关系，信息无法传输，称为信道输入和输出没有依赖关系，信息无法传输，称为信道输入和输出没有依赖关系，信息无法传输，称为全损全损全损全损信道信道信道信道。损失熵损失熵损失熵损失熵(信道疑义度信道疑义度信道疑义度信道疑义度)=H(X)=H(X)=H(X)=H(X)：噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）=H(Y)=H(Y)=H(Y)=H(Y)：因此在因此在因此在因此在全损信道全损信道全损信道全损信道中，接收到中，接收到中，接收到中，接收到Y Y Y Y后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端

26、X X X X的的的的任何不确定性，所以获得的信息量等于零。任何不确定性，所以获得的信息量等于零。任何不确定性，所以获得的信息量等于零。任何不确定性，所以获得的信息量等于零。同样，也不能从同样，也不能从同样，也不能从同样，也不能从X X X X中获得任何关于中获得任何关于中获得任何关于中获得任何关于Y Y Y Y的信息量。的信息量。的信息量。的信息量。平均互信息平均互信息平均互信息平均互信息I(X;Y)I(X;Y)I(X;Y)I(X;Y)等于零，表明了等于零，表明了等于零，表明了等于零，表明了信道两端随机变量的统信道两端随机变量的统信道两端随机变量的统信道两端随机变量的统计约束程度等于零。计约

27、束程度等于零。计约束程度等于零。计约束程度等于零。平均互信息平均互信息平均互信息平均互信息=0=0=0=0：H(X|Y)=H(X)H(X|Y)=H(X)H(X|Y)=H(X)H(X|Y)=H(X)H(Y|X)=H(Y)H(Y|X)=H(Y)H(Y|X)=H(Y)H(Y|X)=H(Y)I(X;Y)=0 I(X;Y)=0 I(X;Y)=0 I(X;Y)=0各集合完全独立各集合完全独立各集合完全独立各集合完全独立全损信道：全损信道：全损信道：全损信道：H(Y)=H(Y|X)H(Y)=H(Y|X)H(X)=H(X|Y)H(X)=H(X|Y)3.3 3.3 平均互信息的性质平均互信息的性质（1 1）非负

28、性）非负性 I(X;Y)0,I(X;Y)0,当当X X、Y Y统计独立时等式成立。统计独立时等式成立。证明证明：设：设 ，即：即：I(X;Y)0 I(X;Y)0。当所有。当所有p(xy)=p(x)p(y)p(xy)=p(x)p(y)，等号成立。，等号成立。则必满足詹森不等式则必满足詹森不等式因而有如下关系因而有如下关系（2 2）极值性）极值性 即即 I(X;Y)minH(X)I(X;Y)minH(X)，H(Y)H(Y)当当 H(X|Y)=0 H(X|Y)=0 时，即信道信息无损时，等式成立。时，即信道信息无损时，等式成立。证明证明证明证明：前面已知：前面已知：前面已知：前面已知 I(X;Y)=

29、H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)-H(Y|X)而而 0 0 H(X|Y)H(X|Y)H(X|Y)H(X|Y)，0 0 0 0 H(Y|X)H(Y|X)H(Y|X)H(Y|X)因此：因此：I(X;Y)I(X;Y)I(X;Y)I(X;Y)H(X)H(X)H(X)H(X)且且 I(X;Y)I(X;Y)I(X;Y)I(X;Y)H(Y)H(Y)H(Y)H(Y)即即 ：I(X;Y)

30、minH(X)I(X;Y)minH(X)，H(Y)H(Y)表明：表明：表明：表明：从一事件提取另一事件的信息量，至多只有另一事件的从一事件提取另一事件的信息量，至多只有另一事件的从一事件提取另一事件的信息量，至多只有另一事件的从一事件提取另一事件的信息量，至多只有另一事件的信息熵那么多，不会超过该事件所含有的信息量。信息熵那么多，不会超过该事件所含有的信息量。信息熵那么多，不会超过该事件所含有的信息量。信息熵那么多，不会超过该事件所含有的信息量。当当当当H(X|Y)=0H(X|Y)=0H(X|Y)=0H(X|Y)=0时，时，时，时，I(X;Y)=H(X)I(X;Y)=H(X)I(X;Y)=H(

31、X)I(X;Y)=H(X)，此时信道中信息无损失，此时信道中信息无损失，此时信道中信息无损失，此时信道中信息无损失 ，接收到接收到Y Y可获得关于可获得关于X X的平均信息量。的平均信息量。H(Y)H(X|Y)H(X|Y)H(Y|X)H(Y|X)I(X;Y)I(X;Y)H(X)（3 3）交互性（对称性）交互性（对称性）即即 I(X;Y)=I(Y;X)I(X;Y)=I(Y;X)1 1）当）当 X X、Y Y统计独立时统计独立时 I(X;Y)=I(Y;X)=0 I(X;Y)=I(Y;X)=0 2 2）当信道为一一对应的无噪信道时）当信道为一一对应的无噪信道时 I(X;Y)=I(Y;X)=H(X)=

32、H(Y)I(X;Y)=I(Y;X)=H(X)=H(Y)因：因：从从Y Y中提取中提取X X的信息量的信息量从从X X中提取中提取Y Y的信息量的信息量H(Y)H(X|Y)H(X|Y)H(Y|X)H(Y|X)I(X;Y)I(X;Y)H(X)（4 4）凸状性）凸状性可知，平均互信息可知，平均互信息可知，平均互信息可知，平均互信息I(X;Y)I(X;Y)I(X;Y)I(X;Y)只是信源只是信源只是信源只是信源X X X X的的的的概率分布概率分布概率分布概率分布P(P(P(P(x x x x)和信道的和信道的和信道的和信道的传递概率传递概率传递概率传递概率P(P(P(P(y|xy|xy|xy|x)的

33、函数，即：的函数，即：的函数，即：的函数，即：I(X;Y)=I(X;Y)=I(X;Y)=I(X;Y)=f f P(x),P(y|x)P(x),P(y|x)P(x),P(y|x)P(x),P(y|x)根据平均互信息表达式：根据平均互信息表达式：根据平均互信息表达式：根据平均互信息表达式：定理定理3.13.1 平均互信息平均互信息I(X;Y)I(X;Y)是输入信源的概率是输入信源的概率分布分布P(P(x x)的的型凸函数。型凸函数。n n（1 1 1 1）对固定信道，选择不同的信源）对固定信道，选择不同的信源）对固定信道，选择不同的信源）对固定信道，选择不同的信源(其概率分布不其概率分布不其概率分

34、布不其概率分布不同同同同)与信道连接，在信道输出端接收到每个符号后获与信道连接，在信道输出端接收到每个符号后获与信道连接，在信道输出端接收到每个符号后获与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。得的信息量是不同的。得的信息量是不同的。得的信息量是不同的。n n（2 2 2 2）对于每一个固定信道，一定存在有一种信源处）对于每一个固定信道，一定存在有一种信源处）对于每一个固定信道，一定存在有一种信源处）对于每一个固定信道，一定存在有一种信源处于某一种概率分布于某一种概率分布于某一种概率分布于某一种概率分布P(x)P(x)P(x)P(x)，使输出端获得的平均信息，使输出端获得的

35、平均信息，使输出端获得的平均信息，使输出端获得的平均信息量为最大。量为最大。量为最大。量为最大。例例：对于二元对称信道：对于二元对称信道 0 1-p 0 0 1-p 0 p pp p 1 1-p 1 1 1-p 1如果输入信源如果输入信源符号分布符号分布 X=w,1-w X=w,1-w，则，则 而：而：所以：所以：当信道固定时，当信道固定时，p p不变，不变，平均互信息是信源分布的平均互信息是信源分布的 型凸函数（型凸函数（w w的上凸函数）的上凸函数），最大值为，最大值为1-H(P)1-H(P)I(X;Y)w1/21-H(P)定理定理3.23.2 平均互信息平均互信息I(X;Y)I(X;Y)

36、是信道传递概率是信道传递概率P(P(y|xy|x)的的型凸函数。型凸函数。n当当信源确定信源确定后，选择不同信道来传输同一信源符号，后，选择不同信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。在信道输出端获得关于信源的信息量是不同的。n对每一种信源都存在一种对每一种信源都存在一种最差的信道最差的信道，此时干扰，此时干扰(噪噪声声)最大，而输出端获得的信息量最小。即：最大，而输出端获得的信息量最小。即：对于一个已知先验概率为对于一个已知先验概率为P(X)P(X)的离散信源，总可的离散信源，总可以找到某一个转移概率分布的信道，使平均交信息量以找到某一个转移概率分布的信道，使平均交

37、信息量达到相应的最小值达到相应的最小值I Iminmin。例例：对于二元对称信道：对于二元对称信道如果信源分布如果信源分布X=w,1-w，则，则 可得，当可得，当w固定，固定，p=1/2时，时，平均互信息最小平均互信息最小=0 0 1-p 0 pp 1 1-p 1I(X;Y)p1/2H(w)信息传输率信息传输率 信道中信道中平均每个符号平均每个符号所能传送的信息量。所能传送的信息量。而而平均互信息平均互信息I(X;Y)则反映了接收到一符号则反映了接收到一符号Y后后平均每个符号获得的关于平均每个符号获得的关于X的信息量。的信息量。因此，信息传输率可作如下定义：因此，信息传输率可作如下定义：n信息

38、传输率信息传输率 R R=I(X;Y)=H(X)H(X|Y)(比特比特/符号符号)3.4 离散信道的信道容量离散信道的信道容量n信息信息传输速率传输速率Rt：信道在信道在单位时间单位时间内内平均传输平均传输的信息量。即信道的信息量。即信道中平均每秒传输的信息量：中平均每秒传输的信息量：Rt R/t=I(X;Y)/t=H(X)/t H(X|Y)/t （bit/s）一、信道容量一、信道容量由于平均互信息由于平均互信息I(X;Y)是输入随机变量的是输入随机变量的型凸型凸函数函数，所以对一固定的信道，总存在一种信源的输入，所以对一固定的信道，总存在一种信源的输入分布概率，使传输分布概率，使传输每个符号

39、平均获得的信息量最大每个符号平均获得的信息量最大。信道容量：信道容量：对任何一个固定信道，存在一个最大对任何一个固定信道，存在一个最大的信息传输率的信息传输率（比特（比特（比特（比特/符号）符号）符号）符号）与之相对应的输入分布概率与之相对应的输入分布概率P(X)则称为则称为最佳输入分布最佳输入分布。(Bit/s)(Bit/s)C Ct t仍称为信道容量：仍称为信道容量：仍称为信道容量：仍称为信道容量：若平均若平均若平均若平均传输一个符号传输一个符号传输一个符号传输一个符号需要需要需要需要 t t 秒钟，则信道在单位秒钟，则信道在单位秒钟，则信道在单位秒钟，则信道在单位时间内平均传输的最大信息

40、量为时间内平均传输的最大信息量为时间内平均传输的最大信息量为时间内平均传输的最大信息量为C Ct t：性质性质性质性质 信道容量与输入信源的概率分布无关，只是信道容量与输入信源的概率分布无关，只是信道容量与输入信源的概率分布无关，只是信道容量与输入信源的概率分布无关，只是信道信道信道信道传输概率传输概率传输概率传输概率的函数，只与的函数，只与的函数，只与的函数，只与信道的统计特性信道的统计特性信道的统计特性信道的统计特性有关。有关。有关。有关。信道容量是完全描述信道特性的参量，是信道的信道容量是完全描述信道特性的参量，是信道的信道容量是完全描述信道特性的参量，是信道的信道容量是完全描述信道特性

41、的参量，是信道的最大信息传输率。最大信息传输率。最大信息传输率。最大信息传输率。即：即：即：即：例例 二元对称信道容量的计算二元对称信道容量的计算因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：前述二元对称信道，前述二元对称信道，前述二元对称信道，前述二元对称信道，I(X;Y)I(X;Y)时，时，时，时，I(X;Y)I(X;Y)最大。最大。最大。最大。当当(比特符号比特符号比特符号比特符号)1.1.无噪无损信道（无噪一一对应信道）无噪无损信道（无噪一一对应信道）无噪无损信道（无噪一一对应信道）无噪无损信道（无噪一一

42、对应信道）二、简单离散信道的信道容量二、简单离散信道的信道容量例如：例如：例如：例如：也即也即也即也即其信道矩阵是其信道矩阵是其信道矩阵是其信道矩阵是单位矩阵单位矩阵单位矩阵单位矩阵：满足：满足：满足：满足：损失熵损失熵损失熵损失熵H(X|Y)=0H(X|Y)=0、噪声熵、噪声熵、噪声熵、噪声熵H(Y|X)=0H(Y|X)=0，故，故，故，故 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)H(X)H(Y)H(X|Y)=H(Y|X)=0I(X;Y)=H(X)=H(Y)则信道容量：则信道容量：则信道容量：则信道容量：维拉图：维拉图：维拉图：维拉图：最佳输入分布：等概率分布最佳输入

43、分布：等概率分布最佳输入分布：等概率分布最佳输入分布：等概率分布2.2.有噪无损信道有噪无损信道有噪无损信道有噪无损信道信道特点：信道特点：信道特点：信道特点：输入一个符号输入一个符号输入一个符号输入一个符号X X对应若干个输出符号对应若干个输出符号对应若干个输出符号对应若干个输出符号Y Y，且，且，且，且每一个每一个每一个每一个X X值所对应的值所对应的值所对应的值所对应的Y Y值不重合。值不重合。值不重合。值不重合。输入符号通过传输输入符号通过传输输入符号通过传输输入符号通过传输变换成了若干个输出符号变换成了若干个输出符号变换成了若干个输出符号变换成了若干个输出符号，不不不不满足一一对应关

44、系满足一一对应关系满足一一对应关系满足一一对应关系，但这些，但这些，但这些，但这些输出符号仍可以分成互不输出符号仍可以分成互不输出符号仍可以分成互不输出符号仍可以分成互不相交的一些子集合相交的一些子集合相交的一些子集合相交的一些子集合。例例 一旦接收到符号一旦接收到符号一旦接收到符号一旦接收到符号Y Y后，可消除对后，可消除对后，可消除对后，可消除对X X符号的不确定性。符号的不确定性。符号的不确定性。符号的不确定性。分析一下：分析一下：分析一下：分析一下：损失熵损失熵损失熵损失熵H(X|Y)H(X|Y)，噪声熵噪声熵噪声熵噪声熵H(Y|X)H(Y|X)信道矩阵特点信道矩阵特点信道矩阵特点信道

45、矩阵特点：除了每行元素之和为：除了每行元素之和为：除了每行元素之和为：除了每行元素之和为1 1外，每外，每外，每外，每一列一列一列一列中只有中只有中只有中只有一一一一个非零项。个非零项。个非零项。个非零项。表明一个接收符号只对应一个发送符号，而一表明一个接收符号只对应一个发送符号，而一表明一个接收符号只对应一个发送符号，而一表明一个接收符号只对应一个发送符号，而一个发送符号对应多个接收符号，是个发送符号对应多个接收符号，是个发送符号对应多个接收符号，是个发送符号对应多个接收符号，是一对多关系一对多关系一对多关系一对多关系。所以所以所以所以 ：I(X;Y)=H(X)I(X;Y)=H(X)H(X|

46、Y)=H(X|Y)=H(X)H(X)且且且且 I(X;Y)=H(Y)I(X;Y)=H(Y)H(Y/X)H(Y/X)H(Y)H(Y)则则则则 I(X;Y)=H(X)H(Y)I(X;Y)=H(X)00H(X)=I(X;Y)H(Y)H(X/Y)=0H(Y/X)0I(X;Y)则信道容量为：则信道容量为：则信道容量为：则信道容量为：最佳输入分布：等概率分布。最佳输入分布：等概率分布。最佳输入分布：等概率分布。最佳输入分布：等概率分布。维拉图维拉图维拉图维拉图3.3.无噪有损信道（确定信道）无噪有损信道（确定信道）信道特点：信道特点：信道特点：信道特点：输入输入输入输入X X与输出与输出与输出与输出Y Y

47、之间为之间为之间为之间为多对一关系，多对一关系，多对一关系，多对一关系，接收到符接收到符接收到符接收到符号号号号Y Y后后后后不能完全消除不能完全消除不能完全消除不能完全消除对对对对X X的不确定性。的不确定性。的不确定性。的不确定性。前向概率前向概率前向概率前向概率 P(y|x)=0 or 1 P(y|x)=0 or 1 后向概率后向概率后向概率后向概率 P(x|y)0 or 1 P(x|y)0 or 1 可计算可计算可计算可计算损失熵损失熵损失熵损失熵H(X|Y)H(X|Y)、噪声熵噪声熵噪声熵噪声熵H(Y|X)H(Y|X)。噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）噪声熵（散布度）

48、=0=0损失熵（信道疑义度）损失熵（信道疑义度）损失熵（信道疑义度）损失熵（信道疑义度）00满足：满足：满足：满足：I(X;Y)=H(Y)H(Y/X)=H(Y)I(X;Y)=H(Y)H(Y/X)=H(Y)I(X;Y)=H(X)H(X/Y)H(X)I(X;Y)=H(X)H(X/Y)H(X)因此：因此：因此：因此：I(X;Y)=H(Y)H(X)I(X;Y)=H(Y)0H(Y/X)=0I(X;Y)维拉图维拉图维拉图维拉图三类信道特点：三类信道特点：三类信道特点：三类信道特点：无噪无损信道无噪无损信道无噪无损信道无噪无损信道：损失熵、损失熵皆为：损失熵、损失熵皆为：损失熵、损失熵皆为：损失熵、损失熵皆

49、为0 0 0 0；无损信道无损信道无损信道无损信道：损失熵：损失熵：损失熵：损失熵H(X|Y)H(X|Y)为为为为0 0，噪声熵不为，噪声熵不为，噪声熵不为，噪声熵不为0 0；无噪信道无噪信道无噪信道无噪信道:噪声熵噪声熵噪声熵噪声熵H(Y|X)H(Y|X)为为为为0 0，损失熵不为，损失熵不为，损失熵不为，损失熵不为0 0；这三类信道的信道容量的计算，从求平均互信息的这三类信道的信道容量的计算，从求平均互信息的这三类信道的信道容量的计算，从求平均互信息的这三类信道的信道容量的计算，从求平均互信息的极限问题退化为求信息熵的极值问题。极限问题退化为求信息熵的极值问题。极限问题退化为求信息熵的极值

50、问题。极限问题退化为求信息熵的极值问题。信道特点：信道特点：信道特点：信道特点：信道矩阵信道矩阵信道矩阵信道矩阵P P中中中中每一行每一行每一行每一行都是由同一集合都是由同一集合都是由同一集合都是由同一集合pp1 1，p p2 2，p ps s 中的诸元素不同排列组成；中的诸元素不同排列组成；中的诸元素不同排列组成；中的诸元素不同排列组成；信道矩阵信道矩阵信道矩阵信道矩阵P P每一列每一列每一列每一列也都是由也都是由也都是由也都是由同一集合同一集合同一集合同一集合 q q1 1，q q2 2，q qr r 中的诸元素不同排列组成。中的诸元素不同排列组成。中的诸元素不同排列组成。中的诸元素不同排