第三离散信道及其信道容量.ppt

《第三离散信道及其信道容量.ppt》由会员分享，可在线阅读，更多相关《第三离散信道及其信道容量.ppt（65页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三离散信道及其信道容量现在学习的是第1页，共65页第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习的是第2页，共65页第一节第一节 信道的数学模型及分类信道的数学模型及分类1 1、信道的分类：、信道的分类：根据信道用户的多少：根据信道用户的多少：（1 1）单用户信道：只有一个输入端和一个输出端）单用户信道：只有一个输入端和一个输出端（2 2）多用户信道：至少有一端有两个以上的用户，双向通信）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：根据输入端和输出端的关联：（1 1）无反馈信道）无反馈信道（2 2）有反馈信道）有反馈信道现在学习的是第3页，共65

2、页根据信道参数与时间的关系：根据信道参数与时间的关系：（1 1）固定参数信道）固定参数信道（2 2）时变参数信道）时变参数信道根据输入输出信号的特点：根据输入输出信号的特点：（1 1）离散信道）离散信道（2 2）连续信道）连续信道（3 3）半离散半连续信道）半离散半连续信道（4 4）波形信道）波形信道以下我们只研究无反馈、固定参数的单用户离散信道。以下我们只研究无反馈、固定参数的单用户离散信道。第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习的是第4页，共65页P(Y|X)XY根据这一模型，可对信道分类如下：根据这一模型，可对信道分类如下：设离散信道的输入为一个随机变量设离散信道

3、的输入为一个随机变量X，相应的输出的随机变量为，相应的输出的随机变量为Y，如图所示：，如图所示：规定一个离散信道应有三个参数：规定一个离散信道应有三个参数：输入符号集：输入符号集：X=x1，x2，xn输出符号集：输出符号集：Y=y1，y2，yn信道转移概率：描述输入信号和输出信号之间统计依赖关系，反映了信信道转移概率：描述输入信号和输出信号之间统计依赖关系，反映了信道的统计特性。道的统计特性。P(Y|X)=p(y1|x1),p(y2|x1),p(ym|x1),p(y1|xn)p(ym|xn)2、离散信道的数学模型、离散信道的数学模型第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习

4、的是第5页，共65页（1）无干扰（无噪）信道无干扰（无噪）信道：输入信号与输出信号有确定的一一对应关系。：输入信号与输出信号有确定的一一对应关系。第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习的是第6页，共65页（2）有干扰无记忆信道有干扰无记忆信道：输入与输出无确定的对应关系，输出只与当前输：输入与输出无确定的对应关系，输出只与当前输入有关。入有关。无记忆信道：无记忆信道：信道任一时刻输出符号只统计依赖于信道任一时刻输出符号只统计依赖于对应时刻的输入符号对应时刻的输入符号，而与而与非对应时刻非对应时刻的的输入输入符号及其他任何时刻的符号及其他任何时刻的输出输出符号都无关。符号

5、都无关。（3）有干扰有记忆信道有干扰有记忆信道：这是最一般的信道，实际信道往往是这种类型。：这是最一般的信道，实际信道往往是这种类型。有记忆信道：有记忆信道：信道中某一瞬间的输出符号不但与信道中某一瞬间的输出符号不但与对应时刻的输入符号有对应时刻的输入符号有关关，而与还与此前，而与还与此前其他时刻其他时刻的的输入输入符号及符号及输出输出符号有关。符号有关。第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习的是第7页，共65页3、单符号离散信道的数学模型、单符号离散信道的数学模型 单符号离散信道的单符号离散信道的输入变量输入变量为为X，取值于，取值于 输出变量输出变量为为Y，取值于，

6、取值于 并有并有 条件概率条件概率条件概率被称为信道的条件概率被称为信道的传递概率或转移概率传递概率或转移概率。因为信道有干扰，若信道输入为因为信道有干扰，若信道输入为x=ai，输出是哪一个符号，输出是哪一个符号y，事先无法确定，但，事先无法确定，但信道输出一定是信道输出一定是b1，b2，bs中的一个，即中的一个，即 第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习的是第8页，共65页 一般简单的单符号离散信道的数学模型可以用概率空间一般简单的单符号离散信道的数学模型可以用概率空间X,P(y|x),Y来描述。来描述。X Y第一节第一节 信道的数学模型及分类信道的数学模型及分类现在

7、学习的是第9页，共65页例例1 二元对称信道二元对称信道（BSC）X=0,1;Y=0,1;p(0|0)=p(1|1)=1-p;p(0|1)=p(1|0)=p;P =0101-pp1p1-p 0 1-p 0 p p 1 1-p 1第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习的是第10页，共65页例例2 二元删除信道二元删除信道X=0,1;Y=0,2,1P =02101-pp010p1-p 0 1-p 0 pp 1 1-p 12第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习的是第11页，共65页 0 1-p 0 pp 1 1-p 12P =02101-pp010p

8、1-p这种信道实际是存在的。假如有一个实际信道，它的输入是代表0和1的两个正、负方波信号，如图3.5(a)所示。那么，信道输出送入译码器的将是受干扰后的方波信号R(t),如图3.5(b)所示。我们可以用积分 来判别发送的信号是“0”还是“1”。如果I是正的，且大于某一电平，那么判别发送的是“0”；若I是负的，且小于某一电平，则判别发送的是“1”。而若I的绝对值很小，不能作出确切的判断，就认为接收到的是特殊符号“2”，假如信道干扰不是很严重的话，那么1 0和0 1的可能性要比0 2和1 2的可能性小得多，所以假设 是较合理的。现在学习的是第12页，共65页P =y1y2ymx1p(y1|x1)p

9、(y2|x1)p(ym|x1)x2p(y1|x2)p(y2|x2)p(ym|x2)xnp(y1|xn)p(y2|xn)p(ym|xn)由此可见，一般单符号离散信道的传递概率可以用矩阵表示为：由此可见，一般单符号离散信道的传递概率可以用矩阵表示为：第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习的是第13页，共65页 为了表述简便，可以写成为了表述简便，可以写成下面推导几个关系式：下面推导几个关系式：第一节第一节 信道的数学模型及分类信道的数学模型及分类这个矩阵完全描述了信道的统计特性，这个矩阵完全描述了信道的统计特性，其中有些概率是信道干扰引起的错误其中有些概率是信道干扰引起的错

10、误概率，有些概率是信道正确传输的概概率，有些概率是信道正确传输的概率。所以该矩阵称为率。所以该矩阵称为信道矩阵信道矩阵。现在学习的是第14页，共65页（2）输出符号的概率）输出符号的概率（1）联合概率）联合概率其中其中称为称为前向概率前向概率，描述信道的噪声特性。，描述信道的噪声特性。称为称为后向概率后向概率，有时也把有时也把 称为称为先验概率，先验概率，把把 称为称为后验概率。后验概率。（3）后验概率）后验概率 表明输出端收到任一符号，必定是输入端某一符号输入所致。表明输出端收到任一符号，必定是输入端某一符号输入所致。第一节第一节 信道的数学模型及分类信道的数学模型及分类现在学习的是第15页

11、，共65页第二节第二节 平均互信息平均互信息现在学习的是第16页，共65页第二节第二节 平均互信息平均互信息复习：自信息的数学期望为信源的平均信息量。复习：自信息的数学期望为信源的平均信息量。称为先验熵。称为先验熵。1、信道疑义度、信道疑义度现在学习的是第17页，共65页第二节第二节 平均互信息平均互信息信道疑义度定义：信道疑义度定义：这这个个条条件件熵熵称称为为信信道道疑疑义义度度，表表示示输输出出端端在在收收到到一一个个符符号号后后，对对输输入入符符号号尚尚存存的的不不确确定定性性，这这是是由由信信道道干干扰扰造造成成的的，如如果果没没有有干干扰扰，H(X|Y)=0，一一般般情情况况下下H

12、(X|Y)小小于于H(X)，说说明明经经过过信信道道传传输输，总总能能消消除除一一些些信信源源的的不不确确定性，从而获得一些信息。定性，从而获得一些信息。这是收到这是收到 后关于后关于X的的后验熵后验熵，表示收到，表示收到 后关于输入符号的信后关于输入符号的信息测度。息测度。现在学习的是第18页，共65页简单的通信模型简单的通信模型第二节第二节 平均互信息平均互信息2、平均互信息、平均互信息从通信的角度引出互信息量的概念从通信的角度引出互信息量的概念信源符号信源符号经过信道传输，信宿方接收到的符号经过信道传输，信宿方接收到的符号信源信源信道信道信宿信宿干扰干扰信源符号集信源符号集信宿符号集信宿

13、符号集现在学习的是第19页，共65页第二节第二节 平均互信息平均互信息互信息定义：一个事件所给出（贡献）的关于另一个事件的信息量。比如今互信息定义：一个事件所给出（贡献）的关于另一个事件的信息量。比如今天下雨给出的关于明天下雨的信息量。天下雨给出的关于明天下雨的信息量。事件事件 是否发生具有不确定性，用是否发生具有不确定性，用 度量。度量。接收到信号接收到信号 后，事件后，事件 是否发生仍保留有一定的不确定性，用是否发生仍保留有一定的不确定性，用 度量。度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用观察事件前后，这两者之差就是通信过程中所获得的信息量，用 表示，成为事件表示，成

14、为事件 和事件和事件 之间的之间的互信息量互信息量。即已知即已知 这个消息后，所这个消息后，所消除的消除的 那个事件的不确定那个事件的不确定性。性。现在学习的是第20页，共65页第二节第二节 平均互信息平均互信息互信息量的性质：互信息量的性质：(a)对称性，即对称性，即I(x;y)=I(y;x)；(b)当当x和和y独立时，独立时，I(x;y)=0;注：注：和和 的区别在于：的区别在于：前者是事件前者是事件 和事件和事件 之间的互信息量，之间的互信息量，后者是二维空间后者是二维空间XY上元素上元素 的自信息量。的自信息量。现在学习的是第21页，共65页第二节第二节 平均互信息平均互信息 I(X;

15、Y)=H(X)-H(X|Y)因为因为H(X)表示传输前信源的不确定性，而表示传输前信源的不确定性，而H(X|Y)表示收到符号后，对信表示收到符号后，对信源尚存的不确定性，所以二者之差是信道传递的信息量。源尚存的不确定性，所以二者之差是信道传递的信息量。下面我们讨论一下互信息与其他的熵之间的关系。下面我们讨论一下互信息与其他的熵之间的关系。P(x)平均互信息定义：平均互信息定义：互信息互信息I(x:y)在两个概率空间在两个概率空间X和和Y中求统计平均的结果；中求统计平均的结果；先验熵与信道疑义度之差。先验熵与信道疑义度之差。现在学习的是第22页，共65页 由由3.34也也可可以以看看出出，互互信

16、信息息I(X;Y)也也表表示示输输出出端端H(Y)的的不不确确定定性性和和已已知知X的的条条件件下下关关于于Y的的不不确确定定性性之之差差，也也等等于于发发送送前前后后关关于于Y的的不不确确定性之差。定性之差。H(X|Y)即即信信道道疑疑义义度度，也也表表示示通通过过有有噪噪信信道道造造成成的的损损失失，故故也也称称为为损损失失熵熵，因因此此信信源源的的熵熵等等于于收收到到的的信信息息量量加加上上损损失失的的熵熵；而而H(Y|X)表表示示已已知知输输入入的的情情况况下下，对对输输出出端端还还残残留留的的不不确确定定性性，这这个个不不确确定定性性是是由由噪噪声声引引起起的的，故也称之为故也称之为

17、噪声熵噪声熵或或散布度散布度，它反映了信道中噪声源的不确定性。，它反映了信道中噪声源的不确定性。第二节第二节 平均互信息平均互信息I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y|X)(3.34)也可以得到：也可以得到：H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)现在学习的是第23页，共65页 H(X|Y)H(Y|X)互信息与各类熵之间的关系可以用下图（维拉图）表示：互信息与各类熵之间的关系可以用下图（维拉图）表示：H(XY)H(X)H(Y)I(X;Y)可以看出，联合熵等于两圆之和减去第三部分，也等于一个圆加上可以看出，联合熵等于两圆之和减去

18、第三部分，也等于一个圆加上另外一部分。另外一部分。图图1第二节第二节 平均互信息平均互信息现在学习的是第24页，共65页 下面讨论两种极端情况：下面讨论两种极端情况：(1)无噪一一对应信道无噪一一对应信道 此时可以计算得：此时可以计算得：H(X|Y)=H(Y|X)=0，在图中表示就是两圆重合。，在图中表示就是两圆重合。(2)输入输出完全统计独立输入输出完全统计独立 此时此时I(X;Y)=0 H(X|Y)=H(X)H(Y|X)=H(Y)第二节第二节 平均互信息平均互信息现在学习的是第25页，共65页第三节第三节 平均互信息的特性平均互信息的特性现在学习的是第26页，共65页第三节第三节 平均互信

19、息的特性平均互信息的特性1、平均互信息的非负性平均互信息的非负性 I(X;Y)=0 该性质表明，通过一个信道总能传递一些信息，最差的条件下，该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于输入输出完全独立，不传递任何信息，互信息等于0，但绝不会失去已，但绝不会失去已知的信息。知的信息。2、平均互信息的极值性平均互信息的极值性 I(X;Y)=H(X)一般来说，信道疑义度总是大于一般来说，信道疑义度总是大于0，所以互信息总是小于信源的熵，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于只有当信道是无损信道时，信道疑义度等于0，互

20、信息等于信源的熵。，互信息等于信源的熵。现在学习的是第27页，共65页3、平均互信息量的交互性平均互信息量的交互性 I(X;Y)=I(Y;X)I(Y;X)表示从表示从X中提取关于的中提取关于的Y的信息量，实际上的信息量，实际上I(X;Y)和和I(Y;X)只是观察者的只是观察者的立足点不同，对信道的输入立足点不同，对信道的输入X和输出和输出Y的总体测度的两种表达形式。的总体测度的两种表达形式。4、平均互信息的凸状性平均互信息的凸状性第三节第三节 平均互信息的特性平均互信息的特性与两个因素有关：与两个因素有关：信源的信源的P(x)分布分布信道信道P(y|x)情况情况现在学习的是第28页，共65页

21、定理定理3.1：平均互信息：平均互信息I(X;Y)是输入信源概率分布是输入信源概率分布P(x)的的 型型凸函数（又称上凸函数）。凸函数（又称上凸函数）。这这就就是是说说，对对于于一一定定的的信信道道转转移移概概率率分分布布，总总可可以以找找到到某某一一个个先先验验概概率率分分布布的的信信源源X，使使平平均均互互信信息息量量达达到到相相应应的的最最大大值值Imax，这这时时称称这这个个信信源源为为该该信信道道的的匹匹配配信信源源。可可以以说说不不同同的的信信道道转转移移概概率率对对应应不不同同的的Imax。因因此此，当当固固定定某某信信道道时时，选选择择不不同同的的信信源源（其其概概率率分分布布

22、不不同同）与与信信道道连连接接，在在信信道道输输出出端端接接收收到到每每个个符符号号后后获获得得的的信信息息量量是是不不同同的的。对对于于每每一一个个固固定定的的信信道道，一定存在一个某种概率分布的信源，使输出端获得的平均信息量为最大。一定存在一个某种概率分布的信源，使输出端获得的平均信息量为最大。第三节第三节 平均互信息的特性平均互信息的特性现在学习的是第29页，共65页例：对于二元对称信道例：对于二元对称信道,如果信源分布如果信源分布X=,1-，则，则第三节第三节 平均互信息的特性平均互信息的特性I(X;Y)1/21-H(P)而：而：0 1-p 0 pp 1 1-p 1所以所以现在学习的是

23、第30页，共65页 定定理理3.2 平平均均互互信信息息I(X;Y)信信道道传传递递概概率率P(y|x)的的U型型凸凸函函数数（又又称称下下凸凸函函数）。数）。这这就就是是说说，对对于于一一个个已已知知先先验验概概率率为为P(X)的的离离散散信信源源，总总可可以以找找到到某某一一个个转转移移概概率率分分布布的的信信道道，使使平平均均互互信信息息量量达达到到相相应应的的最最小小值值Imin。可可以以说说不不同同的的信信源源先先验验概概率率对对应应不不同同的的Imin。或或者者说说Imin是是P(X)的的函函数数。即即平平均均互互信信息息量量的的最最小小值值体体现现了了信信源源本本身身的的特特性性

24、。因因此此，当当信信源源固固定定后后，选选择择不不同同的的信信道道来来传传输输同同一一信信源源符符号号时时，在在信信道道的的输输出出端端获获得得关关于于信信源源的的信信息息量量是是不不同同的的。对对每每一一种种信信源源都都存存在在一一种种最最差的信道，此信道的干扰（噪声）最大，而输出端获得的信息量最小。差的信道，此信道的干扰（噪声）最大，而输出端获得的信息量最小。第三节第三节 平均互信息的特性平均互信息的特性现在学习的是第31页，共65页第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法现在学习的是第32页，共65页我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即我

25、们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率信道的信息传输率R。信道的信息传输率信道的信息传输率就是平均互信息就是平均互信息I(X;Y)，即，即R=I(X;Y)=H(X)-H(X|Y)传输效率，与时间无关传输效率，与时间无关有时我们所关心的是信道在单位时间内平均传输的信息量，若平均传输有时我们所关心的是信道在单位时间内平均传输的信息量，若平均传输一个符号需要一个符号需要t秒钟，则信道每秒钟平均传输的信息量为秒钟，则信道每秒钟平均传输的信息量为Rt=I(X;Y)/t=H(X)/t-H(X/Y)/t一般称此为一般称此为信息传输速率信息传输速率，单位为比特，单位为比

26、特/秒或奈特秒或奈特/秒秒。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法现在学习的是第33页，共65页第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法对于一个固定的信道，总存在一种信源（概率分布为对于一个固定的信道，总存在一种信源（概率分布为P(x)），使），使传输每个符号平均获得的信息量最大，定义这个最大的信息传输传输每个符号平均获得的信息量最大，定义这个最大的信息传输率为率为信道容量信道容量C，单位是比特，单位是比特/符号，即符号，即 信道单位时间内平均传输的最大的信息量为信道单位时间内平均传输的最大的信息量为一般仍称一般仍称Ct为信道容量，单位是比特为信道

27、容量，单位是比特/秒。秒。信道容量是完全描述信道特性的参量，是信道能够传输的最大信信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。息量。现在学习的是第34页，共65页例：对于二元对称信道，信源分布例：对于二元对称信道，信源分布X=,1-。其平均互信息为：其平均互信息为：0 1-p 0 pp 1 1-p 1当当=1/2时，存在极大值时，存在极大值 I(X;Y)=H(1/2)-H(p)=1-H(p)因此二元对称信道的信道容量为因此二元对称信道的信道容量为 C=1-H(p)可见，可见，信道容量只是信道传输概率信道容量只是信道传输概率p的函数，而的函数，而与输入符号与输入符号X的概率分布

28、的概率分布无关。无关。I(X;Y)1/21-H(P)Cp1/2第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法现在学习的是第35页，共65页1、离散信道离散信道的信道容量的信道容量（1）具有一一对应关系的无噪声信道）具有一一对应关系的无噪声信道x1 y1x2 y2x3 y3此时由于信道完全可靠，其损失熵和疑义度都等于此时由于信道完全可靠，其损失熵和疑义度都等于0，所以，所以 I(X;Y)=H(X)=H(Y)根据极值性，根据极值性，C=logr=logs第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法信道矩阵信道矩阵现在学习的是第36页，共65页(2)无损信道无损信道

29、（具有扩展性能）（具有扩展性能）此时信道疑义度（损失熵）为此时信道疑义度（损失熵）为0，而信道噪声熵不为，而信道噪声熵不为0，从而，从而 C=maxI(X;Y)=maxH(X)-H(X|Y)=maxH(X)=logr 信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道。因后向概率信道。因后向概率P(x|y)等于等于0或或1，接收到符号，接收到符号Y后对发送的后对发送的X符号是完全确符号是完全确定的。定的。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法x2x1y3y4y5y1y2x3y6现在学习的是第3

30、7页，共65页(3)无噪有损信道（确定信道）无噪有损信道（确定信道）（具有归并性能）（具有归并性能）x1x2x3x4x5y1y2 在这类信道中接收到符号在这类信道中接收到符号Y后不能完全消除对后不能完全消除对X的不确定性，信息有损失。但的不确定性，信息有损失。但输出端输出端Y的平均不确定性因噪声熵等于的平均不确定性因噪声熵等于0而没有增加。而没有增加。因前向概率因前向概率P(y|x)等于等于0或或1，此时信道疑义度（损失熵）不为，此时信道疑义度（损失熵）不为0，而信，而信道噪声熵为道噪声熵为0，从而，从而 C=maxI(X;Y)=maxH(Y)-H(Y|X)=maxH(Y)=logs第四节第四

31、节 信道容量及其一般计算方法信道容量及其一般计算方法现在学习的是第38页，共65页用维拉图表示各类熵之间的关系：用维拉图表示各类熵之间的关系：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法损失熵等于零的信道称为损失熵等于零的信道称为无损信道无损信道；噪声熵等于零的信道称为；噪声熵等于零的信道称为无噪信道无噪信道；一一对应的无噪信道称为一一对应的无噪信道称为无噪无损信道无噪无损信道。有噪无损信道有噪无损信道无噪有损信道无噪有损信道现在学习的是第39页，共65页和和2、对称对称离散信道离散信道的信道容量的信道容量第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法但但 和

32、和 不是对称信道。不是对称信道。离散信道中有一类特殊的信道，其特点是信道矩阵具有很强的对称性。所谓对称性，就是指信道矩阵离散信道中有一类特殊的信道，其特点是信道矩阵具有很强的对称性。所谓对称性，就是指信道矩阵P中每一行都是由同一中每一行都是由同一 集的诸元素不同排列组成，并且每一列也都是由集的诸元素不同排列组成，并且每一列也都是由 集集的诸元素不同排列组成。即信道矩阵的诸元素不同排列组成。即信道矩阵P中每一行是另一行的置换，以及每一列是另一列的置换。具中每一行是另一行的置换，以及每一列是另一列的置换。具有这种对称性信道矩阵的信道称为有这种对称性信道矩阵的信道称为对称离散信道对称离散信道。一般。

33、一般 ，当，当 时时 集集 集相同，集相同，若若 ，集应是集应是 的子集，例如，信道矩阵的子集，例如，信道矩阵现在学习的是第40页，共65页如果离散信道的转移矩阵如果离散信道的转移矩阵 （强对称信道的信道矩阵一定是方阵）（强对称信道的信道矩阵一定是方阵）称称此此信信道道为为强强对对称称信信道道或或均均匀匀信信道道，它它是是对对称称离离散散信信道道的的一一种种特特例例。这这类类信信道道中中总总的的错错误误概概率率为为p，对对称称地地分分配配给给r-1个个输输出出符符号号。该该信信道道的的各各列列之和也为之和也为1。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法现在学习的是第41页

34、，共65页下面我们来下面我们来计算对称离散信道的信道容量计算对称离散信道的信道容量。I(X;Y)=H(Y)-H(Y|X)而而H(Y|X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与与x无关的一个常数，即无关的一个常数，即因此因此 可以看出，当可以看出，当输出等概分布输出等概分布时，即时，即H(Y)=logs时，可达到信道容量。时，可达到信道容量。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法现在学习的是第42页，共65页第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法它只与对称信道矩阵中

35、行矢量和输出符号集的个数它只与对称信道矩阵中行矢量和输出符号集的个数s有关。有关。那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，明，输入等概分布时，输出也等概分布输入等概分布时，输出也等概分布。.可以看出，信道的输出也是等概分布的。可以看出，信道的输出也是等概分布的。对称离散信道的信道容量为：对称离散信道的信道容量为：现在学习的是第43页，共65页第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法例例：对于二元对称信道对于二元对称信道这个式子是很重要的。这个式子是很重要的。现在学习的是第44页，共65页第

36、四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法例：对于例：对于强对称信道强对称信道，其信道容量为：，其信道容量为：现在学习的是第45页，共65页3、准准对称信道对称信道的信道容量：的信道容量：若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为信道，则称该信道为准对称信道准对称信道，如：，如：可划分为：可划分为：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法现在学习的是第46页，共65页又如：又如：可分成：可分成：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法现在

37、学习的是第47页，共65页 可以证明达到信道容量的输入分布是等概分布，也可计算可以证明达到信道容量的输入分布是等概分布，也可计算准对称信准对称信道的信道容量道的信道容量为：为：其中其中r是输入符号集的个数，是输入符号集的个数，为矩阵中的行元素，为矩阵中的行元素，是第是第k个矩阵中的行元素之和，个矩阵中的行元素之和，是第是第k个矩阵的列元素之和。个矩阵的列元素之和。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法n是将准对称信道切成的块数。是将准对称信道切成的块数。现在学习的是第48页，共65页例：例：可分成：可分成：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法现

38、在学习的是第49页，共65页定理定理3.3：一般离散信道达到信道容量的：一般离散信道达到信道容量的充要条件充要条件是输入概率分布满足是输入概率分布满足 该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。输出相同的互信息。第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法4、一般离散信道一般离散信道的信道容量的信道容量现在学习的是第50页，共65页可以利用该定理对一些特殊信道求得它的信道容量。可以利用该定理对一些特殊信道求得它的信道容量。例：输入符号集为：例：输入符号集为：0,1,2假设输

39、入概率分布假设输入概率分布P(0)=P(2)=1/2，P(1)=0，则：则：第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法所以：所以：0 01 12 210.50.51现在学习的是第51页，共65页对于对于一般信道一般信道的求解方法，就是求解方程组的求解方法，就是求解方程组若若r=s，此方程有解，可以解出，此方程有解，可以解出s各未知数各未知数 ，再根据，再根据移项得：移项得：令令则则得得从而从而第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法现在学习的是第52页，共65页例：例：第一步，列方程组：第一步，列方程组：第四节第四节 信道容量及其一般计算方法信道容量及

40、其一般计算方法解之得：解之得：现在学习的是第53页，共65页第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法第二步，求信道容量：第二步，求信道容量：第三步，求第三步，求p(yi)如何分布才能取到上述如何分布才能取到上述信道容量：信道容量：第四步，求第四步，求p(xi)如何分布才能取到上述如何分布才能取到上述信道容量：信道容量：现在学习的是第54页，共65页第四节第四节 信道容量及其一般计算方法信道容量及其一般计算方法结论：当结论：当p(xi)满足如下分布时，满足如下分布时，平均互信息达到最大值，即平均互信息达到最大值，即信道容量。信道容量。现在学习的是第55页，共65页第五节第五

41、节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量现在学习的是第56页，共65页 多符号有记忆信道的信道容量非常复杂，我们只学习多符号有记忆信道的信道容量非常复杂，我们只学习多符号无记多符号无记忆信道忆信道的信道容量。的信道容量。将某一信道矩阵中的信源和信道分别进行扩展后，采用乘法原则得到扩将某一信道矩阵中的信源和信道分别进行扩展后，采用乘法原则得到扩展后传递矩阵的各元素，则扩展后的传递矩阵对应的信道为展后传递矩阵的各元素，则扩展后的传递矩阵对应的信道为扩展信道扩展信道。第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量现在学习的是第57页，共65页离散无

42、记忆信道为：离散无记忆信道为：则它的则它的N次次扩展信道扩展信道为：为：为为N次扩展信源中的一个符号。次扩展信源中的一个符号。为为N次扩展接收符号集中的一个符号。次扩展接收符号集中的一个符号。第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量现在学习的是第58页，共65页第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量我们首先从一个例子开始。我们首先从一个例子开始。例：二元无记忆对称信道的二次扩展信道例：二元无记忆对称信道的二次扩展信道二元无记忆对称信道为二元无记忆对称信道为 可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就成为

43、可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就成为了扩展信道。了扩展信道。则它的二次扩展信道为：则它的二次扩展信道为：现在学习的是第59页，共65页根据互信息的定义根据互信息的定义定理定理3.5 如果如果信道是无记忆的信道是无记忆的，即，即则：则：定理定理3.6 如果如果信源是无记忆的信源是无记忆的，即，即第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量现在学习的是第60页，共65页因此，如果信源、信道都是无记忆的因此，如果信源、信道都是无记忆的 这就是这就是离散无记忆扩展信道的信道容量离散无记忆扩展信道的信道容量，该信道容量在信，该信道容量在信源是

44、无记忆信源且每一个输入变量源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。达到最佳分布时达到。第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量现在学习的是第61页，共65页写出如下信道的写出如下信道的2次扩展信道，并计算原信道和扩展信道的信道容量。次扩展信道，并计算原信道和扩展信道的信道容量。第五节第五节 离散无记忆扩展信道及其信道容量离散无记忆扩展信道及其信道容量提示：对于提示：对于强对称信道强对称信道，其信道容量为：，其信道容量为：比较扩展信道和原信道的信道容量，看是否满足比较扩展信道和原信道的信道容量，看是否满足 。现在学习的是第62页，共65页第六节第六

45、节 信源与信道的匹配信源与信道的匹配现在学习的是第63页，共65页第六节第六节 信源与信道的匹配信源与信道的匹配 信道的信道容量是固定的，如果某一信源通过该信道传输时，信信道的信道容量是固定的，如果某一信源通过该信道传输时，信息传输率达到了信道容量，我们认为息传输率达到了信道容量，我们认为信源与信道达到匹配信源与信道达到匹配，否则，我，否则，我们认为有剩余。们认为有剩余。定义：定义：信道剩余度信道剩余度C-I(X;Y)信道的信道的相对剩余度相对剩余度对于无损信道，相对剩余度对于无损信道，相对剩余度现在学习的是第64页，共65页 如何才能做到匹配呢？如何才能做到匹配呢？一般通信系统中，把信源发出

46、的符号变成能在信道中传输的符号，在传输时，一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是提高信道的利用率。这就是香农无失真信源编码理论，也就是无失真数据压缩理论香农无失真信源编码理论，也就是无失真数据压缩理论。无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。匹配。第六节第六节 信源与信道的匹配信源与信道的匹配现在学习的是第65页，共65页