信息论基础离散信道及其信道容量PPT讲稿.ppt

《信息论基础离散信道及其信道容量PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论基础离散信道及其信道容量PPT讲稿.ppt（101页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息论基础离散信道及其信道容量1第1页，共101页，编辑于2022年，星期四3离散信道及其信道容量u3.1 信道的数字模型及分类u3.2 平均互信息及平均条件互信息u3.3 平均互信息的特性u3.4 信道容量及其一般计算方法u3.5信道容量的迭代算法u3.6离散无记忆扩展信道及其信道容量u3.7独立并联信道及其信道容量2第2页，共101页，编辑于2022年，星期四3离散信道及其信道容量u3.8 串联信道的互信息和数据处理定理u3.9信源与信道的匹配3第3页，共101页，编辑于2022年，星期四3.1 信道的数字模型及分类u在信息论中，信道中指信息传输的通道。它是信息论中与信源并列的另一个主要研

2、究对象。u典型例子：n实际通信中物理通道：电缆、光纤、电波传布空间、载波线路等；n在时间上将信息进行传输的信道：磁带、光盘等；n为了某种目的而使信息不得不经过的通道：分类器、缓冲器等。4第4页，共101页，编辑于2022年，星期四信道分类u根据信道的用户多少：n两端(单用户)信道 多端(多用户)信道u根据信道输入端和输出端的关联：n无反馈信道 反馈信道u根据信道的参数与时间的关系：n固定参数信道 时变参数信道u根据输入和输出信号的特点：(表2.2)5第5页，共101页，编辑于2022年，星期四表2.2幅度时间信道名称离散离散离散信道(Discrete channel)/数字信道(Digital

3、 channel)连续连续波形信道(Waveform channel)/模拟信道(Analog channel)连续离散连续信道(Continuous channel)离散连续（理论和实用价值均很小）6第6页，共101页，编辑于2022年，星期四u信道按其输入输出之间关系的记忆性来划分：n有记忆信道n无记忆信道u信道按其输入输出信号之间的关系是否是确定关系来划分：n有噪声信道n无噪声信道7第7页，共101页，编辑于2022年，星期四u本章我们只讨论无反馈、固定参数的单用户无扰和有扰离散信道。8第8页，共101页，编辑于2022年，星期四信道模型u信息论不研究信道传输特性的获得问题，而假定传输特

4、性是已经知道的，并在此基础上研究信道的传输问题。输入输出统计关系输入量X(随机过程)输出量Y(随机过程)信道9第9页，共101页，编辑于2022年，星期四离散信道的数学模型输入输出统计关系输入量X(随机矢量)输出量Y(随机矢量)信道10第10页，共101页，编辑于2022年，星期四u根根据据信信道道的的统统计计特特性性即即条条件件概概率率的的不不同同，离散信道又可分成如下几种情况离散信道又可分成如下几种情况11第11页，共101页，编辑于2022年，星期四u无干扰(无噪)信道：u有噪信道：不是0，1分布，称为有噪信道12第12页，共101页，编辑于2022年，星期四 这这种种信信道道存存在在干

5、干扰扰，为为实实际际中中常常见见的的信信道道类类型型，其其输输出出符符号号与与输输入入符符号号之之间间没没有有确确定定的的对对应应关关系系，但但信信道道任任一一时时刻刻的的输输出出符符号号仅仅统统计计依依赖赖于于对对应应时时刻刻的的输输入入符符号号，而而与与非非对对应应时时刻刻的的输输入入符符号号及及其其它它任任何何时时刻的输出符号无关，是刻的输出符号无关，是无记忆信道无记忆信道。离散有干扰无记忆信道：简称DMC13第13页，共101页，编辑于2022年，星期四 单符号离散信道的数学模型u用图描述:u可以用概率空间 描述，其中 称为信道的(前向)转移概率.14第14页，共101页，编辑于202

6、2年，星期四u信道的转移概率：u信道的(前向)转移概率矩阵：15第15页，共101页，编辑于2022年，星期四u记 则信道传递矩阵为u该矩阵又称信道矩阵，可作为单符号离散信道的另一种数学模型的形式。16第16页，共101页，编辑于2022年，星期四几个重要的单符号离散信道几个重要的单符号离散信道u对称离散信道：信道矩阵中的行元素集信道矩阵中的行元素集合相同，列元素集合也相同的信道，称合相同，列元素集合也相同的信道，称为对称信道。为对称信道。17第17页，共101页，编辑于2022年，星期四例：二元对称信道Binary Symmetric Channel(BSC)001118第18页，共101页

7、，编辑于2022年，星期四几个重要的单符号离散信道几个重要的单符号离散信道u准对称信道：准对称信道：若信道转移矩阵若信道转移矩阵按列按列可以可以划分成几个互不相交的子集合，而每个划分成几个互不相交的子集合，而每个子矩阵（子矩阵（由由子集所对应的信道转移矩阵子集所对应的信道转移矩阵中的中的列所组成列所组成）具有下述性质：）具有下述性质：u（1 1）每一行都是第一行的一种排列每一行都是第一行的一种排列u（2 2）每一列都是第一列的一种排列每一列都是第一列的一种排列例：例：19第19页，共101页，编辑于2022年，星期四几个重要的单符号离散信道几个重要的单符号离散信道u强对称信道（均匀信道）r=s

8、=n20第20页，共101页，编辑于2022年，星期四几个重要的单符号离散信道几个重要的单符号离散信道u二二 进进 制制 删删 除除 信信 道道（Binary Binary Erasure Erasure Channel,Channel,简称简称BECBEC）u“删删除除”是是指指在在信信宿宿中中，见见“e e”就就删删去去，既既不作不作“1 1”，也不作，也不作“0 0”21第21页，共101页，编辑于2022年，星期四u例：二元删除信道Binary Erasure Channel(BEC)0011e22第22页，共101页，编辑于2022年，星期四单符号离散信道的一些概率关系u对于信道 X

9、,P,Y，u输入和输出符号的联合概率u根据联合概率可得输出符号的概率 其矩阵形式：u根据贝叶斯定律可得后验概率先验概率后验概率23第23页，共101页，编辑于2022年，星期四3.2平均互信息u在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关系后，我们将深入研究在此信道中信息传输的问题24第24页，共101页，编辑于2022年，星期四信道疑义度（损失熵）（损失熵）u信道输入信源 X 的熵（先验熵）：是在接收输出 Y 以前，关于输入变量 X 先验不确定性的度量，所以称为先验熵。25第25页，共101页，编辑于2022年，星期四u接收到输出符号bj后关于X的后验熵：n当没有收到

10、输出Y 时，已知输入变量X 的概率分布为P(x)；而当接收到输出符号y=bj 后，输入符号的概率分布发生了变化，变成后验概率P(x|bj)。那么，接收到输出符号y=bj 后，关于X的平均不确定性为26第26页，共101页，编辑于2022年，星期四u后验熵在输出Y 的取值范围内是个随机量，将后验熵对随机变量Y 求期望，得条件熵为（即信道疑义度）27第27页，共101页，编辑于2022年，星期四u信道疑义度的物理含义：信道疑义度信道疑义度表示在输出端收到输出变量表示在输出端收到输出变量Y Y全部符号全部符号后，对于输入端的变量后，对于输入端的变量X X尚存在的平均尚存在的平均不确定性（存在疑义）。

11、这个对不确定性（存在疑义）。这个对X X尚存尚存在的不确定性是由于干扰（噪声）引起在的不确定性是由于干扰（噪声）引起的，它表示信源符号通过有噪信道传输的，它表示信源符号通过有噪信道传输后所引起的信息量的损失，故后所引起的信息量的损失，故也称为损也称为损失熵失熵。28第28页，共101页，编辑于2022年，星期四噪声熵噪声熵 u定义条件熵定义条件熵H H（Y/XY/X）为该信道的噪声熵为该信道的噪声熵。29第29页，共101页，编辑于2022年，星期四u噪噪声声熵熵H H（Y/XY/X）表表示示在在已已知知输输入入变变量量X X的的条条件件下下，对对随随机机变变量量Y Y尚尚存存在在的的不不确确

12、定定性性。噪噪声声熵熵完完全全是是由由于于信信道道中中噪噪声声引引起起的的，也也称称为为散散布布度度，它它反反映映了了信道中噪声源的不确定性信道中噪声源的不确定性。30第30页，共101页，编辑于2022年，星期四平均互信息u互信息：信道输出端接收到某消息信道输出端接收到某消息y y（或（或某消息序列某消息序列y y）后获得关于输入端某消息）后获得关于输入端某消息x x（或某消息序列（或某消息序列x x）的信息量）的信息量 31第31页，共101页，编辑于2022年，星期四平均互信息：互信息在其概率空间中的数学期望互信息在其概率空间中的数学期望32第32页，共101页，编辑于2022年，星期四

13、u平均互信息与各类熵的关系及含义：I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)平均互信息的物理含义：33第33页，共101页，编辑于2022年，星期四平均互信息的特性u（1）对称性：u（2）非负性：u（3）极值性：34第34页，共101页，编辑于2022年，星期四u（4）凸函数性n平均互信息量 I(X;Y)是输入信源概率分布 P(x)的上凸函数（研究信道容量的理论基础）。n平均互信息量 I(X;Y)是信道转移概率 P(y|x)的下凸函数（研究信源的信息率失真函数的理论基础）。35第35页，共101页，编辑于2022年，星期四u例：BSC的输入概率

14、空间36第36页，共101页，编辑于2022年，星期四3.3 3.3 平均条件互信息平均条件互信息u设三个离散概率空间设三个离散概率空间X X、Y Y、Z Z；n 满足37第37页，共101页，编辑于2022年，星期四38第38页，共101页，编辑于2022年，星期四u定定义义：对对于于三三个个离离散散随随机机变变量量X X、Y Y、Z Z，在在已已知知Z Z的的条条件件下下，X X和和Y Y之之间间的的平平均均条条件件互信息为：互信息为：39第39页，共101页，编辑于2022年，星期四书书例例3.33.3：四四个个等等概概分分布布消消息息M1、M2、M3、M4被被送送入入一一个个二二元元无

15、无记记忆忆对对称称信信道道进进行行传传送送。通通过过编编码码使使M1=00，M2=01，M3=10，M4=11。而而BSC信信道道如如图图所所示示。试试问问，输输入入是是M1和和输输出出是是符符号号0的的互互信信息息是是多多少少？如如果果知知道道第第二二个个符符号号也也是是0，这这时时带带来来多多少少附附加信息量？加信息量？40第40页，共101页，编辑于2022年，星期四3.4信道容量及其一般计算方法u信息传输率(比特/符号)：u信息传输速率(比特/秒)：41第41页，共101页，编辑于2022年，星期四u信道容量：最大信息传输率42第42页，共101页，编辑于2022年，星期四一、无噪无损

16、信道的信道容量一、无噪无损信道的信道容量无噪无损信道：输入输出一一对应，信道矩阵为单位阵疑义度H（X/Y）=0，噪声熵H（Y/X）=043第43页，共101页，编辑于2022年，星期四a1a2anb1b2bn信道容量：I（X；Y）=H（X）=H（Y），则 C=max H（X）=max H（Y）44第44页，共101页，编辑于2022年，星期四二、无噪有损信道（确定信道）：H（X/Y）0，H（Y/X）=0信道输出端接收到某个bj后不能判定是哪个输入符号ai a1a2a3a4a5b1b245第45页，共101页，编辑于2022年，星期四信道容量：I（X；Y）=H（Y），则 C=max H（Y）,这

17、时的输入分布应该是使得信道输出分布为等概分布。46第46页，共101页，编辑于2022年，星期四三、有噪无损信道：H H（X/YX/Y）=0=0，H H（Y/XY/X）0 0a1a2b1b2b3b4b50.30.60.10.50.547第47页，共101页，编辑于2022年，星期四信道容量：信道容量：I I（X X；Y Y）=H=H（X X），），则则 C=max H C=max H（X X）。）。这时的输入分布为等概分布。48第48页，共101页，编辑于2022年，星期四一般离散信道是既有噪又有损的。这种情况下信道容一般离散信道是既有噪又有损的。这种情况下信道容量的计算将十分复杂。我们先讨论

18、一种特殊的有损有量的计算将十分复杂。我们先讨论一种特殊的有损有噪信道噪信道对称离散信道的信道容量。然后讨论一对称离散信道的信道容量。然后讨论一般离散信道的信道容量。般离散信道的信道容量。结论：结论：凡损失熵等于零的信道称为无损信道；凡损失熵等于零的信道称为无损信道；凡噪声熵等于零的信道称为无噪信道。凡噪声熵等于零的信道称为无噪信道。49第49页，共101页，编辑于2022年，星期四1、定义：如果转移概率矩阵P的每一行包含同样元素，则为输入对称矩阵；如果转移概率矩阵P的每一列包含同样元素，则为输出对称矩阵；如果输入输出都对称，则为对称DMC信道。3.4.2 对称DMC信道例如：例如：50第50页

19、，共101页，编辑于2022年，星期四2 2、信道容量、信道容量前提：输入符号和输出符号均等概。前提：输入符号和输出符号均等概。51第51页，共101页，编辑于2022年，星期四例题3.5：已知信道转移矩阵为已知信道转移矩阵为计算信道容量。计算信道容量。解：解：52第52页，共101页，编辑于2022年，星期四例题：已知信道转移矩阵为已知信道转移矩阵为该信道输入符号和输出符号的个数相同，都为该信道输入符号和输出符号的个数相同，都为n，且且正确的传输概率为正确的传输概率为1-，错误概率错误概率被均匀分给被均匀分给n-1个个输出符号，输出符号，此类信道称为强对称信道或均匀信道此类信道称为强对称信道

20、或均匀信道，计，计算信道容量。算信道容量。解：解：53第53页，共101页，编辑于2022年，星期四3.4.3、准对称DMC信道例如：例如：1、定义：如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵的每一行包含同样元素，而各列的元素可以不同，则为准对称矩阵。54第54页，共101页，编辑于2022年，星期四u准对称信道准对称信道另一种定义另一种定义：若信道转移矩阵若信道转移矩阵按按列列可以划分成几个互不相交的子集合，而每个可以划分成几个互不相交的子集合，而每个子矩阵（子矩阵（由由子集所对应的信道转移矩阵中的子集所对应的信道转移矩阵中的列所组成列所组成）具有下述性质：）具有下述性质：u（

21、1 1）每一行都是第一行的一种排列每一行都是第一行的一种排列u（2 2）每一列都是第一列的一种排列每一列都是第一列的一种排列55第55页，共101页，编辑于2022年，星期四方法二：方法二：将转移概率矩阵划分为若干个互不相交的对称的子将转移概率矩阵划分为若干个互不相交的对称的子集。集。方法一：方法一：根据根据信道容量的定义式信道容量的定义式来计算。来计算。2、准对称、准对称DMC信道信道容量的求解方法：信道信道容量的求解方法：可以证明：计算准对称可以证明：计算准对称DMC信道的信道容量即信道的信道容量即为输入等概时的平均互信息量。为输入等概时的平均互信息量。56第56页，共101页，编辑于20

22、22年，星期四根据下面的公式来计算。根据下面的公式来计算。57第57页，共101页，编辑于2022年，星期四例题：例题：已知信道转移矩阵为已知信道转移矩阵为，计算信道容量。，计算信道容量。方法一：方法一：该信道为准对称该信道为准对称DMC信道，计算信道容量即为输信道，计算信道容量即为输入等概时的平均互信息量。入等概时的平均互信息量。P(x,y)y1 y2 y3x1x20.25 0.15 0.10.15 0.25 0.1 输入等概时，由信道转移矩阵可得联合概率：输入等概时，由信道转移矩阵可得联合概率：由信道转移矩阵可得条件熵由信道转移矩阵可得条件熵容易得到输出符号的概率分别容易得到输出符号的概率

23、分别为为 0.4，0.4，0.2。所以。所以 58第58页，共101页，编辑于2022年，星期四所以，所以，59第59页，共101页，编辑于2022年，星期四例题：例题：已知信道转移矩阵为已知信道转移矩阵为，计算信道容量。，计算信道容量。方法二：方法二：将上面的信道矩阵分解为两个子集：将上面的信道矩阵分解为两个子集：根据下面的公式根据下面的公式60第60页，共101页，编辑于2022年，星期四所以，信道容量为所以，信道容量为61第61页，共101页，编辑于2022年，星期四例例3.7：设某信道的转移矩阵为：设某信道的转移矩阵为：求其信到容量。求其信到容量。解：分析该转移矩阵，可知这是一个准对称

24、信道。解：分析该转移矩阵，可知这是一个准对称信道。62第62页，共101页，编辑于2022年，星期四一般离散信道的信道容量分析根据信道容量定义就是在固定信道的条件下，对所有可能根据信道容量定义就是在固定信道的条件下，对所有可能的输入概率分布的输入概率分布P（x）求平均信息的极大值。求平均信息的极大值。63第63页，共101页，编辑于2022年，星期四定理：定理：一般离散信道的平均互信息一般离散信道的平均互信息 达到极大值（即等于信道容量）的充要条件是输达到极大值（即等于信道容量）的充要条件是输入概率分布入概率分布 满足：满足：这时这时C就是所求的信道容量。就是所求的信道容量。信道容量的定理64

25、第64页，共101页，编辑于2022年，星期四对于一般离散信道，我们很难利用上面定理来对于一般离散信道，我们很难利用上面定理来求信道容量和对应的输入概率分布。求信道容量和对应的输入概率分布。介介绍绍一种求方程一种求方程组组的方法：的方法：65第65页，共101页，编辑于2022年，星期四前前提提：设设r=s，信信道道传传递递矩矩阵阵P是是非非奇奇异异矩矩阵阵，则则信信道道容量的求解方法如下：容量的求解方法如下：由方程组：由方程组：求出求出由由求出求出C由由求出求出由由求出求出最佳输入概率分布最佳输入概率分布 信道容量的方程组解法信道容量的方程组解法：66第66页，共101页，编辑于2022年，

26、星期四例例：设设某某离离散散无无记记忆忆信信道道的的输输入入X的的符符号号集集为为0,1,2,输输出出Y的符号集为的符号集为0,1,2，如图所示，如图所示，其信道转移矩阵为其信道转移矩阵为求其信道容量及其最佳的输入概率分布。求其信道容量及其最佳的输入概率分布。并求当并求当 时时的信道容量的信道容量C C。67第67页，共101页，编辑于2022年，星期四3.6离散无记忆扩展信道及其信道容量u前前几几节节讨讨论论了了最最简简单单的的离离散散信信道道，即即信信道道的的输输入入和和输输出出都都只只是是单单个个随随机机变变量量的的信信道道。然然而而一一般般离离散散信信道道的的输输入入和和输输出出却却是

27、是一一系系列列时时间间(或或空空间间)离离散散的的随随机机变变量量，即即为为随随机机序序列列。本本节节讨讨论论多多符符号号离离散散信信道的数学模型。道的数学模型。68第68页，共101页，编辑于2022年，星期四多符号离散信道的定义多符号离散信道的定义：若多符号离散信源在：若多符号离散信源在N个不同的时刻分别通过单符号离散信道个不同的时刻分别通过单符号离散信道 ，则在输出端输出随机矢量，则在输出端输出随机矢量 。于是。于是形成一个新的信道，称为多符号离散信道。形成一个新的信道，称为多符号离散信道。同时，我们也可以把这种信道称之为单符号同时，我们也可以把这种信道称之为单符号离散信道的离散信道的N

28、次扩展信道。多符号离散信道次扩展信道。多符号离散信道（单符号离散信道的（单符号离散信道的N次扩展信道）的数学次扩展信道）的数学模型仍用概率空间来描述。其数学模型如模型仍用概率空间来描述。其数学模型如图所示。图所示。69第69页，共101页，编辑于2022年，星期四多符号离散信道的数学模型多符号离散信道的数学模型 70第70页，共101页，编辑于2022年，星期四71第71页，共101页，编辑于2022年，星期四u与单符号离散信道相比，与单符号离散信道相比，N次扩展信道的输次扩展信道的输入符号数由入符号数由r种扩展为种扩展为 种；输出符号数由种；输出符号数由s种扩展为种扩展为 72第72页，共1

29、01页，编辑于2022年，星期四u构成构成N次扩展信道的传递矩阵次扩展信道的传递矩阵它它表表示示在在输输入入消消息息的的条条件件下下，输输出出消消息息 的传递概率的传递概率73第73页，共101页，编辑于2022年，星期四且满足且满足74第74页，共101页，编辑于2022年，星期四u若若N次次扩扩展展信信道道的的传传递递概概率率等等于于N个个时时刻刻单单符符号离散信道的传递概率的连乘号离散信道的传递概率的连乘即即 则则单单符符号号离离散散信信道道称称为为离离散散无无记记忆忆信信道道，相相应应的的N次次扩扩展展信信道称为道称为离散无记忆信道的离散无记忆信道的N次扩展信道。次扩展信道。75第75

30、页，共101页，编辑于2022年，星期四离散无记忆离散无记忆N N次扩展信道的信道容量次扩展信道的信道容量76第76页，共101页，编辑于2022年，星期四例题例题注意单位！注意单位！容易看出，上述信道均为对称信道，容易计算求得。容易看出，上述信道均为对称信道，容易计算求得。二次扩展信道：二次扩展信道：单符号信道：单符号信道：假设假设，可以求得：，可以求得：已知单符号信道的转移矩阵为已知单符号信道的转移矩阵为则该则该BSC信道的二次扩展信道的二次扩展无记忆信道无记忆信道的转移矩阵为的转移矩阵为计算它们的信道容量，并比较结果。计算它们的信道容量，并比较结果。解：解：77第77页，共101页，编辑

31、于2022年，星期四结论：二次扩展无记忆信道的信道容量正好是结论：二次扩展无记忆信道的信道容量正好是单符号信道的信道容量的单符号信道的信道容量的2倍。倍。78第78页，共101页，编辑于2022年，星期四u离散无记忆扩展信道的信道容量离散无记忆扩展信道的信道容量 对对于于多多符符号号离离散散信信道道来来说说，就就会会产产生生这这样样一一个个问问题题：从从总总体体上上看看，离离散散无无记记忆忆信信道道的的N次次扩扩展展信信道道把把输输入入随随机机矢矢量量传传 输输 为为 输输 出出 随随 机机 矢矢 量量 的的 传传 输输 过过 程程 种种，传传 递递 的的 平平 均均 互互 信信 息息 量量，

32、与与其其中中各各随随机机变变量量的的平平均均互互信信息息之之和和之之间间有有什什么么关关系系？这是本节要讨论的问题。？这是本节要讨论的问题。79第79页，共101页，编辑于2022年，星期四在在一一般般离离散散信信道道中中，关关于于传传输输长长为为N的的随随机机序序列列所所获获得得的的平均信息量，有下述两个定理。平均信息量，有下述两个定理。80第80页，共101页，编辑于2022年，星期四u定定理理3.5若若信信道道的的输输入入随随机机序序列列为为X，通通过过信信道道传传输输，接接收收到到的的随随机机序序列列为为Y。假假若若信道是无记忆信道是无记忆的，即信道转移概率满足的，即信道转移概率满足或

33、写成或写成 则存在则存在 式中式中 和和 是随机序列是随机序列X和和Y中对应的第中对应的第i位随机变量。位随机变量。81第81页，共101页，编辑于2022年，星期四 证明证明：另一方面另一方面 82第82页，共101页，编辑于2022年，星期四所以所以所以所以所以所以所以则则83第83页，共101页，编辑于2022年，星期四根据詹森不等式，得根据詹森不等式，得 证得证得84第84页，共101页，编辑于2022年，星期四u定定理理3.6 若若信信道道的的输输入入随随机机序序列列为为X，通通过过信信道道传传输输，接接收收到到的的随随机机序序列列为为Y，而而信信道道的的传传递递概概率率为为 ，假若

34、信源是无记忆的，则存在，假若信源是无记忆的，则存在上上述述两两个个定定理理说说明明了了离离散散信信道道中中随随机机矢矢量量的的平平均均互互信信息息与其中各随机变量的平均互信息之和之间的关系。与其中各随机变量的平均互信息之和之间的关系。85第85页，共101页，编辑于2022年，星期四u从从定定理理3.5和和定定理理3.6的的证证明明可可知知，若若信信源源与与信信道道都都是是无无记记忆忆的的，则则式式（3.141）和和（3.142）同时满足，即它们的等式成立：同时满足，即它们的等式成立：对对于于离离散散无无记记忆忆信信道道的的N次次扩扩展展信信道道来来说说，若若信信源源也也是是无记忆的话无记忆的

35、话，则有，则有此式说明当信源是无记忆时，无记忆的此式说明当信源是无记忆时，无记忆的N次扩展信道的平次扩展信道的平均互信息等于原来信道的平均互信息的均互信息等于原来信道的平均互信息的N倍。倍。86第86页，共101页，编辑于2022年，星期四离散无记忆的离散无记忆的N次扩展信道的信道容量等于原单符号次扩展信道的信道容量等于原单符号离散信道的信道容量的离散信道的信道容量的N倍倍。且只有当输入信源是无且只有当输入信源是无记忆的及每一输入变量的分布各自达到最佳分布时，才记忆的及每一输入变量的分布各自达到最佳分布时，才能达到这个信道容量能达到这个信道容量NC。一一般般情情况况下下，信信息息序序列列在在离

36、离散散无无记记忆忆的的N次次扩扩展展信信道中传输的信息量为道中传输的信息量为87第87页，共101页，编辑于2022年，星期四3.7独立并联信道及其信道容量独立并联信道及其信道容量 N个独立并联信道个独立并联信道88第88页，共101页，编辑于2022年，星期四u这N个信道的联合概率传递概率满足故定理故定理3.5推广得：推广得：即即联联合合平平均均互互信信息息不不大大于于各各自自信信道道的的平平均均互互信信息息之之和和。因因此得独立并联信道的信道容量此得独立并联信道的信道容量89第89页，共101页，编辑于2022年，星期四u结结论论：独独立立并并联联信信道道的的信信道道容容量量不不大大于于各

37、各个个信信道道的的信信道道容容量量之之和和。只只有有当当输输入入符符号号相相互互独独立立，且且输输入入符符号号的的概概率率分分布布达达到到各各信信道道容容量量的的最最佳佳输输入入分分布布时时，独独立立并并联联信信道道的的信信道道容容量量才才等等于于各信道容量之和，即各信道容量之和，即90第90页，共101页，编辑于2022年，星期四u3.8串联信道及其信道容量若信道若信道II的传递概率使其输出只与输入的传递概率使其输出只与输入Y有关，与前面有关，与前面的输入的输入X无关，即满足无关，即满足 称这两信道的输入和输出称这两信道的输入和输出X，Y，Z序列构成马尔可夫序列构成马尔可夫链。链。91第91

38、页，共101页，编辑于2022年，星期四u这这两两个个串串联联信信道道可可以以等等价价成成一一个个总总的的离离散散信信道道，其输入为其输入为X，输出为，输出为Z，取值，此信道的转移概率为，取值，此信道的转移概率为则总信道的传递矩阵则总信道的传递矩阵若若X，Y，Z满足马尔可夫链，得总信道的传递概率满足马尔可夫链，得总信道的传递概率 92第92页，共101页，编辑于2022年，星期四信道矩阵为信道矩阵为 对对于于串串联联信信道道，若若其其输输入入输输出出变变量量之之间间组组成成一一个个马马尔尔可可夫夫链链，则则存存在在下下述述定定理理。该该定定理理对对于于串串联联的的单单符符号号离离散散信信道道或

39、或是是输输入入、输输出出都都是是随随机机序序列列的的一般信道都成立。一般信道都成立。93第93页，共101页，编辑于2022年，星期四两个定理u定理定理3.7n当且仅当 时等式成立。94第94页，共101页，编辑于2022年，星期四u定定理理3.8若X、Y、Z组成一个马尔可夫链，则有定定理理3.8表表明明通通过过数数据据处处理理后后，一一般般只只会会增增加加信信息息的的损损失失，最最多多保保持持原原来来获获得得的的信信息息，不不可可能能比比原原来来获获得得的的信信息息有有所所增增加加。也也就就是是说说，对对接接收收到到的的数数据据Y进进行行处处理理后后，无无论论变变量量Z是是Y的的确确定定对对

40、应应关关系系还还是是概概率率关关系系，决决不不会会减减少少关关于于X的的不不确确定定性性。故故定定理理3.8称称为为数数据据处理定理处理定理。95第95页，共101页，编辑于2022年，星期四u书例3.12：有二个信道的信道矩阵分别为有二个信道的信道矩阵分别为 和和它们的串联信道如图所示。它们的串联信道如图所示。求证：求证：96第96页，共101页，编辑于2022年，星期四97第97页，共101页，编辑于2022年，星期四u举举例例：设设有有两两个个离离散散二二元元对对称称信信道道，其其组组成成的的串串联联信道如图所示，求该串联信道的信道容量。信道如图所示，求该串联信道的信道容量。98第98页，共101页，编辑于2022年，星期四3.9离散信源与离散信道的匹配输入输出统计关系输入量X(随机过程)输出量Y(随机过程)信道99第99页，共101页，编辑于2022年，星期四输入输出统计关系输入量X(随机过程)输出量Y(随机过程)信道100第100页，共101页，编辑于2022年，星期四u若信息传输率达到了信道容量，称此信源与信道达到匹配。否则认为信道有剩余。u信道剩余度u信道相对剩余度u无损信道的相对剩余度101第101页，共101页，编辑于2022年，星期四