第四章离散信道及其容量精选PPT.ppt

第四章离散信道及其容量第1页，此课件共48页哦3 3研究信道的目的研究信道的目的在通信系统中研究信道，主要是为了描述、度在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。能力，并分析其特性。信道输入量X(随机过程)输出量Y(随机过程)p(Y|X)第2页，此课件共48页哦按输入按输入/输出信号在输出信号在幅度幅度和和时间时间上的上的取值取值:离散信道：离散信道：输入和输出的随机序列取值都是离散的信道输入和输出的随机序列取值都是离散的信道连续信道：连续信道：输入和输出的随机序列取值都是连续的信道输入和输出的随机序列取值都是连续的信道半离散半离散(半连续半连续)信道：信道：输入变量取值离散而输出变量取值连续输入变量取值离散而输出变量取值连续输入变量取值连续而输出变量取值离散输入变量取值连续而输出变量取值离散第3页，此课件共48页哦l时间离散的连续信道：时间离散的连续信道：信道输入和输出是连续的时间序列信道输入和输出是连续的时间序列l波形信道：波形信道：输入和输出都是时间的实函数输入和输出都是时间的实函数x(t),y(t)x(t),y(t)l两端信道两端信道l多端信道多端信道l恒参信道：参数不随时间变化恒参信道：参数不随时间变化l随参信道：参数随时间变化随参信道：参数随时间变化l无记忆信道和有记忆信道无记忆信道和有记忆信道l对称信道和非对称信道对称信道和非对称信道第4页，此课件共48页哦l多元接入信道多元接入信道l广播信道广播信道l无损信道无损信道l确定信道确定信道l无噪信道无噪信道第5页，此课件共48页哦4.2 4.2 离散无记忆信道离散无记忆信道4.2.14.2.1离散信道数学模型离散信道数学模型信道描述信道描述信道可以引用三组变量来描述：信道可以引用三组变量来描述：信道输入：信道输入：X=(X1,X2Xi,),Xi a1an信道输出：信道输出：Y=(Y1,Y2Yj,),Yj b1bm信道概率转移矩阵：信道概率转移矩阵：py/x=p(y1y2.yn|x1x2 py/x=p(y1y2.yn|x1x2xn)xn)即：即：X X p(y|x)Yp(y|x)Y 第6页，此课件共48页哦定义定义4.2.14.2.1若离散信道对任意若离散信道对任意N N长的输入、输出序列长的输入、输出序列有有 则称它为离散无记忆信道则称它为离散无记忆信道DMCDMC。其。其信源模型为信源模型为X p(yX p(yn n|x|xn n)Y)Y任何时刻信道的输出至于此时刻信道的输入有关任何时刻信道的输出至于此时刻信道的输入有关,而而与以前的输入无关。与以前的输入无关。定义定义4.2.24.2.2对任意对任意n n和和m,iA,jB,m,iA,jB,若离散无记若离散无记忆信道还满足忆信道还满足则称此信道为平稳的或恒参的。则称此信道为平稳的或恒参的。第7页，此课件共48页哦1 1、无扰、无扰(无噪无噪)信道信道信道的输出信号信道的输出信号Y Y与输入信号与输入信号X X之间有确定之间有确定的关系的关系Y=Y=f f(X),(X),已知已知X X后就确知后就确知Y Y转移概率转移概率:第8页，此课件共48页哦2、有干扰无记忆信道 信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:3、有干扰有记忆信道4.2.24.2.2单符号离散信道单符号离散信道X=a1,a2,X=a1,a2,ar ar P(Y/X)=p(bj/ai)(i=1,2,P(Y/X)=p(bj/ai)(i=1,2,r;j=1,2,r;j=1,2,s)s)Y=b1,b2,Y=b1,b2,bsbs0p(bj/ai)10p(bj/ai)1第9页，此课件共48页哦信道的传递概率又称为转移概率信道的传递概率又称为转移概率矩阵矩阵PP称为转移矩阵或信道矩阵；表示为：称为转移矩阵或信道矩阵；表示为：P=b1b2bsa1p(b1/a1)p(b2/a1)p(bs/a1)a2p(b1/a2)p(b2/a2)p(bs/a2)arp(b1/ar)p(b2/ar)p(bs/ar)PP矩阵为一个矩阵为一个rsrs矩阵，其每行元素之和等于矩阵，其每行元素之和等于1 1第10页，此课件共48页哦3 3、图示法描述、图示法描述第11页，此课件共48页哦例4.2.1：二元对称信道二元对称信道BSCBSC输入符号输入符号X X取值取值0,10,1；输出符号输出符号Y Y取值取值0,1 0,1 很重要的一种特殊信道很重要的一种特殊信道信道转移概率信道转移概率：p(0|0)=1 p(0|0)=1p p(1|1)=1p p(1|1)=1p p p(0|1)=p p(1|0)=p p(0|1)=p p(1|0)=p0101pp1-p1-p第12页，此课件共48页哦4.2.24.2.2二元删除信道二元删除信道BEC BEC l二元删除信道二元删除信道BEC BEC 输入符号输入符号X X取值取值0,10,1；输出符号输出符号Y Y取值取值0,1,2 0,1,2 l转移矩阵转移矩阵0 02 21 10 01 1p p1 1-p pq q1 1-q q第13页，此课件共48页哦4.2.34.2.3二元对称消失信道二元对称消失信道l二元删除信道二元删除信道BEC BEC 输入符号输入符号X X取值取值0,10,1；输出符号输出符号Y Y取值取值0,1,2 0,1,2 l转移矩阵转移矩阵0 0 x x1 10 01 11 1-p p-q qq q1 1-p p-q qq qp pp p第14页，此课件共48页哦先验概率先验概率:信源发出消息信源发出消息a ai i的概率的概率p p(a ai i)=P(X=)=P(X=a ai i)(i=1,2,)(i=1,2,r),r)后验概率后验概率:信宿收到信宿收到b bj j 后推测信源发出后推测信源发出a ai i的概率的概率p p(a ai i|b bj j)=P(X=)=P(X=a ai i|Y=|Y=b bj j)联合概率联合概率:p p(a ai i|b bj j)=P(X=)=P(X=a ai i,Y=,Y=b bj j)=p p(a ai i)p p(b bj j|a ai i)=)=p p(b bj j)p p(a ai i|b bj j)前向概率前向概率:（及信道传递概率）（及信道传递概率）输出符号概率输出符号概率:p p(b bj j|a ai i)=P(Y=)=P(Y=b bj j|X=|X=a ai i)p p(b bj j)=P(Y=)=P(Y=b bj j)第15页，此课件共48页哦4.2.34.2.3信道疑义度信道疑义度定义定义4.2.34.2.3称输入空间称输入空间X X对输入空间对输入空间Y Y的条件熵的条件熵可疑度，它表示接收者收到可疑度，它表示接收者收到Y Y后，对信源后，对信源X X仍然存仍然存在的平均不确定度。对于接收者来说，条件熵在的平均不确定度。对于接收者来说，条件熵H(X/Y)H(X/Y)称为疑义度，称为疑义度，对对X X尚存在的平均不确定度是尚存在的平均不确定度是由于干扰由于干扰(噪声噪声)引起的引起的 第16页，此课件共48页哦4.2.44.2.4平均互信息平均互信息定义定义4.2.44.2.4原始信源熵与信道疑义度之差称为平均原始信源熵与信道疑义度之差称为平均互信息。互信息。信息信息=先验不确定性后验不确定性先验不确定性后验不确定性 =不确定性减少的量不确定性减少的量lY Y未知未知,X,X 的不确定度为的不确定度为H(X)H(X)lY Y已知已知,X,X 的不确定度变为的不确定度变为H(X|Y)H(X|Y)第17页，此课件共48页哦平均互信息有扰信道干扰源信源X信宿Yl通信系统中,若发端的符号为X,收端的符号为Y如果是一一对应信道,接收到Y后,对X的不确定性将完全消除：H(X|Y)=0一般情况：H(X|Y)H(X),即了解Y后对X的不确定度的将减少l通过信道传输消除了一些不确定性,获得了一定的信息。第18页，此课件共48页哦l平均互信息平均互信息的另一种定义方法：的另一种定义方法：第19页，此课件共48页哦定理定理4.2.14.2.1对于固定的信道（给定转移概率对于固定的信道（给定转移概率矩阵矩阵P P后）后）,平均互信息平均互信息I(X;Y)I(X;Y)是输入信源是输入信源的概率分布的概率分布p p(x x)的上凸函数。的上凸函数。定理定理4.2.24.2.2对于固定的信源分布对于固定的信源分布,平均互信平均互信息息I(X;Y)I(X;Y)是信道传递概率是信道传递概率p p(y|xy|x)的下凸函的下凸函数。数。第20页，此课件共48页哦4.2.54.2.5平均互信息与各类熵的关系平均互信息与各类熵的关系熵只是平均不确定性的描述熵只是平均不确定性的描述;不确定性的消除不确定性的消除(两熵之差两熵之差)才才等于接收端所获得的信息量。等于接收端所获得的信息量。获得的信息量不应该和不确定性获得的信息量不应该和不确定性混为一谈混为一谈 第21页，此课件共48页哦维拉图维拉图H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)第22页，此课件共48页哦4.34.3离散无记忆扩展信道离散无记忆扩展信道4.3.1 N4.3.1 N次扩展信道次扩展信道1 1、简单的离散无记忆信道、简单的离散无记忆信道第23页，此课件共48页哦第24页，此课件共48页哦2 2、N N次扩展信道次扩展信道第25页，此课件共48页哦第26页，此课件共48页哦定定理理：设设离离散散信信道道的的输输入入序序列列X X(X(X1 1X X2 2X XN N)通通过过信信道道传传输输，接接收收到到的的随随机机序序列列为为Y=(Y=(Y Y1 1Y Y2 2Y YN N)，而而信道的转移概率为信道的转移概率为p p(y yx x)。若信道是无记忆的，则有：若信道是无记忆的，则有：若信源是无记忆的，则有：若信源是无记忆的，则有：若信源与信道都是无记忆的，则有：若信源与信道都是无记忆的，则有：第27页，此课件共48页哦4.4 4.4 信道的组合信道的组合在实际通信系统中在实际通信系统中,信号往往要通过几个环节信号往往要通过几个环节的传输的传输,或多步的处理或多步的处理,这些传输或处理都可这些传输或处理都可看成是信道看成是信道,它们串接成一个它们串接成一个串联信道。串联信道。信道2信道1XYZ定理定理4.4.14.4.1级联信道中的平均互信息满足以下关级联信道中的平均互信息满足以下关系系第28页，此课件共48页哦定理定理4.4.24.4.2若随机变量若随机变量X,Y,ZX,Y,Z构成一个马尔可夫链，则有：构成一个马尔可夫链，则有：l例例 设有两个离散设有两个离散BSCBSC信道信道,串接如图串接如图,两个两个BSCBSC信道的转移矩阵为信道的转移矩阵为:X X0 00 0Z ZY Y1 11 11 1-p p1 1-p p1 1-p pp pl串联信道的转移矩阵为串联信道的转移矩阵为:1 1-p pp p第29页，此课件共48页哦4.5 4.5 信道容量信道容量4.5.1 4.5.1 信道容量的定义信道容量的定义定义定义4.5.1 4.5.1 信道容量定义为平均互信息的最大值：信道容量定义为平均互信息的最大值：信道容量表征信道传送信息的最大能力。实际信信道容量表征信道传送信息的最大能力。实际信道传送信息量必须小于信道容量，否则会出现错道传送信息量必须小于信道容量，否则会出现错误。误。第30页，此课件共48页哦l平均互信息I(X;Y)：接收到符号Y后平均每个符号获得的关于X的信息量。l信道的信息传输率就是平均互信息 我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R第31页，此课件共48页哦信道在单位时间内平均传输的信息量，称为信息传输速率Rt。单位：bit/s若平均传输一个符号需要t秒钟，则信道在单位时间内平均传输的最大信息量Ct，为单位：bit/s第32页，此课件共48页哦4.5.2 4.5.2 离散无噪信道离散无噪信道1 1、无损信道、无损信道设信道的输入设信道的输入XA=XA=a a1 1 a an n,输出输出YB=YB=b b1 1 b bm m 无损无损信道的一个输入对应多个互不相交的输出信道的一个输入对应多个互不相交的输出X b1 Ya1 b2 b3a2 b4 b51/31/31/31/43/4第33页，此课件共48页哦由于其矩阵的每一列元素只有一个非零元素，所以由于其矩阵的每一列元素只有一个非零元素，所以后验概率不等于后验概率不等于1 1，就等于，就等于0 0可知疑义度可知疑义度H(X/Y)=0H(X/Y)=0，平均交互信息量达到最大值，平均交互信息量达到最大值I(X,Y)=H(X)I(X,Y)=H(X)，C=logrC=logr。从平均意义上讲，这种信道。从平均意义上讲，这种信道可以把信源的信息全部传递道信宿。可以把信源的信息全部传递道信宿。说明：说明：I(X;Y)=H(X)H(Y),I(X;Y)=H(X)0H(Y/X)02 2、确定信道、确定信道确定确定信道的输出对应多个互不相交的输入。信道的输出对应多个互不相交的输入。第34页，此课件共48页哦这类信道的转移概率等于这类信道的转移概率等于1 1或者等于或者等于0 0，每一列的，每一列的元素可有一个或多个元素可有一个或多个1 1，可知其噪声熵，可知其噪声熵H(Y/X)=0H(Y/X)=0，此时的平均交互信息量达到最大值。此时的平均交互信息量达到最大值。I(X;Y)=H(Y)-H(Y/X)=H(Y)H(X)C=maxI(X;Y)=maxH(Y)=logsXa1 Ya2 b1a3a4 b2a511111第35页，此课件共48页哦3 3、无损确定信道、无损确定信道无损确定无损确定信道：输入和输出是一一对应关系信道：输入和输出是一一对应关系Xa1 b1 Ya2 b2a3 b3111第36页，此课件共48页哦4.5.3 4.5.3 离散对称信道离散对称信道定义定义4.5.24.5.2若一个离散信道的信道矩阵中，每一行都若一个离散信道的信道矩阵中，每一行都是由同一组元素的不同排列，则称为输入对称信道。是由同一组元素的不同排列，则称为输入对称信道。定义定义4.5.34.5.3若一个离散信道的信道矩阵中，每一列都若一个离散信道的信道矩阵中，每一列都是其他列同一组元素组成的不同排列，则称为离散输是其他列同一组元素组成的不同排列，则称为离散输出对称信道。出对称信道。如果一个离散信道的信道转移矩阵中的每一行都是如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道。由这一组元素组成的，则称为对称信道。第37页，此课件共48页哦定义定义4.5.44.5.4若一个离散无记忆信道的信道矩阵中，若一个离散无记忆信道的信道矩阵中，按照信道的输出集按照信道的输出集Y Y（即信道矩阵的行）可以将信（即信道矩阵的行）可以将信道矩阵划分成道矩阵划分成n n个子集（子矩阵），每个子矩阵中个子集（子矩阵），每个子矩阵中的每一行（列）都是其他行（列）的同一组元素的每一行（列）都是其他行（列）的同一组元素的不同排列，则称这类信道为离散准对称信道。的不同排列，则称这类信道为离散准对称信道。子集中元素满足对称性子集中元素满足对称性第38页，此课件共48页哦例：（对称信道识别）例：（对称信道识别）第39页，此课件共48页哦定理定理4.5.14.5.1实现离散实现离散准准对称无记忆信道信道容量的输对称无记忆信道信道容量的输入符号集的分布为等概分布。入符号集的分布为等概分布。定理定理4.5.24.5.2若一个离散对称信道具有若一个离散对称信道具有r r个输入符号，个输入符号，s s个输出符号，则当输入为等概分布是，达到信个输出符号，则当输入为等概分布是，达到信道容量道容量C C，且，且C=logs-H(pC=logs-H(p1 1p p2 2p ps s),),式中式中p p1 1p p2 2p ps s为信道矩阵中的任一行。为信道矩阵中的任一行。引理：对于对称信道，只有当信道输入分布为等概引理：对于对称信道，只有当信道输入分布为等概分布时，输出分布才能为等概分布。分布时，输出分布才能为等概分布。第40页，此课件共48页哦定义定义4.5.54.5.5信道输入符号和输出符号个数相同，且信道输入符号和输出符号个数相同，且信道矩阵为，信道矩阵为，则称此信道为强对称信道或均匀信道。则称此信道为强对称信道或均匀信道。信道矩阵中各列之和也等于信道矩阵中各列之和也等于1 1。推论：均匀信道的信道容量为推论：均匀信道的信道容量为C=logr-plog(r-1)-H(p)第41页，此课件共48页哦4.5.4一般信道容量的计算方法一般信道容量的计算方法定理定理4.5.34.5.3：一般离散信道的平均互信息：一般离散信道的平均互信息I(X;Y)I(X;Y)达到达到极大值极大值的的充分和必要条件充分和必要条件是输入概率是输入概率 p p(a ai i)必须满足必须满足:I(I(a ai i;Y)=C ;Y)=C 对于所有对于所有a ai i其其p p(a ai i)0 0 I(I(a ai i;Y)C ;Y)C 对于所有对于所有a ai i其其p p(a ai i)=0)=0时，时，I(X;Y)I(X;Y)达到极大值。此时，常数达到极大值。此时，常数C C记为所求的信记为所求的信道容量。道容量。上式说明：当信道的平均互信息上式说明：当信道的平均互信息I(X;Y)I(X;Y)达到信道容量达到信道容量时时,输入符号概率集输入符号概率集 p p(a ai i)中每一个符号中每一个符号a ai i对输出端对输出端Y Y提提供相同的互信息供相同的互信息,只是概率为只是概率为0 0的除外。的除外。第42页，此课件共48页哦4.5.54.5.5离散无记忆离散无记忆N N次扩展信道次扩展信道l设信道的输入设信道的输入X X=(X X1 1,X X2 2 X Xi i,),),X Xi i a a1 1 a an n 输出输出Y Y=(Y Y1 1,Y Y2 2 Y Yj j,),),Y Yj j b b1 1 b bm m 信信 道道X XY Yp p(Y|X)(Y|X)l对于对于无记忆离散无记忆离散N N次扩展次扩展信道信道,其其信道转移概率信道转移概率为为仅与当前输入有关。若信道是平稳的仅与当前输入有关。若信道是平稳的第43页，此课件共48页哦l l定理定理：若信道的输入和输出分别是：若信道的输入和输出分别是L L长序列长序列X X和和Y,Y,且且信道信道是是无记忆无记忆的的,亦即信道传递概率亦即信道传递概率为为l则存在则存在 l l定理定理：若信道的输入和输出分别是：若信道的输入和输出分别是L L长序列长序列X X和和Y,Y,且且信源信源是是无记忆无记忆的的,亦即亦即l则存在则存在 第44页，此课件共48页哦l若若信源信源与与信道信道都是都是无记忆无记忆的的 lL L次扩展信道次扩展信道的信道容量的信道容量 l当信道平稳当信道平稳时时:l一般情况下一般情况下:第45页，此课件共48页哦4.5.64.5.6独立并联信道独立并联信道l设有设有L L个信道个信道,它们的输入、输出分别是：它们的输入、输出分别是：X X1 1,X,X2 2X XL L；Y Y1 1,Y,Y2 2Y YL L信信 道道信信 道道信信 道道p p(Y(Y1 1|X|X1 1)p p(Y(YL L|X|XL L)p p(Y(Y2 2|X|X2 2)l每一个信道的输出每一个信道的输出Y Yl l只与本只与本信道的输入信道的输入X Xl l有关有关,与其他与其他信道的输入、输出都无关。信道的输入、输出都无关。l独立并联信道的信道容量独立并联信道的信道容量 X X1 1X X2 2X XL LY Y1 1Y Y2 2Y YL L第46页，此课件共48页哦4.5.74.5.7信源和信道匹配信源和信道匹配一般情况下信源与信道连接时，其信息一般情况下信源与信道连接时，其信息传输率传输率R=I(X;Y)R=I(X;Y)并未达到最大。若信息并未达到最大。若信息传输率达到了信道容量，则称信源与信传输率达到了信道容量，则称信源与信道达到匹配；否则认为信道有剩余。道达到匹配；否则认为信道有剩余。信道剩余度定义为信道剩余度定义为 信道剩余度信道剩余度=C-I(X;Y)=C-I(X;Y)用相对剩余度描述信源与信道的匹配程度用相对剩余度描述信源与信道的匹配程度 相对剩余度相对剩余度=C-I(X;Y)/C=1-I(X;Y)/C=C-I(X;Y)/C=1-I(X;Y)/C第47页，此课件共48页哦无损信道中，信道容量无损信道中，信道容量C=logr(rC=logr(r是信道输入符号的是信道输入符号的个数）个数）,而而I(X;Y)=H(X)I(X;Y)=H(X)无损信道的相对剩余度无损信道的相对剩余度=1-H(X)/logr=1-H(X)/logr第48页，此课件共48页哦