信息论 第三章优秀课件.ppt

信息论 第三章第1页，本讲稿共53页第一节 信道的数学模型及分类1、信道的分类：根据信道用户的多少，可分为：（1）单用户信道：只有一个输入端和一个输出端（2）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：（1）无反馈信道（2）有反馈信道第2页，本讲稿共53页第一节 信道的数学模型及分类根据信道参数与时间的关系：（1）固定参数信道（2）时变参数信道根据输入输出信号的特点 （1）离散信道 （2）连续信道 （3）半离散半连续信道：（4）波形信道以下我们只研究无反馈、固定参数的单用户离散信道。第3页，本讲稿共53页第一节 信道的数学模型及分类P(y/X)XY根据这一模型，可对信道分类如下：设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：规定一个离散信道应有三个参数：输入符号集：X=x1，x2，输出符号集：Y=y1，y2，信道转移概率：P(Y/X)=p(y1/x1),p(y2/x1),p(/x1),p(y1/)p(/)2、离散信道的数学模型第4页，本讲稿共53页第一节 信道的数学模型及分类（1）无干扰信道：输入信号与输出信号 有一一对应关系（2）有干扰无记忆信道：输入与输出无一一对应关系，输出只与当前输入有关；（3）有干扰有记忆信道：这是最一般的信道。第5页，本讲稿共53页第一节 信道的数学模型及分类3、单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于输出变量为Y，取值于 。并有条件概率条件概率被称为信道的传递概率或转移概率。一般简单的单符号离散信道的数学模型可以用概率空间X,p(y|x),Y来描述。X Y第6页，本讲稿共53页第一节 信道的数学模型及分类P=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)表示成矩阵形式：第7页，本讲稿共53页第一节 信道的数学模型及分类例1 二元对称信道（BSC）X=0,1;Y=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;P=0101-pp1p1-p 0 1-p 0 p p 1 1-p 1第8页，本讲稿共53页第一节 信道的数学模型及分类例2 二元删除信道X=0,1;Y=0,2,1P=02101 pp010p1-p 0 1-p 0 pp 1 1-p 12第9页，本讲稿共53页P=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)由此可见，一般单符号离散信道的传递概率可以用矩阵表示第一节 信道的数学模型及分类第10页，本讲稿共53页第一节 信道的数学模型及分类 为了表述简便，可以写成下面推导几个关系式：第11页，本讲稿共53页第一节 信道的数学模型及分类（1）联合概率其中称为前向概率，描述信道的噪声特性称为后向概率，有时也把 称为先验概率，把 称为后验概率（2）输出符号的概率（3）后验概率 表明输出端收到任一符号，必定是输入端某一符号输入所致第12页，本讲稿共53页第二节 平均互信息1、信道疑义度 这是收到 后关于X的后验熵，表示收到 后关于输入符号的信息测度 这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。第13页，本讲稿共53页第二节 平均互信息I(X;Y)=H(X)-H(X/Y)2、平均互信息 因为H(X),表示传输前信源的不确定性，而H(X/Y)表示收到一个符号后，对信源尚存的不确定性，所以二者之差信道传递的信息量。下面我们讨论一下互信息与其他的熵之间的关系I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)(3.34)第14页，本讲稿共53页第二节 平均互信息也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)由3.34也可以看出，互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。H(X/Y)即信到疑义度，也表示通过有噪信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵。第15页，本讲稿共53页互信息与各类熵之间的关系可以用下图表示：第二节 平均互信息 H(X,Y)H(X/Y)H(Y/X)H(X)H(Y)I(X,Y)可以看出，联合熵等于两园之和减去第三部分，也等于一个园加上另外一部分 下面讨论两种极端情况：图1第16页，本讲稿共53页第二节 平均互信息（1）无噪一一对应信道 此时可以计算得：H(X/Y)=H(Y/X)=0在图一中表示就是两圆重合。(2)输入输出完全统计独立 此时I(X;Y)=0 H(X/Y)=H(X)H(Y/X)=H(Y)第17页，本讲稿共53页第三节 平均互信息的特性1、平均互信息的非负性I(X;Y)=0 该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。2、平均互信息的极值性 I(X;Y)=H(X)一般来说，信到疑义度总是大于0，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于0，互信息等于信源的熵。第18页，本讲稿共53页第三节 平均互信息的特性3、平均互信息量的交互性 I(X,Y)=I(Y,X)I(Y;X)表示从X中提取关于的Y的信息量，实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式 4、平均互信息的凸状性第19页，本讲稿共53页第三节 平均互信息的特性 定理定理3.1 平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布P(X)的的 型凸函数型凸函数 这就是说，对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均交互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax。第20页，本讲稿共53页第三节 平均互信息的特性例：对于二元对称信道 0 1-p 0 pp 1 1-p 1如果信源分布X=w,1-w，则 第21页，本讲稿共53页I(X;Y)w1/21-H(P)第三节 平均互信息的特性而：所以：当信道固定时，平均互信息时信源分布的 型凸函数，最大只为1-H(P)第22页，本讲稿共53页第三节 平均互信息的特性 定理定理3.2 平均互信息平均互信息I(X;Y)信道传递概率分布信道传递概率分布P(Y/X)的的 U型凸函数型凸函数 这就是说，对于一个已知先验概率为批P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均交信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均交互信息量的最小值是由体现了信源本身的特性。第23页，本讲稿共53页例：对于二元对称信道 0 1-p 0 pp 1 1-p 1如果信源分布X=w,1-w，则 由此可得I(X;Y)p1/2第四节 信道容量及其一般计算方法第24页，本讲稿共53页第四节 信道容量及其一般计算方法我们先定义信息传输率：R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)bit/符号 由定理3.1可知，对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。信道容量与与信源无关，它是信道的特征参数，反应的是信道的最大的信息传输能力。对于二元对称信道，由图可以看出信道容量等于 1-H(P)第25页，本讲稿共53页第四节 信道容量及其一般计算方法1、离散无噪信道的信道容量（1）具有一一对应关系的无噪声信道x1 y1x2 y2x3 y3此时由于信道的损失熵和疑义度都等于0，所以 I(X;Y)=H(X)=H(Y)C=logr=logs第26页，本讲稿共53页第四节 信道容量及其一般计算方法(2)有噪无损信道x1x2y1y2y3y4y5 此时信道疑义度不为0，而信道噪声熵为0，从而 C=maxI(X;Y)=maxH(X)-H(X/Y)=maxH(X)=logr 可见，信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道第27页，本讲稿共53页第四节 信道容量及其一般计算方法(3)无噪有损信道x1x2x3x4x5y1y2此时信道疑义度为0，而信道噪声熵不为0，从而 C=maxI(X;Y)=maxH(Y)-H(Y/X)=maxH(Y)=logs第28页，本讲稿共53页第四节 信道容量及其一般计算方法 如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道 如：和2、对称离散信道的信道容量第29页，本讲稿共53页第四节 信道容量及其一般计算方法如果离散信道的转移矩阵如下 则称此信道为强对称信道或均匀信道，它是对称离散信道的一种特例。该信道的各列之和也为1第30页，本讲稿共53页第四节 信道容量及其一般计算方法下面我们来计算对称离散信道的信道容量I(X;Y)=H(Y)-H(Y/X)而H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与x无关的一个常数，即因此 可以看出，当输出等概分布时，即H(Y)=logs时信道容量达到。第31页，本讲稿共53页第四节 信道容量及其一般计算方法 那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布可以看出，信道的输出也是等概分布的第32页，本讲稿共53页第四节 信道容量及其一般计算方法例：对于二元对称信道这个式子很重要。第33页，本讲稿共53页第四节 信道容量及其一般计算方法例：对于强对称信道，其信道容量为：第34页，本讲稿共53页第四节 信道容量及其一般计算方法3、准对称信道的信道容量：若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如：可划分为：第35页，本讲稿共53页第四节 信道容量及其一般计算方法有如：可分成：第36页，本讲稿共53页第四节 信道容量及其一般计算方法 可以证明达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为：其中r是输入符号集的个数，为矩阵中的行元素是第k各矩阵中的行元素只和，是第k个矩阵的列元素之和第37页，本讲稿共53页第四节 信道容量及其一般计算方法例：可分成：第38页，本讲稿共53页第四节 信道容量及其一般计算方法4、一般离散信道的信道容量我们可以对输入分布求极值，得到而：第39页，本讲稿共53页定理3.3 一般离散信道达到信道容量的充要条件是输入概率分布满足 该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。第四节 信道容量及其一般计算方法第40页，本讲稿共53页第四节 信道容量及其一般计算方法可以利用该定理对一些特殊信道求得它的信道容量例：输入符号集为:0,1,2假设P(0)=P(2)=1/2，P(1)=0，则：第41页，本讲稿共53页第四节 信道容量及其一般计算方法所以：第42页，本讲稿共53页第四节 信道容量及其一般计算方法对于一般信道的求解方法，就是求解方程组移项得：令则若r=s，此方程有解，可以解出s各未知数 ，再根据得从而第43页，本讲稿共53页第四节 信道容量及其一般计算方法例：可列方程组：第44页，本讲稿共53页第四节 信道容量及其一般计算方法解之得：第45页，本讲稿共53页第五节 离散无记忆扩展信道及其信道容量离散无记忆信道为：则它的N次扩展信道为：第46页，本讲稿共53页第五节 离散无记忆扩展信道及其信道容量为N次扩展信源中的一个符号为N次扩展接收符号集中的一个符号第47页，本讲稿共53页第五节 离散无记忆扩展信道及其信道容量我们首先从一个例子开始例：二元无记忆对称信道得二次扩展信道 二元记忆对称信道为 第48页，本讲稿共53页 可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。第五节 离散无记忆扩展信道及其信道容量则它的二次扩展信道为：第49页，本讲稿共53页第五节 离散无记忆扩展信道及其信道容量根据互信息的定义定理3.5 如果信道是无记忆的，即则：定理3.6 如果信源是无记忆的第50页，本讲稿共53页第五节 离散无记忆扩展信道及其信道容量因此，如果信源、信道都是无记忆的 这就是离散无记忆扩展信道得信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。第51页，本讲稿共53页第六节 信源与信道的匹配 信道的信道容量是固定的，如果某一信源通过该信道传输是，信息传输率达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余。定义：信道剩余度C-I(X;Y)信道的相对剩余度对于无损信道，相对剩余度第52页，本讲稿共53页第六节 信源与信道的匹配 如何才能做到匹配呢？一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是香农无失真信源编码理论，也就是无失真数据压缩理论。无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。这些是我们将在下一章讨论这些问题。第53页，本讲稿共53页