信道与信道容量精.ppt

信道与信道容量信道与信道容量第1 页，本讲稿共60 页3.1 信道分类和表示参数3.2 离散单个符号信道及其容量3.3 离散序列信道及其容量3.4 连续信道及其容量内容2第2 页，本讲稿共60 页信道 设信道的输入X=(X1,X2 Xi,),Xi a1 an 输出Y=(Y1,Y2 Yj,),Yj b1 bm 信道转移概率矩阵p(Y|X)：描述输入/输出的统计依赖关系,反映信道统计关系信 道XYp(Y|X)3第3 页，本讲稿共60 页无干扰(无噪声)信道 无干扰(无噪声)信道 信道的输出信号Y 与输入信号X 之间有确定的关系Y=f(X),已知X 后就确知Y 转移概率:4第4 页，本讲稿共60 页有干扰无记忆信道 有干扰无记忆信道 信道的输出信号Y 与输入信号X 之间没有确定的关系,但转移概率满足:有干扰无记忆信道可分为:二进制离散信道 离散无记忆信道 离散输入、连续输出信道 波形信道5第5 页，本讲稿共60 页离散无记忆信道DMC 信道输入是n元符号X a1,a2,an 信道输出是m 元符号Y b1,b2,bm 转移矩阵 已知X,输出Y 统计特性a1a2anb1b2bm:p1 1p12p21p22pnm6第6 页，本讲稿共60 页3.2 离散单个符号信道及其容量7第7 页，本讲稿共60 页信道容量 平均互信息I(X;Y)：接收到符号Y 后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息 8第8 页，本讲稿共60 页信道容量 信道容量C：最大的信息传输率 单位时间的信道容量：9第9 页，本讲稿共60 页信道容量的计算 对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道：离散信道可分成：无干扰(无噪)信道 无嗓无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道10第10 页，本讲稿共60 页无干扰离散信道 无噪无损信道 有噪无损信道(一对多)无噪有损信道(多对一)11第1 1 页，本讲稿共60 页3.2.1 对称DMC信道 对称离散信道：对称性:每一行都是由同一集p1,p2,pm 的诸元素不同排列组成输入对称 每一列都是由集q1,q2,qn 的诸元素不同排列组成输出对称满足对称性,所对应的信道是对称离散信道。12第12 页，本讲稿共60 页对称DMC信道 信道矩阵 不具有对称性,因而所对应的信通不是对称离散信道。13第13 页，本讲稿共60 页对称DMC信道 若输入符号和输出符号个数相同,都等于n,且信道矩阵为 此信道称为强对称信道(均匀信道)信道矩阵中各列之和也等于1 14第14 页，本讲稿共60 页对称DMC信道 对称离散信道的平均互信息为15第15 页，本讲稿共60 页对称DMC信道 对称DMC 信道的容量：上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1,p2,pm（第二项为矩阵任一行元素的信息熵）和输出符号集的个数m 有关。强对称信道的信道容量：16第16 页，本讲稿共60 页 设二进制对称信道的输入概率空间 信道矩阵：BSC信道容量17第17 页，本讲稿共60 页18第18 页，本讲稿共60 页 当p固定时,I(X;Y)是 的 型上凸函数。I(X;Y)BSC 信道容量1-H(p)I(X;Y)对 存在一个极大值。BSC信道容量19第19 页，本讲稿共60 页pC 当固定信源的概率分布 时,I(X;Y)是p的 型 下凸函数。信道无噪声 当p=0,C=1 0=1bit=H(X)当p=1/2,信道强噪声BSC信道容量 BSC 信道容量20第20 页，本讲稿共60 页信道容量 定理：给定转移概率矩阵P 后,平均互信息I(X;Y)是输入信源的概率分布p(ai)的 型上凸函数。定理：平均互信息I(X;Y)是信道传递概率p(bj|ai)的 型凸函数。信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。21第21 页，本讲稿共60 页离散无记忆模K加性噪声信道 X 是信道输入，Z 是信道干扰，Y 为信道输出，取值空间均为同一整数集，X=Z=Y=0,1,K-1,Y=X Z mod K。该信道称为离散无记忆模K 加性噪声信道。计算机系统和数字通信系统中有些情况下可用该模型描述。由信道的对称性及 可得该类信道的容量为XZY22第22 页，本讲稿共60 页 例3-3 离散无记忆模K 加性噪声信道Y=X Z mod K，X 和Y 均取值于0,1,K-1,求该信道容量。该信道可用右图表示，可明显看出对称DMC 信道特征，信道转移概率矩阵为01K-1012K-123第23 页，本讲稿共60 页利用离散无记忆模K 加性噪声信道容量公式可得24第24 页，本讲稿共60 页 当信源输入符号的速率为rs(符/秒),信道容量BSC信道容量 实际信息传输速率Rt为 进入信道输入端的信息速率 等概分布25第25 页，本讲稿共60 页例BSC 信道如图,rs=1000 符号/秒,错误传递概率p=0.1求:信道容量 0Y0.1 10.9输入符号等概时有最大信息传输速率信道实际信息传输速率0.10.910 x26第26 页，本讲稿共60 页串联信道 例3-4 设有两个离散BSC 信道,串接如图,两个BSC 信道的转移矩阵为:X 0 0ZY1 11-p1-p1-pp 串联信道的转移矩阵为:1-pp27第27 页，本讲稿共60 页串联信道X 0 0ZY11 求得:在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。pp1-p1-p 1-p1-p28第28 页，本讲稿共60 页串联信道 由信息不增原理信道2 信道m 信道1 可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0XY Z29第29 页，本讲稿共60 页3.2.3 准对称DMC信道 准对称信道 转移概率矩阵P 是输入对称而输出不对称 将信道矩阵P 的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵Pk是对称矩阵。它们满足对称性,所以P1所对应的信道为准对称信道。30第30 页，本讲稿共60 页准对称信道的信道容量 准对称信道 由于转移概率矩阵中每行的元素相同，所以31第31 页，本讲稿共60 页准对称信道的信道容量 但每列的元素不相同，所以信道的输入和输出分布概率可能不等，此时H(Y)的最大值可能小于Y 等概率时的熵。因而准对称信道容量 因为I 是输入符号概率的 型凸函数，根据信道容量的定义式，可引入拉格朗日乘子法求解极值问题，便求得输入符号概率和最大互信息。32第32 页，本讲稿共60 页准对称信道的信道容量 例3-5 已知一个信道的信道转移矩阵为 由P 可看出信道的输入符号有两个，可设 信道的输出符号有3个，用b1,b2,b3表示。由 得联合概率的矩阵为33第33 页，本讲稿共60 页恒定，与 的分布无关。由得式中，34第34 页，本讲稿共60 页即输入符号分布等概率时，I(X;Y)达到最大值。所以信道容量为由解得此时输出符号的概率为35第35 页，本讲稿共60 页准对称信道的信道容量 求准对称信道的容量，可以通过如下方法来求，即将信道矩阵P 划分成若干个互不相交的对称子集mk。36第36 页，本讲稿共60 页准对称信道的信道容量 当输入分布为等概率时，达到信道容量为：其中n是输入符号集的个数，为准对称信道矩阵中的行元素。设矩阵可划分成r 个互不相交的子集。Nk是第k个子矩阵Pk中行元素之和,Mk是第k个子矩阵Pk中列元素之和。37第37 页，本讲稿共60 页 例：设信道传递矩阵为 计算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4 将它分成 38第38 页，本讲稿共60 页39第39 页，本讲稿共60 页例3-740第40 页，本讲稿共60 页3.2.4 一般DMC信道 定理：一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率p(ai)必须满足:I(ai;Y)=C 对于所有ai其p(ai)0 I(ai;Y)C 对于所有ai其p(ai)=0 上式说明：当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集p(ai)中每一个符号ai对输出端Y 提供相同的互信息,只是概率为0的除外。41第41 页，本讲稿共60 页3.2.4 一般DMC信道42第42 页，本讲稿共60 页3.3 离散序列信道及容量前面讨论的信道输入输出均为单个符号的随机变量，然而在实际应用中，信道的输入和输出却是在空间或时间上离散的随机序列，有无记忆的离散序列信道，当然更多的是有记忆的，即序列的转移概率之间有关联性。43第43 页，本讲稿共60 页离散序列信道及容量 设信道的输入X=(X1,X2 Xi,XL),Xi a1 an 输出Y=(Y1,Y2 Yj,YL),Yj b1 bm信 道XYp(Y|X)对于无记忆离散序列信道,其信道转移概率为 即仅与当前输入有关。若信道是平稳的44第44 页，本讲稿共60 页 定理：若信道的输入和输出分别是L 长序列X 和Y,且信道是无记忆的,亦即信道传递概率为 则存在 定理：若信道的输入和输出分别是L 长序列X 和Y,且信源是无记忆的,亦即输入矢量X 中各个分量相互独立 则存在 45第45 页，本讲稿共60 页离散序列信道及容量 若信源与信道都是无记忆的 L 次扩展信道的信道容量 当信道平稳时:一般情况下:46第46 页，本讲稿共60 页 例3-9.BSC 信道二次扩展0 0X0 11 01 10 00 11 01 1Y 转移概率矩阵 2次扩展信道的信道容量 若 p=0.1 则 C2=(2 0.938)bit/序列=1.062bit/序列 C1=1-H(0.1)=0.531bit/序列 C2=2C147第47 页，本讲稿共60 页独立并联信道 设有L 个信道,它们的输入、输出分别是：X1,X2XL；Y1,Y2YL信 道信 道信 道p(Y1|X1)p(YL|XL)p(Y2|X2)每一个信道的输出Yl只与本信道的输入Xl有关,与其他信道的输入、输出都无关。此时序列的转移概率X1X2XLY1Y2YL也是无记忆序列信道。48第48 页，本讲稿共60 页独立并联信道 独立并联信道的信道容量所以 即联合平均互信息不大于各自信道平均互信息之和。49第49 页，本讲稿共60 页3.4 连续信道及其容量50第50 页，本讲稿共60 页连续信道及其容量 连续信道的容量不容易计算。当信道为加性连续信道时,情况简单一些。设信道的输入和输出信号是随机过程x(t)和y(t)y(t)=x(t)+n(t)n(t)：信道的加性高斯白噪声 一个受加性高斯白噪声干扰的带限波形信道的容量,由香农(1948)正式定义：信 道n(t)x(t)y(t)51第51 页，本讲稿共60 页连续信道及其容量 高斯白噪声加性信道单位时间的信道容量这就是著名的香农公式 信噪比SNR 52第52 页，本讲稿共60 页3.5 信源与信道的匹配53第53 页，本讲稿共60 页 信源发出消息(符号)一般要通过信道来传输，到达信宿，因此要求信源的输出与信道的输入匹配。(1)符号匹配：信源输出的符号必须是信道能够传送的符号，可在信源与信道之间加入编码器来实现，也可以在信源压缩编码时一步完成。(2)信息匹配：对于某一信道，只有当输入符号的概率分布p(x)满足一定条件时才能达到其信道容量C。也就是说，只有特定的信源才能使某一信道的信息传输率达到最大。一般情况下，信源与信道连接时，其信息传输率R=I(X;Y)并未达到最大，即信道没有得到充分利用。当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配；否则认为信道有冗余。54第54 页，本讲稿共60 页信道冗余度定义为 信道绝对冗余度=C-I(X;Y)其中C 是信道容量，I(X;Y)是信道实际传输的平均信息量。信道相对冗余度=1-I(X;Y)/C冗余度大，说明信源与信道匹配程度低，信道的信息传递能力未得到充分利用；冗余度小，说明信源与信道匹配程度高，信道的信息传递能力得到较充分利用；冗余度为零，说明信源与信道完全匹配，信道的信息传递能力完全利用；一般来说，实际信源的概率分布未必就是信道的最佳输入分布，所以冗余度不为零。因此，要求信源与信道达到信息的完全匹配是不可能的，只要信道冗余度较小就可以了。55第55 页，本讲稿共60 页 所以，对信源输出的符号进行信源编码可以达到两个目的：一是将信源符号变换为信道能够传输的符号，即符号匹配；二是变换后的符号分布概率能使信息传输率接近信道容量，即信息匹配。从而使信道冗余度接近于零，信源和信道达到匹配，信道得到充分利用。56第56 页，本讲稿共60 页本章小结 本章从信道的分类及其描述出发，对各种信道的信息传输率和信道容量等信道特性进行了介绍，其中对信道容量的分析为充分利用信道的信息传输能力提供了理论依据，对实际通信系统的设计有着重要的理论指导意义。对固定参数信道，通常采用条件概率p(Y/X)来描述信道输入输出信号之间统计的依赖关系，也叫做转移概率，其信道容量是固定值；对于时变参数信道，信道容量是随机变量，通常用平均容量(遍历容量)和中断容量来表示。57第57 页，本讲稿共60 页58第58 页，本讲稿共60 页59第59 页，本讲稿共60 页习题 3-1 3-3 3-6 3-1060第60 页，本讲稿共60 页