第三章 信道容量.ppt
第三章第三章 信道容量信道容量3.1 信道容量的数学模型和分信道容量的数学模型和分类类3.2 单单符号离散信源符号离散信源3.3 多多符号离散信源符号离散信源3.4 多用户信道多用户信道3.5 信道编码定理信道编码定理3.1 信道的数学模型和分类信道的数学模型和分类P(Y/X)xY信道的数学模型：信道的数学模型：X P(Y/X)Y信道的分类信道的分类无干扰无干扰信道信道有干扰有干扰信道信道信道的分类信道的分类有记忆有记忆信道信道无记忆无记忆信道信道信道的分类信道的分类单符号单符号 信道信道多符号多符号信道信道信道的分类信道的分类单用户单用户信道信道多用户多用户信道信道信道的分类信道的分类连续连续信道信道半离散半离散信道信道离散离散信道信道3.1 信道的数学模型和分类信道的数学模型和分类3.2 单符号离散信道单符号离散信道3.3 多符号离散信道多符号离散信道3.4 多用户信道多用户信道3.5 信道编码定理信道编码定理3.2 单单符号离散信符号离散信道的信道容量道的信道容量3.2.1 信道容量的定义信道容量的定义3.2.2 几种特殊离散信道的容量几种特殊离散信道的容量3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法3.2.1 信道容量的定义信道容量的定义p(yi/xi)xYi=1,2,n信道转移概率矩阵：（见下页）信道转移概率矩阵：（见下页）信道容量信道容量3.2 单单符号离散信符号离散信道的信道容量道的信道容量3.2.1 信道容量的定义信道容量的定义3.2.2 几种特殊离散信道的容量几种特殊离散信道的容量3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法3.2.2 几种特殊离散信道的容量几种特殊离散信道的容量一、离散无噪信道一、离散无噪信道1、一一对应的无噪信道、一一对应的无噪信道an bna1 b1a2 b2a1 b1a2 b2an-1 bn-1an bnX、Y一一对应一一对应 CmaxI(X;Y)log np(ai)a1 b1 b2 b32、具有扩展功能的无噪信道、具有扩展功能的无噪信道a2 b4 b5 b6a3 b7 b8 此时，此时，H(X/Y)=0，H(Y/X)0，且且 H(X)H(Y)。此时，此时，C=max H(X)=log n p(ai)一个输入对应多个输出一个输入对应多个输出3、具有归并性的无噪信道、具有归并性的无噪信道x1 y1x2 x3 y2x4x5 y3C=max H(Y)=log mp(ai)H(X/Y)0，H(Y/X)=0多个输入变成一个输出多个输入变成一个输出二、强对称二、强对称(均匀均匀)离散信道的信道容量离散信道的信道容量n X nP：总体错误概率：总体错误概率相应的相应的二进制均匀信道容量二进制均匀信道容量 C1H(p),其中 H(p)=-(1-p)log(1-p)+plogp)二进制均匀信道容量曲线二进制均匀信道容量曲线三、对称离散信道的信道容量三、对称离散信道的信道容量矩阵中的每行都矩阵中的每行都 是集合是集合P=p1,p2,pn中的诸元素的不同排列，称中的诸元素的不同排列，称矩阵的行是可排列的。矩阵的行是可排列的。矩阵中的每列都是集合矩阵中的每列都是集合Q=q1,q2,qm中的诸元素的不同排列，称矩中的诸元素的不同排列，称矩阵的列是可排列的。阵的列是可排列的。如果矩阵的行和列都是可排列的，如果矩阵的行和列都是可排列的，称矩阵是可排列的。称矩阵是可排列的。如果一个信道矩阵具有可排列性，如果一个信道矩阵具有可排列性，则它所表示的信道称为则它所表示的信道称为对称信道中，当对称信道中，当nmnmnm，Q Q是是P P的子集；当的子集；当n=mn=m时，时，P=QP=Q。对称信道对称信道练习：判断下列矩阵表示的信道是否是对练习：判断下列矩阵表示的信道是否是对 称信道称信道相应的相应的对称离散信道的信道容量强对称信道与对称信道比较：强对称信道与对称信道比较：强对称强对称 对称对称 n=m n与与m未必相等未必相等 矩阵对称矩阵对称 矩阵未必对称矩阵未必对称 P=Q P与与Q未必相等未必相等行之和，列之和均行之和，列之和均为为1行之和为行之和为1四、准对称信道离散信道的信道容量四、准对称信道离散信道的信道容量若信道矩阵的行是可排列的，但列不可若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，排列，如果把列分成若干个不相交的子集，且由且由n n行和各子集的诸列构成的各个子矩阵行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称都是可排列的，则称相应的信道为准对称信道。例如下面的矩阵：信道。例如下面的矩阵：假设此时将矩阵的列分为假设此时将矩阵的列分为S S个子集，每个子集，每个子集的元素个数分别是个子集的元素个数分别是m m1 1，m m2 2，m ms s。3.2 单单符号离散符号离散信道信道3.2.1 信道容量的定义信道容量的定义3.2.2 几种特殊离散信道的容量几种特殊离散信道的容量 3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法3.2.3 3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法 对一般离散信道而言，求信道容量，就是在固定信对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布道的条件下，对所有可能的输入概率分布p(xi)，求平，求平均互信息的极大值。采用拉各朗日乘子法来计算。均互信息的极大值。采用拉各朗日乘子法来计算。(1)两边乘两边乘p(ai)，并求和，则有：，并求和，则有：(2)将（将（2 2）代入（）代入（1 1），则有：），则有：（3）（4）则（则（3）变为：）变为：（5）（6）（7）（8）（9）总结总结C C的求法，过程如下：的求法，过程如下：例例：信道矩阵如下，求：信道矩阵如下，求C C。12343.1 信道的数学模型和分类信道的数学模型和分类3.2 单单符号离散信符号离散信道道3.3 多符号离散信道多符号离散信道3.4 多用户信道多用户信道3.5 信道编码定理信道编码定理3.3 多多符号离散信符号离散信道道3.3.1 多符号离散信道的数学模多符号离散信道的数学模型型3.3.2 离散无记忆信道的离散无记忆信道的N次扩展次扩展信道和独立并联信道的信道容量信道和独立并联信道的信道容量多符号离散信道多符号离散信道 多符号信源通过离散信道传输形多符号信源通过离散信道传输形成多符号离散信道。成多符号离散信道。3.3.1 多符号离散信道的数学模型多符号离散信道的数学模型输入输入输出输出3.3 多多符号离散信符号离散信道道3.3.1 多符号离散信道的数学模型多符号离散信道的数学模型3.3.2 3.3.2 离散无记忆信道的离散无记忆信道的N N次扩次扩展信道和独立并联信道的信道容量展信道和独立并联信道的信道容量3.3.2 离散无记忆信道的离散无记忆信道的N次扩展次扩展信道和独立并联信道的信道容量信道和独立并联信道的信道容量无记忆：无记忆：YK仅与仅与XK有关有关1YNY(a)=-=-=NKKKNKKNKKNNKKKNNKKKXYHYHYXIYHYYYHXYHYYYHXYHYHYXI111211211 )/()();()().()/().()/()();(rrrrr3.1 信道的数学模型和分类信道的数学模型和分类3.2 单单符号离散信符号离散信道道3.3 多多符号离散信符号离散信道道3.4 3.4 多用户信道多用户信道3.5 信道编码定理信道编码定理3.4 3.4 多用户信道多用户信道3.4.1 多址接入信道多址接入信道3.4.2 广播信道广播信道3.4.3 相关信源的多用户信道相关信源的多用户信道3.4.1 多址接入信道多址接入信道多入单出信道多入单出信道信源信源1 1信源信源2 2编码器编码器1 1编码器编码器2 2译译码码二址接入信道模型R2 C20 C1 C12C1+C2R13.4 3.4 多用户信道多用户信道3.4.1 多址接入信道多址接入信道3.4.2 广播信道广播信道3.4.3 相关信源的多用户信道相关信源的多用户信道3.4.2 3.4.2 广播信道广播信道广播信道广播信道具有单个输入和多个输出的信道。信源信源1 1编码器编码器信道信道信源信源2 2译码器译码器2 2译码器译码器1 1图3.4.4 单输入双输出广播信道模型退化广播信道（串联）图3.4.5 退化的广播信道模型构成马尔可夫链不变，保持最大3.4 3.4 多用户信道多用户信道3.4.1 多址接入信道多址接入信道3.4.2 广播信道广播信道3.4.3 相关信源的多用户信道相关信源的多用户信道模型13.4.3 3.4.3 相关信源的多用户信道相关信源的多用户信道信信源源编码器编码器1 1编码器编码器2 2信道信道1 1信道信道2 2译码器译码器1 1译码器译码器2 2相关信源多用户信道C2C1E1C1D1x1x2边信息边信息模型模型2RE1E2C1C2D1D2x1x2E0C0wW:公信息公信息要求要求R0尽可能小，并且在尽可能小，并且在W条件下，条件下，X1X2无关无关3.1 3.1 信道的数学模型和分类信道的数学模型和分类3.2 3.2 单符号离散信道单符号离散信道3.3 3.3 多符号离散信道多符号离散信道3.4 3.4 多用户信道多用户信道3.5 3.5 连续信道连续信道3.5 3.5 连续信道连续信道连续信道的数学模型加性连续信道加性连续信道NY=X+NX 利用坐标变换原理,可证p(y/x)=p(n)X,N相互独立。假定N是均值为0，方差为的高斯变量噪噪声声功功率率输入平输入平均功率均功率输出平输出平均功率均功率对于高斯加性信道信噪功率比香农公式香农公式(bit/s)3.1 3.1 信道的数学模型和分类信道的数学模型和分类3.2 3.2 单符号离散信道单符号离散信道3.3 3.3 多符号离散信道多符号离散信道3.4 3.4 多用户信道多用户信道3.5 3.5 连续信道连续信道3.6 3.6 信道编码定理信道编码定理3.6 3.6 信道编码定理信道编码定理 若一离散平稳无记忆信道，其容量为C，输入序列长度为L，只要待传送的信息率RC,RC,任何编码的必大于0，当R R C C结论结论
