第3章.信道与信道容量.ppt

《第3章.信道与信道容量.ppt》由会员分享，可在线阅读，更多相关《第3章.信道与信道容量.ppt（78页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第3章章 信道与信道容量信道与信道容量第第3章章 信道与信道容量信道与信道容量信道分类和表示参数信道分类和表示参数离散单个符号信道及其容量离散单个符号信道及其容量离散序列信道及其容量离散序列信道及其容量连续信道及其容量连续信道及其容量23.1 信道分类和表示参数信道分类和表示参数信道的分类信道的分类信道参数信道参数33.1.1 信道的分类信道的分类信道信道信道就是信息传输的通道。信道就是信息传输的通道。在通信中，信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律，通信技术必须研究信号在这些信道中传输时的特性。信息论不研究信号在信道中传输的物理

2、过程，并假定信道的传输特性已知，这样信息论就可以抽象地将信道用下图所示的模型来描述。43.1.1 信道的分类信道的分类信道信道输入量X(随机过程)输出量Y(随机过程)信道53.1.1 信道的分类信道的分类信道分类信道分类可以根据不同的角度进行分类。63.1.1 信道的分类信道的分类信道分类信道分类按用户数量：单用户信道单用户信道只有一个输入端和一个输出端，信息单向传输。多用户多用户信道多用户多用户信道输入端和输出端至少有一个端存在两个以上用户，信息双向传输。73.1.1 信道的分类信道的分类信道分类信道分类按输入端和输出端关系：无反馈信道无反馈信道输出端的信号不反馈到输入端。反馈信道反馈信道输

3、出信号通过一定途径反馈到输入端。83.1.1 信道的分类信道的分类信道分类信道分类按信道参数与时间的关系：固定参数信道固定参数信道参数信道不随时间变化而变化，如光纤、电缆信道。时变参数信道时变参数信道信道参数随时间变化而变化，如无线信道。93.1.1 信道的分类信道的分类信道分类信道分类按噪声种类：随机差错信道随机差错信道噪声独立随机地影响每个传输码元，如以高斯白噪高斯白噪声声为主体的信道。突发差错信道突发差错信道噪声、干扰的影响是前后相关的，错误成串出现，如实际的衰落信道、码间干扰信道。由于这两类噪声导致的差错特性不同，因而需要选择不同的纠错编码方法。103.1.1 信道的分类信道的分类信道

4、分类信道分类按输入输出特点：离散信道离散信道输入输出信号在时间和幅度上均离散。连续信道连续信道信号的符号是连续的，而时间是离散的。半离散半连续信道半离散半连续信道输入和输出两个信号中有一个是离散的，另一个是连续的。波形信道波形信道输入和输出信号在时间和幅度上均连续。113.1.2 信道参数信道参数信道参数信道参数输入量X(随机过程)输出量Y(随机过程)信道123.1.2 信道参数信道参数信道分类及其参数描述信道分类及其参数描述根据信道是否存在干扰及其有无记忆，可以将信道分为下面三大类：1）无干扰（无噪声）信道2）有干扰无记忆信道3）有干扰有记忆信道133.1.2 信道参数信道参数无干扰（无噪声

5、）信道无干扰（无噪声）信道信道的输出信号Y与输入信号X之间有确定的关系有确定的关系Y=f(X)已知X后就确知Y，转移概率为：注意：注意：无干扰信道并不一定要求输入信号和输出信号相等，只要有确定的对应关系，就可以由输入信号惟一确定输出信号。143.1.2 信道参数信道参数有干扰无记忆信道有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系没有确定的关系，但转移概率满足下列情况：即每个输出信号只与当前的输入信号之间有转移概率关系，而与其他非该时刻的输入信号、输出信号都无关，也就是无记忆性无记忆性。153.1.2 信道参数信道参数有干扰无记忆信道有干扰无记忆信道按照输入输出信号的符号数目，

6、有干扰信道可以进一步划分为：（1）二进制离散信道（2）离散无记忆信道（3）离散输入、连续输出信道（4）波形信道163.1.2 信道参数信道参数二进制离散信道（二进制离散信道（Binary Symmetric Channel,BSC）输入符号X取值0,1；输出符号Y取值0,1。信道转移概率为：传输发生错传输发生错误的概率误的概率无错误传无错误传输的概率输的概率173.1.2 信道参数信道参数二进制离散信道（二进制离散信道（Binary Symmetric Channel,BSC）183.1.2 信道参数信道参数离散无记忆信道（离散无记忆信道（Discrete Memoryless Channel

7、,DMC）193.1.2 信道参数信道参数离散无记忆信道（离散无记忆信道（Discrete Memoryless Channel,DMC）BSC是DMC的一种特例。203.1.2 信道参数信道参数离散输入、连续输出信道离散输入、连续输出信道波形信道波形信道213.1.2 信道参数信道参数有干扰有记忆信道有干扰有记忆信道存在码间干扰，输出信号不但与当前的信号有关，还与以前的输入信号有关。223.2 离散单个符号信道及其容量离散单个符号信道及其容量信息传输率信息传输率将信道中平均每个符号所能传送的信息量定义为信道的信息传输率R，即信道的信息传输率就是平均互信息信道的信息传输率就是平均互信息。233

8、.2 离散单个符号信道及其容量离散单个符号信道及其容量信息传输率信息传输率有时需要了解的是信道在单位时间内平均传输的信息量，若已知平均传输一个符号所需的时间为t秒，则将信道在单位时间内平均传输的信息量定义为信息传输速率，即：注意：注意：信息传输率243.2 离散单个符号信道及其容量离散单个符号信道及其容量信道容量信道容量253.2 离散单个符号信道及其容量离散单个符号信道及其容量信道容量信道容量有时关心单位时间内的信道容量，若已知平均传输一个符号所需的时间为t秒，则：注意：注意：信道容量263.2 离散单个符号信道及其容量离散单个符号信道及其容量信道容量信道容量对于特定的信道，信道容量是个定值

9、，但在传输信息时对于特定的信道，信道容量是个定值，但在传输信息时信道能否提供其最大传输能力，则取决与输入端的概率信道能否提供其最大传输能力，则取决与输入端的概率分布。分布。273.2 离散单个符号信道及其容量离散单个符号信道及其容量信道容量的计算信道容量的计算对于一般信道，信道容量计算相当复杂，我们只讨论某些特殊类型的信道：无干扰离散信道无干扰离散信道 无嗓无损信道 有噪无损信道 无噪有损信道 对称对称DMC信道信道准对称准对称DMC信道信道一般一般DMC信道信道283.2.1 无干扰离散信道无干扰离散信道无干扰离散信道无干扰离散信道293.2.1 无干扰离散信道无干扰离散信道无干扰离散信道无

10、干扰离散信道1）无噪无损信道无噪无损信道：X、Y一一对应，即n=m。条件转移概率矩阵是一个单位阵，H(Y|X)=0，I(X;Y)=H(X)=H(Y)。此时当输入符号分布为等概率时，信道的传输能力能达到信道容量a1 b1 a2 b2an bmX111.Y303.2.1 无干扰离散信道无干扰离散信道无干扰离散信道无干扰离散信道1）无噪无损信道无噪无损信道a1 b1 a2 b2an bmX111.Y313.2.1 无干扰离散信道无干扰离散信道无干扰离散信道无干扰离散信道2）无噪有损信道无噪有损信道：多个输入变成一个输出，即nm。噪声熵H(Y|X)=0，但疑似度H(X|Y)0，故H(X)H(Y)。X1

11、11.Ya1a2a3anb1bm11an-1输出输出Y Y是输入是输入X X的的确定函数，但不确定函数，但不是一一对应，而是一一对应，而是多一对应关系。是多一对应关系。323.2.1 无干扰离散信道无干扰离散信道无干扰离散信道无干扰离散信道3）有噪无损信道有噪无损信道：一个输入对于多个输出，但每个输入对应的输出不重合，此时nm。疑似度H(X|Y)=0，噪声熵H(Y|X)0，固H(X)H(Y)。X111.Ya1b2b3anb1bm11bn-1333.2.2 对称对称DMC信道信道对称对称DMC信道的定义信道的定义输入对称输入对称如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素），称该矩阵

12、是输入对称的。输出对称输出对称如果转移概率矩阵P的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对称的。对称的对称的DMC信道信道如果输入、输出都对称。343.2.2 对称对称DMC信道信道对称对称DMC信道的例子信道的例子具有对称性，因而所对应的信道是对称离散信道。353.2.2 对称对称DMC信道信道对称对称DMC信道的反例信道的反例不具有对称性，因而所对应的信道不是对称离散信道。363.2.2 对称对称DMC信道信道对称对称DMC信道的平均互信息信道的平均互信息373.2.2 对称对称DMC信道信道对称对称DMC信道的平均互信息信道的平均互信息383.2.2 对称对称DMC信道信

13、道对称对称DMC信道的平均互信息信道的平均互信息393.2.2 对称对称DMC信道信道对称对称DMC信道的容量信道的容量403.2.2 对称对称DMC信道信道对称对称DMC信道的容量信道的容量如果信道输入符号等概率分布，即p(ai)=1/n，则由于转移概率矩阵的列对称，所以：与j无关，即信道输出符号也是等概率分布；反之，若信道输出符号等概率分布，对称信道的输入符号也是等概率分布。413.2.2 对称对称DMC信道信道对称对称DMC信道的容量信道的容量因此，当信道输出符号等概率分布时，输入符号也等概率分布，此时H(Y)最大。对称DMC信道的容量为：此处是此处是m,而不是而不是n此处只对此处只对j

14、求和求和,i为一给定值为一给定值423.2.2 对称对称DMC信道信道对称对称DMC信道的容量举例信道的容量举例例1：某对称离散信道的信道转移概率矩阵为求其信道容量。433.2.2 对称对称DMC信道信道对称对称DMC信道的容量举例信道的容量举例解：443.2.2 对称对称DMC信道信道强对称信道（均匀信道）强对称信道（均匀信道）若输入符号和输出符号个数相同，都等于n，且信道转移概率矩阵为：此信道称为强对称信道强对称信道或均匀信道均匀信道，是对称离散信道的一个特例。453.2.2 对称对称DMC信道信道强对称信道（均匀信道）强对称信道（均匀信道）其信道容量为：463.2.2 对称对称DMC信道

15、信道BSC信道信道n为2时，即为BSC信道，其信道容量为：表示表示H是关于是关于的函数的函数473.2.2 对称对称DMC信道信道BSC信道信道483.2.2 对称对称DMC信道信道BSC信道信道上述分析结论是在固定输入端的概率分布（p）为均匀分布时得出的结论。当固定信道转移概率，即固定时：493.2.2 对称对称DMC信道信道信道容量相关结论信道容量相关结论503.2.2 对称对称DMC信道信道串联信道串联信道在实际通信系统中，信号往往要通过几个环节的传输，或多步的处理，这些传输和处理都可以看成是信道，它们串联而成一个串联信道，如下图所示：因为：所以：可以看出，串接的越多，其信道容量可能会越

16、小，当串可以看出，串接的越多，其信道容量可能会越小，当串接信道无限大时，信道容量就有可能趋于零。接信道无限大时，信道容量就有可能趋于零。信道m信道2信道1.513.2.2 对称对称DMC信道信道串联信道举例串联信道举例例：设有两个离散BSC信道，串接如下图，两个BSC信道的转移矩阵为：523.2.2 对称对称DMC信道信道串联信道举例串联信道举例则串联信道的转移矩阵为：533.2.2 对称对称DMC信道信道串联信道举例串联信道举例m个串联信道的互信息：543.2.3 准对称准对称DMC信道信道准对称准对称DMC信道的定义信道的定义如果转移概率矩阵P是输入对称而输出不对称，则称该信道是准对称准对

17、称DMC信道信道（即转移概率矩阵P的每一行都包含同样的元素，而各列的元素可以不同）。例如：553.2.3 准对称准对称DMC信道信道准对称准对称DMC信道的容量信道的容量由于转移概率矩阵中每行的元素相同，故下式仍成立：但由于每列的元素可能不相同，所以信道的输入和输出分布概率可能不等，此时H(Y)的最大值可能小于Y等概率时的熵，因此准对称DMC信道的容量563.2.3 准对称准对称DMC信道信道准对称准对称DMC信道的容量信道的容量因为互信息I是输入符号概率的型函数，根据信道容量的定义可以采用求解极值的方式，求得最大互信息和此时的输入符号概率。573.2.3 准对称准对称DMC信道信道准对称准对

18、称DMC信道的容量信道的容量实际上可以证明，当输入分布为等概率时，准对称DMC信道的最大互信息，即信道容量为：583.2.3 准对称准对称DMC信道信道准对称准对称DMC信道的容量举例信道的容量举例例：已知一个信道的信道转移矩阵为求其信道容量。解1：593.2.3 准对称准对称DMC信道信道准对称准对称DMC信道的容量举例信道的容量举例603.2.3 准对称准对称DMC信道信道准对称准对称DMC信道的容量举例信道的容量举例由得将对数看成是将对数看成是自然对数自然对数ln613.2.3 准对称准对称DMC信道信道准对称准对称DMC信道的容量举例信道的容量举例623.2.3 准对称准对称DMC信道

19、信道准对称准对称DMC信道的容量举例信道的容量举例解2：将信道转移概率矩阵分解为互不相干的对称子集利用公式：分解为633.2.4 一般一般DMC信道信道一般一般DMC信道容量信道容量以输入符号概率矢量Px为自变量求函数I(Px)极大值即信道容量，从数学上看是一个规划问题，这个问题已经解决，称为Blahut-Arimoto算法。643.2.4 一般一般DMC信道信道一般一般DMC信道容量信道容量一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率p(ai)必须满足：上式说明，当信道的平均互信息达到信道容量时，输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息，

20、只是概率为0的除外。653.3 离散序列信道及其容量离散序列信道及其容量离散序列信道模型离散序列信道模型信道663.3 离散序列信道及其容量离散序列信道及其容量无记忆离散序列信道无记忆离散序列信道对于无记忆离散序列信道，其信道转移概率为：仅与当前输入有关。若信道是平稳的，则：673.3 离散序列信道及其容量离散序列信道及其容量离散序列信道的容量离散序列信道的容量根据平均互信息的定义可以证明，该互信息有两个性质。683.3 离散序列信道及其容量离散序列信道及其容量离散序列信道的容量离散序列信道的容量性质性质1：如果信道无记忆，则性质性质2：如果输入矢量X中的各分量相互独立，则693.3 离散序列

21、信道及其容量离散序列信道及其容量离散序列信道的容量离散序列信道的容量如果输入矢量X独立且信道无记忆，则上述两个性质达到统一，即所以703.3 离散序列信道及其容量离散序列信道及其容量离散序列信道的容量离散序列信道的容量固此时信道容量为当信道平稳时一般情况下：713.3 离散序列信道及其容量离散序列信道及其容量离散序列信道的容量举例离散序列信道的容量举例例：下图所示的是BSC信道的二次扩展信道，X00,01,10,11，Y00,01,10,11，计算其信道容量。0010110100011011723.3 离散序列信道及其容量离散序列信道及其容量离散序列信道的容量举例离散序列信道的容量举例解：由B

22、SC信道的单符号转移概率：可以求得二次扩展无记忆信道的序列转移概率为：733.3 离散序列信道及其容量离散序列信道及其容量离散序列信道的容量举例离散序列信道的容量举例则转移概率矩阵为：743.3 离散序列信道及其容量离散序列信道及其容量离散序列信道的容量举例离散序列信道的容量举例由此看出这是一个对称DMC信道，当输入序列等概率分布时，根据对称DMC信道的信道容量求解公式可得：当p=0.1时：可以看出，C2正好是C1的两倍。753.3 离散序列信道及其容量离散序列信道及其容量独立并联信道独立并联信道p(Y1|X1)p(YL|XL)p(Y2|X2)X1X2XLY1Y2YL信道信道信道763.3 离散序列信道及其容量离散序列信道及其容量独立并联信道的容量独立并联信道的容量独立并联信道的转移概率为故其也是无记忆序列信道，所以即联合平均互信息不大于各自信道平均互信息之和。独立并联信道的容量为：773.4 连续信道及其容量连续信道及其容量不要求掌握。78