信道与信道容量讲稿.ppt

《信道与信道容量讲稿.ppt》由会员分享，可在线阅读，更多相关《信道与信道容量讲稿.ppt（47页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信道与信道容量信道与信道容量第一页，讲稿共四十七页哦信道模型和信道容量信道模型和信道容量oo信道信道信道信道n n传送信息的载体，信号通过的通道。传送信息的载体，信号通过的通道。传送信息的载体，信号通过的通道。传送信息的载体，信号通过的通道。n n任务是以信号方式传输信息、存储信息。任务是以信号方式传输信息、存储信息。任务是以信号方式传输信息、存储信息。任务是以信号方式传输信息、存储信息。n n研究信道就是研究信道中理论上能够传输或存储的最研究信道就是研究信道中理论上能够传输或存储的最研究信道就是研究信道中理论上能够传输或存储的最研究信道就是研究信道中理论上能够传输或存储的最大信息量，即大信息

2、量，即大信息量，即大信息量，即信道的容量问题信道的容量问题信道的容量问题信道的容量问题。信息论不研究信号在。信息论不研究信号在。信息论不研究信号在。信息论不研究信号在信道中传输的物理过程。信道中传输的物理过程。信道中传输的物理过程。信道中传输的物理过程。oo信道研究方法信道研究方法信道研究方法信道研究方法n n抽象地将信道问题归结为输入、输出和转移概率矩阵三抽象地将信道问题归结为输入、输出和转移概率矩阵三抽象地将信道问题归结为输入、输出和转移概率矩阵三抽象地将信道问题归结为输入、输出和转移概率矩阵三个要素来描述。个要素来描述。个要素来描述。个要素来描述。信信信信 道道道道输入输入输入输入X X

3、输出输出输出输出Y YP P(Y Y/X X)2023/3/312第二页，讲稿共四十七页哦信道分类信道分类1.按信道的用户数量来划分按信道的用户数量来划分n单用户信道单用户信道：即只有一个输入端和一个输出端：即只有一个输入端和一个输出端的单向通信信道。的单向通信信道。n多用户信道多用户信道：即在输入端或输出端中至少有一：即在输入端或输出端中至少有一端存在两个以上的用户，并且还可以双向通信端存在两个以上的用户，并且还可以双向通信的信道。的信道。2.2.2.2.按输入按输入按输入按输入/输出之间的关系来划分输出之间的关系来划分输出之间的关系来划分输出之间的关系来划分n n无反馈信道无反馈信道无反馈

4、信道无反馈信道：信道的输出端信号不反馈到输入端，即输出信：信道的输出端信号不反馈到输入端，即输出信：信道的输出端信号不反馈到输入端，即输出信：信道的输出端信号不反馈到输入端，即输出信号对输入信号没有影响。号对输入信号没有影响。号对输入信号没有影响。号对输入信号没有影响。n n反馈信道反馈信道反馈信道反馈信道：信道的输出信号通过一定途径反馈到输入端，使：信道的输出信号通过一定途径反馈到输入端，使：信道的输出信号通过一定途径反馈到输入端，使：信道的输出信号通过一定途径反馈到输入端，使输入端的信号发生变化。输入端的信号发生变化。输入端的信号发生变化。输入端的信号发生变化。2023/3/313第三页，

5、讲稿共四十七页哦信道分类信道分类3.按信道参数与时间的关系来划分按信道参数与时间的关系来划分n固定参数信道固定参数信道：即信道的统计特性不随时间而：即信道的统计特性不随时间而变化，如光纤、电缆信道。变化，如光纤、电缆信道。n时变参数信道时变参数信道：即信道的统计特性随时间而变：即信道的统计特性随时间而变化，如无线信道。化，如无线信道。4.4.按信道中的噪声种类来划分按信道中的噪声种类来划分按信道中的噪声种类来划分按信道中的噪声种类来划分n随机差错信道随机差错信道：指噪声随机地影响每个传输码元，指噪声随机地影响每个传输码元，指噪声随机地影响每个传输码元，指噪声随机地影响每个传输码元，如以高斯白噪

6、声为主体的信道。如以高斯白噪声为主体的信道。如以高斯白噪声为主体的信道。如以高斯白噪声为主体的信道。n突发差错信道：突发差错信道：指噪声、干扰的影响是前后相关的，指噪声、干扰的影响是前后相关的，指噪声、干扰的影响是前后相关的，指噪声、干扰的影响是前后相关的，错误成串出现，如脉冲干扰或闪电等。错误成串出现，如脉冲干扰或闪电等。错误成串出现，如脉冲干扰或闪电等。错误成串出现，如脉冲干扰或闪电等。2023/3/314第四页，讲稿共四十七页哦信道分类信道分类5.5.按输入按输入按输入按输入/输出信号在幅度和时间上的取值划分输出信号在幅度和时间上的取值划分n离散信道离散信道：输入和输出的信号在时间和幅度

7、上：输入和输出的信号在时间和幅度上均为离散的信道。均为离散的信道。n连续信道连续信道：信号的幅度连续，时间离散。：信号的幅度连续，时间离散。n半离散半连续信道半离散半连续信道：oo输入变量取值离散而输出变量取值连续。输入变量取值离散而输出变量取值连续。输入变量取值离散而输出变量取值连续。输入变量取值离散而输出变量取值连续。oo输入变量取值连续而输出变量取值离散。输入变量取值连续而输出变量取值离散。输入变量取值连续而输出变量取值离散。输入变量取值连续而输出变量取值离散。n波形信道波形信道：信道的输入和输出信号在时间和幅：信道的输入和输出信号在时间和幅度上均连续，一般可用随机过程来描述。度上均连续

8、，一般可用随机过程来描述。单用户、无反馈、固定参数单用户、无反馈、固定参数单用户、无反馈、固定参数单用户、无反馈、固定参数的的的的离散离散离散离散信道信道2023/3/315第五页，讲稿共四十七页哦信道模型信道模型o信道转移概率矩阵信道转移概率矩阵信道转移概率矩阵信道转移概率矩阵p p(Y Y/X)n描述输入描述输入/输出的统计依赖关系，反映信道统输出的统计依赖关系，反映信道统计关系。计关系。o信道的输入信道的输入X X=(X X1,X2,X Xi,),)n n输入符号集：输入符号集：输入符号集：输入符号集：X Xi=a1,a2 2,a an no信道的输出信道的输出信道的输出信道的输出 Y

9、Y=(=(Y1,Y2,Yj j,),)n n输出符号集：输出符号集：输出符号集：输出符号集：Yj j=b b1,b b2 2,bm 信信信信 道道道道输入输入输入输入X X输出输出输出输出Y Yp p(Y Y/X X)2023/3/316第六页，讲稿共四十七页哦根据干扰和记忆性分类根据干扰和记忆性分类oo无干扰（无噪声）信道无干扰（无噪声）信道无干扰（无噪声）信道无干扰（无噪声）信道n n信道的输出信号信道的输出信号信道的输出信号信道的输出信号Y Y与输入信号与输入信号与输入信号与输入信号X X之间有确定的关系之间有确定的关系之间有确定的关系之间有确定的关系Y Y=f f(X X)oo有干扰无

10、记忆信道有干扰无记忆信道有干扰无记忆信道有干扰无记忆信道n n每个输出信号只与当前输入信号之间有转移概率关系，与其他时刻每个输出信号只与当前输入信号之间有转移概率关系，与其他时刻每个输出信号只与当前输入信号之间有转移概率关系，与其他时刻每个输出信号只与当前输入信号之间有转移概率关系，与其他时刻的输入（出）信号无关。的输入（出）信号无关。的输入（出）信号无关。的输入（出）信号无关。oo有干扰有记忆信道有干扰有记忆信道有干扰有记忆信道有干扰有记忆信道n n一般情况下，信道存在码间干扰，输入信号不但与当前输入信号一般情况下，信道存在码间干扰，输入信号不但与当前输入信号一般情况下，信道存在码间干扰，输

11、入信号不但与当前输入信号一般情况下，信道存在码间干扰，输入信号不但与当前输入信号有关，还与以前的输入信号有关。有关，还与以前的输入信号有关。有关，还与以前的输入信号有关。有关，还与以前的输入信号有关。oo将记忆很强的将记忆很强的将记忆很强的将记忆很强的L L个符号当作矢量符号，各矢量符号之间认为个符号当作矢量符号，各矢量符号之间认为个符号当作矢量符号，各矢量符号之间认为个符号当作矢量符号，各矢量符号之间认为是无记忆的。是无记忆的。是无记忆的。是无记忆的。oo将转移概率看成马尔可夫链的形式。将转移概率看成马尔可夫链的形式。将转移概率看成马尔可夫链的形式。将转移概率看成马尔可夫链的形式。2023/

12、3/317第七页，讲稿共四十七页哦信道模型信道模型1.二进制离散信道二进制离散信道：BSC信道信道n输入符号输入符号输入符号输入符号X X取值取值取值取值0,1n输出符号输出符号输出符号输出符号Y取值取值0,10,1n信道转移概率信道转移概率信道转移概率信道转移概率 p(0/0)=1pp(0/1)=p p(1/1)=1p p(1/0)=p0 01 10 01 1p pp p1-1-p p1-1-p p输输输输入入入入输输输输出出出出无错传输概率无错传输概率无错传输概率无错传输概率有错传输概率有错传输概率有错传输概率有错传输概率2023/3/318第八页，讲稿共四十七页哦信道模型信道模型2.离散

13、无记忆信道离散无记忆信道：DMC信道信道o输入符号集：输入符号集：X=a a1 1,a a2 2,a an no输出符号集：输出符号集：Y Y=b b1 1,b b2 2,b bmm o输入输出特性输入输出特性p p(Y Y=b bj/X=ai)p p(b bj/a ai)=p pij转移概率矩阵转移概率矩阵转移概率矩阵转移概率矩阵各行概率之各行概率之和为和为1 12023/3/319第九页，讲稿共四十七页哦信道模型信道模型3.3.离散输入、连续输出信道离散输入、连续输出信道离散输入、连续输出信道离散输入、连续输出信道oo输入符号集：输入符号集：输入符号集：输入符号集：X X=a a1 1,a

14、 a2 2,a an n oo输出未经量化，即输出未经量化，即输出未经量化，即输出未经量化，即Y Y=-,=-,oo输出特性由离散输入输出特性由离散输入输出特性由离散输入输出特性由离散输入X X、连续输出、连续输出、连续输出、连续输出Y Y以及一组条件概以及一组条件概以及一组条件概以及一组条件概率密度函数率密度函数率密度函数率密度函数 p p(y y/X X=a ai i)来决定。来决定。来决定。来决定。oo加性高斯白噪声（加性高斯白噪声（加性高斯白噪声（加性高斯白噪声（AWGNAWGN）信道）信道）信道）信道oo式中，式中，式中，式中，G G是均值为零、方差为是均值为零、方差为是均值为零、方

15、差为是均值为零、方差为 2 2的高斯随机变量的高斯随机变量的高斯随机变量的高斯随机变量oo当当当当X X给定，给定，给定，给定，Y Y是一个均值为是一个均值为是一个均值为是一个均值为a ai i、方差为、方差为、方差为、方差为 2 2的高斯随机变量的高斯随机变量的高斯随机变量的高斯随机变量有限、离散有限、离散有限、离散有限、离散YX XG G无限、连续无限、连续无限、连续无限、连续2023/3/3110第十页，讲稿共四十七页哦信道模型信道模型4.4.波形信道波形信道波形信道波形信道o输入是模拟波形，输出也是模拟波形输入是模拟波形，输出也是模拟波形o连续无记忆信道和连续有记忆信道连续无记忆信道和

16、连续有记忆信道 任一时刻输出变量与以前时刻的输入输出是否有关任一时刻输出变量与以前时刻的输入输出是否有关任一时刻输出变量与以前时刻的输入输出是否有关任一时刻输出变量与以前时刻的输入输出是否有关o根据噪声对信道中信号的作用不同，可将噪声根据噪声对信道中信号的作用不同，可将噪声分为：分为：加性噪声加性噪声和和乘性噪声乘性噪声o假设输入该信道的带限信号假设输入该信道的带限信号x(t)，相应的输出是，相应的输出是y(t)，n(t)代表加性噪声过程的一个样本函数，代表加性噪声过程的一个样本函数，则则y(t)x(t)n(t)加性高斯白噪声加性高斯白噪声加性高斯白噪声加性高斯白噪声2023/3/3111第十

17、一页，讲稿共四十七页哦信道容量的定义信道容量的定义o信道传输率信道传输率Rn n信道中平均每个符号能传送的信息量信道中平均每个符号能传送的信息量信道中平均每个符号能传送的信息量信道中平均每个符号能传送的信息量nR RI I(X X;Y)bit/符号符号o信息传输速率信息传输速率Rtn若平均传输一个符号所需时间为若平均传输一个符号所需时间为t tn则则 Rt tI I(X X;Y Y)/)/t t bit/bit/s当信道确定时，当信道确定时，当信道确定时，当信道确定时，p p(b bj j/a ai i)确定。互信息是关于确定。互信息是关于确定。互信息是关于确定。互信息是关于p p(a ai

18、i)的函数。的函数。的函数。的函数。2023/3/3112第十二页，讲稿共四十七页哦信道容量的定义信道容量的定义o定理定理：给定转移概率矩阵：给定转移概率矩阵P后，平均互信息后，平均互信息I(X;Y)是概率矢量是概率矢量Px的上凸函数。的上凸函数。n n概率矢量概率矢量概率矢量概率矢量P Px p p(a a1),p p(a a2),),p p(a an)o用用I(Px)表示表示I是是Px的函数，则在的函数，则在I(Px)曲线的上曲线的上凸点对应的输入符号概率矢量凸点对应的输入符号概率矢量Px上，上，I(Px)取取得极大值。这个值就是得极大值。这个值就是信道容量信道容量。2023/3/3113

19、第十三页，讲稿共四十七页哦信道容量的定义信道容量的定义o信道容量信道容量n n信道容量信道容量信道容量信道容量C C的单位是信道上每传送一个符号所能携带的单位是信道上每传送一个符号所能携带的单位是信道上每传送一个符号所能携带的单位是信道上每传送一个符号所能携带的比特数，即的比特数，即的比特数，即的比特数，即比特比特比特比特/符号符号符号符号。n n如果以如果以如果以如果以e e为底，即取自然对数时，信道容量的单位是为底，即取自然对数时，信道容量的单位是为底，即取自然对数时，信道容量的单位是为底，即取自然对数时，信道容量的单位是奈特奈特奈特奈特/符号符号符号符号。n n如果已知符号传送周期是如果

20、已知符号传送周期是如果已知符号传送周期是如果已知符号传送周期是T T 秒，信道容量秒，信道容量秒，信道容量秒，信道容量C Ct t=C C/T T，单位为单位为单位为单位为bit/sbit/s或或或或nat/snat/s。2023/3/3114第十四页，讲稿共四十七页哦第第3章信道与信道容量章信道与信道容量3.1信道的基本概念信道的基本概念3.2离散单个符号信道及其容量离散单个符号信道及其容量3.3离散序列信道及其容量离散序列信道及其容量3.4连续信道及其容量连续信道及其容量3.5信源与信道的匹配信源与信道的匹配2023/3/3115第十五页，讲稿共四十七页哦离散单符号信道离散单符号信道离散单

21、个离散单个离散单个离散单个符号信道符号信道符号信道符号信道无干扰离散信道无干扰离散信道无干扰离散信道无干扰离散信道有扰离散信道有扰离散信道有扰离散信道有扰离散信道对称对称对称对称DMCDMC信道信道信道信道准对称准对称准对称准对称DMCDMC信道信道信道信道一般一般一般一般DMCDMC信道信道信道信道无噪无损信道无噪无损信道无噪无损信道无噪无损信道无噪有损信道无噪有损信道无噪有损信道无噪有损信道有噪无损信道有噪无损信道有噪无损信道有噪无损信道2023/3/3116第十六页，讲稿共四十七页哦无干扰离散信道无干扰离散信道信道输入信道输入X=a1,a2,an，信道输出，信道输出Y=b1,b2,bmo

22、无噪无损信道无噪无损信道n n输入和输出符号之间有确定的一一对应关系。输入和输出符号之间有确定的一一对应关系。输入和输出符号之间有确定的一一对应关系。输入和输出符号之间有确定的一一对应关系。nH(Y Y/X X)=0)=0，HH(X X/Y Y)=0，I(X;Y)=)=HH(X)=HH(Y)nC=max=max I I(X X;Y Y)=)=log n输入符号等概率分布输入符号等概率分布输入符号等概率分布输入符号等概率分布2023/3/3117第十七页，讲稿共四十七页哦无干扰离散信道无干扰离散信道o无噪有损信道无噪有损信道n多个输入变成一个输出。多个输入变成一个输出。nH(Y/X)=0，H(X

23、/Y)0，H(X)H(Y)nC=max I(X;Y)=max H(Y)2023/3/3118第十八页，讲稿共四十七页哦无干扰离散信道无干扰离散信道o有噪无损信道有噪无损信道n一个输入对应多个输出。一个输入对应多个输出。nH(Y/X)0，H(X/Y)=0，H(X)H(Y)nC=max I(X;Y)=max H(X)2023/3/3119第十九页，讲稿共四十七页哦对称对称DMC信道信道oo对称对称对称对称DMCDMC信道的定义信道的定义信道的定义信道的定义oo输入对称矩阵输入对称矩阵输入对称矩阵输入对称矩阵：转移概率矩阵：转移概率矩阵：转移概率矩阵：转移概率矩阵P P的每一行都是第一的每一行都是第

24、一的每一行都是第一的每一行都是第一行的置换（包含同样元素）。行的置换（包含同样元素）。行的置换（包含同样元素）。行的置换（包含同样元素）。oo输出对称矩阵输出对称矩阵输出对称矩阵输出对称矩阵：转移概率矩阵：转移概率矩阵：转移概率矩阵：转移概率矩阵P P的每一列都是第一的每一列都是第一的每一列都是第一的每一列都是第一列的置换（包含同样元素）。列的置换（包含同样元素）。列的置换（包含同样元素）。列的置换（包含同样元素）。oo如果输入、输出都对称，则称该如果输入、输出都对称，则称该如果输入、输出都对称，则称该如果输入、输出都对称，则称该DMCDMC为为为为对称对称对称对称DMCDMC信信信信道道道道

25、2023/3/3120第二十页，讲稿共四十七页哦对称对称DMC信道信道o有扰对称有扰对称DMC信道具有如下性质：信道具有如下性质：对称信道的条件熵对称信道的条件熵对称信道的条件熵对称信道的条件熵HH(Y Y/X X)与信道输入符号的概率分与信道输入符号的概率分与信道输入符号的概率分与信道输入符号的概率分布无关。布无关。布无关。布无关。如果信道输入符号等概率分布，则信道输出如果信道输入符号等概率分布，则信道输出符号也等概率分布；反之，若信道输出符号符号也等概率分布；反之，若信道输出符号等概率分布时，信道输入符号也是等概率分等概率分布时，信道输入符号也是等概率分布。布。2023/3/3121第二十

26、一页，讲稿共四十七页哦对称对称DMC信道信道当信道输入符号等概率分布时，对称当信道输入符号等概率分布时，对称DMC信道达到其信道容量。信道达到其信道容量。2023/3/3122第二十二页，讲稿共四十七页哦对称对称DMC信道信道例：信道转移概率矩阵为例：信道转移概率矩阵为求：信道容量求：信道容量解：解：n n=2=2时，为时，为时，为时，为BSCBSC信道信道信道信道=0=0时无差错，信道容量最大时无差错，信道容量最大时无差错，信道容量最大时无差错，信道容量最大=1/2=1/2时，信道容量为时，信道容量为时，信道容量为时，信道容量为0 02023/3/3123第二十三页，讲稿共四十七页哦对称对称

27、DMC信道信道o实际通信系统中，信号往往要通过几个环节的实际通信系统中，信号往往要通过几个环节的传输或多步的处理。若将这些传输和处理看成传输或多步的处理。若将这些传输和处理看成信道，则串接成为一个串联信道。信道，则串接成为一个串联信道。信道信道信道信道 1 1信道信道信道信道 2 2信道信道信道信道 mmXYZW根据信息不增性：根据信息不增性：串接的信道越多，其信道容量可能会越小；串接信道串接的信道越多，其信道容量可能会越小；串接信道串接的信道越多，其信道容量可能会越小；串接信道串接的信道越多，其信道容量可能会越小；串接信道数量无限多时，信道容量趋于零。数量无限多时，信道容量趋于零。数量无限多

28、时，信道容量趋于零。数量无限多时，信道容量趋于零。2023/3/3124第二十四页，讲稿共四十七页哦对称对称DMC信道信道例：设有两个离散例：设有两个离散BSC信道，其转移矩阵为信道，其转移矩阵为串联信道的转移矩阵为：串联信道的转移矩阵为：m为串接信道的个数为串接信道的个数为串接信道的个数为串接信道的个数2023/3/3125第二十五页，讲稿共四十七页哦准对称准对称DMC信道信道o如果转移概率矩阵如果转移概率矩阵P的输入对称而输出不对称，的输入对称而输出不对称，即即P的每一行都包含相同的元素而各列的元素不的每一行都包含相同的元素而各列的元素不同，则称该信道是同，则称该信道是准对称准对称DMC信

29、道信道。o准对称准对称DMC信道的容量信道的容量2023/3/3126第二十六页，讲稿共四十七页哦准对称准对称DMC信道信道例：已知信道转移矩阵为例：已知信道转移矩阵为求该信道容量。求该信道容量。解：设输入符号概率为解：设输入符号概率为p(a1)=，p(a2)=1联合概率矩阵联合概率矩阵输入符号等概率分布时，准对称输入符号等概率分布时，准对称输入符号等概率分布时，准对称输入符号等概率分布时，准对称DMCDMC信道达到其信道容量信道达到其信道容量信道达到其信道容量信道达到其信道容量C C2023/3/3127第二十七页，讲稿共四十七页哦准对称准对称DMC信道信道oo例：例：例：例：设信道转移概率

30、矩阵为：设信道转移概率矩阵为：设信道转移概率矩阵为：设信道转移概率矩阵为：求该信道的容量。求该信道的容量。求该信道的容量。求该信道的容量。oo解：解：解：解：当输入符号等概率分布时，当输入符号等概率分布时，当输入符号等概率分布时，当输入符号等概率分布时，达到信道的容量，即达到信道的容量，即达到信道的容量，即达到信道的容量，即2023/3/3128第二十八页，讲稿共四十七页哦准对称准对称DMC信道信道o矩阵分解法矩阵分解法n n将转移概率矩阵划分成若干个互不相交的对称子矩将转移概率矩阵划分成若干个互不相交的对称子矩将转移概率矩阵划分成若干个互不相交的对称子矩将转移概率矩阵划分成若干个互不相交的对

31、称子矩阵。阵。阵。阵。n当输入分布为等概率时，达到信道容量为当输入分布为等概率时，达到信道容量为当输入分布为等概率时，达到信道容量为当输入分布为等概率时，达到信道容量为n为输入符号集个数为输入符号集个数为输入符号集个数为输入符号集个数p p1 1 ps s是转移概率矩阵中一行的元素是转移概率矩阵中一行的元素N Nk k是第是第k k个子矩阵中行元素之和个子矩阵中行元素之和MMk是第是第是第是第k个子矩阵中列元素之和个子矩阵中列元素之和2023/3/3129第二十九页，讲稿共四十七页哦一般一般DMC信道信道o以输入符号概率矢量以输入符号概率矢量Px为自变量的函数为自变量的函数I(Px)的的极大值

32、，即信道容量。极大值，即信道容量。o为了使为了使I(X;Y)最大化，即求取信道容量的值，最大化，即求取信道容量的值，输入符号概率集输入符号概率集 p(ai)必须满足的充分必要条必须满足的充分必要条件是：件是：ooI I(a ai i;Y Y)C C，对于所有满足，对于所有满足，对于所有满足，对于所有满足p p(a ai i)0 0条件的条件的条件的条件的i iooI I(a ai i;Y Y)C C，对于所有满足，对于所有满足，对于所有满足，对于所有满足p p(a ai i)0 0条件的条件的条件的条件的i i此结论只给出了达到信道容量此结论只给出了达到信道容量此结论只给出了达到信道容量此结论

33、只给出了达到信道容量C C 时输入符号概率分布的充要条件，时输入符号概率分布的充要条件，时输入符号概率分布的充要条件，时输入符号概率分布的充要条件，并未给出具体值，所以并未给出具体值，所以并未给出具体值，所以并未给出具体值，所以C C 没有具体可求的公式。没有具体可求的公式。没有具体可求的公式。没有具体可求的公式。2023/3/3130第三十页，讲稿共四十七页哦第第3章信道与信道容量章信道与信道容量3.1信道的基本概念信道的基本概念3.2离散单个符号信道及其容量离散单个符号信道及其容量3.3离散序列信道及其容量离散序列信道及其容量3.4连续信道及其容量连续信道及其容量3.5信源与信道的匹配信源

34、与信道的匹配2023/3/3131第三十一页，讲稿共四十七页哦离散序列信道及其容量离散序列信道及其容量信信信信 道道道道输入输入输入输入X X输出输出输出输出Y Yp p(Y Y/X X)X=(=(X X1,X X2 2,XL)Xl l=a a1 1,a a2,anY Y=(Y Y1 1,Y2,YL L)Yl=b1,b b2 2,bm无记忆离散序列信道无记忆离散序列信道无记忆离散序列信道无记忆离散序列信道的转移概率为：的转移概率为：的转移概率为：的转移概率为：若信道是若信道是平稳的平稳的，则：，则：，则：，则：2023/3/3132第三十二页，讲稿共四十七页哦离散序列信道及其容量离散序列信道及

35、其容量平均互信息的两个性质：平均互信息的两个性质：p如果信道无记忆如果信道无记忆p如果输入矢量如果输入矢量如果输入矢量如果输入矢量X 中中中中 各个分量相互独立各个分量相互独立各个分量相互独立各个分量相互独立独立、无记忆独立、无记忆独立、无记忆独立、无记忆且平稳且平稳2023/3/3133第三十三页，讲稿共四十七页哦离散序列信道及其容量离散序列信道及其容量例：求例：求BSC二次扩展信道的信道容量。二次扩展信道的信道容量。解：解：0 01 10 01 1p pp p1-1-p p1-1-p p输输输输入入入入输输输输出出出出p p=0.1=0.1时时时时，C C1 1=0.53=0.53 bit

36、bit/符符符符 号号号号 C C2 2=1.06=1.06 bitbit/序列序列序列序列C C2 2=2=2C C1 12023/3/3134第三十四页，讲稿共四十七页哦离散序列信道及其容量离散序列信道及其容量o独立并联信道独立并联信道n nL L个相互独立的信道，每个信道的输出只与本信道个相互独立的信道，每个信道的输出只与本信道个相互独立的信道，每个信道的输出只与本信道个相互独立的信道，每个信道的输出只与本信道的输入有关。的输入有关。的输入有关。的输入有关。信信信信 道道道道X XY Yp p(Y Y/X X)2023/3/3135第三十五页，讲稿共四十七页哦第第3章信道与信道容量章信道

37、与信道容量3.1信道的基本概念信道的基本概念3.2离散单个符号信道及其容量离散单个符号信道及其容量3.3离散序列信道及其容量离散序列信道及其容量3.4连续信道及其容量连续信道及其容量3.5信源与信道的匹配信源与信道的匹配2023/3/3136第三十六页，讲稿共四十七页哦连续信道及其容量连续信道及其容量o连续单符号加性信道连续单符号加性信道n信道的输入和输出都是取值连续的一维随机变信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为量，加入信道的噪声是均值为零、方差为2的加的加性高斯噪声。性高斯噪声。非高斯噪声信道的容量要大于高斯噪声信道的容量非高斯噪声信道的容量要大于高

38、斯噪声信道的容量非高斯噪声信道的容量要大于高斯噪声信道的容量非高斯噪声信道的容量要大于高斯噪声信道的容量2023/3/3137第三十七页，讲稿共四十七页哦连续信道及其容量连续信道及其容量o多维无记忆加性连续信道多维无记忆加性连续信道多维无记忆加性连续信多维无记忆加性连续信道可等价成道可等价成L L个独立的并个独立的并联高斯加性信道联高斯加性信道2023/3/3138第三十八页，讲稿共四十七页哦连续信道及其容量连续信道及其容量o注水法注水法注水法注水法n某些单元时刻的噪声太大，使某些单元时刻的噪声太大，使子信道信号功率子信道信号功率pl出现负值。出现负值。n置置pl=0，重新调整信号功率的，重新

39、调整信号功率的分配，直至分配，直至pl不再出现负值。不再出现负值。n噪声小的子信道分配到的输入噪声小的子信道分配到的输入功率大，传输的比特数多。功率大，传输的比特数多。2023/3/3139第三十九页，讲稿共四十七页哦连续信道及其容量连续信道及其容量o受加性高斯白噪声干扰的带限波形信道受加性高斯白噪声干扰的带限波形信道n n输入输入输入输入x x(t t)、输出、输出、输出、输出y y(t t)和噪声和噪声和噪声和噪声n n(t t)：模拟波形：模拟波形：模拟波形：模拟波形n n带限带限带限带限AWGNAWGN波形信道在平均功率受限条件下信道容量的波形信道在平均功率受限条件下信道容量的波形信道

40、在平均功率受限条件下信道容量的波形信道在平均功率受限条件下信道容量的基本公式为基本公式为基本公式为基本公式为ooWW：频带宽度，简称带宽：频带宽度，简称带宽：频带宽度，简称带宽：频带宽度，简称带宽ooSNR SNR(信噪比信噪比信噪比信噪比)：表示信号功率与噪声功率的比值：表示信号功率与噪声功率的比值：表示信号功率与噪声功率的比值：表示信号功率与噪声功率的比值ooP PS S：信号的平均功率：信号的平均功率：信号的平均功率：信号的平均功率oo加性白噪声的功率谱密度为加性白噪声的功率谱密度为加性白噪声的功率谱密度为加性白噪声的功率谱密度为N N0 0/2/2香农公式香农公式香农公式香农公式bit

41、/s2023/3/3140第四十页，讲稿共四十七页哦连续信道及其容量连续信道及其容量o香农公式的讨论香农公式的讨论n带宽带宽W一定时，一定时，信道容量信道容量C C 随随信噪比信噪比SNRSNR的增的增加而单调增加，因此增大信号功率、减小信道加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。噪声可以增加信道容量。n信道容量信道容量C C一定时，一定时，带宽带宽W增大，增大，增大，增大，信噪比信噪比SNR可可可可降低，即二者可以互换。降低，即二者可以互换。降低，即二者可以互换。降低，即二者可以互换。n如果如果如果如果输入信号功率输入信号功率输入信号功率输入信号功率P PS S固定，固

42、定，固定，固定，信道容量信道容量C 随随带宽带宽WW的增加而增加。但到一定阶段后，增加变得缓慢。的增加而增加。但到一定阶段后，增加变得缓慢。的增加而增加。但到一定阶段后，增加变得缓慢。的增加而增加。但到一定阶段后，增加变得缓慢。2023/3/3141第四十一页，讲稿共四十七页哦连续信道及其容量连续信道及其容量oo香农限香农限香农限香农限n n每传输每传输每传输每传输1 1比特信息所需的能量。比特信息所需的能量。比特信息所需的能量。比特信息所需的能量。n n当归一化的信噪比小于香农限（当归一化的信噪比小于香农限（当归一化的信噪比小于香农限（当归一化的信噪比小于香农限（-1.6dB-1.6dB）时

43、，归一化信道）时，归一化信道）时，归一化信道）时，归一化信道容量为零，即信道完全丧失通信能力。容量为零，即信道完全丧失通信能力。容量为零，即信道完全丧失通信能力。容量为零，即信道完全丧失通信能力。oo频带利用率频带利用率频带利用率频带利用率n n归一化信道容量归一化信道容量归一化信道容量归一化信道容量n n单位频带的信息传输率。单位频带的信息传输率。单位频带的信息传输率。单位频带的信息传输率。2023/3/3142第四十二页，讲稿共四十七页哦连续信道及其容量连续信道及其容量例：电话信道的带宽为例：电话信道的带宽为3.3kHz，若信噪功率比，若信噪功率比为为20dB，即，即SNR100，计算该信

44、道的信道，计算该信道的信道容量。容量。解：解：实际电话信道的容量只有实际电话信道的容量只有实际电话信道的容量只有实际电话信道的容量只有19.2kbit/s19.2kbit/s理论计算没有考虑串音、回波等干扰因素理论计算没有考虑串音、回波等干扰因素理论计算没有考虑串音、回波等干扰因素理论计算没有考虑串音、回波等干扰因素2023/3/3143第四十三页，讲稿共四十七页哦第第3章信道与信道容量章信道与信道容量3.1信道的基本概念信道的基本概念3.2离散单个符号信道及其容量离散单个符号信道及其容量3.3离散序列信道及其容量离散序列信道及其容量3.4连续信道及其容量连续信道及其容量3.5信源与信道的匹配

45、信源与信道的匹配2023/3/3144第四十四页，讲稿共四十七页哦信源与信道的匹配信源与信道的匹配o符号匹配符号匹配n信源输出的符号必须是信道能够传送的符号，信源输出的符号必须是信道能够传送的符号，这是实现信息传输的必要条件。这是实现信息传输的必要条件。n可在信源与信道之间加入编码器予以实现，也可在信源与信道之间加入编码器予以实现，也可以在信源编码时一步实现。可以在信源编码时一步实现。o信息匹配信息匹配n对于某一信道，只有当输入符号的概率分布满对于某一信道，只有当输入符号的概率分布满足一定条件时，才能达到其信道容量。足一定条件时，才能达到其信道容量。n当信源与信道连接时，信息传输率达到了信道当

46、信源与信道连接时，信息传输率达到了信道容量，则称此信源与信道达到容量，则称此信源与信道达到匹配匹配；否则认为；否则认为信道有信道有冗余冗余。2023/3/3145第四十五页，讲稿共四十七页哦信源与信道的匹配信源与信道的匹配oo信道冗余度信道冗余度信道冗余度信道冗余度n n信道绝对冗余度信道绝对冗余度信道绝对冗余度信道绝对冗余度C CI I(X X;Y Y)n n信道相对冗余度信道相对冗余度信道相对冗余度信道相对冗余度n n无损信道的相对冗余度无损信道的相对冗余度无损信道的相对冗余度无损信道的相对冗余度无损信道的相对冗余度与信源的冗余度等价无损信道的相对冗余度与信源的冗余度等价冗余度大说明信源与

47、信道匹配程度低，信道的信息冗余度大说明信源与信道匹配程度低，信道的信息冗余度大说明信源与信道匹配程度低，信道的信息冗余度大说明信源与信道匹配程度低，信道的信息传递能力未得到充分利用。传递能力未得到充分利用。传递能力未得到充分利用。传递能力未得到充分利用。冗余度小说明信源与信道匹配程度高，信道的信冗余度小说明信源与信道匹配程度高，信道的信冗余度小说明信源与信道匹配程度高，信道的信冗余度小说明信源与信道匹配程度高，信道的信息传递能力得到较充分利用。息传递能力得到较充分利用。息传递能力得到较充分利用。息传递能力得到较充分利用。冗余度为零说明信源与信道完全匹配，信道的信息冗余度为零说明信源与信道完全匹

48、配，信道的信息冗余度为零说明信源与信道完全匹配，信道的信息冗余度为零说明信源与信道完全匹配，信道的信息传递能力得到完全利用。传递能力得到完全利用。传递能力得到完全利用。传递能力得到完全利用。2023/3/3146第四十六页，讲稿共四十七页哦信源与信道的匹配信源与信道的匹配X X1 1X X2 2X X3 3X X4 4p p(X Xi i)1/21/21/41/41/81/81/81/8例：某离散无记忆信源符号概率分布如下图所示。例：某离散无记忆信源符号概率分布如下图所示。例：某离散无记忆信源符号概率分布如下图所示。例：某离散无记忆信源符号概率分布如下图所示。通过一个无噪无损二元离散信道进行传

49、输，其信道容量为通过一个无噪无损二元离散信道进行传输，其信道容量为通过一个无噪无损二元离散信道进行传输，其信道容量为通过一个无噪无损二元离散信道进行传输，其信道容量为C C1 bit/1 bit/信道符号。信道符号。信道符号。信道符号。信源的信息熵：信源的信息熵：信源的信息熵：信源的信息熵：HH(X X)=1.75 bit/)=1.75 bit/信源符号信源符号信源符号信源符号C C1 10000010110101111C C2 2000000001001010010011011R R1 1=HH(X X)/2=0.875 bit/)/2=0.875 bit/信道符号信道符号信道符号信道符号C CR R2 2=HH(X X)/3=0.583 bit/)/3=0.583 bit/信道符号信道符号信道符号信道符号C C信道的信息传输率：信道的信息传输率：信道的信息传输率：信道的信息传输率：2023/3/3147第四十七页，讲稿共四十七页哦