信息理论基础 第四章 信道及信道容量.ppt

《信息理论基础 第四章 信道及信道容量.ppt》由会员分享，可在线阅读，更多相关《信息理论基础 第四章 信道及信道容量.ppt（49页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、本章需要掌握的内容本章需要掌握的内容：l l信道的数学模型及分类信道的数学模型及分类信道的数学模型及分类信道的数学模型及分类l l离散无记忆信道及扩展信道的特点和信道疑义度和离散无记忆信道及扩展信道的特点和信道疑义度和离散无记忆信道及扩展信道的特点和信道疑义度和离散无记忆信道及扩展信道的特点和信道疑义度和通过信道传递的信息通过信道传递的信息通过信道传递的信息通过信道传递的信息l l信道的组合信道的组合信道的组合信道的组合 l l离散对称信道的信道容量离散对称信道的信道容量离散对称信道的信道容量离散对称信道的信道容量l l信源与信道匹配信源与信道匹配信源与信道匹配信源与信道匹配l l模拟信道的信

2、道容量模拟信道的信道容量模拟信道的信道容量模拟信道的信道容量信道信道 信息传输的通道信息传输的通道 与信源并列的另一个与信源并列的另一个主要研究对象主要研究对象研究的主要内容研究的主要内容:信道的建模信道的建模信道容量信道容量不同条件下充分利用信道容量的方法不同条件下充分利用信道容量的方法一一.数学模型数学模型干扰干扰干扰干扰信道信道信道信道输入信号输入信号输入信号输入信号x x x x输出信号输出信号输出信号输出信号y y y yp(y|x)p(y|x)p(y|x)p(y|x)第一节第一节 信道模型及其分类信道模型及其分类p(y|x)p(y|x)：反映信道的统计特性，即输入输出的依赖关系，又

3、称信反映信道的统计特性，即输入输出的依赖关系，又称信反映信道的统计特性，即输入输出的依赖关系，又称信反映信道的统计特性，即输入输出的依赖关系，又称信道的传递概率、转移概率或传输概率。道的传递概率、转移概率或传输概率。道的传递概率、转移概率或传输概率。道的传递概率、转移概率或传输概率。信道的数学模型：信道的数学模型：XX，p(y|x)p(y|x)，YY1.1.1.1.按其输入按其输入按其输入按其输入/输出信号在幅度和时间上的取值是离散或输出信号在幅度和时间上的取值是离散或输出信号在幅度和时间上的取值是离散或输出信号在幅度和时间上的取值是离散或连续来分连续来分连续来分连续来分幅度幅度幅度幅度时间时

4、间时间时间信道名称信道名称信道名称信道名称离散离散离散离散离散离散离散离散离散信道离散信道离散信道离散信道(discrete channel)(discrete channel)(discrete channel)(discrete channel)，也称数字信道也称数字信道也称数字信道也称数字信道(digital channel)(digital channel)(digital channel)(digital channel)连续连续连续连续离散离散离散离散连续信道连续信道连续信道连续信道(continuous channel)(continuous channel)(continuou

5、s channel)(continuous channel)连续连续连续连续连续连续连续连续模拟信道模拟信道模拟信道模拟信道(analog channel)(analog channel)(analog channel)(analog channel)，也称波形信道也称波形信道也称波形信道也称波形信道(waveform channel)(waveform channel)(waveform channel)(waveform channel)离散离散离散离散连续连续连续连续理论、实用价值很小理论、实用价值很小理论、实用价值很小理论、实用价值很小二二.分类分类2.2.按其输入按其输入/输出之间关

6、系的记忆性划分输出之间关系的记忆性划分无记忆信道：无记忆信道：无记忆信道：无记忆信道：有记忆信道：有记忆信道：有记忆信道：有记忆信道：3.3.按其输入按其输入/输出信号之间是否是确定关系来输出信号之间是否是确定关系来分分有噪信道：有噪信道：有噪信道：有噪信道：无噪信道：无噪信道：无噪信道：无噪信道：在某一时刻信道的输出消息仅与当前在某一时刻信道的输出消息仅与当前在某一时刻信道的输出消息仅与当前在某一时刻信道的输出消息仅与当前信道的输入消息有关，而与之前时刻信道的输入消息有关，而与之前时刻信道的输入消息有关，而与之前时刻信道的输入消息有关，而与之前时刻的信道输入无关的信道输入无关的信道输入无关的

7、信道输入无关在任一时刻信道的输出不仅与当前输在任一时刻信道的输出不仅与当前输在任一时刻信道的输出不仅与当前输在任一时刻信道的输出不仅与当前输 入有关，而且还与以前时刻输入有关入有关，而且还与以前时刻输入有关入有关，而且还与以前时刻输入有关入有关，而且还与以前时刻输入有关存在噪声，不存在确定关系存在噪声，不存在确定关系存在噪声，不存在确定关系存在噪声，不存在确定关系 实用价实用价实用价实用价 值大，研究的理想对象值大，研究的理想对象值大，研究的理想对象值大，研究的理想对象不存在噪声，存在确定关系不存在噪声，存在确定关系不存在噪声，存在确定关系不存在噪声，存在确定关系 实用价实用价实用价实用价 值

8、小值小值小值小4.4.按其输入按其输入/输出信号个数来分输出信号个数来分两端信道两端信道(两用户信道两用户信道):):只有一个输入端和一个输出只有一个输入端和一个输出只有一个输入端和一个输出只有一个输入端和一个输出端的单向通信的信道端的单向通信的信道端的单向通信的信道端的单向通信的信道,又称为又称为又称为又称为单路信道单路信道.多端信道多端信道(多用户信道多用户信道):):信道的输入输出至少有一个信道的输入输出至少有一个信道的输入输出至少有一个信道的输入输出至少有一个具有两个或两个以上的信号具有两个或两个以上的信号具有两个或两个以上的信号具有两个或两个以上的信号.多元接入信道多元接入信道多元接

9、入信道多元接入信道广播信道广播信道广播信道广播信道5.5.按信道的统计特性分按信道的统计特性分恒参信道恒参信道变参信道变参信道一一.定义定义如果有如果有 ，则信道为，则信道为，则信道为，则信道为平平稳的离散无记忆信道稳的离散无记忆信道DMC。第二节第二节 离散无记忆信道离散无记忆信道DMCDMC1.1.定义定义输入输入输入输入/输出在幅度和时间上都是离散的，并输出在幅度和时间上都是离散的，并输出在幅度和时间上都是离散的，并输出在幅度和时间上都是离散的，并且在某一时刻信道的输出消息只与当前信道的输入有关，且在某一时刻信道的输出消息只与当前信道的输入有关，且在某一时刻信道的输出消息只与当前信道的输

10、入有关，且在某一时刻信道的输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。而与之前时刻的信道输入无关。而与之前时刻的信道输入无关。而与之前时刻的信道输入无关。2.2.数学模型数学模型 离散信道对任意离散信道对任意离散信道对任意离散信道对任意N N N N长的输入、输出序列有长的输入、输出序列有长的输入、输出序列有长的输入、输出序列有1.定义定义2.传输概率传输概率 p(y|x)p(y|x)描述信道中干扰影响的大小描述信道中干扰影响的大小描述信道中干扰影响的大小描述信道中干扰影响的大小二二.单符号离散无记忆信道单符号离散无记忆信道完全反映信道的特性完全反映信道的特性完全反映信道的特性

11、完全反映信道的特性3.信道矩阵信道矩阵P4.4.信道输出与输入之间的关系信道输出与输入之间的关系 例例4-14-1：其中：其中：其中：其中：p p p p表示传输中发生错误的概率表示传输中发生错误的概率表示传输中发生错误的概率表示传输中发生错误的概率二元对称信道二元对称信道二元对称信道二元对称信道(BSC)(BSC)(二进制对称信道二进制对称信道二进制对称信道二进制对称信道)其中：其中：其中：其中：p p、q q表示正确传输的概率表示正确传输的概率表示正确传输的概率表示正确传输的概率 二元删除信道二元删除信道二元删除信道二元删除信道 (二进制删除信道二进制删除信道二进制删除信道二进制删除信道)

12、1.1.信道疑义度信道疑义度(损失熵损失熵)表示：表示：由于信道的干扰，导致信道输出端收到由于信道的干扰，导致信道输出端收到由于信道的干扰，导致信道输出端收到由于信道的干扰，导致信道输出端收到Y Y后，对输入后，对输入后，对输入后，对输入X X仍然存在的平均不确定度。仍然存在的平均不确定度。仍然存在的平均不确定度。仍然存在的平均不确定度。也可表示：也可表示：由于信道干扰导致信息量的损失。由于信道干扰导致信息量的损失。由于信道干扰导致信息量的损失。由于信道干扰导致信息量的损失。信道信道信道信道 X X Y Y三三.信道疑义度和平均互信息信道疑义度和平均互信息信道信道H(X|Y)H(X|Y)X X

13、 X X Y Y H(X)H(X)I(X;Y)I(X;Y)表示：表示：接收端收到接收端收到接收端收到接收端收到Y Y后获得的关于后获得的关于后获得的关于后获得的关于X X的信息量的信息量的信息量的信息量(即接收到的信息量即接收到的信息量即接收到的信息量即接收到的信息量)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)定理定理1 1：对于固定信道，对于固定信道，对于固定信道，对于固定信道，I(X;Y)I(X;Y)I(X;Y)I(X;Y)是信源概率分布是信源概率分布是信源概率分布是信源概率分布p(x)p(x)p(x)p(x)的上凸函数。的上凸函数。的上凸函数。的上凸函数。2

14、.2.平均互信息平均互信息定理定理2:对于固定的信源分布，对于固定的信源分布，对于固定的信源分布，对于固定的信源分布，I(X;Y)I(X;Y)I(X;Y)I(X;Y)是信道传递概率是信道传递概率是信道传递概率是信道传递概率P(y|x)P(y|x)的下凸函数。的下凸函数。的下凸函数。的下凸函数。例例4-24-2：考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为 信道信道 X Y Y （0，1）（0，1）求其求其求其求其平均互信息平均互信息解解:应用全概率公式应用全概率公式应用全概率公式应用全概率公式则有：则有

15、：则有：则有：则平均互信息：则平均互信息：当信道固定，即当信道固定，即当信道固定，即当信道固定，即p p为一个固定常数为一个固定常数为一个固定常数为一个固定常数时，可得到时，可得到时，可得到时，可得到I(X;Y)I(X;Y)是信源输出分是信源输出分是信源输出分是信源输出分布布布布的上凸函数的上凸函数的上凸函数的上凸函数。当信源固定，即当信源固定，即当信源固定，即当信源固定，即 是一个常数时是一个常数时是一个常数时是一个常数时,可得到可得到可得到可得到I(X;Y)I(X;Y)I(X;Y)I(X;Y)是信道传递概率是信道传递概率是信道传递概率是信道传递概率p p p p的下的下的下的下凸函数凸函数

16、凸函数凸函数。当当当当p=0.5p=0.5时，时，时，时，I(X;Y)=0I(X;Y)=0，在接收端在接收端在接收端在接收端未获得信息量未获得信息量未获得信息量未获得信息量。当当当当=1/2=1/2=1/2=1/2 时，时，时，时，即取极大值即取极大值即取极大值即取极大值.例例4-34-3：掷色子，如果结果是掷色子，如果结果是掷色子，如果结果是掷色子，如果结果是1 1 1 1，2 2 2 2，3 3 3 3，4 4 4 4，则抛一次硬，则抛一次硬，则抛一次硬，则抛一次硬币；如果结果是币；如果结果是币；如果结果是币；如果结果是5 5 5 5、6 6 6 6，则抛两次硬币。试，则抛两次硬币。试，则

17、抛两次硬币。试，则抛两次硬币。试计算从抛硬币计算从抛硬币计算从抛硬币计算从抛硬币的结果可以得到多少掷色子的信息量的结果可以得到多少掷色子的信息量的结果可以得到多少掷色子的信息量的结果可以得到多少掷色子的信息量。解：解：设掷色子结果是设掷色子结果是设掷色子结果是设掷色子结果是1 1 1 1，2 2 2 2，3 3 3 3，4 4 4 4为事件为事件为事件为事件X=0X=0X=0X=0，结果是结果是结果是结果是5 5 5 5、6 6 6 6为事为事为事为事件件件件X=1X=1X=1X=1；Y=0Y=0Y=0Y=0表示抛硬币出现表示抛硬币出现表示抛硬币出现表示抛硬币出现0 0 0 0次正面次正面次正

18、面次正面,Y=1,Y=1,Y=1,Y=1表示抛硬币出现表示抛硬币出现表示抛硬币出现表示抛硬币出现1 1 1 1次正次正次正次正面面面面,Y=2,Y=2,Y=2,Y=2表示抛硬币出现表示抛硬币出现表示抛硬币出现表示抛硬币出现2 2 2 2次正面。次正面。次正面。次正面。信源信源信源信源概率空间为概率空间为概率空间为概率空间为信道矩阵为信道矩阵为信道矩阵为信道矩阵为输出符号的概率空间为输出符号的概率空间为输出符号的概率空间为输出符号的概率空间为则有：则有：则有：则有：四四.离散无记忆信道的离散无记忆信道的N N次扩展信道次扩展信道N N次扩展信道次扩展信道信道信道例例4-44-4：求二元无记忆对称

19、信道的二次扩展信道。求二元无记忆对称信道的二次扩展信道。求二元无记忆对称信道的二次扩展信道。求二元无记忆对称信道的二次扩展信道。解：解：输入扩展为：输入扩展为：输入扩展为：输入扩展为：00000000，01010101，10101010，11111111输出扩展为：输出扩展为：输出扩展为：输出扩展为：00000000，01010101，10101010，11111111传递矩阵扩展为：传递矩阵扩展为：传递矩阵扩展为：传递矩阵扩展为：请问：请问：与与与与I I（X X；Y Y）之间之间之间之间 的关系？的关系？的关系？的关系？定理定理1:1:若信道的输入、输出分别为若信道的输入、输出分别为若信道

20、的输入、输出分别为若信道的输入、输出分别为N N长序列长序列长序列长序列X X和和和和Y Y，且信道是无记忆的，即：且信道是无记忆的，即：且信道是无记忆的，即：且信道是无记忆的，即：用两个定理回答这个问题用两个定理回答这个问题定理定理2：若信道的输入、输出分别为若信道的输入、输出分别为若信道的输入、输出分别为若信道的输入、输出分别为N N长序列长序列长序列长序列X X和和和和Y Y，且信源是无记忆的，即：且信源是无记忆的，即：且信源是无记忆的，即：且信源是无记忆的，即：由定理由定理1和定理和定理2当信源和信道都是无记忆时有：当信源和信道都是无记忆时有：当信源和信道都是无记忆时有：当信源和信道都

21、是无记忆时有：当每个序列中的分量当每个序列中的分量当每个序列中的分量当每个序列中的分量X Xi i取值于同一信源符号集，且取值于同一信源符号集，且取值于同一信源符号集，且取值于同一信源符号集，且具有同一种概率分布，则输出具有同一种概率分布，则输出具有同一种概率分布，则输出具有同一种概率分布，则输出Y Y的分量的分量的分量的分量Y Yi i也也也也取值同一符取值同一符取值同一符取值同一符号集，则各号集，则各号集，则各号集，则各I I(X Xi i；Y Yi i)是相等的。即：是相等的。即：是相等的。即：是相等的。即：对于对于N次扩展，则有次扩展，则有一一.级联信道（串联信道）级联信道（串联信道）

22、信道信道信道信道1 1信道信道信道信道2 2 X YZp(y|x)p(y|x)p(z|xyp(z|xy)第三节第三节 信道组合信道组合消息依次通过几个信道串行传输消息依次通过几个信道串行传输消息依次通过几个信道串行传输消息依次通过几个信道串行传输：当信道不断级联时，信道的最终传输信息量趋于当信道不断级联时，信道的最终传输信息量趋于当信道不断级联时，信道的最终传输信息量趋于当信道不断级联时，信道的最终传输信息量趋于0 0串联信道的串联信道的串联信道的串联信道的总信道矩阵总信道矩阵例例4-54-5：下图中的下图中的下图中的下图中的X X X X、Y Y Y Y、Z Z Z Z满足马氏链，求该串联信

23、道满足马氏链，求该串联信道满足马氏链，求该串联信道满足马氏链，求该串联信道的总信道矩阵。的总信道矩阵。的总信道矩阵。的总信道矩阵。b1a1a2c1b2c2b3c3XYZ1/31/31/31/21/21/31/32/32/31解：解：由图可知由图可知由图可知由图可知多个信道联合起来使用多个信道联合起来使用多个信道联合起来使用多个信道联合起来使用12N并用信道并用信道并用信道并用信道 当待发送的消息比较多时，当待发送的消息比较多时，当待发送的消息比较多时，当待发送的消息比较多时，可用多个信道并行传送，香可用多个信道并行传送，香可用多个信道并行传送，香可用多个信道并行传送，香农称之为农称之为农称之为

24、农称之为平行信道平行信道 有各自的输入和输出，最有各自的输入和输出，最有各自的输入和输出，最有各自的输入和输出，最后总和。后总和。后总和。后总和。二二.并联信道并联信道信道信道1 1信道信道2 2信道信道N N输入并接信道输入并接信道输入并接信道输入并接信道 一个输入多个输出，且为一个输入多个输出，且为一个输入多个输出，且为一个输入多个输出，且为相同的输入。相同的输入。相同的输入。相同的输入。缺点缺点是是是是信道的利用率低信道的利用率低信道的利用率低信道的利用率低，但，但，但，但可可可可提高信息传输的可靠性提高信息传输的可靠性提高信息传输的可靠性提高信息传输的可靠性。信道信道1 1信道信道2

25、2信道信道N N和信道和信道和信道和信道 传输信息时，每次只使用其传输信息时，每次只使用其传输信息时，每次只使用其传输信息时，每次只使用其中一个信道，它的信道矩阵：中一个信道，它的信道矩阵：中一个信道，它的信道矩阵：中一个信道，它的信道矩阵：一一.基本概念：基本概念：1.1.信道容量信道容量信道容量信道容量C C：信道能信道能信道能信道能无错误无错误地传送的地传送的地传送的地传送的最大信息率最大信息率最大信息率最大信息率第四节第四节 信道容量信道容量2.2.2.2.信道的信息传输率信道的信息传输率信道的信息传输率信道的信息传输率R R：信道中平均每符号所能传送的信息量信道中平均每符号所能传送的

26、信息量信道中平均每符号所能传送的信息量信道中平均每符号所能传送的信息量3.3.3.3.信道的信息传输速率：信道的信息传输速率：信道的信息传输速率：信道的信息传输速率：信道在单位时间内平均传输信息量信道在单位时间内平均传输信息量信道在单位时间内平均传输信息量信道在单位时间内平均传输信息量信道在单位时间内传输的最大信息量为信道在单位时间内传输的最大信息量为信道在单位时间内传输的最大信息量为信道在单位时间内传输的最大信息量为 例例4-64-6：考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为求该信道的信道容量。求

27、该信道的信道容量。解：解：解：解：信道的平均互信息信道的平均互信息信道的平均互信息信道的平均互信息 当当当当=1-=1/2=1-=1/2=1-=1/2=1-=1/2 时，时，时，时，I(X;Y)I(X;Y)取极大值，即接收到的信息量取极大值，即接收到的信息量取极大值，即接收到的信息量取极大值，即接收到的信息量最大，则信道容量为：最大，则信道容量为：最大，则信道容量为：最大，则信道容量为：C=C=C=C=maxI(X;YmaxI(X;YmaxI(X;YmaxI(X;Y)=1-H()=1-H()=1-H()=1-H(p p)由此可知：信道容量只是传递概率的函数由此可知：信道容量只是传递概率的函数由

28、此可知：信道容量只是传递概率的函数由此可知：信道容量只是传递概率的函数1.无损信道：无损信道：一个输入对应多个互不相交的输出一个输入对应多个互不相交的输出一个输入对应多个互不相交的输出一个输入对应多个互不相交的输出二二.几种特殊信道的信道容量几种特殊信道的信道容量H(Y|X)0(H(Y|X)0(称称称称噪声熵噪声熵噪声熵噪声熵)则：则：则：则：信道容量信道容量2.确定信道：确定信道：一个输出对应多个不相交的输入一个输出对应多个不相交的输入一个输出对应多个不相交的输入一个输出对应多个不相交的输入 信道疑义度信道疑义度信道疑义度信道疑义度H(X|Y)0H(X|Y)0 单位：比特单位：比特单位：比特

29、单位：比特/符号符号符号符号3.无损确定信道：无损确定信道：输入与输出一一对应输入与输出一一对应输入与输出一一对应输入与输出一一对应 H(Y|X)=0H(Y|X)=0H(Y|X)=0H(Y|X)=0 H(X|Y)=0 H(X|Y)=0 H(X|Y)=0 H(X|Y)=0 则则则则 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)信道中没有损失信道中没有损失信道中没有损失信道中没有损失 单位：比特单位：比特单位：比特单位：比特/符号符号符号符号 可知可知：对于无噪信道求对于无噪信道求对于无噪信道求对于无噪信道求C C

30、 C C的问题已从求的问题已从求的问题已从求的问题已从求 I(X;Y)I(X;Y)I(X;Y)I(X;Y)极值问题退化成求极值问题退化成求极值问题退化成求极值问题退化成求H(X)H(X)H(X)H(X)或或或或H(Y)H(Y)H(Y)H(Y)极值问题极值问题极值问题极值问题。如果信道矩阵的每一行如果信道矩阵的每一行如果信道矩阵的每一行如果信道矩阵的每一行(列）都是第一行（列）元素的不同排列）都是第一行（列）元素的不同排列）都是第一行（列）元素的不同排列）都是第一行（列）元素的不同排列，则称该信道为列，则称该信道为列，则称该信道为列，则称该信道为行（列）对称信道行（列）对称信道行（列）对称信道行

31、（列）对称信道。若信道矩阵中，每一行若信道矩阵中，每一行若信道矩阵中，每一行若信道矩阵中，每一行(或列或列或列或列)都是第一行都是第一行都是第一行都是第一行(或第一列或第一列或第一列或第一列)的元素的的元素的的元素的的元素的不同排列，则称为不同排列，则称为不同排列，则称为不同排列，则称为离散对称信道离散对称信道离散对称信道离散对称信道。对称信道对称信道三三.离散对称信道离散对称信道对称信道对称信道1.1.定义：定义：则称此信道为则称此信道为则称此信道为则称此信道为均匀信道均匀信道。（对称信道的特例）。（对称信道的特例）。（对称信道的特例）。（对称信道的特例）如果对称信道的输入输出符号个数相同，

32、均为如果对称信道的输入输出符号个数相同，均为如果对称信道的输入输出符号个数相同，均为如果对称信道的输入输出符号个数相同，均为r r r r，且，且，且，且信道中总的错误概率信道中总的错误概率信道中总的错误概率信道中总的错误概率，平均分配给，平均分配给，平均分配给，平均分配给个输个输个输个输出符号，即信道矩阵为出符号，即信道矩阵为出符号，即信道矩阵为出符号，即信道矩阵为注意：注意：一般信道的信道矩阵的各行之和为一般信道的信道矩阵的各行之和为一般信道的信道矩阵的各行之和为一般信道的信道矩阵的各行之和为1 1 1 1，各列，各列，各列，各列之和不一定为之和不一定为之和不一定为之和不一定为1 1 1

33、1，但是均匀信道的各列之和为，但是均匀信道的各列之和为，但是均匀信道的各列之和为，但是均匀信道的各列之和为1 1 1 1 2.2.离散对称信道的离散对称信道的C C 式中式中 为信道矩阵中任一行的元素为信道矩阵中任一行的元素。若一个离散对称信道具有若一个离散对称信道具有r r个输入符号，个输入符号，s s个输个输出符号，则当输入为等概率分布时，达到信道容量出符号，则当输入为等概率分布时，达到信道容量C C定理：定理：证明：证明：则有：则有：结论结论:求离散对称信道的信道容量，实质上是求一种求离散对称信道的信道容量，实质上是求一种求离散对称信道的信道容量，实质上是求一种求离散对称信道的信道容量，

34、实质上是求一种输入分布输入分布输入分布输入分布p(x)p(x)p(x)p(x)使输出熵使输出熵使输出熵使输出熵H(Y)H(Y)H(Y)H(Y)达最大达最大达最大达最大。例例4-74-7：求具有以下信道矩阵的信道的信道容量求具有以下信道矩阵的信道的信道容量求具有以下信道矩阵的信道的信道容量求具有以下信道矩阵的信道的信道容量解：解：解：解：分析可知这是一个对称信道，则信道容量为分析可知这是一个对称信道，则信道容量为分析可知这是一个对称信道，则信道容量为分析可知这是一个对称信道，则信道容量为 结论：结论：在该对称信道中，只有当信道输入符号等概分在该对称信道中，只有当信道输入符号等概分在该对称信道中，

35、只有当信道输入符号等概分在该对称信道中，只有当信道输入符号等概分布时，每个符号平均能传送的信息为布时，每个符号平均能传送的信息为布时，每个符号平均能传送的信息为布时，每个符号平均能传送的信息为0.126bit0.126bit0.126bit0.126bit，一般情，一般情，一般情，一般情况下每个符号平均传输的信息都是小于况下每个符号平均传输的信息都是小于况下每个符号平均传输的信息都是小于况下每个符号平均传输的信息都是小于0.126bit0.126bit0.126bit0.126bit。例例4-84-8：求均匀信道的信道容量。求均匀信道的信道容量。求均匀信道的信道容量。求均匀信道的信道容量。为正

36、确传递概率为正确传递概率为错误传递概率为错误传递概率对于二元对称信道：对于二元对称信道：对于二元对称信道：对于二元对称信道：r=2r=2，则，则，则，则信道容量信道容量信道容量信道容量C C：解：解：解：解：均匀信道是对称信道的一种特例，则其信道容量用对称均匀信道是对称信道的一种特例，则其信道容量用对称均匀信道是对称信道的一种特例，则其信道容量用对称均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道容量的求解公式，则信道的信道容量的求解公式，则信道的信道容量的求解公式，则信道的信道容量的求解公式，则 引理：引理：对于一个离散对称信道，只有当信道输入分布对于一个离散对称信道，只有当信道输

37、入分布对于一个离散对称信道，只有当信道输入分布对于一个离散对称信道，只有当信道输入分布p(x)p(x)p(x)p(x)为等概率分布时，输出分布才能为等概率分布。为等概率分布时，输出分布才能为等概率分布。为等概率分布时，输出分布才能为等概率分布。为等概率分布时，输出分布才能为等概率分布。表明：表明：表明：表明：对于一个离散对称信道，当信道输入分布对于一个离散对称信道，当信道输入分布对于一个离散对称信道，当信道输入分布对于一个离散对称信道，当信道输入分布p(x)p(x)p(x)p(x)为等概为等概为等概为等概率分布时，输出分布为等概率分布。率分布时，输出分布为等概率分布。率分布时，输出分布为等概率

38、分布。率分布时，输出分布为等概率分布。为拉格朗日乘子，待定常数为拉格朗日乘子，待定常数为拉格朗日乘子，待定常数为拉格朗日乘子，待定常数根据高数知识根据高数知识根据高数知识根据高数知识,首先构造函数：首先构造函数：首先构造函数：首先构造函数：设有一离散无记忆信道的输入设有一离散无记忆信道的输入设有一离散无记忆信道的输入设有一离散无记忆信道的输入X X取值于取值于取值于取值于在在在在的约束条件下求的约束条件下求的约束条件下求的约束条件下求I(X;Y)I(X;Y)的极值的极值的极值的极值.信道矩阵信道矩阵信道矩阵信道矩阵P=P=输出输出输出输出Y Y取值于取值于取值于取值于四四.一般离散无记忆信道的

39、一般离散无记忆信道的C C对对对对p(ap(ai i)求偏导，并令偏导等于求偏导，并令偏导等于求偏导，并令偏导等于求偏导，并令偏导等于0 0，即：，即：，即：，即：，代入，代入，代入，代入I(X;Y)I(X;Y)求出求出求出求出C C根据约束条件根据约束条件根据约束条件根据约束条件，求出，求出，求出，求出p pi i解解：N N个二元对称信道级联后的总信道矩阵为个二元对称信道级联后的总信道矩阵为个二元对称信道级联后的总信道矩阵为个二元对称信道级联后的总信道矩阵为例例4-94-9：求：求：求：求N N个相同的二元对称信道组成的级联信道容量个相同的二元对称信道组成的级联信道容量个相同的二元对称信道

40、组成的级联信道容量个相同的二元对称信道组成的级联信道容量 12N单个二元对称信道的信道矩阵为单个二元对称信道的信道矩阵为单个二元对称信道的信道矩阵为单个二元对称信道的信道矩阵为五五五五.组合信道的组合信道的组合信道的组合信道的C C C C1.1.级联信道级联信道此时此时此时此时C=0C=02.2.输入并接信道输入并接信道信道信道1信道信道2信道信道NC C大于任意一个组成信道的信道容量。大于任意一个组成信道的信道容量。大于任意一个组成信道的信道容量。大于任意一个组成信道的信道容量。上界为上界为上界为上界为3.3.3.3.并用信道并用信道并用信道并用信道(独立并联信道独立并联信道独立并联信道独

41、立并联信道)12N4.4.4.4.和信道和信道和信道和信道信道信道信道信道1 1信道信道信道信道2 2信道信道信道信道N N 即即即即C C为各组成信道的信道为各组成信道的信道为各组成信道的信道为各组成信道的信道容量之和容量之和容量之和容量之和六六.N.N次扩展离散无记忆信道的信道容量次扩展离散无记忆信道的信道容量 表示某时刻通过离散无记忆信表示某时刻通过离散无记忆信表示某时刻通过离散无记忆信表示某时刻通过离散无记忆信道传输的最大信息量道传输的最大信息量道传输的最大信息量道传输的最大信息量。则则则则 对于离散无记忆信道有：对于离散无记忆信道有：对于离散无记忆信道有：对于离散无记忆信道有：对于对

42、于对于对于N N次扩展信道，任何时刻次扩展信道，任何时刻次扩展信道，任何时刻次扩展信道，任何时刻 是相同的。是相同的。是相同的。是相同的。七七.模拟信道信道容量模拟信道信道容量 限带、限带、限带、限带、加性白色高斯噪声的信道容量加性白色高斯噪声的信道容量加性白色高斯噪声的信道容量加性白色高斯噪声的信道容量 著名的信道容量的著名的信道容量的著名的信道容量的著名的信道容量的 香农公式香农公式香农公式香农公式S：输入信号平均功率输入信号平均功率输入信号平均功率输入信号平均功率B B：信道通带带宽信道通带带宽信道通带带宽信道通带带宽：噪声的边带功率谱密度：噪声的边带功率谱密度：噪声的边带功率谱密度：噪

43、声的边带功率谱密度：信噪比：信噪比：信噪比：信噪比在在在在这这这这种种种种信信信信道道道道中中中中，输输输输入入入入输输输输出出出出信信信信号号号号和和和和噪噪噪噪声声声声都都都都被被被被限限限限制制制制在在在在一一一一定定定定的的的的频频频频带带带带中中中中，一一一一般般般般设设设设此此此此频频频频带带带带为为为为，B B B B。信信信信道道道道传传传传输输输输的的的的费费费费用用用用就就就就是是是是信信信信号号号号的的的的功功功功率率率率。又又又又设设设设信信信信道道道道的的的的噪噪噪噪声声声声为为为为加加加加性性性性的的的的、高高高高斯的且具有平坦的功率谱，均值为。斯的且具有平坦的功率

44、谱，均值为。斯的且具有平坦的功率谱，均值为。斯的且具有平坦的功率谱，均值为。例例4-10:4-10:已已知知信信道道的的带带宽宽B B为为3kHz,3kHz,信信号号在在信信道道传传输输中中受受到到单单边边功功率率谱谱密密度度 为为 的的加加性性白白高高斯斯噪噪声声的的干干扰扰,信信号号的的平平均均功功率率S S为为9W.9W.(1)(1)求信道的容量求信道的容量;(2)(2)若若信信道道带带宽宽增增加加到到原原来来的的1010倍倍,并并保保持持信信道道容容量量不不变变,那那么么信号平均功率要改变多少信号平均功率要改变多少dB?dB?解解:(1)(1)(1)(1)信道容量为信道容量为信道容量为

45、信道容量为(2)(2)(2)(2)带宽变为带宽变为带宽变为带宽变为10B,10B,10B,10B,而而而而C C C C保持不变保持不变保持不变保持不变,假设此时对应的信号功率为假设此时对应的信号功率为假设此时对应的信号功率为假设此时对应的信号功率为则则则则无损信道的剩余度无损信道的剩余度无损信道的剩余度无损信道的剩余度第五节第五节 信源与信道匹配信源与信道匹配一一.信道剩余度信道剩余度=C-I(X;Y)=C-R=C-I(X;Y)=C-R二二.相对剩余度相对剩余度=1-R/C=1-R/C对于无损信道对于无损信道对于无损信道对于无损信道 C=log rC=log r无损信道的相对剩余度无损信道的

46、相对剩余度无损信道的相对剩余度无损信道的相对剩余度信源的剩余度信源的剩余度信源的剩余度信源的剩余度 对于无损信道，可通过信源编码，对于无损信道，可通过信源编码，对于无损信道，可通过信源编码，对于无损信道，可通过信源编码，减小信源的剩减小信源的剩余度余度，提高信道的信息传输率使之达到，提高信道的信息传输率使之达到，提高信道的信息传输率使之达到，提高信道的信息传输率使之达到C C。例例4-11：有一个二元对称信道，其信道矩阵如图所示。有一个二元对称信道，其信道矩阵如图所示。有一个二元对称信道，其信道矩阵如图所示。有一个二元对称信道，其信道矩阵如图所示。设该信道以设该信道以设该信道以设该信道以150

47、01500个二元符号个二元符号个二元符号个二元符号/秒的速度传输输入符号。秒的速度传输输入符号。秒的速度传输输入符号。秒的速度传输输入符号。现有一消息序列共有现有一消息序列共有现有一消息序列共有现有一消息序列共有1400014000个二元符号，并设在这消息个二元符号，并设在这消息个二元符号，并设在这消息个二元符号，并设在这消息中中中中p(1)=p(0)=1/2p(1)=p(0)=1/2。问从信息传输的角度来考虑，问从信息传输的角度来考虑，10秒内能否将这消息序列无失真传送完秒内能否将这消息序列无失真传送完。1000.980.020.980.021解：解：解：解：分析得消息信源的熵为分析得消息信

48、源的熵为分析得消息信源的熵为分析得消息信源的熵为HH（X X）=1=1比特比特比特比特则这个消息序列含有信息量则这个消息序列含有信息量则这个消息序列含有信息量则这个消息序列含有信息量 14000*1=1400014000*1=14000比特。比特。比特。比特。由图由图由图由图可知，信道矩阵为：可知，信道矩阵为：可知，信道矩阵为：可知，信道矩阵为：由由由由信道矩阵可知，此信道为信道矩阵可知，此信道为信道矩阵可知，此信道为信道矩阵可知，此信道为二元对称信道二元对称信道二元对称信道二元对称信道，所以其信道容量，所以其信道容量，所以其信道容量，所以其信道容量（最大信息传输率）为：（最大信息传输率）为：

49、（最大信息传输率）为：（最大信息传输率）为：信道的最大信息传输速率：信道的最大信息传输速率：信道的最大信息传输速率：信道的最大信息传输速率：信道在信道在信道在信道在1010秒钟内能无失真传输的秒钟内能无失真传输的秒钟内能无失真传输的秒钟内能无失真传输的最大信息量最大信息量最大信息量最大信息量=12879=12879比特比特比特比特 14000128791400012879则从信息传输的角度考虑，不可能在则从信息传输的角度考虑，不可能在则从信息传输的角度考虑，不可能在则从信息传输的角度考虑，不可能在1010秒内将这消息无失秒内将这消息无失秒内将这消息无失秒内将这消息无失真传输完。真传输完。真传输

50、完。真传输完。例例4-124-12：设某一信号的信息输出率为设某一信号的信息输出率为设某一信号的信息输出率为设某一信号的信息输出率为5.6kbps5.6kbps5.6kbps5.6kbps，噪声，噪声，噪声，噪声功率谱为功率谱为功率谱为功率谱为传输。传输。传输。传输。试求无差错传输需要的最小输入功率试求无差错传输需要的最小输入功率试求无差错传输需要的最小输入功率试求无差错传输需要的最小输入功率P P P P是多少？是多少？是多少？是多少？在带宽在带宽在带宽在带宽B=4kHzB=4kHzB=4kHzB=4kHz的高斯信道中的高斯信道中的高斯信道中的高斯信道中解解：由香农公式可知，该信道的信道容量