信息理论基础第四章信道及信道容量PPT讲稿.ppt

信息理论基础第四章信道及信道容量第1页，共49页，编辑于2022年，星期四信道信道 信息传输的通道信息传输的通道 与信源并列的另一个与信源并列的另一个主要研究对象主要研究对象研究的主要内容研究的主要内容:信道的建模信道的建模信道容量信道容量不同条件下充分利用信道容量的方法不同条件下充分利用信道容量的方法第2页，共49页，编辑于2022年，星期四一一.数学模型数学模型干扰干扰干扰干扰信道信道信道信道输入信号输入信号输入信号输入信号x x x x输出信号输出信号输出信号输出信号y y y yp(y|x)p(y|x)p(y|x)p(y|x)第一节第一节 信道模型及其分类信道模型及其分类p(y|x)p(y|x)：反映信道的统计特性，即输入输出的依赖关系，又称信反映信道的统计特性，即输入输出的依赖关系，又称信反映信道的统计特性，即输入输出的依赖关系，又称信反映信道的统计特性，即输入输出的依赖关系，又称信道的传递概率、转移概率或传输概率。道的传递概率、转移概率或传输概率。道的传递概率、转移概率或传输概率。道的传递概率、转移概率或传输概率。信道的数学模型：信道的数学模型：XX，p(y|x)p(y|x)，YY第3页，共49页，编辑于2022年，星期四1.1.1.1.按其输入按其输入按其输入按其输入/输出信号在幅度和时间上的取值是离散或连续来输出信号在幅度和时间上的取值是离散或连续来输出信号在幅度和时间上的取值是离散或连续来输出信号在幅度和时间上的取值是离散或连续来分分分分幅度幅度幅度幅度时间时间时间时间信道名称信道名称信道名称信道名称离散离散离散离散离散离散离散离散离散信道离散信道离散信道离散信道(discrete channel)(discrete channel)(discrete channel)(discrete channel)，也称数字信道，也称数字信道，也称数字信道，也称数字信道(digital channel)(digital channel)(digital channel)(digital channel)连续连续连续连续离散离散离散离散连续信道连续信道连续信道连续信道(continuous channel)(continuous channel)(continuous channel)(continuous channel)连续连续连续连续连续连续连续连续模拟信道模拟信道模拟信道模拟信道(analog channel)(analog channel)(analog channel)(analog channel)，也称波形信道，也称波形信道，也称波形信道，也称波形信道(waveform channel)(waveform channel)(waveform channel)(waveform channel)离散离散离散离散连续连续连续连续理论、实用价值很小理论、实用价值很小理论、实用价值很小理论、实用价值很小二二.分类分类第4页，共49页，编辑于2022年，星期四2.2.按其输入按其输入/输出之间关系的记忆性划分输出之间关系的记忆性划分无记忆信道：无记忆信道：有记忆信道：有记忆信道：3.3.按其输入按其输入/输出信号之间是否是确定关系来分输出信号之间是否是确定关系来分有噪信道：有噪信道：无噪信道：无噪信道：在某一时刻信道的输出消息仅与当前信在某一时刻信道的输出消息仅与当前信在某一时刻信道的输出消息仅与当前信在某一时刻信道的输出消息仅与当前信道的输入消息有关，而与之前时刻的信道的输入消息有关，而与之前时刻的信道的输入消息有关，而与之前时刻的信道的输入消息有关，而与之前时刻的信道输入无关道输入无关道输入无关道输入无关在任一时刻信道的输出不仅与当前输在任一时刻信道的输出不仅与当前输在任一时刻信道的输出不仅与当前输在任一时刻信道的输出不仅与当前输 入有关，而且还与以前时刻输入有关入有关，而且还与以前时刻输入有关入有关，而且还与以前时刻输入有关入有关，而且还与以前时刻输入有关存在噪声，不存在确定关系存在噪声，不存在确定关系存在噪声，不存在确定关系存在噪声，不存在确定关系 实用价实用价实用价实用价 值大，研究的理想对象值大，研究的理想对象值大，研究的理想对象值大，研究的理想对象不存在噪声，存在确定关系不存在噪声，存在确定关系不存在噪声，存在确定关系不存在噪声，存在确定关系 实用价实用价实用价实用价 值小值小值小值小第5页，共49页，编辑于2022年，星期四4.4.按其输入按其输入/输出信号个数来分输出信号个数来分两端信道两端信道(两用户信道两用户信道):):只有一个输入端和一个输出端的单只有一个输入端和一个输出端的单只有一个输入端和一个输出端的单只有一个输入端和一个输出端的单向通信的信道向通信的信道向通信的信道向通信的信道,又称为又称为又称为又称为单路信道单路信道.多端信道多端信道(多用户信道多用户信道):):信道的输入输出至少有一个具有两个信道的输入输出至少有一个具有两个信道的输入输出至少有一个具有两个信道的输入输出至少有一个具有两个或两个以上的信号或两个以上的信号或两个以上的信号或两个以上的信号.多元接入信道多元接入信道广播信道广播信道5.5.按信道的统计特性分按信道的统计特性分恒参信道恒参信道变参信道变参信道第6页，共49页，编辑于2022年，星期四一一.定义定义如果有如果有 ，则信道为，则信道为平稳的平稳的离散无记忆信道离散无记忆信道DMC。第二节第二节 离散无记忆信道离散无记忆信道DMCDMC1.1.定义定义输入输入输入输入/输出在幅度和时间上都是离散的，并且在输出在幅度和时间上都是离散的，并且在输出在幅度和时间上都是离散的，并且在输出在幅度和时间上都是离散的，并且在某一时刻信道的输出消息只与当前信道的输入有关，而与之某一时刻信道的输出消息只与当前信道的输入有关，而与之某一时刻信道的输出消息只与当前信道的输入有关，而与之某一时刻信道的输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。前时刻的信道输入无关。前时刻的信道输入无关。前时刻的信道输入无关。2.2.数学模型数学模型 离散信道对任意离散信道对任意离散信道对任意离散信道对任意N N N N长的输入、输出序列有长的输入、输出序列有长的输入、输出序列有长的输入、输出序列有第7页，共49页，编辑于2022年，星期四1.定义定义2.传输概率传输概率 p(y|x)p(y|x)描述信道中干扰影响的大小描述信道中干扰影响的大小描述信道中干扰影响的大小描述信道中干扰影响的大小二二.单符号离散无记忆信道单符号离散无记忆信道第8页，共49页，编辑于2022年，星期四完全反映信道的特性完全反映信道的特性完全反映信道的特性完全反映信道的特性3.信道矩阵信道矩阵P4.4.信道输出与输入之间的关系信道输出与输入之间的关系 第9页，共49页，编辑于2022年，星期四例例4-14-1：其中：其中：p p表示传输中发生错误的概率表示传输中发生错误的概率二元对称信道二元对称信道二元对称信道二元对称信道(BSC)(BSC)(二进制对称信道二进制对称信道二进制对称信道二进制对称信道)第10页，共49页，编辑于2022年，星期四 其中：其中：其中：其中：p p、q q表示正确传输的概率表示正确传输的概率表示正确传输的概率表示正确传输的概率 二元删除信道二元删除信道二元删除信道二元删除信道(二进制删除信道二进制删除信道二进制删除信道二进制删除信道)第11页，共49页，编辑于2022年，星期四1.1.信道疑义度信道疑义度(损失熵损失熵)表示：表示：由于信道的干扰，导致信道输出端收到由于信道的干扰，导致信道输出端收到由于信道的干扰，导致信道输出端收到由于信道的干扰，导致信道输出端收到Y Y后，对后，对后，对后，对输入输入输入输入X X仍然存在的平均不确定度。仍然存在的平均不确定度。仍然存在的平均不确定度。仍然存在的平均不确定度。也可表示：也可表示：由于信道干扰导致信息量的损失。由于信道干扰导致信息量的损失。由于信道干扰导致信息量的损失。由于信道干扰导致信息量的损失。信道信道信道信道 X Y三三.信道疑义度和平均互信息信道疑义度和平均互信息第12页，共49页，编辑于2022年，星期四信道信道H(X|Y)H(X|Y)X X Y Y H(X)I(X;Y)I(X;Y)表示：表示：接收端收到接收端收到接收端收到接收端收到Y Y后获得的关于后获得的关于后获得的关于后获得的关于X X的信息量的信息量的信息量的信息量(即接即接即接即接收到的信息量收到的信息量收到的信息量收到的信息量)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)定理定理1 1：对于固定信道，对于固定信道，对于固定信道，对于固定信道，I(X;Y)I(X;Y)I(X;Y)I(X;Y)是信源概率分布是信源概率分布是信源概率分布是信源概率分布p(x)p(x)p(x)p(x)的上凸的上凸的上凸的上凸函数。函数。函数。函数。2.2.平均互信息平均互信息定理定理2:对于固定的信源分布，对于固定的信源分布，对于固定的信源分布，对于固定的信源分布，I(X;Y)I(X;Y)I(X;Y)I(X;Y)是信道传递概率是信道传递概率是信道传递概率是信道传递概率P(y|x)P(y|x)的下凸函数。的下凸函数。的下凸函数。的下凸函数。第13页，共49页，编辑于2022年，星期四例例4-24-2：考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为 信道信道 X Y Y （0，1）（0，1）求其求其求其求其平均互信息平均互信息第14页，共49页，编辑于2022年，星期四解解:应用全概率公式应用全概率公式应用全概率公式应用全概率公式则有：则有：第15页，共49页，编辑于2022年，星期四则平均互信息：则平均互信息：当信道固定，即当信道固定，即当信道固定，即当信道固定，即p p为一个固定常数为一个固定常数为一个固定常数为一个固定常数时，可得到时，可得到时，可得到时，可得到I(X;Y)I(X;Y)是信源输出分布是信源输出分布是信源输出分布是信源输出分布的上凸函数的上凸函数的上凸函数的上凸函数。当信源固定，即当信源固定，即当信源固定，即当信源固定，即 是一个常数时是一个常数时是一个常数时是一个常数时,可得可得可得可得到到到到I(X;Y)I(X;Y)I(X;Y)I(X;Y)是信道传递概率是信道传递概率是信道传递概率是信道传递概率p p p p的下凸函数的下凸函数的下凸函数的下凸函数。当当当当p=0.5p=0.5时，时，时，时，I(X;Y)=0I(X;Y)=0，在接收端未，在接收端未，在接收端未，在接收端未获得信息量获得信息量获得信息量获得信息量。当当=1/2=1/2 时，时，即取极大值即取极大值.第16页，共49页，编辑于2022年，星期四例例4-34-3：掷色子，如果结果是掷色子，如果结果是掷色子，如果结果是掷色子，如果结果是1 1 1 1，2 2 2 2，3 3 3 3，4 4 4 4，则抛一次硬币；如果，则抛一次硬币；如果，则抛一次硬币；如果，则抛一次硬币；如果结果是结果是结果是结果是5 5 5 5、6 6 6 6，则抛两次硬币。试，则抛两次硬币。试，则抛两次硬币。试，则抛两次硬币。试计算从抛硬币的结果可以得计算从抛硬币的结果可以得计算从抛硬币的结果可以得计算从抛硬币的结果可以得到多少掷色子的信息量到多少掷色子的信息量到多少掷色子的信息量到多少掷色子的信息量。解：解：设掷色子结果是设掷色子结果是设掷色子结果是设掷色子结果是1 1 1 1，2 2 2 2，3 3 3 3，4 4 4 4为事件为事件为事件为事件X=0X=0X=0X=0，结果是，结果是，结果是，结果是5 5 5 5、6 6 6 6为事件为事件为事件为事件X=1X=1X=1X=1；Y=0 Y=0 Y=0 Y=0表示抛硬币出现表示抛硬币出现表示抛硬币出现表示抛硬币出现0 0 0 0次正面次正面次正面次正面,Y=1,Y=1,Y=1,Y=1表示抛硬币出现表示抛硬币出现表示抛硬币出现表示抛硬币出现1 1 1 1次正面次正面次正面次正面,Y=2Y=2Y=2Y=2表示抛硬币出现表示抛硬币出现表示抛硬币出现表示抛硬币出现2 2 2 2次正面。次正面。次正面。次正面。信源概率空间为信源概率空间为信源概率空间为信源概率空间为信道矩阵为信道矩阵为信道矩阵为信道矩阵为输出符号的概率空间为输出符号的概率空间为输出符号的概率空间为输出符号的概率空间为则有：则有：则有：则有：第17页，共49页，编辑于2022年，星期四四四.离散无记忆信道的离散无记忆信道的N N次扩展信道次扩展信道N N次扩展信道次扩展信道信道信道第18页，共49页，编辑于2022年，星期四例例4-44-4：求二元无记忆对称信道的二次扩展信道。求二元无记忆对称信道的二次扩展信道。求二元无记忆对称信道的二次扩展信道。求二元无记忆对称信道的二次扩展信道。解：解：输入扩展为：输入扩展为：输入扩展为：输入扩展为：00000000，01010101，10101010，11111111输出扩展为：输出扩展为：输出扩展为：输出扩展为：00000000，01010101，10101010，11111111传递矩阵扩展为：传递矩阵扩展为：传递矩阵扩展为：传递矩阵扩展为：请问：请问：与与I（X；Y）之间）之间 的关系？的关系？第19页，共49页，编辑于2022年，星期四 定理定理1:1:若信道的输入、输出分别为若信道的输入、输出分别为N长序列长序列X和和Y，且信道是无记忆的，即：，且信道是无记忆的，即：用两个定理回答这个问题用两个定理回答这个问题定理定理2：若信道的输入、输出分别为若信道的输入、输出分别为N长序列长序列X和和Y，且信源是无记忆的，即：且信源是无记忆的，即：第20页，共49页，编辑于2022年，星期四由定理由定理1和定理和定理2当信源和信道都是无记忆时有：当信源和信道都是无记忆时有：当每个序列中的分量当每个序列中的分量当每个序列中的分量当每个序列中的分量X Xi i取值于同一信源符号集，且具有同取值于同一信源符号集，且具有同取值于同一信源符号集，且具有同取值于同一信源符号集，且具有同一种概率分布，则输出一种概率分布，则输出一种概率分布，则输出一种概率分布，则输出Y Y的分量的分量的分量的分量Y Yi i也取值同一符号集，则各也取值同一符号集，则各也取值同一符号集，则各也取值同一符号集，则各I I(X Xi i；Y Yi i)是相等的。即：是相等的。即：是相等的。即：是相等的。即：对于对于N次扩展，则有次扩展，则有第21页，共49页，编辑于2022年，星期四一一.级联信道（串联信道）级联信道（串联信道）信道信道信道信道1 1信道信道信道信道2 2 X YZp(y|x)p(y|x)p(z|xy)p(z|xy)第三节第三节 信道组合信道组合消息依次通过几个信道串行传输消息依次通过几个信道串行传输消息依次通过几个信道串行传输消息依次通过几个信道串行传输：当信道不断级联时，信道的最终传输信息量趋于当信道不断级联时，信道的最终传输信息量趋于当信道不断级联时，信道的最终传输信息量趋于当信道不断级联时，信道的最终传输信息量趋于0 0串联串联串联串联信道的信道的信道的信道的总信道矩阵总信道矩阵第22页，共49页，编辑于2022年，星期四例例4-54-5：下图中的下图中的下图中的下图中的X X X X、Y Y Y Y、Z Z Z Z满足马氏链，求该串联信道的总满足马氏链，求该串联信道的总满足马氏链，求该串联信道的总满足马氏链，求该串联信道的总信道矩阵。信道矩阵。信道矩阵。信道矩阵。b1a1a2c1b2c2b3c3XYZ1/31/31/31/21/21/31/32/32/31解：解：由图可知由图可知由图可知由图可知第23页，共49页，编辑于2022年，星期四多个信道联合起来使用多个信道联合起来使用多个信道联合起来使用多个信道联合起来使用12N并用信道并用信道 当待发送的消息比较多时，可当待发送的消息比较多时，可当待发送的消息比较多时，可当待发送的消息比较多时，可用多个信道并行传送，香农称之用多个信道并行传送，香农称之用多个信道并行传送，香农称之用多个信道并行传送，香农称之为为为为平行信道平行信道 有各自的输入和输出，最后有各自的输入和输出，最后有各自的输入和输出，最后有各自的输入和输出，最后总和。总和。总和。总和。二二.并联信道并联信道第24页，共49页，编辑于2022年，星期四信道信道1 1信道信道2 2信道信道N N输入并接信道输入并接信道 一个输入多个输出，且为相一个输入多个输出，且为相一个输入多个输出，且为相一个输入多个输出，且为相同的输入。同的输入。同的输入。同的输入。缺点缺点是是是是信道的利用率低信道的利用率低信道的利用率低信道的利用率低，但，但，但，但可可可可提高信息传输的可靠性提高信息传输的可靠性提高信息传输的可靠性提高信息传输的可靠性。信道信道1 1信道信道2 2信道信道N N和信道和信道 传输信息时，每次只使用其中传输信息时，每次只使用其中传输信息时，每次只使用其中传输信息时，每次只使用其中一个信道，它的信道矩阵：一个信道，它的信道矩阵：一个信道，它的信道矩阵：一个信道，它的信道矩阵：第25页，共49页，编辑于2022年，星期四一一.基本概念：基本概念：1.1.信道容量信道容量信道容量信道容量C C：信道能信道能信道能信道能无错误无错误地传送的地传送的地传送的地传送的最大信息率最大信息率最大信息率最大信息率第四节第四节 信道容量信道容量2.2.2.2.信道的信息传输率信道的信息传输率信道的信息传输率信道的信息传输率R R：信道中平均每符号所能传送的信息量信道中平均每符号所能传送的信息量信道中平均每符号所能传送的信息量信道中平均每符号所能传送的信息量3.3.3.3.信道的信息传输速率：信道的信息传输速率：信道的信息传输速率：信道的信息传输速率：信道在单位时间内平均传输信息量信道在单位时间内平均传输信息量信道在单位时间内平均传输信息量信道在单位时间内平均传输信息量信道在单位时间内传输的最大信息量为信道在单位时间内传输的最大信息量为信道在单位时间内传输的最大信息量为信道在单位时间内传输的最大信息量为 第26页，共49页，编辑于2022年，星期四例例4-64-6：考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为考虑二元对称信道，其信源概率空间为求该信道的信道容量。求该信道的信道容量。解：解：信道的平均互信息信道的平均互信息信道的平均互信息信道的平均互信息 当当当当=1-=1/2=1-=1/2=1-=1/2=1-=1/2 时，时，时，时，I(X;Y)I(X;Y)取极大值，即接收到的信息量取极大值，即接收到的信息量取极大值，即接收到的信息量取极大值，即接收到的信息量最大，则信道容量为：最大，则信道容量为：最大，则信道容量为：最大，则信道容量为：C=maxI(X;Y)=1-H(C=maxI(X;Y)=1-H(C=maxI(X;Y)=1-H(C=maxI(X;Y)=1-H(p p)由此可知：信道容量只是传递概率的函数由此可知：信道容量只是传递概率的函数由此可知：信道容量只是传递概率的函数由此可知：信道容量只是传递概率的函数第27页，共49页，编辑于2022年，星期四1.无损信道：无损信道：一个输入对应多个互不相交的输出一个输入对应多个互不相交的输出一个输入对应多个互不相交的输出一个输入对应多个互不相交的输出二二.几种特殊信道的信道容量几种特殊信道的信道容量H(Y|X)0(H(Y|X)0(称称称称噪声熵噪声熵噪声熵噪声熵)则：则：信道容量信道容量第28页，共49页，编辑于2022年，星期四2.确定信道：确定信道：一个输出对应多个不相交的输入一个输出对应多个不相交的输入一个输出对应多个不相交的输入一个输出对应多个不相交的输入 信道疑义度信道疑义度信道疑义度信道疑义度H(X|Y)0H(X|Y)0 单位：比特单位：比特单位：比特单位：比特/符号符号符号符号第29页，共49页，编辑于2022年，星期四3.无损确定信道：无损确定信道：输入与输出一一对应输入与输出一一对应输入与输出一一对应输入与输出一一对应 H(Y|X)=0H(Y|X)=0H(Y|X)=0H(Y|X)=0 H(X|Y)=0 H(X|Y)=0 H(X|Y)=0 H(X|Y)=0 则则则则 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)信道中没有损失信道中没有损失信道中没有损失信道中没有损失 单位：比特单位：比特/符号符号 可知可知：对于无噪信道求对于无噪信道求对于无噪信道求对于无噪信道求C C C C的问题已从求的问题已从求的问题已从求的问题已从求 I(X;Y)I(X;Y)I(X;Y)I(X;Y)极极极极值问题退化成求值问题退化成求值问题退化成求值问题退化成求H(X)H(X)H(X)H(X)或或或或H(Y)H(Y)H(Y)H(Y)极值问题极值问题极值问题极值问题。第30页，共49页，编辑于2022年，星期四 如果信道矩阵的每一行如果信道矩阵的每一行如果信道矩阵的每一行如果信道矩阵的每一行(列）都是第一行（列）元素的不同排列，则称该信列）都是第一行（列）元素的不同排列，则称该信列）都是第一行（列）元素的不同排列，则称该信列）都是第一行（列）元素的不同排列，则称该信道为道为道为道为行（列）对称信道行（列）对称信道行（列）对称信道行（列）对称信道。若信道矩阵中，每一行若信道矩阵中，每一行若信道矩阵中，每一行若信道矩阵中，每一行(或列或列或列或列)都是第一行都是第一行都是第一行都是第一行(或第一列或第一列或第一列或第一列)的元素的不同的元素的不同的元素的不同的元素的不同排列，则称为排列，则称为排列，则称为排列，则称为离散对称信道离散对称信道离散对称信道离散对称信道。对称信道对称信道三三.离散对称信道离散对称信道对称信道对称信道1.1.定义：定义：第31页，共49页，编辑于2022年，星期四则称此信道为则称此信道为则称此信道为则称此信道为均匀信道均匀信道。（对称信道的特例）。（对称信道的特例）。（对称信道的特例）。（对称信道的特例）如果对称信道的输入输出符号个数相同，均为如果对称信道的输入输出符号个数相同，均为r r，且，且信道中总的错误概率信道中总的错误概率，平均分配给，平均分配给个输个输出符号，即信道矩阵为出符号，即信道矩阵为注意：注意：一般信道的信道矩阵的各行之和为一般信道的信道矩阵的各行之和为一般信道的信道矩阵的各行之和为一般信道的信道矩阵的各行之和为1 1 1 1，各列之和，各列之和，各列之和，各列之和不一定为不一定为不一定为不一定为1 1 1 1，但是均匀信道的各列之和为，但是均匀信道的各列之和为，但是均匀信道的各列之和为，但是均匀信道的各列之和为1 1 1 1 第32页，共49页，编辑于2022年，星期四2.2.离散对称信道的离散对称信道的C C 式中式中 为信道矩阵中任一行的元素为信道矩阵中任一行的元素。若一个离散对称信道具有若一个离散对称信道具有r r个输入符号，个输入符号，s s个输个输出符号，则当输入为等概率分布时，达到信道容量出符号，则当输入为等概率分布时，达到信道容量C C定理：定理：第33页，共49页，编辑于2022年，星期四证明：证明：则有：则有：结论结论:求离散对称信道的信道容量，实质上是求一种输入分求离散对称信道的信道容量，实质上是求一种输入分求离散对称信道的信道容量，实质上是求一种输入分求离散对称信道的信道容量，实质上是求一种输入分布布布布p(x)p(x)p(x)p(x)使输出熵使输出熵使输出熵使输出熵H(Y)H(Y)H(Y)H(Y)达最大达最大达最大达最大。第34页，共49页，编辑于2022年，星期四例例4-74-7：求具有以下信道矩阵的信道的信道容量求具有以下信道矩阵的信道的信道容量求具有以下信道矩阵的信道的信道容量求具有以下信道矩阵的信道的信道容量解：解：分析可知这是一个对称信道，则信道容量为分析可知这是一个对称信道，则信道容量为 结论：结论：在该对称信道中，只有当信道输入符号等概分布在该对称信道中，只有当信道输入符号等概分布在该对称信道中，只有当信道输入符号等概分布在该对称信道中，只有当信道输入符号等概分布时，每个符号平均能传送的信息为时，每个符号平均能传送的信息为时，每个符号平均能传送的信息为时，每个符号平均能传送的信息为0.126bit0.126bit0.126bit0.126bit，一般情况，一般情况，一般情况，一般情况下每个符号平均传输的信息都是小于下每个符号平均传输的信息都是小于下每个符号平均传输的信息都是小于下每个符号平均传输的信息都是小于0.126bit0.126bit0.126bit0.126bit。第35页，共49页，编辑于2022年，星期四例例4-84-8：求均匀信道的信道容量。求均匀信道的信道容量。求均匀信道的信道容量。求均匀信道的信道容量。为正确传递概率为正确传递概率为错误传递概率为错误传递概率对于二元对称信道：对于二元对称信道：对于二元对称信道：对于二元对称信道：r=2r=2，则信道容量，则信道容量，则信道容量，则信道容量C C：解：解：解：解：均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道容量的求解公式，则容量的求解公式，则容量的求解公式，则容量的求解公式，则 第36页，共49页，编辑于2022年，星期四引理：引理：对于一个离散对称信道，只有当信道输入分布对于一个离散对称信道，只有当信道输入分布对于一个离散对称信道，只有当信道输入分布对于一个离散对称信道，只有当信道输入分布p(x)p(x)p(x)p(x)为为为为等概率分布时，输出分布才能为等概率分布。等概率分布时，输出分布才能为等概率分布。等概率分布时，输出分布才能为等概率分布。等概率分布时，输出分布才能为等概率分布。表明：表明：表明：表明：对于一个离散对称信道，当信道输入分布对于一个离散对称信道，当信道输入分布对于一个离散对称信道，当信道输入分布对于一个离散对称信道，当信道输入分布p(x)p(x)p(x)p(x)为等概率分布时，为等概率分布时，为等概率分布时，为等概率分布时，输出分布为等概率分布。输出分布为等概率分布。输出分布为等概率分布。输出分布为等概率分布。第37页，共49页，编辑于2022年，星期四为拉格朗日乘子，待定常数为拉格朗日乘子，待定常数为拉格朗日乘子，待定常数为拉格朗日乘子，待定常数根据高数知识根据高数知识根据高数知识根据高数知识,首先构造函数：首先构造函数：首先构造函数：首先构造函数：设有一离散无记忆信道的输入设有一离散无记忆信道的输入设有一离散无记忆信道的输入设有一离散无记忆信道的输入X X取值于取值于取值于取值于在在在在的约束条件下求的约束条件下求的约束条件下求的约束条件下求I(X;Y)I(X;Y)的极值的极值的极值的极值.信道矩阵信道矩阵信道矩阵信道矩阵P=P=输出输出输出输出Y Y取值于取值于取值于取值于四四.一般离散无记忆信道的一般离散无记忆信道的C C对对对对p(ap(ai i)求偏导，并令偏导等于求偏导，并令偏导等于求偏导，并令偏导等于求偏导，并令偏导等于0 0，即：，即：，即：，即：，代入，代入，代入，代入I(X;Y)I(X;Y)求出求出求出求出C C根据约束条件根据约束条件根据约束条件根据约束条件，求出，求出，求出，求出p pi i第38页，共49页，编辑于2022年，星期四解解：N N个二元对称信道级联后的总信道矩阵为个二元对称信道级联后的总信道矩阵为个二元对称信道级联后的总信道矩阵为个二元对称信道级联后的总信道矩阵为例例4-94-9：求：求：求：求N N个相同的二元对称信道组成的级联信道容量个相同的二元对称信道组成的级联信道容量个相同的二元对称信道组成的级联信道容量个相同的二元对称信道组成的级联信道容量 12N单个二元对称信道的信道矩阵为单个二元对称信道的信道矩阵为单个二元对称信道的信道矩阵为单个二元对称信道的信道矩阵为五五五五.组合信道的组合信道的组合信道的组合信道的C C C C1.1.级联信道级联信道此时此时此时此时C=0C=0第39页，共49页，编辑于2022年，星期四2.2.输入并接信道输入并接信道信道信道1信道信道2信道信道NC C大于任意一个组成信道的信道容量。大于任意一个组成信道的信道容量。大于任意一个组成信道的信道容量。大于任意一个组成信道的信道容量。上界为上界为上界为上界为第40页，共49页，编辑于2022年，星期四3.3.3.3.并用信道并用信道并用信道并用信道(独立并联信道独立并联信道独立并联信道独立并联信道)12N4.4.4.4.和信道和信道和信道和信道信道信道信道信道1 1信道信道信道信道2 2信道信道信道信道N N 即即即即C C为各组成信道的信道为各组成信道的信道为各组成信道的信道为各组成信道的信道容量之和容量之和容量之和容量之和第41页，共49页，编辑于2022年，星期四六六.N.N次扩展离散无记忆信道的信道容量次扩展离散无记忆信道的信道容量 表示某时刻通过离散无记忆信道传表示某时刻通过离散无记忆信道传表示某时刻通过离散无记忆信道传表示某时刻通过离散无记忆信道传输的最大信息量输的最大信息量输的最大信息量输的最大信息量。则则 对于离散无记忆信道有：对于离散无记忆信道有：对于对于N次扩展信道，任何时刻次扩展信道，任何时刻 是相同的。是相同的。第42页，共49页，编辑于2022年，星期四七七.模拟信道信道容量模拟信道信道容量 限带、限带、限带、限带、加性白色高斯噪声的信道容量加性白色高斯噪声的信道容量加性白色高斯噪声的信道容量加性白色高斯噪声的信道容量 著名的信道容量的著名的信道容量的著名的信道容量的著名的信道容量的 香农公式香农公式香农公式香农公式S：输入信号平均功率输入信号平均功率输入信号平均功率输入信号平均功率B B：信道通带带宽：信道通带带宽：信道通带带宽：信道通带带宽：噪声的边带功率谱密度：噪声的边带功率谱密度：噪声的边带功率谱密度：噪声的边带功率谱密度：信噪比：信噪比：信噪比：信噪比在在在在这这这这种种种种信信信信道道道道中中中中，输输输输入入入入输输输输出出出出信信信信号号号号和和和和噪噪噪噪声声声声都都都都被被被被限限限限制制制制在在在在一一一一定定定定的的的的频频频频带带带带中中中中，一一一一般般般般设设设设此此此此频频频频带带带带为为为为，B B B B。信信信信道道道道传传传传输输输输的的的的费费费费用用用用就就就就是是是是信信信信号号号号的的的的功功功功率率率率。又又又又设设设设信信信信道道道道的的的的噪噪噪噪声声声声为为为为加加加加性性性性的的的的、高高高高斯斯斯斯的的的的且且且且具有平坦的功率谱，均值为。具有平坦的功率谱，均值为。具有平坦的功率谱，均值为。具有平坦的功率谱，均值为。第43页，共49页，编辑于2022年，星期四 例例4-10:4-10:已已知知信信道道的的带带宽宽B B为为3kHz,3kHz,信信号号在在信信道道传传输输中中受受到到单单边边功功率率谱谱密密度度 为为 的的加加性性白白高高斯斯噪噪声声的的干干扰扰,信信号号的的平平均均功功率率S S为为9W.9W.(1)(1)求信道的容量求信道的容量;(2)(2)若若信信道道带带宽宽增增加加到到原原来来的的1010倍倍,并并保保持持信信道道容容量量不不变变,那那么么信号平均功率要改变多少信号平均功率要改变多少dB?dB?解解:(1)(1)(1)(1)信道容量为信道容量为信道容量为信道容量为(2)(2)(2)(2)带宽变为带宽变为带宽变为带宽变为10B,10B,10B,10B,而而而而C C C C保持不变保持不变保持不变保持不变,假设此时对应的信号功率为假设此时对应的信号功率为假设此时对应的信号功率为假设此时对应的信号功率为则则则则第44页，共49页，编辑于2022年，星期四无损信道的剩余度无损信道的剩余度无损信道的剩余度无损信道的剩余度第五节第五节 信源与信道匹配信源与信道匹配一一.信道剩余度信道剩余度=C-I(X;Y)=C-R=C-I(X;Y)=C-R二二.相对剩余度相对剩余度=1-R/C=1-R/C对于无损信道对于无损信道对于无损信道对于无损信道C=log rC=log r无损信道的相对剩余度无损信道的相对剩余度无损信道的相对剩余度无损信道的相对剩余度信源的剩余度信源的剩余度信源的剩余度信源的剩余度 对于无损信道，可通过信源编码，对于无损信道，可通过信源编码，对于无损信道，可通过信源编码，对于无损信道，可通过信源编码，减小信源的剩余度减小信源的剩余度，提高信道的信息传输率使之达到提高信道的信息传输率使之达到提高信道的信息传输率使之达到提高信道的信息传输率使之达到C C。第45页，共49页，编辑于2022年，星期四例例4-11：有一个二元对称信道，其信道矩阵如图所示。设有一个二元对称信道，其信道矩阵如图所示。设有一个二元对称信道，其信道矩阵如图所示。设有一个二元对称信道，其信道矩阵如图所示。设该信道以该信道以该信道以该信道以15001500个二元符号个二元符号个二元符号个二元符号/秒的速度传输输入符号。现有一秒的速度传输输入符号。现有一秒的速度传输输入符号。现有一秒的速度传输输入符号。现有一消息序列共有消息序列共有消息序列共有消息序列共有1400014000个二元符号，并设在这消息中个二元符号，并设在这消息中个二元符号，并设在这消息中个二元符号，并设在这消息中p(1)=p(0)=1/2p(1)=p(0)=1/2。问从信息传输的角度来考虑，问从信息传输的角度来考虑，10秒内能秒内能否将这消息序列无失真传送完否将这消息序列无失真传送完。1000.980.020.980.021解：解：解：解：分析得消息信源的熵为分析得消息信源的熵为分析得消息信源的熵为分析得消息信源的熵为HH（X X）=1=1比特比特比特比特则这个消息序列含有信息量则这个消息序列含有信息量则这个消息序列含有信息量则这个消息序列含有信息量 14000*1=1400014000*1=14000比特。比特。比特。比特。第46页，共49页，编辑于2022年，星期四由图可知，信道矩阵为：由图可知，信道矩阵为：由图可知，信道矩阵为：由图可知，信道矩阵为：由信道矩阵可知，此信道为由信道矩阵可知，此信道为由信道矩阵可知，此信道为由信道矩阵可知，此信道为二元对称信道二元对称信道二元对称信道二元对称信道，所以其信道容量（最大信，所以其信道容量（最大信，所以其信道容量（最大信，所以其信道容量（最大信息传输率）为：息传输率）为：息传输率）为：息传输率）为：信道的最大信息传输速率：信道的最大信息传输速率：信道的最大信息传输速率：信道的最大信息传输速率：信道在信道在信道在信道在1010秒钟内能无失真传输的秒钟内能无失真传输的秒钟内能无失真传输的秒钟内能无失真传输的最大信息量最大信息量最大信息量最大信息量=12879=12879比特比特比特比特 1400012879 1400012879则从信息传输的角度考虑，不可能在则从信息传输的角度考虑，不可能在则从信息传输的角度考虑，不可能在则从信息传输的角度考虑，不可能在1010秒内将这消息无失真传输完。秒内将这消息无失真传输完。秒内将这消息无失真传输完。秒内将这消息无失真传输完。第47页，共49页，编辑于2022年，星期四例例4-124-12：设某一信号的信息输出率为设某一信号的信息输出率为5.6kbps5.6kbps，噪声，噪声功率谱为功率谱为传输。传输。传输。传输。试求无差错传输需要的最小输入功率试求无差错传输需要的最小输入功率P P是多少？是多少？在带宽在带宽B=4kHzB=4k