第三章 信道模型和信道容量优秀PPT.ppt

《第三章 信道模型和信道容量优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第三章 信道模型和信道容量优秀PPT.ppt（106页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第三章 信道模型和信道容量现在学习的是第1页，共106页第三章 信道模型和信道容量q信道的基本概念q信道的数学模型q平均互信息量、损失熵、噪音熵q信道容量q离散对称信道的信道容量计算现在学习的是第2页，共106页信息传输系统消息消息消息消息消息消息消息消息第二章第二章:信息量信息量第三章信第三章信道与信道道与信道容量容量现在学习的是第3页，共106页信道的基本概念现在学习的是第4页，共106页信道的基本概念q信道的任务：以信号的方式传输信息和存储信息信道中存在随机噪声输入信号与输出信号之间一般都不是确定的函数关系，而是统计依赖的关系 现在学习的是第5页，共106页例：信源输出二元符号(0,1)

2、调制时如采用正负方波的传输，正负方波分别表示0和1 信道的基本概念现在学习的是第6页，共106页信道的基本概念.无噪声干扰P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0现在学习的是第7页，共106页信道的基本概念2.微小噪声干扰P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0现在学习的是第8页，共106页信道的基本概念3.一般噪声干扰P(0|0)P(1|1)1 P(1|0)P(0|1)0现在学习的是第9页，共106页信道的基本概念q信道的任务：以信号的方式传输信息和存储信息信道中存在随机噪声输入信号与输出信号之间一般都不是确定的函数关系，而是统计依赖的关系 研究信

3、道的目的：信道能够传输或存储的最大信息量，即信道容量现在学习的是第10页，共106页信道的基本概念信道分类根据信道用户的多少，可以分为：单用户信道：只有一个输入、一个输出的单向信道多用户信道：输入、输出至少有一端有两个以上的用户，还有可能是双向信道现在学习的是第11页，共106页信道的基本概念信道分类根据信道的记忆特性无记忆信道：信道输出只与当前的输入有关有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关现在学习的是第12页，共106页信道的基本概念信道分类根据输入、输出信号的取值特点：离散输入：输入输出的随机序列取值都是离散的连续信道：输入输出的随机序列取值都是连续的半离散半连续信道

4、：输入序列取值离散而输出序列取值连续，或者反之。波形信道：输入输出信号在时间上和取值上都是连续的，不能用随机序列，而需要用随机过程表示现在学习的是第13页，共106页信道的基本概念信道分类根据信道参数与时间的关系，可以分为：固定参数信道：信道参数（统计特性）不随时间变化而变化时变参数信道：信道参数（统计特性）随时间变化而变化 我们在这门课程中，主要研究的是单用户、固定参数的离散信道单用户、固定参数的离散信道 现在学习的是第14页，共106页信道的数学模型X和Y分别是输入和输出随机序列 现在学习的是第15页，共106页信道的数学模型 是条件概率分布，或称为条件概率矩阵 描述了输入信号、输出信号之

5、间的统计依赖关系，反映了信道的统计特性.现在学习的是第16页，共106页信道的数学模型根据信道的统计特性，即 的不同，离散信道可以分成三种情况：无干扰信道 有干扰无记忆信道 有干扰有记忆信道现在学习的是第17页，共106页无干扰信道 最理想的信道，信道中没有随机性的干扰，输出信号和输入信号有一一对应的函数关系现在学习的是第18页，共106页有干扰无记忆信道 一般信道中都存在着干扰和噪声，所以输出符号和输入符号之间没有确定的对应关系，而是统计依赖关系。现在学习的是第19页，共106页有干扰无记忆信道不仅仅是有干扰信道，而且是无记忆的。无记忆的信道指的是在任一时刻的输出符号只统计依赖于对应时刻的输

6、入符号，而与其它时刻的输入符号和其它时刻的输出符号无关。现在学习的是第20页，共106页有干扰无记忆信道满足离散无记忆信道的充要条件是 因为无记忆信道的输出只与对应时刻的输入有关，所以已知输入序列条件下输出序列的条件概率等于输入输出序列中，各对应分量的条件概率之积现在学习的是第21页，共106页有干扰无记忆信道模型简化 一般的信道输入模型：对于有干扰无记忆信道：现在学习的是第22页，共106页离散无记忆信道模型简化 输入输出随机序列间的随机特性可以用一对输入输出分量间的随机特性来表示，数学模型中的随机序列可以用随机变量来表示信道()NXXXXK21=()NYYYYK21=)|(11NNXXYY

7、PKK)|(iiXYPiXiY离散无记忆信道(DMC)的模型为 现在学习的是第23页，共106页单符号离散信道（单符号离散信道（DMC）输入变量 的样本空间输出变量 的样本空间有 个条件概率 传递矩阵(信道矩阵)现在学习的是第24页，共106页传递矩阵性质性质 满足且现在学习的是第25页，共106页相关概率相关概率 研究信道的过程中，一般输入信号的概率 、信道的传递概率 是已知的，其它的概率未知，但可以求出：输入符号的先验概率输出符号的先验概率传递概率、转移概率、前向概率后向概率、后验概率联合概率现在学习的是第26页，共106页相关概率计算相关概率计算 联合概率(根据乘法公式）输出符号概率(根

8、据全概率公式)现在学习的是第27页，共106页相关概率计算相关概率计算 后向概率(根据Beyas公式)可见：已知输入先验概率、信道传递概率后，联合概率、输出先验概率、后向概率都可以求出来 现在学习的是第28页，共106页相关概率例题相关概率例题设信源 ，通过一干扰信道 接收符号为 ，信道传输矩阵 为 ，求各种概率分布现在学习的是第29页，共106页)联合概率 2)输出概率现在学习的是第30页，共106页2)输出概率(或者)3)后向概率现在学习的是第31页，共106页离散单符号信道举例离散单符号信道举例 二元对称信道（BSC）输入、输出的取值都为0、1，定义错误概率p，传递概率为：现在学习的是第

9、32页，共106页离散单符号信道举例离散单符号信道举例 信道矩阵信道线图现在学习的是第33页，共106页离散单符号信道举例离散单符号信道举例 二元删除信道（BEC）输入的取值有2个为0、1，输出的取值有3个为0、1、2(或者?)，定义正确概率p 现在学习的是第34页，共106页离散单符号信道举例离散单符号信道举例 二元删除信道（BEC）BEC在实际应用中也经常用到，如正负方波的传输，正负方波分别表示0和1 由于码间串扰，输出端可能是 现在学习的是第35页，共106页离散单符号信道举例离散单符号信道举例 二元删除信道（BEC）在输出端判决准则：对输出信号求积分 现在学习的是第36页，共106页互

10、信息量定义互信息量定义 回顾：自信息量 条件自信息量联合信息量 现在学习的是第37页，共106页互信息量互信息量定义定义 互信息量：通信过程中所获得的信息量.以单符号离散信道为例输入信号的概率空间是输出信号的概率空间是 信源信道信宿XYaibj现在学习的是第38页，共106页互信息量互信息量定义定义先验概率 自信息量n后验概率 条件自信息量 收到输出信号前后，不确定性发生了变化 通信过程中所获得的信息量，即通过信道所传输的信息量现在学习的是第39页，共106页互信息量互信息量定义定义 定义为事件 和 间的互信息量，表示通信过程中所获得的信息量信道)|(XYP)(:21raaaXK)(:21sb

11、bbYK)(1log)(iiapaI=)|(1log)|(jijibapbaI=)|()();(jiijibaIaIbaI-=通信前通信后现在学习的是第40页，共106页互信息量互信息量定义定义举例：发出0后，接收端收到的却是1互信息量可以为负数。现在学习的是第41页，共106页互信息量互信息量举例举例 例题：某地三月份天气构成的信源为有一天有人告诉你，“三月某天的天气不是晴天”，将此作为 事件求 现在学习的是第42页，共106页互信息量互信息量举例举例 收到 ，有现在学习的是第43页，共106页互信息量互信息量三种理解方式三种理解方式 经过概率互换，可以变化为另外两种形式。现在学习的是第44

12、页，共106页互信息量互信息量三种理解方式三种理解方式 第一种方式：从第一种方式：从接收端的接收端的角度观察，得到的是关于角度观察，得到的是关于 的信息的信息量量第二种方式：从第二种方式：从发送端发送端的角度观察，得到的是关于的角度观察，得到的是关于 的信的信息量息量第三种方式：从第三种方式：从通信系统总体通信系统总体角度观察角度观察通信前通信前通信后通信后传输信息量传输信息量现在学习的是第45页，共106页平均互信息量平均互信息量定义定义 互信息量也只能描述发生具体输入输出消息时流经信道的信息量，随着输入输出消息的不同，互信息量也不同。自信息量不能用来从整体上，描述信源发出信息量的能力，不能

13、作为信源发出信息量的测度。同理，互信息量不能从整体上，作为信道中信息流通的测度现在学习的是第46页，共106页平均互信息量平均互信息量定义定义每对输入输出消息的互信息量发生的概率是平均互信息量:现在学习的是第47页，共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系定义：为已知输出Y的情况下，输入信号X的信息熵，称为后验熵.后验熵是条件熵。现在学习的是第48页，共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系收到输出信号以前输入信号的信息熵收到输出信号以后输入信号的信息熵代表了收到输出信号后，获得的关于输入信号的平均信息量 现在学习的是第49页，共106页平均互信息量

14、平均互信息量与各种熵的关系与各种熵的关系现在学习的是第50页，共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系另外根据有 现在学习的是第51页，共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系现在学习的是第52页，共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系 输入信号原本有 的平均信息量，经过信道传输的却只有 的平均信息量，还有 损失在信道中，所以称为损失熵。是信道疑义度、后验熵，也称为损失熵。现在学习的是第53页，共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系损失熵也是条件自信息量的平均值 现在学习的是第54页，共106页平均互信

15、息量平均互信息量与各种熵的关系与各种熵的关系 通过信道传输的平均信息量是 ，而输出信号的平均信息量是 ，多出 了 的平均信息量，多出来的平均 信息量是由信道噪声引起的，所以称之 为噪声熵是信道的散布度，也称为信道的噪声熵。现在学习的是第55页，共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系噪音熵也是条件自信息量的平均值 现在学习的是第56页，共106页平均互信息量平均互信息量与各种熵的关系与各种熵的关系现在学习的是第57页，共106页平均互信息量与各种熵的关系平均互信息量与各种熵的关系现在学习的是第58页，共106页平均互信息量平均互信息量计算计算平均互信息的求解：一般情况下，

16、知道输入信号的概率分布 ，信道传递概率分布 ，求解 有三种方法：现在学习的是第59页，共106页平均互信息量平均互信息量计算计算第一种方法：已知 ，很容易求求损失熵 要求 个后验概率第二种方法：用的较少现在学习的是第60页，共106页平均互信息量平均互信息量计算计算第三种方法：求输出信号的熵，要求s个输出概率 结论：第三种方法计算量更小一些现在学习的是第61页，共106页平均互信息量平均互信息量例题例题设信源 ，通过一干扰信道 接收符号为 ，信道传输矩阵 为 ，求现在学习的是第62页，共106页平均互信息量平均互信息量现在学习的是第63页，共106页平均互信息量平均互信息量课堂作业课堂作业设信

17、源X的符号集0,1,2，其概率分布为Px(0)=1/4,Px(1)=1/4,Px(2)=1/2.通过一信道，其信道线图为：现在学习的是第64页，共106页平均互信息量平均互信息量性质性质现在学习的是第65页，共106页平均互信息量平均互信息量性质性质数学证明如下：现在学习的是第66页，共106页平均互信息量平均互信息量性质性质凸状性：现在学习的是第67页，共106页平均互信息量平均互信息量性质性质凸状性：定理定理1 1：当信道给定：当信道给定(即即P(Y|X)P(Y|X)给定给定),),平均互信平均互信息量息量I(X;Y)I(X;Y)是输入信号先验概率分布是输入信号先验概率分布P(X)P(X)

18、的上的上凸函数。凸函数。定理定理2 2：当信源给定：当信源给定(即即P(X)P(X)给定给定),),平均互信平均互信息量息量I(X;Y)I(X;Y)是信道传递概率分布是信道传递概率分布P(Y|X)P(Y|X)的下的下凸函数。凸函数。现在学习的是第68页，共106页平均互信息量平均互信息量性质性质这两个定理非常重要，是研究信道容量，率失真信源编码的理论基础。在信道容量的研究中，信道是固定的，平均互信息 是输入信号概率分布 的函数，总存在最佳的概率分布，使平均互信息达到最大值，这个最大值就是信道容量 现在学习的是第69页，共106页平均互信息量平均互信息量性质性质在率失真信源编码的研究中，把编码过

19、程看作信道，输入的信号是固定的，平均互信息 只是传递概率分布 的函数，这时在满足失真度的情况下，要压缩的更多，就是要平均互信息尽量小 现在学习的是第70页，共106页信道容量的定义 研究信道的目的就是研究信道所能够传输的最大信息量，即信道容量定义平均互信息量，即信道的信息率：定义信息传输速率：(单位：bit/s)现在学习的是第71页，共106页信道容量的定义 根据定理一：对于特定信道，是输入信号的概率分布 的上凸型凸函数，存在一种输入信号的概率分布，使 最大。定义最大的信息传输率或信息传输速率为信道容量相应的输入概率分布称为最佳输入分布现在学习的是第72页，共106页信道容量的计算 求信道容量

20、是本章的重点从数学的角度上分析，求信道容量是对一个特定的信道，调整输入信号的概率分布，求 的最大值的问题对于一般的信道，信道容量的计算非常复杂，我们仅研究一些特殊的信道容量现在学习的是第73页，共106页离散无噪确定信道的信道容量 信道中没有干扰，输入符号和输出符号之间有一一对应的函数关系现在学习的是第74页，共106页离散无噪确定信道的信道容量离散无噪确定信道的信道容量的最佳输入分布是等概分布。现在学习的是第75页，共106页有噪无损信道的信道容量现在学习的是第76页，共106页有噪无损信道的信道容量最佳输入分布是等概分布现在学习的是第77页，共106页无噪有损信道的信道容量现在学习的是第7

21、8页，共106页无噪有损信道的信道容量现在学习的是第79页，共106页对称信道的信道容量信道的传递概率矩阵中，每一行都是另一行的置换，每一列也都是另一列的置换，这样的信道称为对称信道现在学习的是第80页，共106页对称信道的信道容量作为对称信道的一个特殊形式，我们定义了强对称信道或称均匀信道对角线上的元素是正确概率 ，错误概率平均分配给其它个符号，每个符号的概率现在学习的是第81页，共106页对称信道的信道容量要求信道容量，先求平均互信息：首先看是传递矩阵某一行的传递概率现在学习的是第82页，共106页对称信道的信道容量因为是对称矩阵，每一行都是其他行的置换，根据熵的对称性，有：所以有现在学习

22、的是第83页，共106页对称信道的信道容量要得到信道容量，就要求 最大，根据离散熵定理，就要 等概率分布因为是对称矩阵，每一列都是其它列的置换，只要输入信号的概率分布 为等概率分布，那么输出信号就是等概率分布现在学习的是第84页，共106页对称信道的信道容量对于输入等概率，输出信号的概率现在学习的是第85页，共106页对称信道的信道容量可以看到，只要输入信号等概率分布，那么输出信号也是等概率分布现在学习的是第86页，共106页对称信道的信道容量举例：对称信道现在学习的是第87页，共106页对称信道的信道容量举例：强对称信道现在学习的是第88页，共106页对称信道的信道容量举例：二元对称信道现在

23、学习的是第89页，共106页准对称信道的信道容量信道的传递概率矩阵可按输出符号集Y分成几个子矩阵，每个子矩阵表示的信道都是对称，则称这个信道是准对称信道现在学习的是第90页，共106页准对称信道的信道容量现在学习的是第91页，共106页准对称信道的信道容量【例】信道的转移概率矩阵如下，求信道容量 现在学习的是第92页，共106页准对称信道的信道容量 分解为：现在学习的是第93页，共106页准对称信道的信道容量这样转换为：已知了输入概率分布、转移概率分布，求平均互信息的问题准对称信道的最佳输入分布是等概分布现在学习的是第94页，共106页准对称信道的信道容量现在学习的是第95页，共106页2元输

24、入信道的信道容量 信道的输入信号的样本只有2个，我们可以设概率空间为：只有一个变量p，信道传递矩阵也已知，这样可以求出平均互信息 ，是一个包含一个变量p的表达式 现在学习的是第96页，共106页2元输入信道的信道容量 现在就是要求这个表达式的最大值.高等数学中讲过极值的算法：对函数求导数，令导数等于0，根据此等式求出变量的值。再把此值带回到函数中，即可得到函数的极值现在学习的是第97页，共106页2元输入信道的信道容量【例】二元删除信道，输入的取值有2个为（0,1)，输出的取值有3个为(0,1,2)，定义正确概率p。BEC的传递矩阵如下，求信道容量现在学习的是第98页，共106页2元输入信道的

25、信道容量解：设输入0的概率为现在学习的是第99页，共106页2元输入信道的信道容量现在学习的是第100页，共106页一般DMC信道容量的计算方法 总结现在学习的是第101页，共106页信源与信道的匹配为了描述信源与信道的匹配程度，定义了信道剩余度：相对信道剩余度：为了提高信道利用率，就必须平均互信息尽量接近或达到信道容量，也就是使输入信号概率分布接近或达到最佳输入分布现在学习的是第102页，共106页连续信道容量现在学习的是第103页，共106页连续信道容量加性高斯噪声信道容量：现在学习的是第104页，共106页信道模型信道容量对称信道容量准对称信道容量一般DMC信道容量现在学习的是第105页，共106页作业n3.1 n3.2n3.5n3.8现在学习的是第106页，共106页