第3章-信道与信道容量-《信息论与编码》经典课件.ppt
信息论与编码信息论与编码1信道与信道容量信道与信道容量第三章23.1 信道分类和表示参数3.2 离散单个符号信道及其容量3.3 离散序列信道及其容量3.4 连续信道及其容量内容33.1 信道分类和表示参数43.1.1 信道分类 按输入/输出信号在幅度幅度和时间时间上的取值:离散信道：输入和输出的随机序列取值都是离散的信道 连续信道：输入和输出的随机序列取值都是连续的信道 半离散(半连续)信道：输入变量取值离散而输出变量取值连续 输入变量取值连续而输出变量取值离散 波形信道：信道的输入和输出都是一些时间上连续的随机信号。6信道分类 按输入/输出之间关系的记忆性记忆性来划分：无记忆信道：信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关 有无记忆信道：信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关7信道分类 按输入输出信号之间的关系是否是确定关系:无干扰信道：输入/输出符号之间有确定的一一对应关系 有干扰信道：输入/输出之间关系是一种统计依存统计依存的关系 输入/输出的统计关系：离散无记忆信道：用条件概率矩阵来描述。离散有记忆信道：可像有记忆信源中那样引入状态的概念。8无干扰(无噪声)信道 无干扰(无噪声)信道 信道的输出信号Y 与输入信号X 之间有确定的关系Y=f(X),已知X 后就确知Y 转移概率:10有干扰无记忆信道 有干扰无记忆信道 信道的输出信号Y 与输入信号X 之间没有确定的关系,但转移概率满足:有干扰无记忆信道可分为:二进制离散信道 离散无记忆信道 离散输入、连续输出信道 波形信道11 P:转移概率矩阵 已知X,信道输出Y 表现出来的统计特性 完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率转移概率矩阵13二进制离散信道BSC 二进制离散信道BSC 输入符号X 取值0,1；输出符号Y 取值0,1 很重要的一种特殊信道 信道转移概率：p(0|0)=1 p p(1|1)=1 p p(0|1)=p p(1|0)=p0101pp1-p1-p无错误传输的概率传输发生错误的概率15二元删除信道BEC 二元删除信道BEC 输入符号X 取值0,1；输出符号Y 取值0,1,2 转移矩阵02101p1-pq1-q16信道容量 我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R 平均互信息I(X;Y)：接收到符号Y 后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息 18信道容量 信道容量C：最大的信息传输率 单位时间的信道容量：19信道容量的计算 对于一般信道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道：离散信道可分成：无干扰(无噪)信道 无嗓无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道203.2.1 无干扰离散信道 设信道的输入X A=a1 an,输出Y B=b1 bm 无嗓无损信道 输入和输出符号之间有确定的一一对应关系Xa1 b1 Ya2 b2a3 b311121无干扰离散信道 无嗓无损信道Xa1 b1 Ya2 b2an-1 bn-1an bn1122无干扰离散信道 无嗓有损信道 多个输入变成一个输出(n m)Xa1 Ya2 b1a3a4 b2a511111输出Y 是输入X 的确定函数,但不是一一对应,而是多一对应关系。24无干扰离散信道 无嗓有损信道 多个输入变成一个输出(n m)噪声熵H(Y|X)0 损失熵H(X|Y)0信道中接收到符号Y 后不能完全消除对X的不确定性,信息有损失。但输出端Y 的平均不确定性因噪声熵等于零而没有增加。25无干扰离散信道 有嗓无损信道 一个输入对应多个输出(n m)X b1 Ya1 b2 b3a2 b4 b51/31/31/31/43/4 计算得 同理 由263.2.1 对称DMC信道 对称离散信道：对称性:每一行都是由同一集q1,q2,qm 的诸元素不同排列组成输入对称 每一列都是由p1,p2,pn 集的诸元素不同排列组成输出对称满足对称性,所对应的信道是对称离散信道。28对称DMC信道 信道矩阵 不具有对称性,因而所对应的信道不是对称离散信道。29对称DMC信道 对称离散信道的平均互信息为31对称DMC信道 对称DMC 信道的容量：上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1,p2,pm 和输出符号集的个数m 有关。强对称信道的信道容量：32例某对称离散信道的信道矩阵为 信道容量为 33 设二进制对称信道的输入概率空间 信道矩阵：BSC信道容量3435 当p固定时,I(X,Y)是 的 型上凸函数。I(X Y)BSC 信道容量1-H(p)I(X,Y)对 存在一个极大值。BSC信道容量36pC 当固定信源的概率分布 时,I(X,Y)是p的 型 下凸函数。信道无噪声 当p=0,C=1 0=1bit=H(X)当p=1/2,信道强噪声BSC信道容量 BSC 信道容量37信道容量 定理：给定转移概率矩阵P 后,平均互信息I(X;Y)是输入信源的概率分布p(ai)的 型上凸函数。定理：平均互信息I(X;Y)是信道传递概率p(bj|ai)的 型凸函数。信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。38
