近代信息论第二章优秀PPT.ppt
近代信息论第二章第一页，本课件共有28页主要内容第一节 信道的主要参数和分类第二节 信道容量的定义及一般计算方法第三节：无噪离散信道第四节：对称离散信道的信道容量第五节：离散信道容量迭代计算第二页，本课件共有28页第一节 信道的主要参数和分类分类信道：载荷着消息的信号所通过的通道。以输入输出空间分离散信道连续信道半离散半连续信道时间离散的连续信道波形信道单符号信道多符号信道以输入输出端的个数分两端信道多端信道（多用户）以输入输出随机变量的pdf分v恒参信道v随参信道无记忆信道有记忆信道第三页，本课件共有28页信道的数学描述P(Y|X)XY三要素1.输入变量X符号集2.输出变量Y符号集3.转移概率第四页，本课件共有28页信道转移概率P(Y|X)转移概率P(Y|X)的矩阵共r*s个元素back第五页，本课件共有28页第二节 信道容量的定义及一般计算方法recallShannon以前：E一定时，为了Pe 0，R 0。Shannon:给出了信道容量的概念，指出RC，可使得Pe任意小。类比模型：引水引水：根据需引水的量，涉及水管，管道，渠，管大了浪费，小了不行。通信：v分析信源待传送的信息；v分析信道的传输能力，选取信道。本章重点本章重点e.g.Voice band(S/N)db 10 20 30 40 50 60Channel Capacity(kbps)13.84 26.6 39.8 53.1 66 79第六页，本课件共有28页信道容量的定义I(X;Y):（平均意义上）信道每传一个符号流经信道的平均信息量。定义：信息传输率：R=I(X;Y)bit/信道符号(每传一个符号携带的信息量。)定义：信息传输速率：Rt=I(X;Y)/t bit/s（单位时间传输的信息量，相当于水管内水流速）第七页，本课件共有28页定义：信道容量最大的信息传输率定义：信道最大信息传输速率：信道容量的定义注意到：第八页，本课件共有28页定理：I(X,Y)达到极大值的充要条件是输入分布满足：信道容量的定义特别地，若转移矩阵P非奇异，r=s,第九页，本课件共有28页信道容量的一般计算方法back第十页，本课件共有28页第三节：无噪离散信道具有一一对应关系具有扩展性具有归并性第十一页，本课件共有28页1.具有一一对应关系XY转移矩阵P信道容量求解：H(Y|X)=0 H(X|Y)=0 (每列仅一个非零元素）每列仅一个非零元素）I(X,Y)=H(X)=H(Y)对应的输入分布是均匀分布。离散最大熵定理第十二页，本课件共有28页2.具有扩展性的信道每列只有一个非零元素每列只有一个非零元素，其后验概率H(X|Y)=0，I(X,Y)=H(X)则第十三页，本课件共有28页3.具有归并性的信道其中的元素不是0就是1。H(Y|X)=0,I(X,Y)=H(Y)则，输入分布？不唯一第十四页，本课件共有28页无噪离散信道具有一一对应关系具有扩展性（每列仅有一个非零元素）（每列仅有一个非零元素）疑义度H(X|Y)=0 从Y中可以获取X的信息。具有归并性（转移矩阵元素为（转移矩阵元素为0或或1）噪声熵H(Y|X)=0 从X中可以获取Y的信息。结论结论：无噪信道的信道容量，只决定于信道的输入或输出的符号数。back第十五页，本课件共有28页第四节：对称离散信道的信道容量“对称”强对称1.输入变量X符号2.输出变量Y符号3.转移概率P=I(X,Y)=H(Y)-H(Y|X)第十六页，本课件共有28页对称离散信道的信道容量各行内相等i,j展开I(X,Y)=H(Y)-H(Y|X)第十七页，本课件共有28页I(X,Y)=H(Y)-H(Y|X)输出为均匀分布，输入分布？均匀分布第十八页，本课件共有28页例：二元对称信道0101P=0.5C以上为强对称信道对称信道第十九页，本课件共有28页离散对称信道PP中的每一行，都是由同一符号集各元素的不同排列组成，中的每一行，都是由同一符号集各元素的不同排列组成，例：例：当输入等概时，达到信道容量当输入等概时，达到信道容量C C。准对称信道可逆矩阵信道第二十页，本课件共有28页准对称信道信道输出集Y可以分成几个子集，而每个子集对应的信道转移概率矩阵P中的列所组成的子阵具有以下性质：n每一行都是第一行的置换；n每一列都是第一列的置换。等概时，达到C。例：可逆矩阵信道012第二十一页，本课件共有28页二进删除信道0101e第二十二页，本课件共有28页二进删除信道0101eback第二十三页，本课件共有28页第五节：离散信道容量迭代计算计算机算法迭代法（收敛性）求极值问题逼近算法讲述思路算法小结第二十四页，本课件共有28页离散信道迭代计算思路先验概率后验概率第二十五页，本课件共有28页离散信道迭代计算思路-1Step 1第二十六页，本课件共有28页离散信道迭代计算思路-2Step 2第二十七页，本课件共有28页离散信道容量迭代算法小结1234back第二十八页，本课件共有28页
