湖南信息论与纠错编码.ppt

湖南信息论与纠错编码现在学习的是第1页，共94页回顾：信源编码回顾：信源编码对信源进行编码，为了提高传输效率对信源进行编码，为了提高传输效率接下来的环节是信道，接下来的环节是信道，期望在物理信道一定时，单位时间内传输的信息越多越期望在物理信道一定时，单位时间内传输的信息越多越好好依据：唯一可译，紧致编码如何确定码长以及编码方法信道的作用：把携有信息的信号从它的输入端传递到输出端。信道最重要特征参数是信息传递能力，即信道容量.现在学习的是第2页，共94页信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关；存在有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量；研究在信道中传输的每个符号所携带的信息量，并定义信道容量。现在学习的是第3页，共94页 互信息量：结结合合图图示示讲讲解解通通信信模模型型，信信源源发发出出消消息息x xi i的的概概率率p(xp(xi i)称称为为先先验验概概率率，信信宿宿收收到到y yi i。利利用收到用收到y yi i推测信源发出推测信源发出x xi i的概率称为后验概率的概率称为后验概率，有时也称条件概率。，有时也称条件概率。思考：思考：思考：思考：事件事件事件事件x xi i是否发生具有不确定性，可用自信息是否发生具有不确定性，可用自信息是否发生具有不确定性，可用自信息是否发生具有不确定性，可用自信息I(I(I(I(x xi i)度量。度量。度量。度量。在收到符号后，事件是否仍具有一定的不确定性，用条件信息量在收到符号后，事件是否仍具有一定的不确定性，用条件信息量在收到符号后，事件是否仍具有一定的不确定性，用条件信息量在收到符号后，事件是否仍具有一定的不确定性，用条件信息量I I（yi|xiyi|xi）度量。）度量。）度量。）度量。相当于相当于相当于相当于进进进进行了通信。行了通信。行了通信。行了通信。问题问题问题问题：观观观观察事件（通信）前后，通信察事件（通信）前后，通信察事件（通信）前后，通信察事件（通信）前后，通信过过过过程中所程中所程中所程中所获获获获得的信息量是什么？得的信息量是什么？得的信息量是什么？得的信息量是什么？定义定义:后验概率与先验概率比值的对数为后验概率与先验概率比值的对数为yiyi对对xixi的互信息量：的互信息量：回顾：互信息量和平均互信息量互信息量等于自信息量减去条件自信息量。互信息量条件概率先验概率现在学习的是第4页，共94页定义互信息量是定量地研究信息传递问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息，输出变量出现某一个具体消息时，流经信道的信息量；此外还是随和变化而变化的随机变量。互信息量不能从整体上作为信道中信息传递的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。定义互信息量在联合概率空间中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。平均互信息量平均互信息量现在学习的是第5页，共94页平均互信息克服了互信息量的随机性，可作为信道中流通信息量的整体测度。三种表达方式现在学习的是第6页，共94页平均互信息量的物理意义从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负熵”。现在学习的是第7页，共94页信道疑义度的说明这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。H(X/Y)即信道疑义度，也表示信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵。现在学习的是第8页，共94页平均互信息量的性质对称性：非负性：极值性：凸性平均互信息量是输入信源概率分布的上凸函数，研究信道容量的理论基础。平均互信息量是信道转移概率的下凸函数，研究信源的信息率失真函数的理论基础。现在学习的是第9页，共94页平均互信息量信源熵信道输出收到符号集Y后仍存在的对于X发送哪个消息的平均不确定性的度量二者之差就是通信过程中获得的信息量单符号传输，信息传输率：信道容量的定义回顾信息传输率的另一定义：不考虑信道的干扰，因此H(X/Y)=0；单符号传输，平均码长为1，此时I(X;Y)=H(X)-H(X/Y)=H(X)，因此两个定义等价当给定信道时(转移概率p(y/x)确定)，平均互信息量I(X;Y)是输入信源概率分布p(x)的上凸函数，因此总存在某种输入概率分布q(x)使得I(X;Y)达到最大值，定义该最大值为信道容量C：现在学习的是第10页，共94页信道容量的定义当给定信道时(转移概率p(y/x)确定)，平均互信息量I(X;Y)是输入信源概率分布p(x)的上凸函数，因此总存在某种输入概率分布q(x)使得I(X;Y)达到最大值，定义该最大值为信道容量C：能够达到信道容量的q(x)称为最佳分布信道容量C是在可靠通信前提下，信道所能容纳的最大信息传输量；固定信道，信道容量是C是一定的；不同信道，C值不同，是转移概率p(y/x)的函数可以找到某种输入概率分布，使信道容量达到最大现在学习的是第11页，共94页12信道分类信道定义传输信息的载体，其任务是以信号形式传输、存储信息。信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固定参数、时变参数 噪声种类：随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、波形信道现在学习的是第12页，共94页13信道分类和表示参数信道参数信道可分为：现在学习的是第13页，共94页14信道分类和表示参数信道种类1、无干扰（无噪声）信道2、有干扰无记忆信道信道的输出信号Y与输入信号X之间有确定的关系。转移概率信道的输出信号Y与输入信号X之间没有确定关系，但转移概率满足：每个输出符号只与当前输入信号有转移概率关系，与其他时刻的信号无关，即无记忆。需分析单个符号的转移概率p(yj|xi).现在学习的是第14页，共94页15信道分类和表示参数1）二进制对称信道（BSC）(输入输出符号数均为2)由于这种信道的输出比特仅与对应时刻的一个输入比特有关，而与以前的输入无关，所以这种信道是无记忆的;现在学习的是第15页，共94页16信道分类和表示参数2)离散无记忆信道DMC(输入输出符号数大于2但有限)转移矩阵现在学习的是第16页，共94页3）离散输入、连续输出信道 设信道输入符号是有限、离散的设信道输入符号是有限、离散的,其输入字符集其输入字符集 信道输出信道输出称离散输入称离散输入,连续输出信道连续输出信道.即即又称半离散或半连续信道。又称半离散或半连续信道。现在学习的是第17页，共94页（4）波形信道 若输入是模拟波形，输出也是模拟波形则该信道为若输入是模拟波形，输出也是模拟波形则该信道为波形信道波形信道.若分析性能的理论极限，多选用离散输入、连续输出的若分析性能的理论极限，多选用离散输入、连续输出的信道模型。信道模型。选择何种模型取决于应用场景、目的选择何种模型取决于应用场景、目的.从工程上讲从工程上讲,最常用的最常用的DMCDMC信道或信道或BSCBSC信道信道.现在学习的是第18页，共94页4.2 4.2 离散无记忆信道容量的计算离散无记忆信道容量的计算 定定理理4.1 如果信道是离散无记忆（DMC）的，则CN NC，其中C是同一信道传输单符号时的信道容量。下面一条定理给出了一维信道和N维信道的信道容量之间的关系。证明：对于DMC，由定理2.4知CN NC（4-4）现在学习的是第19页，共94页（2）对每个i,输入分布q(xi)可使I(Xi;Yj)达到信道容量C，则 综合式(4-4)和(4-5)，在信源和信道都离散无记忆的情况下，有CN =NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。CN NC(4-5)若（1）输入的N个符号统计独立，即信源离散无记忆,根据定理2.3有：现在学习的是第20页，共94页4.2.1 达到信道容量的充要条件达到信道容量的充要条件 定定理理4.2使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输入概率分布，简记为q(X)=q(x1),q(x2),q(xM)满足：(4-6)并未给出C和q(x)的显式表达式，一般不易利用该定理求解C，通常作为验证用。现在学习的是第21页，共94页22几类特殊离散信道及信道容量X、Y一一对应CmaxI(X;Y)logn（输入符号为等概率出现时）多个输入变成一个输出；噪声熵H(Y|X)=0;疑义度H(X|Y)0;CmaxI(X;Y)maxH(Y)由于信道噪声，使一个输入对应多个输出；疑义度H(X|Y)=0;噪声熵H(Y|X)0;CmaxI(X;Y)maxH(X)注：不同教材对这几类信道说明有所不同，但信道容量的求解是一致的现在学习的是第22页，共94页【例例4.2】输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图4-2所示，信道输入符号集X=x1,x2,x3，输出符号集Y=y1,y2,y3,y4,y5，其信道转移概率矩阵记为，计算该信道的信道容量。图4-2 无损信道x1x2x3y1y2y3y5y62/61/63/61/21/21y4现在学习的是第23页，共94页2.根据定义计算信道容量C从上式可看出，求信道容量C的问题转化为寻找某种分布q(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时 ，熵值达到最大，即有1.先考察平均互信息量I（X;Y）=H（X）-H（XY），在无噪信道条件下，H（XY）=0，则平均互信息量 I（X;Y）=H（X）现在学习的是第24页，共94页3.根据平均互信息量I（X;Y）达到信道容量的充要条件式（4-6）对C进行验证：先根据计算出(yj)，j=1,2,3,4,5,6现在学习的是第25页，共94页再计算出：现在学习的是第26页，共94页4.2.2 几类特殊的信道几类特殊的信道定义定义4.1如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。行（输入）对称。定义定义4.2如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。列（输出）对称。定义定义4.3 如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、分成几个子集（子矩阵），而每一子集关于行、列都对称，列都对称，称此信道为准对称信道准对称信道。1.准对称信道准对称信道现在学习的是第27页，共94页28对称DMC信道例子如果一个矩阵的每一行都是同一集合中诸元素的不同排列，我们称矩阵的行是输入对称的；如果一个矩阵的每一列都是同一集合中诸元素的不同排列，我们称矩阵的列是输出对称的；如果一个信道的矩阵信道的矩阵输入输出都是对称的输入输出都是对称的，该信道称为对称信道。现在学习的是第28页，共94页【例例4.6】信道输入符号集X=x1,x2，输出符号集Y=y1,y2,y3,y4，给定信道转移概率矩阵 ，求该信道的信道容量C。这是一个准对称信道，根据定理4.3，当X等概分布，时，信道容量平均互信息量 I（X;Y）=H（Y）-H（YX）(4-7)定理定理4.3 实现DMC准对称信道的信道容量的分布为等概分布现在学习的是第29页，共94页由 ，先算出 (4-8)将式(4-8)和代入式(4-7)，可算得信道容量=0.0325(比特/符号)现在学习的是第30页，共94页【例例4.4.8】信道输入符号集X=x1,x2，输出符号集Y=y1,y2,y3，给定信道转移概率矩阵 ，求信道容量C。设使平均互信息量达到信道容量的信源分布为 q(x1)=，q(x2)=1-。由 可算出 2.信源只含两个消息信源只含两个消息 现在学习的是第31页，共94页平均互信息量I(X;Y)=H(Y)H(YX)=-(1-q)log+(1-)log(1-)根据定义，求C的问题就转化为为何值时，I(X;Y)达到最大值。令则信道容量 C=I(X;Y)a=0.5=1-q现在学习的是第32页，共94页33例求信道容量，信道转移矩阵如下：信道输入符号和输出符号的个数相同个数相同，都为n；正确的传输概率为1，错误概率被对称地均分给均分给n-1个输出个输出符号符号；强对称信道或均匀信道，是对称离散信道的一个特例。含义？含义？现在学习的是第33页，共94页34n=2时，即为：二进制对称信道，容量为C1H（）现在学习的是第34页，共94页35C信道无噪声当=0,C=10=1bit=H(X)=log2当=1/2,不确定性最大，信道容量为0BSC信道容量当=1，强噪信道强噪信道，也可使C=log2现在学习的是第35页，共94页 计算信道容量C按下面步骤进行：(1)先验证信道转移概率矩阵P=p(yjxi)是方阵，且矩阵P的行列式p(yjxi)0；3.信道转移概率矩阵为非奇异方阵信道转移概率矩阵为非奇异方阵现在学习的是第36页，共94页(2)计算出逆矩阵P=p-1(yjxk)；(3)根据式（4-17），计算出；(4)根据式（4-18），计算出信道容量C；(5)验证是否满足q(xi)0，i=1,2,K。l先由式（4-16）计算出（yk）k=1,2,Kl再由式（4-21）计算 现在学习的是第37页，共94页【例例4.9】给出信道转移概率矩阵，求信道容量C。（1）P矩阵的行列式 ，说明P是一个非奇异方阵。（2）P的逆矩阵（3）算出现在学习的是第38页，共94页（4）信道容量 （奈特/码符号）（5）下面验证是否q(xi)0，i=1,2l先根据算出l再算得现在学习的是第39页，共94页图49 两个信道4.3 4.3 组合信道的容量组合信道的容量考虑有两个信道。信道1信道2：信道编码器XY信道译码器X /Y/现在学习的是第40页，共94页4.3.1 独立并行信道独立并行信道 在这种情况下，二个信道作为一个信道使用，传送符号 ，接收符号 ，根据定理2.4，对于离散无记忆信道，下式成立 （4-22）对上面不等式两边取最大值，得 CC1+C2 （4-23）推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck(k=1,2,N)为第k个信道的信道容量，C为组合信道的总容量，则有 （4-24）等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。现在学习的是第41页，共94页4.3.2 和信道和信道 两个信道轮流使用，使用概率分别为p1,p2，且p1+p2=1，记概率分布P=（p1,p2），和信道的平均互信息计算如下 I（P）=I（p1,p2）=p1I（X;Y）+p2I（X/;Y/）+H 2（P）式中：H 2（P）=-p1logp1-p2logp2现在学习的是第42页，共94页 根据定义，有 （4-26）求使式(4-26)取极大值的P 令 ，对数以2为底，注意到p2=1-p1，得记 C1-logp1=C2-logp2=（为待定常数）（4-27）从式（4-27）中解出：（4-28）现在学习的是第43页，共94页将式(4-28)代入条件p1+p2=1，得 （4-29）式（4-28）中的p1,p2就是使平均互信息量I（p1,p2）达到最大的取值，将其代入式（4-26），得：=（p1+p2）=将式（4-29）代入式（4-30）得：推广到N个信道轮流使用的情况,当N个信道以不同概率轮流使用时，记Ck(k=1,2,N)为第k个信道的信道容量，C为组合信道的总容量，则有 （4-31）现在学习的是第44页，共94页4.3.3 串行信道串行信道将两个信道级联，有X/=Y，如图4-10所示。X信道1信道2Y/Y=X /图4-10 串行信道串行信道的信道转移概率用矩阵表示为：（4-32）串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。若将N个转移概率相同的信道级联，当N 时，其总信道容量将趋于零。现在学习的是第45页，共94页信道1：P1=p(yx)，信道2：P2=p(yx)，信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2=p(yx)有关，而与X无关。因此信道1和信道2串连就构成了一个马马尔尔可可夫夫链链，对于马尔可夫链有如下定理：X信道1信道2ZY图411 马尔可夫链定理定理4.4 若随机变量X、Y、Z组成一个马尔可夫链，如图4-11所示，则有 I（X;Z）I（X;Y）（4-33）I（X;Z）I（Y;Z）（4-34）现在学习的是第46页，共94页证明式（4-33）I（X；Z）-I（X；Y）=H（X）-H（XZ）-H（X）-H（XY）=H（XY）-H（XZ）H（XY）-H（XYZ）（条件熵小于等于无条件熵）=H（XY）-H（XY）（因为X、Y、Z为马尔可夫链）=0 I（X；Z）I（X；Y）证毕数据处理定理数据处理定理：无论经过何种数据处理，都不会使信息量增加。式（4-34）可类似证得.从上面证明过程可看出，若满足H（XZ）=H（XY），即满足p(xz)=p(xy)时，式(4-33)中的等号成立，即有I(X;Z)=I(X;Y)，说明这种情况下串联传输不会增加信息的损失。现在学习的是第47页，共94页【例例4.4.11】两个离散信道 ，将它们串行连接使用，如图 4-10，计算总信道容量C。（1）先计算总信道的信道转移概率矩阵现在学习的是第48页，共94页 串联信道的总信道矩阵P等于第一级信道的信道矩阵P1，从而概率满足p(yx)=p(zx)(对所有的x，y，z)（4-36）对式（4-36）两边关于x求和，得 p(y)=p(z)（4-37）利用式（4-37），由式（4-36）得上式恰好就是式（4-35）所要求的条件，这就说明不论信源符号X=x如何分布，只要串联信道的总信道转移概率矩阵等于第一个信道的转移概率矩阵，这样的串联噪声信道就不会增加信道的信息损失，总的信道容量就等于第一个信道的信道容量。现在学习的是第49页，共94页(2)计算信道容量C在例4.11中，第一个信道是输入只有两个消息的情况，设最佳分布为q(x1)=，q(x2)=1-，仿照例4.8可算出=0.4，则信道容量C=C1=0.32(比特/符号)。现在学习的是第50页，共94页现在学习的是第51页，共94页52离散单个符号信道及其容量对称DMC信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称（行对称）输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称（列对称）对称对称的的DMC信信道道如果输入、输出都对称现在学习的是第52页，共94页53对称DMC信道例子如果一个矩阵的每一行都是同一集合中诸元素的不同排列，我们称矩阵的行是输入对称的；如果一个矩阵的每一列都是同一集合中诸元素的不同排列，我们称矩阵的列是输出对称的；如果一个信道的矩阵输入输出都是对称的，该信道称为对称信道。现在学习的是第53页，共94页54输入对称现在学习的是第54页，共94页55对称信道容量现在学习的是第55页，共94页56若信道输入符号等概率分布p(ai)=1/n,由于符号的输出对称，则要使最大，只有信道的输出符号为等概率分布，输入符号也为等概率分布，因此，对称DMC信道的容量为：m为信道输出符号的数目现在学习的是第56页，共94页57例 求信道容量解：根据公式：现在学习的是第57页，共94页58例求信道容量，信道转移矩阵如下：信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例。含义？含义？现在学习的是第58页，共94页59n=2时，即为：二进制对称信道，容量为C1H（）现在学习的是第59页，共94页60pC信道无噪声当=0,C=10=1bit=H(X)当=1/2,信道强噪声，信道容量为0BSC信道容量现在学习的是第60页，共94页离散无记忆模K加性噪声信道取值范围：Z=X=Y=0,1,K-1，X为信道输入，Y为信道输出，Z为信道干扰。y=xzmodK现在学习的是第61页，共94页例3-3离散无记忆模K加性噪声信道，X=Y=0,1,K-1，y=xz mod K，求该信道容量。该信道具有对称DMC信道特征，其概率转移概率为：6201K-1012K-1信道示意图如右图所示：利用公式 得到 现在学习的是第62页，共94页63串联信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)Q:信道容量与串联信道多少的关系？YWZ现在学习的是第63页，共94页64例设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量；现在学习的是第64页，共94页65信道容量I(X;Y)=1-H()，I(X;Z)=1-H2(1-)串联信道容量X00ZY111-1-1-BSC信道串联1-现在学习的是第65页，共94页66准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称准对称DMC信道，例：现在学习的是第66页，共94页67准对称DMC信道容量对于准对称对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值。信道容量：现在学习的是第67页，共94页68例求信道容量方法一：信道的输入符号有两个，可设p(a1)，p(a2)1信道的输出符号有三个，用b1、b2、b3表示，由得到联合概率矩阵：现在学习的是第68页，共94页69Eg.求信道容量方法一（续）：由现在学习的是第69页，共94页70Eg.求信道容量方法一（续）：由得求得=1/2，现在学习的是第70页，共94页71 当p(a1)p(a2)1/2时，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符号方法二：将转移概率矩阵划分成若干个互不相交的对称的子集，输入分布为等概率时，信道容量n为输入符号集中符号的个数；p1，p2，ps是转移概率矩阵P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数；现在学习的是第71页，共94页72方法二（续）现在学习的是第72页，共94页73Eg.求信道容量解：首先将P1分解成若干不相交的对称子集，如何分？现在学习的是第73页，共94页74一般DMC信道 以输入信号概率矢量Px求函数I(Px)的最大值（信道容量），可以看作是规划问题，最常用的方法是：1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法。I(X;Y)最大化的充要条件为：I(ai;Y)=C 对于所有满足p(ai)0条件的iI(ai;Y)C 对于所有满足p(ai)=0条件的i当信道平均互信息达到信道容量时，输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息，只有概率为零的符号除外；现在学习的是第74页，共94页75离散序列信道及其容量 离散序列信道信道p(Y/X)YXX=(X1X2XL)Xla1,a2,anY=(Y1Y2YL)Yl b1,b2,bm现在学习的是第75页，共94页76离散序列信道及其容量 离散无记忆序列信道，信道转移概率为：11111进一步信道是平稳的现在学习的是第76页，共94页77离散序列信道及其容量 离散无记忆序列信道1 111 1如果信道无记忆 如果输入矢量X X中的各个分量相互独立 当信道平稳时CL=LC1，一般情况下，I(X X;Y Y)LC1如果信道无记忆且矢量X X中的各分量独立 现在学习的是第77页，共94页78离散序列信道及其容量 1 111 1BSC的二次扩展信道 X X00,01,10,11，Y Y00,01,10,11，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011扩展信道如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道现在学习的是第78页，共94页79离散序列信道及其容量 扩展信道1111若p0.1，则C220.9381.062比特/序列 p0.1时BSC单符号信道的容量C11H(0.1)0.531比特/序列，为C2的1/2.现在学习的是第79页，共94页小结小结:四种信道四种信道H(X)=I(X;Y)H(Y)H(Y/X)0H(Y)=I(X;Y)H(X)H(X/Y)0无噪有损信道无噪有损信道H(Y/X)=0有噪无损信道有噪无损信道H(X/Y)=0I(X;Y)H(Y)H(X)I(X;Y)=H(X)-H(X/Y)I(X;Y)=H(Y)-H(Y/X)现在学习的是第80页，共94页定理：一般离散信道的平均互信息定理：一般离散信道的平均互信息I(X;Y)达到极大值达到极大值(即等于信道容量即等于信道容量)的充要条件是输入概率分布的充要条件是输入概率分布Pi满足满足:I(ai;Y)=C 对于所有对于所有i,其其Pi0 I(ai;Y)C 对于所有对于所有i,其其Pi=0 这时这时常数常数C就是所求的信道容量。就是所求的信道容量。现在学习的是第81页，共94页离散无记忆离散无记忆N次扩展信道的信道容量次扩展信道的信道容量 当各分信源同时取得最佳分布时：当各分信源同时取得最佳分布时：现在学习的是第82页，共94页离散无记忆信道的离散无记忆信道的N次扩展信道的信道容量次扩展信道的信道容量信信 道道现在学习的是第83页，共94页离散无记忆离散无记忆N次扩展信道的信道容量等于原单次扩展信道的信道容量等于原单符号离散信道的信道容量的符号离散信道的信道容量的N倍，且只有当输倍，且只有当输入信源是无记忆的，并且每一输入变量的分入信源是无记忆的，并且每一输入变量的分布各自达到最佳分布时，才能达到这个信道布各自达到最佳分布时，才能达到这个信道容量值容量值NC。因为各变量在同一信道中传输，所以有：因为各变量在同一信道中传输，所以有：现在学习的是第84页，共94页信源与信道的匹配信源与信道的匹配定义 设信道的信息传输率为：信道容量为C，则定义信道剩余度为：当信道为无损信道时则剩余度为：现在学习的是第85页，共94页定理设离散信道的输入序列为定理设离散信道的输入序列为 通过信道传输，接收到的随机序列为通过信道传输，接收到的随机序列为 ，而信道的转移概率为，而信道的转移概率为 。1、若信道是无记忆的，则有：、若信道是无记忆的，则有：当信道无记忆时，拆开传输相当于此信源当信道无记忆时，拆开传输相当于此信源无记忆，那么此时获取的信息显然是比捆无记忆，那么此时获取的信息显然是比捆绑在一起传输要大。绑在一起传输要大。现在学习的是第86页，共94页2、若信源是无记忆、若信源是无记忆的，则有：当当信信源源无无记记忆忆时时，则则主主要要考考虑虑信信道道的的情情况况，那那么么显显然然捆捆绑绑在在一一起起传传输输时时在在信信道道中中的的损损失失要要比比单单个个传传输输时时损损失失得得少少，所所以以此此时时捆捆绑绑在在一一起起得得互互信信息息要要大些。大些。现在学习的是第87页，共94页 3 3、信源与信道都是无记忆的，则有：、信源与信道都是无记忆的，则有：现在学习的是第88页，共94页 小结：信息论的研究意义小结：信息论的研究意义1 1、信息论对信道编码的指导意义、信息论对信道编码的指导意义信道编码定理：每一个信道具有确定的信道容量信道编码定理：每一个信道具有确定的信道容量C C，对于任何小于，对于任何小于C C的信息传输率的信息传输率R R，总存在一个码，总存在一个码长为长为n n，码率等于，码率等于R R的分组码，若采用最大似然译码，的分组码，若采用最大似然译码，则其译码错误概率则其译码错误概率P PE E满足满足 P PE E AeAe-nE(R)-nE(R)其中：其中：A A是常数，是常数，E E（R)R)为误差函数为误差函数错误概率错误概率P PE E越小，传输可靠性越高。增大码长越小，传输可靠性越高。增大码长n n也可提高传输可靠性也可提高传输可靠性现在学习的是第89页，共94页误差函数误差函数E E（R)R)与信息传输率与信息传输率R R的关系曲线：的关系曲线：E E（R)R)是关于是关于R R的单调递减函数，同样的的单调递减函数，同样的R R，信道容量，信道容量C C不同不同时，时，E E（R R）也不同，）也不同，C C越大，越大，E E（R)R)值也越大。值也越大。c1c20RE(R)C2C1现在学习的是第90页，共94页信道容量的计算：信道容量的计算：C=WC=W log(1+Plog(1+PS S/(WN/(WN0 0)W W为信道带宽，为信道带宽，P PS S是为信号平均功率，是为信号平均功率，N N0 0高斯噪高斯噪声功率谱声功率谱令令P PS S=R=Rt t.E.Eb b，R Rt t 为信息传输速率，为信息传输速率，E Eb b 为传输每为传输每一比特信息所需平均功率。一比特信息所需平均功率。C=WC=W log(1+log(1+（R Rt t/W/W）（E Eb b/N/N0 0)每赫兹带宽传输每比特信息所需信噪功率比。每赫兹带宽传输每比特信息所需信噪功率比。现在学习的是第91页，共94页在信道带宽不受限制的情况下，信道容量仅取决于在信道带宽不受限制的情况下，信道容量仅取决于信噪比。信噪比。E Eb b/N/N0 0=（2 2C/WC/W-1-1）/（R Rt t/W/W）W W,R,Rt t C,C,最小信噪比：最小信噪比：（E Eb b/N/N0 0）minmin=lim=lim（2 2C/WC/W-1-1）/（C/WC/W）=ln2=-1.6dB=ln2=-1.6dB W W 称为香农限称为香农限 现在学习的是第92页，共94页2、信息论对信源编码的指导意义有效性是指在一定时间内如何传输尽可能多的信有效性是指在一定时间内如何传输尽可能多的信息量。或在每一个传送符号内携带尽可能多的信息量。或在每一个传送符号内携带尽可能多的信息量。息量。对信源进行高效编码，去除信源中多余度。对信源进行高效编码，去除信源中多余度。信源多余度有：统计多余度、结构多余度、视觉多信源多余度有：统计多余度、结构多余度、视觉多余度、时间多余度、空间多余度等，需要采用不同余度、时间多余度、空间多余度等，需要采用不同方法消除。方法消除。香农信息论讨论的是统计多余度。香农信息论讨论的是统计多余度。现在学习的是第93页，共94页统计多余度包括信源前后符号间相关性统计多余度包括信源前后符号间相关性带来的多余度和信源符号分布不均匀导带来的多余度和信源符号分布不均匀导致的多余度。致的多余度。香农第一定理和第三定理分别从理论上香农第一定理和第三定理分别从理论上给出无失真信源编码与限失真信源编码给出无失真信源编码与限失真信源编码的压缩极限。的压缩极限。现在学习的是第94页，共94页