信息论基础信道容量的计算精.ppt
信息论基础信道容量的计算第1页，本讲稿共40页对称离散信道的信道容量I(X;Y)=H(Y)-H(Y/X)而H(Y/X=x)是对矩阵的行求和，是与x无关的一个常数，即因此当输出等概分布时，即当输出等概分布时，即H(Y)=logs时信道容量才能达到。时信道容量才能达到。离散无记忆信道和信道容量离散无记忆信道和信道容量2第2页，本讲稿共40页那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布输入等概分布时，输出也等概分布离散无记忆信道和信道容量离散无记忆信道和信道容量3第3页，本讲稿共40页lEg.求信道容量离散无记忆信道和信道容量离散无记忆信道和信道容量4第4页，本讲稿共40页我们首先从一个例子开始例：二元无记忆对称信道得二次扩展信道。二元记忆对称信道为 离散无记忆信道和信道容量离散无记忆信道和信道容量5第5页，本讲稿共40页 可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。则它的二次扩展信道为：离散无记忆信道和信道容量离散无记忆信道和信道容量6第6页，本讲稿共40页因此，如果信源、信道都是无记忆的 这就是离散无记忆信道序列的信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi 达到最大入口分布时达到。离散无记忆信道和信道容量离散无记忆信道和信道容量7第7页，本讲稿共40页数据可靠传输和信道编码数据可靠传输和信道编码4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论信道编码理论 4.4 带反馈的信道模型带反馈的信道模型4.5 联合信源联合信源-信道编码定理信道编码定理4.6 线性分组码线性分组码习题四习题四 8第8页，本讲稿共40页9第9页，本讲稿共40页l接入信道容量的分析与寻呼信道不一样，寻呼信道用于前向链路，容量的分析主要在于对寻呼信道占用率的计算，而接入信道用于反向链路，对 CDMA 系统来说，反向链路容量主要用于干扰的分析。即使采用时隙化的随机接入协议，接入信道也可能有较高的通过量，大量的接入业务会在反向链路中产生无法接受的干扰。如前所述，第一个接入试探失败后，下一个接入试探将增加一定量的功率，最终的结果将导致小区接收功率的增加以及反向链路容量的减少。l为了保证话音业务信道的容量，应设计一个合适的接入信道，以限制接入对反向链路容量的干扰。一般情况下，我们保持接入信道干扰余量在业务信道负载的 10%以下,业务信道负载定义如下：对某个用户来说，CDMA 系统中的其他用户都是干扰，这种干扰提高了接收机的噪声基底，降低了接收机的灵敏度。10第10页，本讲稿共40页lCDMA是码分多址的英文缩写(Code Division Multiple Access)，它是在数字技术的分支-扩频通信技术上发展起来的一种崭新而成熟的无线通信技术。CDMA技术的原理是基于扩频技术，即将需传送的具有一定信号带宽信息数据，用一个带宽远大于信号带宽的高速伪随机码进行调制，使原数据信号的带宽被扩展，再经载波调制并发送出去。接收端使用完全相同的伪随机码，与接收的带宽信号作相关处理，把宽带信号换成原信息数据的窄带信号即解扩，以实现信息通信。11第11页，本讲稿共40页l移动通讯技术的分类移动通讯技术的分类l移动通信系统有多种分类方法。例如按信号性质分，可分为模拟模拟、数字数字；按调制方式分，可分为调频调频、调相调相、调幅调幅；按多址连接方式分，可分为频分多址频分多址(FDMA)、时分多址时分多址(TDMA)、码分多址码分多址(CDMA)。l目前中国联通、中国移动所使用的GSM移动电话网采用的便是FDMA和TDMA两种方式的结合。GSM比模拟移动电话有很大的优势，但是，在频谱效率上仅是模拟系统的3倍，容量有限；在话音质量上也很难达到有线电话水平；TDMA终端接入速率最高也只能达到9.6kbit/s；TDMA系统无软切换功能，因而容易掉话，影响服务质量。因此，TDMA并不是现代蜂窝移动通信的最佳无线接入，而CDMA多址技术完全适合现代移动通信网所要求的大容量、高质量、综合业务、软切换等，正受到越来越多的运营商和用户的青睐。12第12页，本讲稿共40页lCDMA的机理相关。CDMA是一个自扰系统，所有移动用户都占用相同带宽和频率，打个比方，将带宽想像成一个大房子，所有的人将进入惟一的大房子。如果他们使用完全不同的语言，他们就可以清楚地听到同伴的声音而只受到一些来自别人谈话的干扰。在这里，屋里的空气可以被想像成宽带的载波，而不同的语言即被当作编码，我们可以不断地增加用户直到整个背景噪音限制住了我们。如果能控制住用户的信号强度，在保持高质量通话的同时，我们就可以容纳更多的用户。l数据可靠传输和信道编码13第13页，本讲稿共40页互信息 I(X；Y）是输入信源的概率分布p(x)的上凸函数；每个固定信道都有一个最大的信息传输率，即信道容量C.信道容量的计算信道容量的计算知识回顾知识回顾14第14页，本讲稿共40页最佳入口分布不一定是唯一的，但是最佳输出分布是唯一的；单位时间内信道的最大信息传输率，即信道容量的计算信道容量的计算15第15页，本讲稿共40页常见信道的信道容量C：无噪信道信道容量的计算信道容量的计算16第16页，本讲稿共40页常见信道的信道容量C：离散对称信道信道容量的计算信道容量的计算17第17页，本讲稿共40页1 1 信道容量的计算原理信道容量的计算原理C是选择不同的输入概率分布p(x),在满足p(x)=1条件下，求互信息的极大值：信道容量的计算信道容量的计算Lagrange乘子法18第18页，本讲稿共40页例例1、设某二进制数字传输系统接收判决器的输入信号电平、噪声密度分布及判决电平如下图所示.试求：(1)信道模型；(2)平均互信息；(3)信道容量.信道容量的计算信道容量的计算19第19页，本讲稿共40页解2）令 ，则Y的概率分布为信道容量的计算信道容量的计算所以，20第20页，本讲稿共40页3）为求信道容量，对平均互信息求驻点：信道容量的计算信道容量的计算令令 ，解得，解得p=3/5，这时互信息达最大值，这时互信息达最大值.将将p=3/5代入（代入（2），得到信道容为），得到信道容为:C=0.32bit/sym.21第21页，本讲稿共40页2 达到信道容量输入分布的充要条件达到信道容量输入分布的充要条件信道容量的计算信道容量的计算令令定理定理4.2.2 一般离散信道的互信息一般离散信道的互信息I(X；Y)达到极大值（即等达到极大值（即等于信道容量）的充要条件是输入概率分布于信道容量）的充要条件是输入概率分布p(x)满足满足22第22页，本讲稿共40页结论：结论：当信道互信息达到信道容量时，输入信源符号集中每一个信源符号对输出端y提供相同的互信息，只是概率为零的符号除外.这个结论和直观概念是一致的：在某给定的输入分布下，若有一个输入符号xi对输出y所提供的互信息比其他输入符号所提供的互信息大，那么，我们就可以更多地使用这一符号来增大互信息.但是，这就会改变输入符号的概率分布，必然使这个符号的互信息减小，而其他符号对应的互信息增加。所以，经过不断调整输入符号的概率分布，就可使每个概率不为零的输入符号对输出Y提供相同的互信息.信道容量的计算信道容量的计算23第23页，本讲稿共40页例2 一个信道的信道矩阵为信道容量的计算信道容量的计算求信道容量求信道容量.24第24页，本讲稿共40页l解：由x0和x2时信道的对称性以及x1时的不可靠传输，可以假定最佳输入概率分布为信道容量的计算信道容量的计算这时，这时，因为能够满足信道容量定理：因为能够满足信道容量定理：25第25页，本讲稿共40页所以假定的输入分布确实是最佳输入分布，这时信道容量为信道容量的计算信道容量的计算26第26页，本讲稿共40页l习题1：求下述信道的信道容量.信道容量的计算信道容量的计算C=1p(0)=p(2)=1/2,p(1)=027第27页，本讲稿共40页l习题2：求下述信道的信道容量.信道容量的计算信道容量的计算分析：分析：由于由于a3到到b1、b2是等概的，可是等概的，可略；略；a1、a2均到均到b1，a4、a5均到均到b2，所以可只取，所以可只取a1、a5.设输入分布：设输入分布：p(a1)=p(a5)=1/2，p(ai)=0p(a1)=p(a2)=p(a4)=p(a5)=1/4，p(ai)=0C=128第28页，本讲稿共40页Z信道Z信道的信道矩阵：设入口概率分布为：则，输出符号的概率分布：从而，29第29页，本讲稿共40页可得：注：这时要找某个注：这时要找某个 使得使得I(U;V)达到最大值，困难达到最大值，困难!定理求法定理求法Z信道30第30页，本讲稿共40页定理定理4.2.2 一般离散信道达到信道容量的充要条件是入口概率分布满足 该定理表明，当信道平均互信息达到信道容量定理表明，当信道平均互信息达到信道容量时，输入信源符号集中每一个符号入信源符号集中每一个符号对输出端提供相同的出端提供相同的互信息；只是概率互信息；只是概率为零的符号除外零的符号除外.31第31页，本讲稿共40页可得：注：这时要找某个注：这时要找某个 使得使得I(U;V)达到最大值，困难达到最大值，困难!定理求法定理求法即32第32页，本讲稿共40页可整理为：从而，即，解得：Z信道33第33页，本讲稿共40页解方程组，求信道容量解方程组，求信道容量由定理由定理4.2.2可得：可得：即令34第34页，本讲稿共40页可得（*）由于两边求和，得从而，对应的从而，对应的输出概率分布输出概率分布为：为：从而可得最大入口分布！从而可得最大入口分布！解方程组，求信道容量解方程组，求信道容量35第35页，本讲稿共40页例：例：例：例：可列方程组：解方程组，求信道容量解方程组，求信道容量36第36页，本讲稿共40页解之得：解方程组，求信道容量解方程组，求信道容量信道容量信道容量最佳入口分布最佳入口分布37第37页，本讲稿共40页信源与信道的匹配信源与信道的匹配 信道的信道容量是固定的，如果某一信源通过该信道传输时，信息传输率达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余.定义：定义：信道剩余度C-I(X;Y)信道的相对剩余度38第38页，本讲稿共40页 如何才能做到匹配呢？一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率.这就是香农无失真信源编码理论，也就是无失真数据压缩理论.无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵.这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配.信源与信道的匹配信源与信道的匹配39第39页，本讲稿共40页数据可靠传输和信道编码数据可靠传输和信道编码4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型带反馈的信道模型4.5 联合信源联合信源-信道编码定理信道编码定理4.6 线性分组码线性分组码习题四习题四 40第40页，本讲稿共40页
