信息与编码第4章信道及信道容量课件.ppt

《信息与编码第4章信道及信道容量课件.ppt》由会员分享，可在线阅读，更多相关《信息与编码第4章信道及信道容量课件.ppt（31页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第4章章 信道及信道容量信道及信道容量主要学习内容主要学习内容l一、信道的概念与分类一、信道的概念与分类l二、离散单符号信道与信道容量的概念二、离散单符号信道与信道容量的概念l三、几种特殊信道及其信道容量的求法三、几种特殊信道及其信道容量的求法l四、一般离散信道的信道容量求法四、一般离散信道的信道容量求法l五、信道容量定理及其应用五、信道容量定理及其应用l六、离散多符号信道的概念及其信道容量六、离散多符号信道的概念及其信道容量l七、组合信道的概念及其信道容量七、组合信道的概念及其信道容量1、离散单符号信道的含义、离散单符号信道的含义l定义定义：信道的输入、输出都取值于离散符号集，：信道的输入

2、、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单且都用一个随机变量来表示的信道就是离散单符号信道。符号信道。l地位地位：它是最简单的信道，也是实际信道的基：它是最简单的信道，也是实际信道的基本组成单元。本组成单元。l含义含义：每次传输一个符号作为一个消息。：每次传输一个符号作为一个消息。图形表示图形表示2、离散单符号信道的数学模型、离散单符号信道的数学模型l实质上就是在输入随机变量（符号集）实质上就是在输入随机变量（符号集）X 的条的条件下输出随机变量件下输出随机变量（符号集）（符号集）Y 的条件概率分的条件概率分布。布。输入随机变量（符号集）输入随机变量（符号集）X 的概率

3、空间的概率空间信道的数学模型（条件概率分布）信道的数学模型（条件概率分布）l信道矩阵信道矩阵（传递概率矩阵传递概率矩阵）简单表示简单表示l简单表示为：简单表示为：输出随机变量输出随机变量（符号集）（符号集）Y 的概率空间的概率空间三者的关系三者的关系二元对称信道二元对称信道BSC(Binary Symmetric Channel)l传递概率图传递概率图为：为：信道矩阵信道矩阵为：为：p为错误概率为错误概率相关名词相关名词l前向概率前向概率：p(yj/xi)l后向概率后向概率:p(xi/yj)l输入符号的先验概率输入符号的先验概率:p(xi)l输入符号的后验概率输入符号的后验概率:p(xi/yj

4、)概率知识回顾概率知识回顾l条件概率公式条件概率公式全概率公式全概率公式贝叶斯公式贝叶斯公式3、平均互信息平均互信息 I(X;Y)的含义的含义在统计平均的意义上，由在统计平均的意义上，由 Y 中的一个符号，能得到中的一个符号，能得到 X 中中一个符号的信息量。一个符号的信息量。在信道中的含义（在信道中的含义（信息传输率信息传输率）l当当 X 为信源、为信源、Y 表示信宿时表示信宿时，I(X;Y)表示在平均的表示在平均的意义上信源每发出一个符号流经信道到达信宿时，由意义上信源每发出一个符号流经信道到达信宿时，由信宿的每个符号所能得到的关于信源每个符号的信息信宿的每个符号所能得到的关于信源每个符号

5、的信息量，亦即信源每发出一个符号流经信道的信息量。称量，亦即信源每发出一个符号流经信道的信息量。称为：为：信息传输率，信息传输率，单位是：单位是：比特比特/符号。符号。l若信道平均每传输一个符号用若信道平均每传输一个符号用 t 秒，令秒，令 则则 Rt 表示信道平均每秒传输的信息量，称为：表示信道平均每秒传输的信息量，称为：信息信息传输速率传输速率，单位是：，单位是：比特比特/秒秒。信道疑义度信道疑义度l由由:I(X;Y)=H(X)-H(X/Y)得到：得到：H(X/Y)=H(X)-I(X;Y)lH(X）表示）表示：信源本来平均每个符号具有的信息量：信源本来平均每个符号具有的信息量（不确定性）；

6、（不确定性）；lI(X;Y)表示表示：信宿接收到符号后，由其每个符号所：信宿接收到符号后，由其每个符号所能得到信源每个符号的信息量；能得到信源每个符号的信息量；lH(X/Y)表示表示：信宿接收到符号后，信源的每个符：信宿接收到符号后，信源的每个符号还剩余的信息量（不确定性），产生的原因是因为号还剩余的信息量（不确定性），产生的原因是因为信道有干扰，故称信道有干扰，故称H(X/Y)为为信道疑义度。信道疑义度。平均互信息平均互信息 I(X;Y)的性质的性质l课本中第课本中第22页，性质页，性质5：凸函数性凸函数性；l定理定理2.1 当条件概率分布当条件概率分布 p(yj/xi)给定时，给定时，平均

7、互信息平均互信息 I（X；Y）是输入分布）是输入分布 p(xi)的上凸函数。的上凸函数。l定理定理2.2 对于固定的输入分布对于固定的输入分布 p(xi)，平均，平均互信息量互信息量I（X；Y）是条件概率分布）是条件概率分布 p(yj/xi)的下凸函数。的下凸函数。一个例题一个例题l设二元对称信道中，错误概率设二元对称信道中，错误概率 p=3/4，当输入分布分，当输入分布分别为别为(1/2,1/2)和和(1/4,3/4)时，分别求相应的平均互时，分别求相应的平均互信息信息 I(X;Y).方法：方法：利用平均互信息的如下公式利用平均互信息的如下公式l输入分布输入分布 PX 与条件概率分布与条件概

8、率分布 PY/X（信道矩阵）已知，（信道矩阵）已知，而而 PY=PX *PY/X ,p(xi yj)=p(xi)*p(yj/xi),所所以由输入分布和条件概率分布可以求出平均互信息。以由输入分布和条件概率分布可以求出平均互信息。I(X;Y)的求解的求解1I(X;Y)的求解的求解2说明说明l信道固定时（条件概率转移矩阵固定时），不信道固定时（条件概率转移矩阵固定时），不同的输入分布对应着不同的平均互信息。同的输入分布对应着不同的平均互信息。最佳输入分布最佳输入分布l因为条件概率分布即表示信道，由定理因为条件概率分布即表示信道，由定理2.1知：知：当信道固定时，存在一种输入分布，使得平均当信道固定

9、时，存在一种输入分布，使得平均互信息互信息 I（X;Y）在该输入分布下达到最大）在该输入分布下达到最大值，称此时的输入分布为：值，称此时的输入分布为：最佳输入分布最佳输入分布。4、信道容量的定义、信道容量的定义l定义定义4.1 信道容量为平均互信息对于输入概率信道容量为平均互信息对于输入概率分布的最大值：分布的最大值：l单位依所用的对数不同可以是：单位依所用的对数不同可以是：比特比特/符号符号，奈特奈特/符号符号，等。，等。l相应的输入概率分布被称为相应的输入概率分布被称为最佳输入分布最佳输入分布。例例4.1 二元对称信道二元对称信道（BSC：binary symmetric channel）0101 信道概率转移图信道概率转移图输入符号集输入符号集X=0,1,输入概率分布为输入概率分布为 输出符号集输出符号集Y=0,1，即，即rs2传递概率：传递概率：解解lI(X;Y)=H(Y)-H(Y/X)注意：上两个式子是如何得到的？表示什么意思？注意：上两个式子是如何得到的？表示什么意思？总结总结l1、离散单符号信道的含义、离散单符号信道的含义l2、离散单符号信道的数学模型、离散单符号信道的数学模型l3、平均互信息、平均互信息 I(X;Y)的含义的含义l4、信道容量的含义、信道容量的含义