信道及其容量-PPT.pptx

《信道及其容量-PPT.pptx》由会员分享，可在线阅读，更多相关《信道及其容量-PPT.pptx（69页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信道及其容量u 信道得任务是以信号方式传输信息和存储信息。u 研究信道中能够传送或存储得最大信息量,即信道容量。3、1 信道得数学模型和分类 图3、1、1 数字通信系统得一般模型3、1 信道得数学模型和分类 一、信道得分类 根据载荷消息得媒体不同根据信息传输得方式邮递信道 邮递信道电信道 电信道光信道 光信道声信道 声信道输入和输出信号的形式 输入和输出信号的形式信道的统计特性 信道的统计特性信道的用户多少 信道的用户多少根据信息传输得方式分类中 根据信道得用户多少:两端(单用户)信道 多端(多用户)信道根据信道输入端和输出端得关联:无反馈信道 反馈信道根据信道得参数与时间得关系:固定参数信道

2、 时变参数信道 根据输入和输出信号得特点:离散信道 连续信道 半离散或半连续信道 波形信道二、离散信道得数学模型条件概率 P(y/x)描述了输入信号和输出信号之间统计依赖关系。反映了信道得统计特性。根据信道得统计特性即条件概率 P(y/x)得不同,离散信道又可分成三种情况:无干扰信道 有干扰无记忆信道 有干扰有记忆信道(1)无干扰(噪声)信道 信道中没有随机性得干扰或者干扰很小,输出信号y与输入信号 x 之间有确定得、一 一对应得关系。即:y f(x)(2)有干扰无记忆信道 信道输入和输出之间得条件概率是一般得概率分布。如果任一时刻输出符号只统计依赖于对应时刻得输入符号,则这种信道称为无记忆信

3、道。(3)有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆得这种类型。例如在数字信道中,由于信道滤波使频率特性不理想时造成了码字之间得干扰。在这一类信道中某一瞬间得输出符号不但与对应时刻得输入符号有关,而且还与此以前其他时刻信道得输入符号及输出符号有关,这样得信道称为有记忆信道。三、单符号离散信道 单符号离散信道:输入符号为X,取值于a1,a2,ar。输出符号为Y,取值于b1,b2,bs。条件概率:P(y/x)P(y=bj/x=ai)P(bj/ai)这一组条件概率称为信道得传递概率或转移概率,可以用来描述信道干扰影响得大小。12大家应该也有点累了，稍作休息大家有疑问的，可以询问

4、和交流 大家有疑问的，可以询问和交流 信道中有干扰(噪声)存在,可以用传递概率 P(bj/ai)来描述干扰影响得大小。一般简单得单符号离散信道可以用X,P(y/x),Y 三者加以描述。其数学模型可以用概率空间X,P(y/x),Y描述。当然,也可用下图来描述:a1 b1 a2 b2 X.Y.ar bsP(bj/ai)例1 二元对称信道,BSC,Binary Symmetrical Channel解:此时,X:0,1;Y:0,1;r=s=2,a1=b1=0;a2=b2=1。传递概率:p是单个符号传输发生错误得概率。(1-p)表示是无错误传输得概率。转移矩阵:0 1011p a1=0 0=b11p

5、a2=1 1=b2pp符号“2”表示接收到了“0”、“1”以外得特殊符号 0 2 101p0 01p1 1q1q2例2二元删除信道。BEC,Binary Eliminated Channel解:X:0,1 Y:0,1,2此时,r 2,s 3,传递矩阵为:一般离散单符号信道得传递概率可用矩阵形式表示,即 矩阵P完全描述了信道得特性,可用它作为离散单符号信道得另一种数学模型得形式。P中有些是信道干扰引起得错误概率,有些是信道正确传输得概率。所以该矩阵又称为信道矩阵(转移矩阵)。b1 b2 bsa1 P(b1|a1)P(b2|a1)P(bs|a1)a2 P(b1|a2)P(b2|a2)P(bs|a2

6、).ar P(b1|ar)P(b2|ar)P(bs|ar)3、2 信道疑义度与平均互信息 本节进一步研究离散单符号信道得数学模型下得信息传输问题。一、信道疑义度信道输入信源X得熵 H(X)是在接收到输出Y以前,关于输入变量X得先验不确定性,称为先验熵。接受到bj后,关于X得不确定性为 后验熵在输出符号集Y范围内是个随机量,对后验熵在符号集Y中求数学期望,得条件熵-信道疑义度:这是接收到输出符号bj后关于X得后验熵。后验熵是当信道接收端接收到输出符号bj后,关于输入符号得信息测度。互信息量 I(xi;yj):收到消息yj 后获得关于xi得信息量即 即:互信息量表示先验得不确定性减去尚存得不确定性

7、 互信息量表示先验得不确定性减去尚存得不确定性,这就 这就是收信者获得得信息量 是收信者获得得信息量对于无干扰信道 对于无干扰信道,I(x I(xi i;y;yj j)=I(x)=I(xi i);对于全损信道 对于全损信道,I(x I(xi i;y;yj j)=0)=0;二、平均互信息平均互信息I(X;Y):I(xi;yj)得统计平均。l它代表接收到符号集Y后平均每个符号获得得关于X得信息量,也表示了输入与输出两个随机变量之间得统计约束程度。关于平均互信息I(X;Y)互信息 互信息 I(I(x x;y y)代表收到某消息 代表收到某消息y y后获得关于某事件 后获得关于某事件x x得 得信息量

8、。它可取正值 信息量。它可取正值,也可取负值。也可取负值。若互信息 若互信息I(I(x x;y y)0)=0=0。若 若I(X I(X;Y)Y)=0=0,表示 表示在 在信道 信道输出端接收到输出符号 输出端接收到输出符号Y Y后不获 后不获得任何关于 得任何关于输 输入符号 入符号X X得信息量 得信息量-全损信道 全损信道。I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)I(X;Y)=H(X)+H(Y)-H(XY)其中 其中:平均互信息与各类熵得关系平

9、均互信息与各类熵之间关系得集合图 平均互信息与各类熵之间关系得集合图(维拉图 维拉图)表示 表示:H(X|Y)=H(X)-I(X H(X|Y)=H(X)-I(X;Y)Y)H(Y|X)=H(Y)-I(X H(Y|X)=H(Y)-I(X;Y)Y)H(XY)=H(X)+H(Y)-I(X H(XY)=H(X)+H(Y)-I(X;Y)Y)H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)H(XY)图中 图中,左边得圆代表随机变 左边得圆代表随机变量 量X X得熵 得熵,右边得圆代表随 右边得圆代表随机变量 机变量Y Y得熵 得熵,两个圆重叠 两个圆重叠部分是平均互信息 部分是平均互信息I(X I(X;

10、Y)Y)。每个圆减去 每个圆减去I(X I(X;Y)Y)后剩余 后剩余得部分代表两个疑义度。得部分代表两个疑义度。两种特殊信道(1 1)、离散无干扰信道、离散无干扰信道(无损信道 无损信道)信道得输入和输出一一对应 信道得输入和输出一一对应,信息无损失地传输 信息无损失地传输,称 称为无损信道。为无损信道。H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 损失熵和噪声熵都为 损失熵和噪声熵都为“0”0”由于噪声熵等于零 由于噪声熵等于零,因此 因此,输出端接收得信息就等于 输出端接收得信息就等于平均互信息 平均互信息:I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y

11、)(2 2)、输入输出独立信道、输入输出独立信道(全损信道 全损信道)信道输入端 信道输入端X X与输出端 与输出端Y Y完全统计独立 完全统计独立 H(X|Y)=H(X),H(Y|X)=H(Y)H(X|Y)=H(X),H(Y|X)=H(Y)所以 所以 I(X;Y)=0 I(X;Y)=H(X)-H(X|Y)I(X;Y)=0 I(X;Y)=H(X)-H(X|Y)信道得输入和输出没有 信道得输入和输出没有依赖 依赖关系 关系,信息无法传输 信息无法传输,称 称为全损信道。为全损信道。接收到 接收到Y Y后不可能消除有关输入端 后不可能消除有关输入端X X得任何不确定性 得任何不确定性,所以获得得信

12、息量等于零。同样 所以获得得信息量等于零。同样,也不能从 也不能从X X中获得任何关 中获得任何关于 于Y Y得信息量。得信息量。平均互信息 平均互信息I(X I(X;Y)Y)等于零 等于零,表明了信道两端随机变量 表明了信道两端随机变量得统计约束程度等于零。得统计约束程度等于零。二种极限信道各类熵与平均互信息之间得关系 二种极限信道各类熵与平均互信息之间得关系 H(X|Y)=H(X)H(X|Y)=H(X)H(Y|X)=H(Y)H(Y|X)=H(Y)I(X;Y)=0 I(X;Y)=0H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y)I(X;Y)=H

13、(X)=H(Y)无损信道 无损信道:完全重迭 完全重迭全损信道 全损信道:完全独立 完全独立无损信道 无损信道:全损信道 全损信道:3、2 平均互信息得性质平均互信息 I(X;Y)具有以下特性:(1)非负性 即 I(X;Y)=0 当X、Y统计独立时等式成立。(2)极值性 即 I(X;Y)=H(X)当 H(X/Y)=0 时,即信道中传输信息无损时,等式成立。(3)交互性(对称性)即 I(X;Y)=I(Y;X)当 X、Y统计独立时 I(X;Y)=I(Y;X)=0 当信道无干扰时(一一对应)I(X;Y)=I(Y;X)=H(X)=H(Y)(44)凸状性凸状性 所以 所以,平均互信息 平均互信息I(X

14、I(X;Y)Y)只是信源 只是信源X X得概率分布 得概率分布P(P(x x)和 和信道得传递概率 信道得传递概率P(P(y/x y/x)得函数 得函数,即 即:I(X;Y)=I(X;Y)=f f P(x P(x),P(y|x),P(y|x)l 平均互信息I(X;Y)是输入信源得概率分布P(x)得型凸函数。(1 1)对固定信道 对固定信道,选择不同得信源 选择不同得信源(其概率分布不同 其概率分布不同)与信道连 与信道连接 接,在信道输出端接收到每个符号后获得得信息量是不同得。在信道输出端接收到每个符号后获得得信息量是不同得。(2 2)对于每一个固定信道 对于每一个固定信道,一定存在有一种信源

15、 一定存在有一种信源(某一种概率 某一种概率分布 分布P(x)P(x),使输出端获得得平均信息量为最大。使输出端获得得平均信息量为最大。l 平均互信息I(X;Y)是信道传递得概率P(y/x)得型凸函数。当信源固定后,选择不同得信道来传输同一信源符号,在信道输出端获得关于信源得信息量是不同得。对每一种信源都存在一种最差得信道,此时干扰(噪声)最大,而输出端获得得信息量最小。3、3 离散无记忆信道得扩展信道 离散无记忆信道 离散无记忆信道(DMC(DMC,Discrete Memoryless Discrete Memoryless Channel)Channel),其传递概率满足 其传递概率满足

16、:仍可用 仍可用 X X,P(P(y y/x x),Y Y 概率空间来描述。概率空间来描述。设离散无记忆信道得 设离散无记忆信道得输入符号集 输入符号集A A a a1 1,a ar r,输出符号集 输出符号集B B b b1 1,b bs s,信道矩阵为 信道矩阵为:则此无记忆信道得 则此无记忆信道得N N次扩展信道得数学模型如图所示 次扩展信道得数学模型如图所示:而信道矩阵 而信道矩阵:其中 其中:例 例3 3 求二元无记忆对称 求二元无记忆对称信 信道 道(BSC BSC)得二次扩展信道。得二次扩展信道。解 解:BSC BSC得输入和输出变量 得输入和输出变量X X和 和Y Y得取值都是

17、 得取值都是0 0或 或1,1,因此 因此,二次扩 二次扩展信道得输入符号集为 展信道得输入符号集为A A 00,01 00,01,10,11 10,11,共有 共有2 22 2 4 4个符号 个符号,输出符号集为 输出符号集为B B 00,01 00,01,10,11 10,11。由于是 由于是无记忆信道 无记忆信道,可 可求得二次扩展信道得传递概率 求得二次扩展信道得传递概率:信道矩阵 信道矩阵:根据平均互信息得定义 根据平均互信息得定义,可得无记忆信道得 可得无记忆信道得N N次扩展信 次扩展信道得平均互信息 道得平均互信息:若信道得输入随机序列为 若信道得输入随机序列为X=(X X=(

18、X1 1X X2 2X XN N),通过信道传输 通过信道传输,接 接收到得随机序列为 收到得随机序列为Y Y(Y(Y1 1Y Y2 2Y YN N)。假若信道是无记忆得。假若信道是无记忆得,即信道传递概率满足 即信道传递概率满足:则有 则有:式中 式中X Xi i Y Yi i是对应第 是对应第 i i 位得随机变量。位得随机变量。若信源是无记忆得 若信源是无记忆得,则等式成立。则等式成立。直观分析 直观分析:如果信源有记忆 如果信源有记忆,前面传送得符号带有后面符号得 前面传送得符号带有后面符号得信息 信息,使得后面传送得符号得互信息减少 使得后面传送得符号得互信息减少若信道得输入随机序列

19、为 若信道得输入随机序列为X=(X X=(X1 1X X2 2X XN N),通过信道传输 通过信道传输,接收 接收到得随机序列为 到得随机序列为Y Y(Y(Y1 1Y Y2 2Y YN N)。假若信源是无记忆得。假若信源是无记忆得,则有 则有:其中 其中X Xi i和 和Y Yi i是随机序列 是随机序列X X和 和Y Y中得第 中得第 i i 位随机变量。位随机变量。直观分析 直观分析:如果信道有记忆 如果信道有记忆,后面传送得符号带有前面符号得 后面传送得符号带有前面符号得信息 信息,使得前面传送得符号得互信息增加。使得前面传送得符号得互信息增加。若信道和信源都是无记忆得 若信道和信源都

20、是无记忆得,则 则:研究信道得目得是要讨论信道中平均每个符号所能传送得信息量-信息传输率R 平均互信息I(X;Y)就是接收到符号Y后平均每个符号获得得关于X得信息量。所以:R=I(X;Y)=H(X)H(X|Y)(比特/符号)3、4 离散信道得信道容量 信道中每秒平均传输得信息量-信息传输速率RtRt R/t=I(X;Y)/t=H(X)/t H(X|Y)/t(比特/秒)一、信道容量得定义 由于平均互信息I(X;Y)是输入随机变量得型凸函数,所以对一固定得信道,总存在一种信源,使传输每个符号平均获得得信息量最大。即存在一个最大得信息传输率-定义为信道容量C（比特（比特/符号）符号）(Bit/s)(

21、Bit/s)C Ct t仍称为 仍称为信道容量 信道容量 若平均传输一个符号需要 若平均传输一个符号需要 t t 秒钟 秒钟,则信道在单位时间内 则信道在单位时间内平均传输得最大信息量为 平均传输得最大信息量为C Ct t:即 即:例4 信道容量得计算因此 因此,二元对称信道得信道容量为 二元对称信道得信道容量为:二元对称信道，二元对称信道，I(X;Y)I(X;Y)时，时，I(X;Y)I(X;Y)最大。最大。当(比特符号 比特符号)由此可见 由此可见,二元对称信道得信道容量只是信道传输概率 二元对称信道得信道容量只是信道传输概率p p得函数 得函数,与输入符号 与输入符号X X得概率分布 得概

22、率分布 无关。无关。离散无噪信道 离散无噪信道二、简单离散信道得信道容量例如 例如:其信道矩阵是单位矩阵 其信道矩阵是单位矩阵:满足 满足:I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)有噪无损信道 有噪无损信道:接收到符号 接收到符号Y Y后 后,对 对X X符号是完全确定得。符号是完全确定得。损失熵 损失熵H(X/Y)=0 H(X/Y)=0,但噪声熵 但噪声熵H(Y/X)0 H(Y/X)0其信道矩阵 其信道矩阵:所以 所以:I(X;Y)=H(X)H(Y)I(X;Y)=H(X)H(Y)无噪有损信道满足 满足:I(X;Y)=H(Y)H(X)I(X;Y)=H(Y)H(X)信道得

23、疑义度 信道得疑义度(损失熵 损失熵)H(X/Y)0 H(X/Y)0而噪声熵 而噪声熵 H(Y/X)=0 H(Y/X)=0。即接收到符号 即接收到符号Y Y后不能完全 后不能完全消除对 消除对X X得不确定性 得不确定性 所谓对称信道 所谓对称信道,是指信道矩阵 是指信道矩阵P P中每一行都是由同一集合 中每一行都是由同一集合p p1 1,p p2 2,p ps s 中得诸元素不同排列组成 中得诸元素不同排列组成,且每一列也都是由 且每一列也都是由q q1 1,q q2 2,q qr r 中得诸元素不同排列组成。中得诸元素不同排列组成。具有这种对称信道矩阵得信道称为对称离散信道。具有这种对称信

24、道矩阵得信道称为对称离散信道。一般 一般sr sr。三、对称离散信道得信道容量例如 例如:都是对称离散信道 都是对称离散信道都不是对称离散信道 都不是对称离散信道若输入 若输入/输出符号个数相同 输出符号个数相同,都等于 都等于r r,且信道矩阵为 且信道矩阵为:则此信道称为强对称信道或均匀信道。则此信道称为强对称信道或均匀信道。这类信道中总得错误概率为 这类信道中总得错误概率为 p p,对称地平均分配给 对称地平均分配给r-1 r-1个 个输出符号。输出符号。它是对称离散信道得特例。它是对称离散信道得特例。这一项是固定 这一项是固定X X x x 时对 时对Y Y求和 求和,即对信道矩阵得行

25、求和。即对信道矩阵得行求和。由于信道得对称性 由于信道得对称性,所以 所以H(Y/X=H(Y/X=x x)与 与 x x 无关 无关,为一常数 为一常数,即 即 因此 因此对称离散信道 对称离散信道得信道容量 得信道容量:对称离散信道得平均互信息为 对称离散信道得平均互信息为:I(X;Y)=H(Y)-H(Y/X)I(X;Y)=H(Y)-H(Y/X)在这个信道中 在这个信道中,每个符号平均能够传输得最大信息为 每个符号平均能够传输得最大信息为0 0、0817 0817比特。比特。只有当信道得输入符号是等概率分布时才能达到这个最大值。只有当信道得输入符号是等概率分布时才能达到这个最大值。例 例5

26、5 某对称离散信道得信道矩阵如下 某对称离散信道得信道矩阵如下,求其信道容量。求其信道容量。解 解:s=4,r=2 s=4,r=2四、离散无记忆N次扩展信道得信道容量一般离散无记忆信道得 一般离散无记忆信道得N N次扩展信道 次扩展信道 一般情况下 一般情况下,消息序列在离散无记忆得 消息序列在离散无记忆得N N次扩展信道中 次扩展信道中传输得信息量 传输得信息量:I I(X;Y X;Y)NC NC即:CN=NC 所以 所以,对于一般得离散无记忆信道得 对于一般得离散无记忆信道得N N次扩展信道 次扩展信道,其 其信道容量是 信道容量是:3、5 连续信道得信道容量在连续信源得情况下 在连续信源

27、得情况下,如果取两个相对熵之差 如果取两个相对熵之差,则连续信 则连续信源具有与离散信源一致得信息特征 源具有与离散信源一致得信息特征,而互信息就是两个熵得差 而互信息就是两个熵得差值 值,类似于离散信道 类似于离散信道,可定义互信息得最大值为信道容量。可定义互信息得最大值为信道容量。因此 因此,连续信道具有与离散信道类似得信息传输率和信道 连续信道具有与离散信道类似得信息传输率和信道容量得表达式。容量得表达式。一、连续单符号加性高斯噪声信道得信道容量 设信道迭加得噪声 设信道迭加得噪声n n是均值为零 是均值为零,方差为 方差为 2 2 得一维高斯噪 得一维高斯噪声 声,则噪声信源得熵为 则

28、噪声信源得熵为:如果信道输出信号 如果信道输出信号Y Y得平均功率限制在 得平均功率限制在P Po o以下 以下,由前知 由前知,当 当Y Y是 是均值为零得高斯变量时 均值为零得高斯变量时,其熵 其熵h(Y)h(Y)为最大。为最大。因此 因此,得平均功率受限高斯加性信道得信道容量 得平均功率受限高斯加性信道得信道容量(每个自由度 每个自由度)为 为:二、多维无记忆高斯加性连续信道(比特 比特N N个自由度 个自由度)加性信道 加性信道输入信号序列 输入信号序列X X1 1X X2 2X XN N 输出信号序列 输出信号序列Y Y1 1Y Y2 2Y YN N 高斯噪声 高斯噪声n n1 1n

29、 n2 2n nN N X1Y1=X1+n1n1XNYN=XN+nNnN上式同样也是 上式同样也是N N个独立、并联组合高斯加性信道得信道容量。个独立、并联组合高斯加性信道得信道容量。此时分两种情况 此时分两种情况:(1)(1)若 若各单元时刻 各单元时刻(i(i 1,N)1,N)上得噪声都是均值为零、方差为 上得噪声都是均值为零、方差为Pn得高斯噪声 得高斯噪声,得 得:(2)(2)若各单元时刻 若各单元时刻(i(i 1,N)1,N)上得噪声是均值为零 上得噪声是均值为零,方差为不 方差为不同 同P Pni ni得高斯噪声 得高斯噪声,但输入信号得总平均功率受限 但输入信号得总平均功率受限,

30、其约束为 其约束为:则 则:单位：单位：(比特 比特N N个自由度 个自由度)(常数 常数),i=1,2,N),i=1,2,N 这结论说明 这结论说明,N N个独立并联得组合高斯加性信道 个独立并联得组合高斯加性信道,当各分信 当各分信道 道(或各时刻 或各时刻)得噪声平均功率不相等时 得噪声平均功率不相等时,为达到最大得信息传 为达到最大得信息传输率 输率,要对输入信号得总能量适当地进行分配。要对输入信号得总能量适当地进行分配。当常数 当常数 P Pni ni时 时,此信道 此信道(或此时刻信号分量 或此时刻信号分量)不分配能量 不分配能量,使不传送任何信息 使不传送任何信息,当 当 P P

31、ni ni,在这些信道分配能量 在这些信道分配能量,并使满足 并使满足P Psi si+P Pni ni=,这 这样得到得信道容量为最大。样得到得信道容量为最大。这与实际情况也相符 这与实际情况也相符:我们总是在噪声大得信道少传或不 我们总是在噪声大得信道少传或不传送信息 传送信息,而在噪声小得信道多传送些信息。而在噪声小得信道多传送些信息。例 例6 6 设在各单元时刻上 设在各单元时刻上,噪声是均值为零 噪声是均值为零,方差为 方差为P Pni ni 得高 得高斯加性噪声。斯加性噪声。输入信号 输入信号X X是 是10 10个相互统计独立、均值为零、方差为 个相互统计独立、均值为零、方差为P

32、 Psi si得高斯 得高斯变量 变量,且 且:由常数 由常数 得约束条件 得约束条件,得 得:解 解:比较得 比较得:P Ps7 s7=-0=-0、05 05,P Ps8 s8=-0=-0、15 15,P Ps9 s9=-0=-0、25 25,P Ps10 s10=-0=-0、35 35,可见 可见,最后四个信道应排除 最后四个信道应排除,即令 即令:P Ps7 s7=0=0,P Ps8 s8=0=0,P Ps9 s9=0=0,P Ps10 s10=0=0P Pn1 n1=0=0、1 1,P Pn2 n2=0=0、2 2,P Pn3 n3=0=0、3 3,P Pn4 n4=0=0、4 4,P

33、 Pn5 n5=0=0、5 5,P Pn6 n6=0=0、6 6,P Pn7 n7=0=0、7 7,P Pn8 n8=0=0、8 8,P Pn9 n9=0=0、9 9,P Pn10 n10=1=1、0 0(单位为 单位为W W)再计算常数 再计算常数(此时 此时N=6 N=6),得 得:比较得 比较得:P Ps6 s6=-0=-0、083 083,可见 可见,第六个信道也应排除 第六个信道也应排除,令 令:P Ps6 s6=0=0再计算常数 再计算常数(此时 此时N=5 N=5),得 得:可见 可见,第五个信道也应排除 第五个信道也应排除,令 令:P Ps5 s5=0=0所以 所以,功率分配为

34、 功率分配为:P Ps1 s1=0=0、4 4,P Ps2 s2=0=0、3 3,P Ps3 s3=0=0、2 2,P Ps4 s4=0=0、1 1P Pn1 n1=0=0、1 1,P Pn2 n2=0=0、2 2,P Pn3 n3=0=0、3 3,P Pn4 n4=0=0、4 4,P Pn5 n5=0=0、5 5,P Pn6 n6=0=0、6 6,P Pn7 n7=0=0、7 7,P Pn8 n8=0=0、8 8,P Pn9 n9=0=0、9 9,P Pn10 n10=1=1、0 0(单位为 单位为W W)(比特 比特10 10个自由度 个自由度)本例结果表明 本例结果表明,噪声分量平均功率

35、小得信道分配得到得相 噪声分量平均功率小得信道分配得到得相应信号分量得平均功率要大一些 应信号分量得平均功率要大一些,那些太坏得信道就不去用它 那些太坏得信道就不去用它,可使总得信道容量最大。可使总得信道容量最大。若提高信号得总平均功率 若提高信号得总平均功率,可使有些信道相应得输入信 可使有些信道相应得输入信号也分配到一些能量。号也分配到一些能量。功率分配为 功率分配为:P Ps1 s1=0=0、4 4,P Ps2 s2=0=0、3 3,P Ps3 s3=0=0、2 2,P Ps4 s4=0=0、1 1信道容量 信道容量:(比特 比特10 10个自由度 个自由度)若提高信号得总平均功率 若提

36、高信号得总平均功率,使 使:功率分配为 功率分配为:P Ps1 s1=0=0、725 725,P Ps2 s2=0=0、625 625,P Ps3 s3=0=0、525 525,P Ps4 s4=0=0、425 425,P Ps5 s5=0=0、325 325,P Ps6 s6=0=0、225 225,P Ps7 s7=0=0、125 125,P Ps8 s8=0=0、025 025信道容量 信道容量:比较得最后两个信道应排除 比较得最后两个信道应排除,令 令:P Ps9 s9=0=0,P Ps10 s10=0=0三、限频限时限功率得加性高斯白噪声信道得信道容量 一般信道得频带宽度总是有限得

37、一般信道得频带宽度总是有限得,设频带宽度为 设频带宽度为W W,在这样 在这样得波形信道中 得波形信道中,满足限频、限时、限功率得条件约束 满足限频、限时、限功率得条件约束,所以可 所以可通过取样将输入和输出信号转化为 通过取样将输入和输出信号转化为L L维得随机序列 维得随机序列:和,而在频带内得高斯噪声是彼此独立得,从而有按照采样定理,在0,T 范围内要求。这是多维无记忆高斯加性信道,其信道容量为:-这是重要得香农公式。当信道输入信号是平均功率受限得高斯白噪声信号时,信息传输率才达到此信道容量。香农公式得物理意义为 香农公式得物理意义为:当信道容量一定时 当信道容量一定时,增大信 增大信道

38、得带宽 道得带宽,可以降低对信噪功率比得要求 可以降低对信噪功率比得要求;反之 反之,当信道 当信道频带较窄时 频带较窄时,可以通过提高信噪功率比来补偿。香农公 可以通过提高信噪功率比来补偿。香农公式是在噪声信道中进行可靠通信得信息传输率得上限值。式是在噪声信道中进行可靠通信得信息传输率得上限值。例 例6 6、4 4 在电话信道中常允许多路复用。一般电话信号得带宽为 在电话信道中常允许多路复用。一般电话信号得带宽为3300Hz 3300Hz。若信噪功率比为。若信噪功率比为20dB(20dB(即 即Ps/(NoW)=100)Ps/(NoW)=100),代入香农公式 代入香农公式计算可得电话信通得

39、信道容量为 计算可得电话信通得信道容量为22000 22000比特秒。比特秒。而实际信道能达到得最大信道传输率约为 而实际信道能达到得最大信道传输率约为19200 19200比特秒。比特秒。因为在实际电话通道中 因为在实际电话通道中,还需考虑串音、干扰、回声等等得因素 还需考虑串音、干扰、回声等等得因素,所以比理论计算得值要小。所以比理论计算得值要小。说明 说明:实际信道通常是非高斯波形信道。香农公式可适用于 实际信道通常是非高斯波形信道。香农公式可适用于其他一般非高斯波形信道 其他一般非高斯波形信道,由香农公式得到得值是非高斯 由香农公式得到得值是非高斯波形信道得信道容量得下限值。波形信道得

40、信道容量得下限值。比特秒3、6 信源与信道得匹配 在一般情况下,当信源与信道相连接时,其信息传输率并未达到最大。我们总希望能使信息传输率越大越好,能达到或尽可能接近于信道容量,由前面得分析可知,信息传输率接近于信道容量只有在信源取最佳分布时才能实现。由此可见,当信道确定后,信道得信息传输率与信源分布是密切相关得。当达到信道容量时,我们称信源与信道达到匹配,否则认为信道有剩余。信道剩余度定义为 信道剩余度定义为:信道剩余度 信道剩余度=相对信道剩余度 相对信道剩余度=表示信道得实际传信率和信道容量之差。表示信道得实际传信率和信道容量之差。信道剩余度 信道剩余度可以用来衡量信道利用率得高低。可以用

41、来衡量信道利用率得高低。在无损 在无损信 信道中 道中,信 信道容量 道容量 C C log logr r(r(r是信道输入符号数 是信道输入符号数)。而 而I I(X X;Y Y)H(X H(X),),因而 因而:无损 无损信 信道 道得相对 得相对剩余度 剩余度=上式说明提高无损信道信息传输率就等于减少信源得剩余度。上式说明提高无损信道信息传输率就等于减少信源得剩余度。对于无损信道 对于无损信道,可以通过信源编码、减少信源得剩余度 可以通过信源编码、减少信源得剩余度,使 使信息传输率达到信道容量。信息传输率达到信道容量。因此引入问题 因此引入问题:在一般通信系统中 在一般通信系统中,如何将

42、信源发出得消息 如何将信源发出得消息(符号 符号)转换成适合信道传输得符号 转换成适合信道传输得符号(信号 信号)从而达到信源与信道 从而达到信源与信道得匹配。得匹配。注 注:信道容量 信道容量C C和输入信号得概率分布无关 和输入信号得概率分布无关,它只是信道传 它只是信道传输概率得函数 输概率得函数,只与信道得统计特性有关。只与信道得统计特性有关。例如,某离散无记忆信源 通过一个无噪无损二元离散信道进行传输。对二元离散信道得信道容量为:C1(比特信道符号)对本信源得信息熵为 H(X)1、937(比特信源符号)要使信源在此二元信道中传输,必须对X进行二元编码:因此,必须通过合适得信源编码,使信道得信息传输率接近或等于信道容量。对于码(比特信道符号)对于码(比特信道符号)3、7 信道编码定理定理3、7、1 有噪信道编码定理(香农第二定理):若有一离散无记忆平稳信道,其容量为C,输入序列长度为L,只要待传送得信息率RC时,任何编码得 必大于零,当 时,。