信息论第五讲PPT课件.ppt

《信息论第五讲PPT课件.ppt》由会员分享，可在线阅读，更多相关《信息论第五讲PPT课件.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于信息论第五讲第一张，PPT共六十三页，创作于2022年6月说明：说明：p(y/x)为为DMC1的信道转移概率；的信道转移概率；p(z/y)为为DMC2的信道转移概率；的信道转移概率；p(z/x,y)为串联信道的信道转移概率；为串联信道的信道转移概率；p(z/x,y)=p(z/y)，说说明明DMC2的的输输出出只只取取决决于于DMC2的的输输入入，这这个个串串联联信信道道具具有马尔可夫链性质。有马尔可夫链性质。I(X,Y;Z)由输出状态由输出状态Z中得到的关于联合状态中得到的关于联合状态(X,Y)的信息量。的信息量。I(Y;Z)由输出状态由输出状态Z中得到的关于状态中得到的关于状态Y的信息量

2、。的信息量。第二张，PPT共六十三页，创作于2022年6月I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)第三张，PPT共六十三页，创作于2022年6月DMC1DMC2XYZ同理：同理：对于所有满足对于所有满足p(x,y,z)0的的(x,y,z)，当且仅当当且仅当p(z/x,y)=p(z/x)时，等式成立。时，等式成立。从从Z中获得中获得X,Y的信息量总是大于等于从的信息量总是大于等于从Z中获得的中获得的X的信息量。的信息量。第四张，PPT共六十三页，创作于2022年6月根据根据:I(X;Z)=H(X)-H(X/Z)=H(Z)-H(Z/X)=I(Z;Y)第五张，PPT

3、共六十三页，创作于2022年6月即即:当当p(z/x,y)=p(z/x)时，等式成立。时，等式成立。说明信道说明信道1是一种无失真的变换。是一种无失真的变换。第六张，PPT共六十三页，创作于2022年6月(2)数据处理定理数据处理定理p(y/x)p(z/xy)XYZ定定理理：若若X,Y,Z为为离离散散随随机机变变量量，并并且且构构成成一一个个马马尔尔可可夫夫链，则有：链，则有：I(X;Z)I(X;Y)I(X;Z)I(Y;Z)证明证明2:如如果果满满足足马马尔尔可可夫夫链链，即即p(z/xy)=p(z/y)。则则串串联联信信道定理中的等号成立。道定理中的等号成立。第七张，PPT共六十三页，创作于

4、2022年6月p(y/x)p(z/xy)XYZI(X,Y;Z)=I(Y;Z)同时在串联信道定理中还有：同时在串联信道定理中还有：I(X,Y;Z)I(X;Z)因此得到因此得到:I(X;Z)I(Y;Z)同样可以证明同样可以证明I(X;Z)I(X;Y)第八张，PPT共六十三页，创作于2022年6月(3)数据处理定理推广数据处理定理推广信源编码器译码器信道这是一个通信系统基本模型。这是一个通信系统基本模型。其中的其中的U，X，Y，V为离散随机矢量。为离散随机矢量。第九张，PPT共六十三页，创作于2022年6月对对于于一一个个实实际际通通信信系系统统来来说说，U，X，Y，V构构成成的的离离散散随机矢量序

5、列形成一个马尔可夫链。也就是说他们满足：随机矢量序列形成一个马尔可夫链。也就是说他们满足：这是山农信息理论对通信系统模型的一个基本假设。这是山农信息理论对通信系统模型的一个基本假设。信源编码器译码器信道第十张，PPT共六十三页，创作于2022年6月信源编码器译码器信道这是山农信息理论对通信系统模型的一个基本假设。这是山农信息理论对通信系统模型的一个基本假设。根据根据数据处理定理数据处理定理可以得到：可以得到：第十一张，PPT共六十三页，创作于2022年6月说明：说明：q信信息息的的处处理理，例例如如编编码码，译译码码等等，只只能能损损失失信信息息，不能增加信息。不能增加信息。q只有当信息处理是

6、一一对应时，等号成立。只有当信息处理是一一对应时，等号成立。q这这一一点点在在理理论论上上是是正正确确的的，但但是是为为了了有有效效并并可可靠靠的的传输信息，数据处理还是必要的。传输信息，数据处理还是必要的。信源编码器译码器信道第十二张，PPT共六十三页，创作于2022年6月(4)多符号信源多符号信源离散随机矢量离散随机矢量第十三张，PPT共六十三页，创作于2022年6月2.7.4 信源的剩余度信源的剩余度关于离散信源熵的总结：关于离散信源熵的总结：1)实实际际信信源源一一般般是是非非平平稳稳的的、有有记记忆忆、随随机机序序列列信信源源；其极限熵是不存在的；其极限熵是不存在的；2)解解决决的的

7、方方法法是是假假设设其其为为离离散散平平稳稳随随机机序序列列信信源源，极极限限熵熵存存在，但求解困难；在，但求解困难；3)进进一一步步假假设设其其为为m阶阶Markov信信源源，其其信信源源熵熵用用极极限限熵熵H m+1近似；近似；4)再再进进一一步步假假设设为为一一阶阶Markov信信源源，用用其其极极限限熵熵H1+1(X2/X1)来近似；来近似；5)最简化的信源是离散无记忆信源，最简化的信源是离散无记忆信源，1)其熵为其熵为H(x)=H1(X);6)最后可以假定为等概的离散无记忆信源，最后可以假定为等概的离散无记忆信源，其熵为其熵为H0(X)=logn；第十四张，PPT共六十三页，创作于2

8、022年6月它们之间的关系可以表示为：它们之间的关系可以表示为：logn=H0(X)H1(X)H1+1(X)H 2+1(X)H m+1(X)H离散有记忆信源的记忆长度越长，信源熵越小；离散有记忆信源的记忆长度越长，信源熵越小；而独立且等概的信源，熵最大。而独立且等概的信源，熵最大。例例英文字母信源：英文字母信源：26个字母加个字母加1个空格符个空格符H0=log27=4.76 bit (等概)H1=4.02 bit （不等概）H1+1=3.32 bit （一阶M-信源）H2+1=3.1 bit （二阶M-信源）H=1.4 bit 第十五张，PPT共六十三页，创作于2022年6月剩余度：剩余度：

9、用用来来衡衡量量由由于于信信源源内内部部的的消消息息状状态态的的相相关关性性和和分分布布性，使其熵减少的程度称为剩余度。性，使其熵减少的程度称为剩余度。相对熵：相对熵：=H/H0=H(X)/Hmax(X)=(实际信源熵)/(离散信源最大熵)内熵内熵(信息熵差信息熵差)：=H0-H=H(X)-Hmax(X)=（最大熵）-（实际信源熵）剩余度：剩余度：第十六张，PPT共六十三页，创作于2022年6月 连续信源熵与信道容量连续信源熵与信道容量上上一一章章我我们们讨讨论论的的是是离离散散信信源源，实实际际应应用用中中还还有有一一类类信信源源称称为为连连续续信信源源，这这种种信信源源的的时时间间和和取取

10、值值都都是是连连续续的的，例例如如语语音音信信号号，电电视视图图像像信信号号都都是是连连续续信信号。号。时时间间离离散散状状态态连连续续的的信信源源熵熵可可以以用用连连续续信信源源熵熵表表示示，相相当当于一个连续随机变量。于一个连续随机变量。而而时时间间连连续续的的信信源源，为为一一个个随随机机过过程程，只只要要信信号号频频谱谱有有限限，则则可可以以根据采样定理，将其变为时间离散信源。根据采样定理，将其变为时间离散信源。这里我们只讨论单变量连续信源，即时间离散状态连续的连续信源。这里我们只讨论单变量连续信源，即时间离散状态连续的连续信源。第十七张，PPT共六十三页，创作于2022年6月3.1连

11、续信源的熵连续信源的熵3.1.1 连续信源熵的定义连续信源熵的定义连续信源的状态概率用概率密度来表示。连续信源的状态概率用概率密度来表示。如果连续随机变量X，取值为实数域R，其概率密度函数为p(x)，则如果取值为有限实数域a,b，则这时X的概率分布函数为：第十八张，PPT共六十三页，创作于2022年6月连续信源的数学模型连续信源的数学模型X：R(或a,b)P(X)：p(x)连续信源熵的表达式连续信源熵的表达式利用离散信源熵的概念来定义连续信源熵，首先看一个再a,b取间的连续随机变量，如图 首先把X的取值区间a,b分割为n个小区间，小区间宽度为：=(b-a)/n根据概率分布为概率密度函数曲线的区

12、间面积的关系，X取值为xi的概率为：Pi=p(xi).第十九张，PPT共六十三页，创作于2022年6月这样可以得到离散信源Xn的信源空间为：且有：当n趋无穷时，按离散信源熵的定义：可得离散信源Xn的熵：第二十张，PPT共六十三页，创作于2022年6月当趋于0，n趋于无穷时，离散随机变量Xn将接近于连续随机变量X，这时可以得到连续信源的熵为：其中：连续信源的熵定义为：第二十一张，PPT共六十三页，创作于2022年6月连续信源熵为一个相对熵，其值为绝对熵减去一个无穷大连续信源熵为一个相对熵，其值为绝对熵减去一个无穷大量。量。H(X)=Hc(X)-连续信源有无穷多个状态，因此根据连续信源有无穷多个状

13、态，因此根据SHANNON熵的定义熵的定义必然为无穷大。必然为无穷大。连续信源的熵不等于一个消息状态具有的平均信息量。其熵是连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的，而信息量是无限的。有限的，而信息量是无限的。连续信源熵不具有非负性，可以为负值。连续信源熵不具有非负性，可以为负值。尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，连续信道的输入输出都是连续变量，当分析其交互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，不影响分析。第二十二张，PPT共六十三页，创作于2022年6月连续信源的疑义度：则平均交互信息量为：I(X,Y)=

14、H(X)-H(X/Y)3.1.2 几种连续信源的熵几种连续信源的熵均匀分布的连续信源熵均匀分布的连续信源熵设一维连续随机变量X的取值区间是a,b，在a,b中的概率密度函数是第二十三张，PPT共六十三页，创作于2022年6月这种连续信源称为均匀分布的连续信源。其熵为：这时可以看到：当(b-a)1时，H(X)0，即H(X)不具有熵函数的非负性，因为H(X)是相对熵，相对熵可以为负值，但绝对熵仍然为正值。高斯分布的连续信源熵高斯分布的连续信源熵设一维随机变量X的取值范围是整个实数R，概率密度函数为：第二十四张，PPT共六十三页，创作于2022年6月其中，m是随机变量X的均值2是随机变量X的方差当均值

15、m=0时，方差2就是随机变量的平均功率，第二十五张，PPT共六十三页，创作于2022年6月这个信源称为高斯分布的连续信源，其数学模型为：这时可以得到高斯连续信源的熵为：第二十六张，PPT共六十三页，创作于2022年6月指数分布的连续信源熵指数分布的连续信源熵设一随机变量X的取值取间为0，其概率密度函数为则称为指数分布的连续信源。其中常数a为随机变量X的均值。即指数分布的连续信源的熵为第二十七张，PPT共六十三页，创作于2022年6月3.2 3.2 连续信源的最大熵连续信源的最大熵3.2.1 连续信源的最大熵连续信源的最大熵为了求出连续信源的最大熵，将利用数学中的变分法的方法来求解。连续信源的熵

16、为：其基本约束条件为：其它约束条件为：第二十八张，PPT共六十三页，创作于2022年6月建立辅助函数：其中有：根据极值的条件有：及m个约束方程，可以确定最大熵和所对应的信源概率密度分布p(x)。第二十九张，PPT共六十三页，创作于2022年6月输出幅度受限时的最大熵（瞬时功率受限）输出幅度受限时的最大熵（瞬时功率受限）其基本条件为：|x|v，x2S，这时对应只有一个约束方程，可以得到：第三十张，PPT共六十三页，创作于2022年6月这里的对数为以e为底，由约束方程可得：结论：对于瞬时功率受限的连续信源，在假定信源状态结论：对于瞬时功率受限的连续信源，在假定信源状态为独立时，当概率密度分布为常数

17、时，信源具有最大熵。为独立时，当概率密度分布为常数时，信源具有最大熵。其最大熵为：其最大熵为：第三十一张，PPT共六十三页，创作于2022年6月输出平均功率受限时的最大熵输出平均功率受限时的最大熵推导：这时的约束条件为：可知：第三十二张，PPT共六十三页，创作于2022年6月由极值条件：可得：第三十三张，PPT共六十三页，创作于2022年6月将其代入约束条件,可得：得到：得到连续信源获得最大熵时的概率密度函数：第三十四张，PPT共六十三页，创作于2022年6月这是一个均值为0的高斯分布。其最大熵为：第三十五张，PPT共六十三页，创作于2022年6月如果平均功率为N=2;则有结论：（最大熵定理）

18、结论：（最大熵定理）对对于于输输出出平平均均功功率率受受限限的的连连续续信信源源，在在假假设设状状态态相相互互独独立立时时，当当其其概概率率密密度度函函数数为为高高斯斯分分布布时时，具有最大熵。其最大熵值随功率具有最大熵。其最大熵值随功率N N的增加而增加。的增加而增加。第三十六张，PPT共六十三页，创作于2022年6月3.2.2 连续信源的熵功率连续信源的熵功率对对于于平平均均功功率率受受限限的的连连续续信信源源，当当信信源源为为高高斯斯分分布布时时有有最最大大熵熵，如如果果信信源源不不是是高高斯斯分分布布，则则信信源源熵熵将将小小于于最最大大熵熵。熵熵功功率率则则用用来来描描述述连连续续信

19、信源源熵熵的的剩剩余余度度。即即说说明明信信源源是是可可以以改改造造的程度。的程度。一一个个平平均均功功率率为为N的的非非高高斯斯分分布布的的连连续续信信源源的的熵熵功功率率等等于于与与其有同样熵的高斯信源的平均功率其有同样熵的高斯信源的平均功率。当当非非高高斯斯连连续续信信源源与与高高斯斯信信源源具具有有相相同同熵熵时时，那那非非高高斯斯信源的平均功率一定大于高斯信源的功率。信源的平均功率一定大于高斯信源的功率。当当非非高高斯斯连连续续信信源源与与高高斯斯信信源源具具有有相相同同平平均均功功率率时时，那那非非高高斯斯信信源的熵一定小于高斯信源的熵。源的熵一定小于高斯信源的熵。第三十七张，PP

20、T共六十三页，创作于2022年6月平均功率为N的非高斯信源的熵功率为：（“目标功率目标功率”）非高斯信源：高斯信源：当时；一定有：当时；一定有：第三十八张，PPT共六十三页，创作于2022年6月3.2.3 连续信源的共熵和条件熵连续信源的共熵和条件熵同离散信源相似，连续信源也可定义其共熵和条件熵，其基本关系为：H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(X,Y)H(X)+H(Y)H(X/Y)H(X)H(Y/X)H(Y)第三十九张，PPT共六十三页，创作于2022年6月3.3 连续有噪声信道的信道容量连续有噪声信道的信道容量3.3.1 连续信道的平均交互信息量连续信道的平均交

21、互信息量设信道输入的随机变量X的取值为a,b，信道输出随机变量Y的取值为a,b，信道转移概率为p(y/x),(axb,ayb)，如图3-2所示。第四十张，PPT共六十三页，创作于2022年6月其连续信道的平均交互信息量为：I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)其中熵函数的表达式：第四十一张，PPT共六十三页，创作于2022年6月可知：I(X,Y)0；即平均交互信息量为非负值，当X，Y相互独立时，p(x,y)=p(x)p(y)，I(X,Y)=0。同时有：I(X,Y)=I(Y,X)与离散信道情况相似，有相应的概率关系：p(x,y)=p(x)p(y/x)=p(y)p(x/y)第

22、四十二张，PPT共六十三页，创作于2022年6月3.3.2 连续信道的熵速率与信道容量连续信道的熵速率与信道容量熵速率熵速率在一个高高斯斯白白噪噪声声连续信道中，接收随机变量Y为发送消息状态X于噪声n之和。即为加性高斯白噪声（加性高斯白噪声（GAWN）信道）信道，关系如图所示。第四十三张，PPT共六十三页，创作于2022年6月定义：定义：接收熵速率为（不考虑符号速率，r=1）首先考虑X,nX,n的联合熵，由于X X与n n相互独立。即。所以有：联合熵（等于独立熵之和）第四十四张，PPT共六十三页，创作于2022年6月注意：注意：由于Y=X+n，有p(x,n)=p(x)p(n)，即X与n独立，并

23、且有：对于给定的xi,p(y/x)=p(n/x)=p(n)因为Y=X+n；且x与n独立。所以有第四十五张，PPT共六十三页，创作于2022年6月山农公式说明山农公式说明加性高斯白噪声信道的输入信号X与噪声n相加得到输出的接收信号Y，如图所示。根据概率论的相关知识，如果X为N维随机变量，Y为N维随机变量，并且X与Y有函数关系，Yi=gi(X);Xi=fi(Y);(如Y=X+n)，则他们的联合概率密度函数存在关系：第四十六张，PPT共六十三页，创作于2022年6月其中J为雅可比行列式。对于加性高斯白噪声信道，坐标变换为：X=X(f1)；n=Y-X(f2)。第四十七张，PPT共六十三页，创作于202

24、2年6月因此：（X与n相互独立）另外：则：最终得到：第四十八张，PPT共六十三页，创作于2022年6月就是说：加性高斯白噪声连续信道的条件概率密度函数p(y/x)就是噪声n的概率密度函数p(n)，这是加性高斯噪声信道的一个重要特征。则有:可得：熵速率为：R=H(X)-H(X/Y)=H(Y)-H(n)结结论论：在在连连续续有有噪噪声声信信道道上上，接接收收熵熵速速率率等等于于接接收收得得总总信信息息速速率率H(Y)减去噪声信息速率减去噪声信息速率H(n)。第四十九张，PPT共六十三页，创作于2022年6月信道容量（信道容量（Shannon公式）公式）与与离离散散信信道道的的信信道道容容量量的的概

25、概念念一一样样，在在连连续续信信道道中中，对对于于给给定定的信道的信道p(y/x)，最大的接收熵速率为信道容量。，最大的接收熵速率为信道容量。当考虑到随机变量当考虑到随机变量X的符号速率为的符号速率为r时：时：已知已知X与与n相互独立，则相互独立，则H(n)与与p(x)无关。无关。第五十张，PPT共六十三页，创作于2022年6月三点假设：三点假设：信道为加性高斯白噪声信道，功率谱均匀，平均功率为信道为加性高斯白噪声信道，功率谱均匀，平均功率为N。信道带宽满足信号频谱要求，为信道带宽满足信号频谱要求，为W，符号速率为，符号速率为r=2W。信源为平均功率受限，信号功率为信源为平均功率受限，信号功率

26、为P。由于由于Y=X+n。为了使。为了使H(Y)为最大，为最大，Y应为高斯分布。应为高斯分布。若若Y为为高高斯斯分分布布，同同时时已已知知n为为高高斯斯分分布布，则则X也也应应为为高高斯斯分分布布。(Y=X+n)由由此此得得知知：对对于于高高斯斯白白噪噪声声信信道道，当当信信源源为为高高斯斯分分布布时时，接接收收熵熵速率为最大。速率为最大。第五十一张，PPT共六十三页，创作于2022年6月推导：设Y为在接收端的一个平均功率受限的信源，功率为P+N；则有：若把信道噪声看成一个平均功率为N的噪声源，则有：这样由信道容量的关系式可得：这样就得到了Shannon公式公式,单位为net/s。第五十二张，

27、PPT共六十三页，创作于2022年6月Shannon公式的理解：公式的理解：在在加加性性高高斯斯信信道道上上，其其信信道道容容量量C与与信信号号带带宽宽W和和信信号噪声功率比号噪声功率比P/N有关。有关。在在加加性性高高斯斯信信道道上上，当当信信源源信信号号为为高高斯斯分分布布时时，信信道道熵速率等于信道容量。熵速率等于信道容量。对对于于连连续续信信源源来来说说，高高斯斯白白噪噪声声信信道道危危害害最最大大，因为因为H(n)大使熵速率大使熵速率R减小。减小。本本公公式式给给出出了了信信道道容容量量的的理理论论极极限限值值，目目前前还还很很难难实现，因为信源不可能为高斯分布。实现，因为信源不可能

28、为高斯分布。信信道道容容量量的的计计算算比比较较复复杂杂，一一些些简简单单情情况况下下是是可可以以计算的。计算的。第五十三张，PPT共六十三页，创作于2022年6月3-3-3 Shannon公式的参数互换公式的参数互换由Shannon公式可知：（注意：这时的单位可以为比特，因为它是两个熵函数之差，不同单位的信道容量表达式是相同的。）如果考虑通信时间为T，在T秒钟传输的总的信息量为：保持总的信息量不变，保持总的信息量不变，T、W、P/N之间的互换关系。之间的互换关系。当信噪比当信噪比P/N一定时：一定时：WT，TW，当传输时间当传输时间T一定时：一定时：WP/N，WP/N，当带宽当带宽W一定时：

29、一定时：TP/N，TP/N，第五十四张，PPT共六十三页，创作于2022年6月3.4 关于连续信源熵和山农公式11连续信源的剩余度连续信源的剩余度平均功率为N的非高斯信源的熵为HN(X)；令则HN(X)的熵功率为：是HN(X)的熵功率。是这个非高斯信源的剩余度。第五十五张，PPT共六十三页，创作于2022年6月22关于信道噪声关于信道噪声在通信系统中，我们把来自各方面的噪声都集中在一起，认为都在通信系统中，我们把来自各方面的噪声都集中在一起，认为都是从信道加入的。实际系统的噪声分为外部噪声和内部噪声。外是从信道加入的。实际系统的噪声分为外部噪声和内部噪声。外部噪声又分为人为噪声（火花）和自然噪

30、声（大气噪声）。内部部噪声又分为人为噪声（火花）和自然噪声（大气噪声）。内部噪声包括热噪声（电子热运动）和散粒噪声（器件中电流起伏）。噪声包括热噪声（电子热运动）和散粒噪声（器件中电流起伏）。按噪声性质对信道进行分类：按噪声性质对信道进行分类：高斯噪声信道；高斯噪声信道；白噪声信道；白噪声信道；高斯白噪声信道；高斯白噪声信道；有色噪声信道有色噪声信道；第五十六张，PPT共六十三页，创作于2022年6月33高斯噪声信道高斯噪声信道信道中的噪声为高斯分布（正态分布）的平稳、各态历经的随机过程。其幅度值的概率密度函数为高斯分布。内部噪声的热噪声和散粒噪声都是高斯噪声。高斯噪声的一维概率密度函数为：4

31、4白噪声信道白噪声信道白噪声信道就是信道中的噪声为白噪声过程，白噪声是一种平稳、各态历经的随机过程。它的功率谱密度在整个频域上为均匀分布，也就是说功率谱密度为常数。第五十七张，PPT共六十三页，创作于2022年6月白噪声幅度值的概率密度函数为任意的。其中的N0为单边功率谱密度（工程上谱的范围），N0/2为双边功率谱密度（数学上的谱的范围），单位为W/Hz。可以看到白噪声的相关函数为冲击函数。严格地讲，白噪声只是一个理想化的数学模型，实际上不可能存在，但是由于它的简单和方便，是设计和分析的有力工具。电子系统内部噪声的热噪声和散粒噪声都可以认为是白噪声。第五十八张，PPT共六十三页，创作于2022

32、年6月55高斯白噪声信道高斯白噪声信道信道中的噪声为高斯白噪声随机过程。即幅度为高斯分布，功率谱信道中的噪声为高斯白噪声随机过程。即幅度为高斯分布，功率谱为均匀分布的随机过程。电阻的热噪声就是高斯白噪声。通信系统为均匀分布的随机过程。电阻的热噪声就是高斯白噪声。通信系统的信道通常都是高斯白噪声信道。的信道通常都是高斯白噪声信道。在通信原理中我们知道，高斯白噪声经过低通限带带滤波器后在通信原理中我们知道，高斯白噪声经过低通限带带滤波器后有一个重要特性，就是它的取样值是一个均值为有一个重要特性，就是它的取样值是一个均值为0，方差为，方差为N0/2，相互独立的（，相互独立的（N=2FT）个高斯分布的

33、随机变量。）个高斯分布的随机变量。第五十九张，PPT共六十三页，创作于2022年6月66有色噪声信道有色噪声信道除了白噪声以外的噪声称为有色噪声，这样的信道为有色除了白噪声以外的噪声称为有色噪声，这样的信道为有色噪声信道。噪声信道。77乘性信道和加性信道乘性信道和加性信道信道输出信号为信道输入信号乘以噪声的信道为乘性信道。这信道输出信号为信道输入信号乘以噪声的信道为乘性信道。这种噪声称为乘性噪声或乘性干扰。如瑞利衰落干扰。种噪声称为乘性噪声或乘性干扰。如瑞利衰落干扰。信道输出信号为信道输入信号加上噪声的信道为加性信道。这种信道输出信号为信道输入信号加上噪声的信道为加性信道。这种噪声称为加性噪声

34、或加性干扰。如高斯白噪声。噪声称为加性噪声或加性干扰。如高斯白噪声。第六十张，PPT共六十三页，创作于2022年6月88山农公式的进一步理解山农公式的进一步理解由噪声功率N=N0W。当带宽增大是信道容量会增加，但是信道容量会随着带宽无当带宽增大是信道容量会增加，但是信道容量会随着带宽无限度增加吗？不会。因为带宽增加噪声功率也在增加。限度增加吗？不会。因为带宽增加噪声功率也在增加。第六十一张，PPT共六十三页，创作于2022年6月令由于当信号功率一定时，随着带宽增加，信噪比会降低，信道容量不会无限度增加。当带宽增当信号功率一定时，随着带宽增加，信噪比会降低，信道容量不会无限度增加。当带宽增加到一定时，信道容量基本上等于信噪比，这是加性高斯白噪声信道的传信率的极限值。加到一定时，信道容量基本上等于信噪比，这是加性高斯白噪声信道的传信率的极限值。当信道带宽不受限制时，信道传送当信道带宽不受限制时，信道传送1比特信息，信噪比只需要比特信息，信噪比只需要0.693。第六十二张，PPT共六十三页，创作于2022年6月感感谢谢大大家家观观看看第六十三张，PPT共六十三页，创作于2022年6月9/18/2022