信息论第五讲.ppt

《信息论第五讲.ppt》由会员分享，可在线阅读，更多相关《信息论第五讲.ppt（63页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、关于信息论第五讲现在学习的是第1页，共63页说明：说明：p(y/x)为为DMC1的信道转移概率；的信道转移概率；p(z/y)为为DMC2的信道转移概率；的信道转移概率；p(z/x,y)为串联信道的信道转移概率；为串联信道的信道转移概率；p(z/x,y) =p(z/y)，说明说明DMC2的输出只取决于的输出只取决于DMC2的输入，这个串联信道具有马尔的输入，这个串联信道具有马尔可夫链性质。可夫链性质。I(X,Y;Z)由输出状态由输出状态Z中得到的关于联合状态中得到的关于联合状态(X,Y)的信息量。的信息量。I(Y;Z)由输出状态由输出状态Z中得到的关于状态中得到的关于状态Y的信息量。的信息量。现

2、在学习的是第2页，共63页)(),/(log)()/(log);,();(zpyxzpEzpyzpEZYXIZYI),/()/(logyxzpyzpExyzyxzpyzpzyxp),/()/(log),(I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)()/(log)/(1log)(1log)/()(zpyzpEyzpEzpEYZHZH现在学习的是第3页，共63页DMC1DMC2XYZ同理：同理： 对于所有满足对于所有满足p(x,y,z)0的的(x,y,z)，);();,(ZXIZYXI当且仅当当且仅当p(z/x,y)=p(z/x)时，等式成立。时，等式成立。从从Z中

3、获得中获得X,Y的信息量总是大于等于从的信息量总是大于等于从Z中获得的中获得的X的信息量。的信息量。现在学习的是第4页，共63页根据根据: :I(X;Z)=H(X)-H(X/Z)=H(Z)-H(Z/X)=I(Z;Y)(),/(log)()/(log);,();(zpyxzpEzpxzpEZYXIZXI),/()/(logyxzpxzpExyzyxzpxzpzyxp),/()/(log),(xyzyxzpxzpzyxp),/()/(),(log现在学习的是第5页，共63页01log)/(),(logxyzxzpyxp)(),/(log)()/(log);,();(zpyxzpEzpxzpEZYX

4、IZXI);();,(ZXIZYXI即即:当当p(z/x,y)=p(z/x)时，等式成立。时，等式成立。说明信道说明信道1是一种无失真的变换。是一种无失真的变换。现在学习的是第6页，共63页(2) 数据处理定理数据处理定理p(y/x)p(z/xy)XYZ定理：定理：若若X,Y,Z为离散随机变量，并且构成一个马尔可夫链，为离散随机变量，并且构成一个马尔可夫链，则有：则有：I(X;Z)I(X;Y)I(X;Z)I(Y;Z)证明证明2:如果满足马尔可夫链，即如果满足马尔可夫链，即p(z/xy)=p(z/y)。则串联信。则串联信道定理中的等号成立。道定理中的等号成立。现在学习的是第7页，共63页p(y/

5、x)p(z/xy)XYZI(X,Y;Z)=I(Y;Z)同时在串联信道定理中还有：同时在串联信道定理中还有：I(X,Y;Z)I(X;Z)因此得到因此得到:I(X;Z)I(Y;Z)同样可以证明同样可以证明I(X;Z)I(X;Y)现在学习的是第8页，共63页(3) 数据处理定理推广数据处理定理推广信源编码器译码器信道UXYV),.,(21kUUUU ),.,(21nXXXX ),.,(21nYYYY ),.,(21kVVVV 这是一个通信系统基本模型。这是一个通信系统基本模型。其中的其中的U，X，Y，V为离散随机矢量。为离散随机矢量。现在学习的是第9页，共63页对于一个实际通信系统来说，对于一个实际

6、通信系统来说， U，X，Y，V构成的离散构成的离散随机矢量序列形成一个马尔可夫链。也就是说他们满足：随机矢量序列形成一个马尔可夫链。也就是说他们满足：)/(),/(xypuxyp)/(),/(yvpyxvp这是山农信息理论对通信系统模型的一个基本假设。这是山农信息理论对通信系统模型的一个基本假设。信源编码器译码器信道UXYV现在学习的是第10页，共63页信源编码器译码器信道UXYV这是山农信息理论对通信系统模型的一个基本假设。这是山农信息理论对通信系统模型的一个基本假设。根据根据数据处理定理数据处理定理可以得到：可以得到：);();(YXIVXI);();(YUIVUI);();(VXIVUI

7、);();(YXIVUI现在学习的是第11页，共63页);();(YXIVUI说明：说明：q信息的处理，例如编码，译码等，只能损失信息，信息的处理，例如编码，译码等，只能损失信息，不能增加信息。不能增加信息。q只有当信息处理是一一对应时，等号成立。只有当信息处理是一一对应时，等号成立。q这一点在理论上是正确的，但是为了有效并可靠这一点在理论上是正确的，但是为了有效并可靠的传输信息，数据处理还是必要的。的传输信息，数据处理还是必要的。信源编码器译码器信道UXYV现在学习的是第12页，共63页(4)多符号信源多符号信源离散随机矢量离散随机矢量xxpxpXH)(1log)()(),()/()()/(

8、)(),(XYIXYHYHYXHXHYXI现在学习的是第13页，共63页2.7.4 信源的剩余度信源的剩余度关于离散信源熵的总结：关于离散信源熵的总结：实际信源一般是非平稳的、有记忆、随机序列信源；实际信源一般是非平稳的、有记忆、随机序列信源；其极限熵是不存在的；其极限熵是不存在的；解决的方法是假设其为离散平稳随机序列信源，极限熵存在，解决的方法是假设其为离散平稳随机序列信源，极限熵存在，但求解困难；但求解困难；进一步假设其为进一步假设其为m阶阶Markov信源，其信源熵用极限熵信源，其信源熵用极限熵H m+1近似；近似；再 进 一 步 假 设 为 一 阶再 进 一 步 假 设 为 一 阶 M

9、arkov信 源 ， 用 其 极 限 熵信 源 ， 用 其 极 限 熵H1+1(X2/X1) 来近似；来近似；最简化的信源是离散无记忆信源，最简化的信源是离散无记忆信源，其熵为其熵为H(x)=H1 (X);最后可以假定为等概的离散无记忆信源，最后可以假定为等概的离散无记忆信源，其熵为其熵为H0(X)=logn；现在学习的是第14页，共63页它们之间的关系可以表示为：它们之间的关系可以表示为：logn=H0(X)H1(X)H1+1(X)H 2+1(X)H m+1(X)H离散有记忆信源的记忆长度越长，信源熵越小；离散有记忆信源的记忆长度越长，信源熵越小；而独立且等概的信源，熵最大。而独立且等概的信

10、源，熵最大。例例英文字母信源：英文字母信源：26个字母加个字母加1个空格符个空格符H0=log27=4.76 bit (等概)H1=4.02 bit （不等概）H1+1=3.32 bit （一阶M-信源）H2+1=3.1 bit （二阶M-信源）H=1.4 bit 现在学习的是第15页，共63页剩余度：剩余度：用来衡量由于信源内部的消息状态的相关性和分布性，用来衡量由于信源内部的消息状态的相关性和分布性，使其熵减少的程度称为剩余度。使其熵减少的程度称为剩余度。相对熵：相对熵：= H/H0 =H(X)/Hmax(X) =(实际信源熵)/(离散信源最大熵) 内熵内熵(信息熵差信息熵差)：= H0-

11、 H =H(X)-Hmax(X)=（最大熵）-（实际信源熵）剩余度：剩余度：现在学习的是第16页，共63页 连续信源熵与信道容量连续信源熵与信道容量上一章我们讨论的是离散信源，实际应用中还有一类信源称为连续信源，上一章我们讨论的是离散信源，实际应用中还有一类信源称为连续信源，这种信源的时间和取值都是连续的，例如语音信号，电视图像信号都是连这种信源的时间和取值都是连续的，例如语音信号，电视图像信号都是连续信号。续信号。时间离散状态连续的信源熵可以用连续信源熵表示，相当于一个时间离散状态连续的信源熵可以用连续信源熵表示，相当于一个连续随机变量。连续随机变量。而时间连续的信源，为一个随机过程，只要信

12、号频谱有限，则而时间连续的信源，为一个随机过程，只要信号频谱有限，则可以根据采样定理，将其变为时间离散信源。可以根据采样定理，将其变为时间离散信源。这里我们只讨论单变量连续信源，即时间离散状态连续的连续信源。这里我们只讨论单变量连续信源，即时间离散状态连续的连续信源。现在学习的是第17页，共63页3.1连续信源的熵连续信源的熵3.1.1 连续信源熵的定义连续信源熵的定义连续信源的状态概率用概率密度来表示。连续信源的状态概率用概率密度来表示。如果连续随机变量X，取值为实数域R，其概率密度函数为p(x)，则Rdxxp1)(如果取值为有限实数域a,b，则这时X的概率分布函数为：1)(1) 1(xdx

13、xpxXPxF现在学习的是第18页，共63页连续信源的数学模型连续信源的数学模型X：R(或a,b)P(X)：p(x)badxxp1)(连续信源熵的表达式连续信源熵的表达式利用离散信源熵的概念来定义连续信源熵，首先看一个再a,b取间的连续随机变量，如图 首先把X的取值区间a,b分割为n个小区间，小区间宽度为：=(b-a)/n根据概率分布为概率密度函数曲线的区间面积的关系，X取值为xi的概率为：Pi=p(xi).现在学习的是第19页，共63页这样可以得到离散信源Xn的信源空间为：)(.)()(: ,2211nnnxpxxpxxpxPX且有：当n趋无穷时，baninnindxxpxipPi1)()(

14、limlim11按离散信源熵的定义：可得离散信源Xn的熵：niniiinxipxipPPXH11)(log)(log)(ninixipxipxip11)(log)(log)(log)(log)(xipxip现在学习的是第20页，共63页当趋于0，n趋于无穷时，离散随机变量Xn将接近于连续随机变量X，这时可以得到连续信源的熵为：其中：连续信源的熵定义为：ninncxipxipXHXH10log)(log)(lim)(lim)()(XHloglim)(log)(0badxxpxpbadxxpxpXH)(log)()(现在学习的是第21页，共63页连续信源熵为一个相对熵，其值为绝对熵减去一个无穷连续

15、信源熵为一个相对熵，其值为绝对熵减去一个无穷大量。大量。H(X)=Hc(X)-连续信源有无穷多个状态，因此根据连续信源有无穷多个状态，因此根据SHANNON熵的定熵的定义必然为无穷大。义必然为无穷大。连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的，而信息量是无限的。限的，而信息量是无限的。连续信源熵不具有非负性，可以为负值。连续信源熵不具有非负性，可以为负值。尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，连续信道的输入输出都是连续变量，当分析其交互信息量时是求两个熵的差，当采用相同的量化过程时，两个无

16、穷大量将被抵消，不影响分析。现在学习的是第22页，共63页连续信源的疑义度：则平均交互信息量为： I(X,Y)=H(X)-H(X/Y)dxdyyxpyxpYXH)/(log),()/(3.1.2 几种连续信源的熵几种连续信源的熵均匀分布的连续信源熵均匀分布的连续信源熵设一维连续随机变量X的取值区间是a,b，在a,b中的概率密度函数是axbxbxaabxp,01)(现在学习的是第23页，共63页这种连续信源称为均匀分布的连续信源。其熵为：这时可以看到：当(b-a)1时，H(X)0，即H(X)不具有熵函数的非负性，因为H(X)是相对熵，相对熵可以为负值，但绝对熵仍然为正值。)log(1log1)(

17、log)()(abdxababdxxpxpXHbaba高斯分布的连续信源熵高斯分布的连续信源熵设一维随机变量X的取值范围是整个实数R，概率密度函数为：2)(exp21)(222mxxp现在学习的是第24页，共63页其中，m是随机变量X的均值2是随机变量X的方差当均值m=0时，方差2就是随机变量的平均功率，dxxxpxEm)(dxxpmxmXE)()()(222dxxpxP)(2现在学习的是第25页，共63页这个信源称为高斯分布的连续信源，其数学模型为：2)(exp21)(: )(: ,222mxxpRXPXPX1)(dxxp这时可以得到高斯连续信源的熵为：dxmxxpdxxpxpXH2)(ex

18、p21log)()(log)()(2222222log21212log21212logedxmxxpdxxp2222)()(21log)(现在学习的是第26页，共63页指数分布的连续信源熵指数分布的连续信源熵设一随机变量X的取值取间为0，其概率密度函数为)0(1)(xeaxpax则称为指数分布的连续信源。其中常数a为随机变量X的均值。即adxeaxdxxxpmXEax001)(指数分布的连续信源的熵为dxeaeadxxpxpXHaxax1log1)(log)()(00aedxxeadxeaaaxaxlog1log100现在学习的是第27页，共63页3.2 3.2 连续信源的最大熵连续信源的最大

19、熵3.2.1 连续信源的最大熵连续信源的最大熵为了求出连续信源的最大熵，将利用数学中的变分法的方法来求解。连续信源的熵为：其基本约束条件为：其它约束条件为：dxxpxpXH)(log)()(1)(dxxp22( , )bax p dxK33( , )bax p dxK现在学习的是第28页，共63页建立辅助函数：其中有：根据极值的条件有：及m个约束方程，可以确定最大熵和所对应的信源概率密度分布p(x)。 11 , ( )( , )( , ).( , )mmF x p xf x p dxx p dxx p dx )(log)(),(xpxppxf0),(ppxF现在学习的是第29页，共63页输出幅

20、度受限时的最大熵（瞬时功率受限）输出幅度受限时的最大熵（瞬时功率受限）其基本条件为：|x|v，x2S，这时对应只有一个约束方程，vvdxxp1)(01)(log1 ),(1),(),(1xpppxppxfppxF可以得到：11)(; 11)(logexpxp现在学习的是第30页，共63页这里的对数为以e为底，由约束方程可得：Svxpvedxevv2121)(;21; 11111结论：对于瞬时功率受限的连续信源，在假定信源状态结论：对于瞬时功率受限的连续信源，在假定信源状态为独立时，当概率密度分布为常数时，信源具有最大熵。为独立时，当概率密度分布为常数时，信源具有最大熵。其最大熵为：其最大熵为：

21、vdxvvXHvv2log21log21)(max现在学习的是第31页，共63页输出平均功率受限时的最大熵输出平均功率受限时的最大熵推导：这时的约束条件为：22)(; 1)(dxxpxdxxp可知：)(),();(),();(log)(),(221xpxpxxppxxpxppxf221),(; 1),();(log1 ),(xppxppxxpppxf现在学习的是第32页，共63页由极值条件：12120fppp 0)(log1 221xxp可得：1)(log221xxp2211)(xeexp现在学习的是第33页，共63页将其代入约束条件,可得：12211dxeex2212221)(dxexedx

22、xpxx得到：得到连续信源获得最大熵时的概率密度函数：21;211221e22221)(xexp现在学习的是第34页，共63页这是一个均值为0的高斯分布。其最大熵为：dxxxpdxxpXHe)2)(21)log()(22dxexdxexxe22222222212212logneteee;2log212log现在学习的是第35页，共63页如果平均功率为N=2; 则有biteNneteNXHee2log443. 1;2log)(max结论：（最大熵定理）结论：（最大熵定理）对于输出平均功率受限的连续信源，在假设状态相互对于输出平均功率受限的连续信源，在假设状态相互独立时，当其概率密度函数为高斯分布

23、时，具有最大独立时，当其概率密度函数为高斯分布时，具有最大熵。其最大熵值随功率熵。其最大熵值随功率N N的增加而增加。的增加而增加。现在学习的是第36页，共63页3.2.2 连续信源的熵功率连续信源的熵功率对于平均功率受限的连续信源，当信源为高斯分布时有最大熵，对于平均功率受限的连续信源，当信源为高斯分布时有最大熵，如果信源不是高斯分布，则信源熵将小于最大熵。如果信源不是高斯分布，则信源熵将小于最大熵。熵功率则用熵功率则用来描述连续信源熵的剩余度来描述连续信源熵的剩余度。即说明信源是可以改造的程。即说明信源是可以改造的程度。度。一个平均功率为一个平均功率为N的非高斯分布的连续信源的熵功率等于的

24、非高斯分布的连续信源的熵功率等于与其有同样熵的高斯信源的平均功率与其有同样熵的高斯信源的平均功率。当非高斯连续信源与高斯信源具有相同熵时，那非高斯当非高斯连续信源与高斯信源具有相同熵时，那非高斯信源的平均功率一定大于高斯信源的功率。信源的平均功率一定大于高斯信源的功率。当非高斯连续信源与高斯信源具有相同平均功率时，那非高斯信当非高斯连续信源与高斯信源具有相同平均功率时，那非高斯信源的熵一定小于高斯信源的熵。源的熵一定小于高斯信源的熵。现在学习的是第37页，共63页平均功率为N的非高斯信源的熵功率为： （“目标功率目标功率”）NeXHXHeN2log)()(maxNeeXHN2)(2NeeNXH

25、N)(221非高斯信源：高斯信源：( )NNHxmax( )NHx当时； 一定有：当时； 一定有：max( )( )NHxHxNNNNmax( )( )NHxHx现在学习的是第38页，共63页3.2.3 连续信源的共熵和条件熵连续信源的共熵和条件熵同离散信源相似，连续信源也可定义其共熵和条件熵，其基本关系为：dxdyyxpyxpYXH),(log),(),(dxdyxypyxpXYH)/(log),()/(dxdyyxpyxpYXH)/(log),()/( H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X,Y)H(X)+H(Y) H(X/Y)H(X) H(Y/X)H(Y)现

26、在学习的是第39页，共63页3.3 连续有噪声信道的信道容量连续有噪声信道的信道容量3.3.1 连续信道的平均交互信息量连续信道的平均交互信息量设信道输入的随机变量X的取值为a,b，信道输出随机变量Y的取值为a,b，信道转移概率为p(y/x), (axb,ayb)，如图3-2所示。现在学习的是第40页，共63页其连续信道的平均交互信息量为：I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)其中熵函数的表达式：badxxpxpXH)(log)()( )(log)()(badyypypYHbabadxdyyxpyxpYXH ),(log),(),(babadxdyyxpyxpYXH )/

27、(log),()/(babadxdyxypyxpXYH )/(log),()/(现在学习的是第41页，共63页可知：I(X,Y)0；即平均交互信息量为非负值，当X，Y相互独立时，p(x,y)=p(x)p(y)，I(X,Y)=0。同时有：I(X,Y)=I(Y,X)与离散信道情况相似，有相应的概率关系：p(x,y)=p(x)p(y/x)=p(y)p(x/y)babadxxypxpdxyxpyp)/()(),()(badxxypxpxypxpypyxpyxp)/()()/()()(),()/(现在学习的是第42页，共63页3.3.2 连续信道的熵速率与信道容量连续信道的熵速率与信道容量熵速率熵速率在

28、一个高斯白噪声高斯白噪声连续信道中，接收随机变量Y为发送消息状态X于噪声n之和。即为加性高斯白噪声（加性高斯白噪声（GAWN）信道）信道，关系如图所示。现在学习的是第43页，共63页定义：定义：接收熵速率为（不考虑符号速率，r=1）首先考虑X,nX,n的联合熵，由于X X与n n相互独立。即。所以有：联合熵（等于独立熵之和）)/()()/()(),(XYHYHYXHXHYXIrR)()/(nHXnH)()()/()(),(nHXHXnHXHnXH现在学习的是第44页，共63页注意：注意：由于Y=X+n，有p(x,n)=p(x)p(n)，即X与n独立，并且有：对于给定的xi, p(y/x)=p(

29、n/x)=p(n) 因为Y=X+n；且x与n独立。所以有),()()()/()(),(nxpnpxpxypxpyxp现在学习的是第45页，共63页山农公式说明山农公式说明加性高斯白噪声信道的输入信号X与噪声n相加得到输出的接收信号Y，如图所示。根据概率论的相关知识，如果X为N维随机变量，Y为N维随机变量，并且X与Y有函数关系，Yi=gi(X); Xi=fi(Y); (如Y=X+n)，则他们的联合概率密度函数存在关系：)(),.,(),.,(2121YXJxxxpyyypNXNY现在学习的是第46页，共63页其中J为雅可比行列式。NNNNNNNNYfYfYfYfYfYfYfYfYfYYYXXXY

30、XJ.),.,(),.,()(2122221112112121对于加性高斯白噪声信道，坐标变换为：X=X (f1)；n=Y-X (f2)。),(),(),(YXnXJnxpyxp11011),(YnYXXnXXYXnXJ现在学习的是第47页，共63页因此： （X与n相互独立）另外：则：最终得到：)()(),(),(npxpnxpyxp)/()(),(xypxpyxp)()(),()(),()/(npxpnxpxpyxpxyp)()/(nHXYH现在学习的是第48页，共63页就是说：加性高斯白噪声连续信道的条件概率密度函数p(y/x)就是噪声n的概率密度函数p(n)，这是加性高斯噪声信道的一个重

31、要特征。则有: )()/()/(nHXnHXYH)/()()()()/()(),(YXHYHnHXHXYHXHYXH可得：)()()/()(),(nHYHYXHXHYXI熵速率为：R=H(X)-H(X/Y)=H(Y)-H(n)结论：在连续有噪声信道上，接收熵速率等于接收得总信息速率结论：在连续有噪声信道上，接收熵速率等于接收得总信息速率H(Y)减减去噪声信息速率去噪声信息速率H(n)。现在学习的是第49页，共63页信道容量（信道容量（Shannon公式）公式）与离散信道的信道容量的概念一样，在连续信道中，对于给定与离散信道的信道容量的概念一样，在连续信道中，对于给定的信道的信道p(y/x)，最

32、大的接收熵速率为信道容量。，最大的接收熵速率为信道容量。)()(max),(max)()(nHYHYXICxpxp当考虑到随机变量当考虑到随机变量X的符号速率为的符号速率为r时：时：)()(max),(max)()(nHYHrYXIrCxpxp已知已知X与与n相互独立，则相互独立，则H(n)与与p(x)无关。无关。)( )(max)(nHYHrCxp现在学习的是第50页，共63页三点假设：三点假设：信道为加性高斯白噪声信道，功率谱均匀，平均功率为信道为加性高斯白噪声信道，功率谱均匀，平均功率为N。信道带宽满足信号频谱要求，为信道带宽满足信号频谱要求，为W，符号速率为，符号速率为r=2W。信源为

33、平均功率受限，信号功率为信源为平均功率受限，信号功率为P。由于由于Y=X+n。为了使。为了使H(Y)为最大，为最大，Y应为高斯分布。应为高斯分布。若若Y为高斯分布，同时已知为高斯分布，同时已知n为高斯分布，则为高斯分布，则X也应为高斯分布。也应为高斯分布。(Y=X+n)由此得知：对于高斯白噪声信道，当信源为高斯分布时，接收熵速由此得知：对于高斯白噪声信道，当信源为高斯分布时，接收熵速率为最大。率为最大。现在学习的是第51页，共63页推导：设Y为在接收端的一个平均功率受限的信源，功率为P+N；则有：)(2log )(2log2)(maxNPeWNPeWYHree若把信道噪声看成一个平均功率为N的

34、噪声源，则有：)2(log)( eNWnHe这样由信道容量的关系式可得：)1 (log)( )(maxmaxNPWnHYHrRCe这样就得到了Shannon公式公式, 单位为net/s。)1 (logNPWCe现在学习的是第52页，共63页Shannon公式的理解：公式的理解：在加性高斯信道上，其信道容量在加性高斯信道上，其信道容量C与信号带宽与信号带宽W和信号噪声功率比和信号噪声功率比P/N有关。有关。在加性高斯信道上，当信源信号为高斯分布时，在加性高斯信道上，当信源信号为高斯分布时，信道熵速率等于信道容量。信道熵速率等于信道容量。对于连续信源来说，高斯白噪声信道危害最大，对于连续信源来说，

35、高斯白噪声信道危害最大，因为因为H(n)大使熵速率大使熵速率R减小。减小。本公式给出了信道容量的理论极限值，目前还本公式给出了信道容量的理论极限值，目前还很难实现，因为信源不可能为高斯分布。很难实现，因为信源不可能为高斯分布。 信道容量的计算比较复杂，一些简单情况下是可以信道容量的计算比较复杂，一些简单情况下是可以计算的。计算的。现在学习的是第53页，共63页3-3-3 Shannon公式的参数互换公式的参数互换由Shannon公式可知：（注意：这时的单位可以为比特，因为它是两个熵函数之差，不同单位的信道容量表达式是相同的。）sbitNPWC/)1 (log2如果考虑通信时间为T，在T秒钟传输

36、的总的信息量为：bitsNPTWTCIT)1log( 保持总的信息量不变，保持总的信息量不变，T、W、P/N之间的互换关系。之间的互换关系。当信噪比当信噪比P/N一定时：一定时：WT，TW，当传输时间当传输时间T一定时：一定时：WP/N，WP/N，当带宽当带宽W一定时：一定时：TP/N，TP/N，现在学习的是第54页，共63页3.4 关于连续信源熵和山农公式11连续信源的剩余度连续信源的剩余度平均功率为N的非高斯信源的熵为HN(X)；令则HN(X)的熵功率为： 是HN(X)的熵功率。 是这个非高斯信源的剩余度。NeXHXHeN2log)()(maxNeeXHN2)(2NeeNXHN)(221N

37、)(NN 现在学习的是第55页，共63页22关于信道噪声关于信道噪声在通信系统中，我们把来自各方面的噪声都集中在一起，认为在通信系统中，我们把来自各方面的噪声都集中在一起，认为都是从信道加入的。实际系统的噪声分为外部噪声和内部噪声。都是从信道加入的。实际系统的噪声分为外部噪声和内部噪声。外部噪声又分为人为噪声（火花）和自然噪声（大气噪声）。外部噪声又分为人为噪声（火花）和自然噪声（大气噪声）。内部噪声包括热噪声（电子热运动）和散粒噪声（器件中电流内部噪声包括热噪声（电子热运动）和散粒噪声（器件中电流起伏）。起伏）。按噪声性质对信道进行分类：按噪声性质对信道进行分类：高斯噪声信道；高斯噪声信道；

38、白噪声信道；白噪声信道；高斯白噪声信道；高斯白噪声信道；有色噪声信道有色噪声信道； 现在学习的是第56页，共63页33高斯噪声信道高斯噪声信道信道中的噪声为高斯分布（正态分布）的平稳、各态历经的随机过程。其幅度值的概率密度函数为高斯分布。内部噪声的热噪声和散粒噪声都是高斯噪声。高斯噪声的一维概率密度函数为：2)(exp21)(222mxxp44白噪声信道白噪声信道白噪声信道就是信道中的噪声为白噪声过程，白噪声是一种平稳、各态历经的随机过程。它的功率谱密度在整个频域上为均匀分布，也就是说功率谱密度为常数。)(2)(0NPn现在学习的是第57页，共63页白噪声幅度值的概率密度函数为任意的。其中的N

39、0为单边功率谱密度（工程上谱的范围），N0/2为双边功率谱密度（数学上的谱的范围），单位为W/Hz。可以看到白噪声的相关函数为冲击函数。)(2)(2)(00NRNPnn严格地讲，白噪声只是一个理想化的数学模型，实际上不可能存在，但是由于它的简单和方便，是设计和分析的有力工具。电子系统内部噪声的热噪声和散粒噪声都可以认为是白噪声。现在学习的是第58页，共63页55高斯白噪声信道高斯白噪声信道信道中的噪声为高斯白噪声随机过程。即幅度为高斯分布，功率谱信道中的噪声为高斯白噪声随机过程。即幅度为高斯分布，功率谱为均匀分布的随机过程。电阻的热噪声就是高斯白噪声。通信系统为均匀分布的随机过程。电阻的热噪声

40、就是高斯白噪声。通信系统的信道通常都是高斯白噪声信道。的信道通常都是高斯白噪声信道。在通信原理中我们知道，高斯白噪声经过低通限带带滤波在通信原理中我们知道，高斯白噪声经过低通限带带滤波器后有一个重要特性，就是它的取样值是一个均值为器后有一个重要特性，就是它的取样值是一个均值为0，方，方差为差为N0/2，相互独立的（，相互独立的（N=2FT）个高斯分布的随机变量。）个高斯分布的随机变量。现在学习的是第59页，共63页66有色噪声信道有色噪声信道除了白噪声以外的噪声称为有色噪声，这样的信道为有除了白噪声以外的噪声称为有色噪声，这样的信道为有色噪声信道。色噪声信道。77乘性信道和加性信道乘性信道和加

41、性信道信道输出信号为信道输入信号乘以噪声的信道为乘性信信道输出信号为信道输入信号乘以噪声的信道为乘性信道。这种噪声称为乘性噪声或乘性干扰。如瑞利衰落干道。这种噪声称为乘性噪声或乘性干扰。如瑞利衰落干扰。扰。信道输出信号为信道输入信号加上噪声的信道为加性信道。这信道输出信号为信道输入信号加上噪声的信道为加性信道。这种噪声称为加性噪声或加性干扰。如高斯白噪声。种噪声称为加性噪声或加性干扰。如高斯白噪声。现在学习的是第60页，共63页88山农公式的进一步理解山农公式的进一步理解)1 (logNPWCebitsNPTWTCIT)1log( 由噪声功率N=N0W。)1 (log0WNPWCe当带宽增大是

42、信道容量会增加，但是信道容量会随着带宽无限度增当带宽增大是信道容量会增加，但是信道容量会随着带宽无限度增加吗？不会。因为带宽增加噪声功率也在增加。加吗？不会。因为带宽增加噪声功率也在增加。现在学习的是第61页，共63页令WNPx0 xxeWxNPWNPPWNNPC/100000)1log(lim)1 (loglim由于1)1ln(lim/10 xxxsbitNPNPCW/443. 12lnlim00当信号功率一定时，随着带宽增加，信噪比会降低，信道容量不会无限度增加。当带当信号功率一定时，随着带宽增加，信噪比会降低，信道容量不会无限度增加。当带宽增加到一定时，信道容量基本上等于信噪比，这是加性高斯白噪声信道的传信率的宽增加到一定时，信道容量基本上等于信噪比，这是加性高斯白噪声信道的传信率的极限值。极限值。当信道带宽不受限制时，信道传送当信道带宽不受限制时，信道传送1比特信息，信噪比只需要比特信息，信噪比只需要0.693。现在学习的是第62页，共63页感谢大家观看感谢大家观看8/30/2022现在学习的是第63页，共63页