第3章信息与信道精选文档.ppt

《第3章信息与信道精选文档.ppt》由会员分享，可在线阅读，更多相关《第3章信息与信道精选文档.ppt（71页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第3章信息与信道2022/9/291本讲稿第一页，共七十一页31信息论1信息论基础信息论基础2一般信息论一般信息论3广义信息论广义信息论2022/9/292本讲稿第二页，共七十一页1信息论基础n1948年，美国工程师香农发表了长篇论文通信的数学理论，论文以概率论为工具，系统地讨论了通信工程中的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得出了一组表征信息传递重要关系的编码定理，从而奠定了信息论的基础。香农也被后人尊称为“信息论之父”。2022/9/293本讲稿第三页，共七十一页n香农信息论也称狭义信息论，主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的

2、有香农三定理以及信源和信道编码。2022/9/294本讲稿第四页，共七十一页2一般信息论n一般信息论主要研究信息的传输和处理问题。除了香农的基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估值理论、调制理论。美国科学家维纳（N.Wiener）是这个领域的另一个代表人物。2022/9/295本讲稿第五页，共七十一页n虽然维纳和香农等人都是运用概率和统计数学的方法，研究准确或者近似再现消息的，但香农的研究对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码；而维纳的研究重点在接收端，研究如何在消息受到干扰的情况下（事实上这无可避免），在接收端将它从干扰中提取出来。2022/9/

3、296本讲稿第六页，共七十一页3广义信息论n广义信息论是一门综合性的新兴学科，至今没有严格定义，它将研究从自然科学领域扩展到经济学和社会科学领域。任何系统，如神经传导系统、市场销售系统，只要能够抽象成通信系统模型，都可以用信息论进行研究。2022/9/297本讲稿第七页，共七十一页n总的来说，所有研究信息的识别、控制、提取、变换、传输、处理、存储、显示、价值、作用及信息量的大小等一般规律，以及实现手段的工程学科，都属于广义信息论的范畴。2022/9/298本讲稿第八页，共七十一页3.2 信息的度量n信息论是在信息可以度量的前提下，研究有效、可靠、安全地传递信息的科学。可见信息的可度量性是建立信

4、息论的基础。衡量信息多少的物理量叫做信息量。3.2.1 信息量信息量3.2.2 平均信息量和信源熵平均信息量和信源熵2022/9/299本讲稿第九页，共七十一页3.2.1 信息量n在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对于接收者来说，某些消息比另外一些消息含有更多的信息。例如一方告诉另一方两件事：“夏天很闷热，她穿着丝质短袖”和“夏天很闷热，她倒穿上了大棉袄”，后一消息所包含的信息量感觉起来比前者要多些。因为在接收者看来，前一件事很可能发生，不足为奇，后一件事倒有些稀奇，听后让人感到意外。2022/9/2910本讲稿第十页，共七十一页n信息度量的方法有若干种，其中最常用的是统

5、计度量。n概率论告诉我们：事件出现的可能性越小，概率就越小，可能性越大，概率也越大。消息所携带的信息量，与它所描述的事件出现的概率密切相关。事件发生的概率越小，消息中包含的信息量就越大，反之信息量就越小。如果事件是必然的（概率为1），则消息传递的信息量应为零。因此，信息量应该是事件发生概率的单调递减函数。2022/9/2911本讲稿第十一页，共七十一页n对由有限个符号组成的离散信源来说，随着消息长度的增加，可能出现的消息数目是呈指数增加的。n如果收到的不是一个消息，而是若干个相互独立的消息，那么总的信息量应该是每个消息的信息量之和，这意味着信息量还应满足相加性的条件。2022/9/2912本讲

6、稿第十二页，共七十一页n对信息量作如下定义可满足以上三方面的考虑：若一个消息 （或其描述的事件）出现的概率为 ，则这一消息所含的信息量为（3.1）2022/9/2913本讲稿第十三页，共七十一页n式（3.1）中对数的底 取2时，信息量的单位为比特（bit，b），这是目前应用最广泛的单位；n 取 e即为自然对数时，信息量的单位为奈特（nat）；n 取10时，信息量的单位为迪特（Det）或哈特（Hart，Hartley）。2022/9/2914本讲稿第十四页，共七十一页n设离散信息源是一个由个 符号组成的集合，称符号集。符号集中的每一个符号 在消息中按一定概率 独立出现，表示为：，且 2022/9

7、/2915本讲稿第十五页，共七十一页n若把一个字符看作一个最短的消息，则根据，可知符号 所包含的信息量分是比特。2022/9/2916本讲稿第十六页，共七十一页n特别地，若 个符号出现的概率相等，即每个符号出现的概率都为 ，则每个符号携带的信息量为：（3.2）2022/9/2917本讲稿第十七页，共七十一页n当 ，即二进制信源时，每个二进制符号（通常表示为0、1）携带的信息量是1 。注：注：Bit（位）也常被用作计量二进制数据位数的单位，请注意其与用作信息量单位时的差异。若一条消息包括若干个符号，那么这条消息包含的信息量应是所有符号携带信息量的总和。2022/9/2918本讲稿第十八页，共七十

8、一页【例3-1】n一信息源由4个符号A、B、C、D组成，它们出现的概率分别是1/4、3/8、1/8、1/4，且每个符号的出现都是独立的。试求某个消息“ABACDDACCCDBBBDCDABCDAADCBC”的信息量。2022/9/2919本讲稿第十九页，共七十一页解解 符号A、B、C、D携带的信息量分别为：2022/9/2920本讲稿第二十页，共七十一页n消息总共有28个符号，其中A出现7次，B出现6次，C出现8次，D出现7次。因此上述消息携带的总信息量为：2022/9/2921本讲稿第二十一页，共七十一页3.2.2 平均信息量和信源熵n由例3-1可知，当消息很长时，用符号出现的概率和次数来计

9、算消息的信息量是比较麻烦的。引入单个符号的平均信息量会方便许多。n平均信息量是指每个符号所含信息量的统计平均值。2022/9/2922本讲稿第二十二页，共七十一页n 种符号的平均信息量定义为：（3.3）2022/9/2923本讲稿第二十三页，共七十一页n由于 的定义形式与统计热力学中的熵相似，所以通常称之为信源的信息熵，也叫信源熵或香农熵。注：注：但除了表示平均信息量外，信源熵还有更宽泛的含义。例如还可用于表征信源的平均不确定度等。2022/9/2924本讲稿第二十四页，共七十一页n有了平均信息量 和消息中包含的符号个数 ，可求出总信息量为：（3.4）这虽是估算方法，但使用比较方便。2022/

10、9/2925本讲稿第二十五页，共七十一页【例3-2】n要求利用平均信息量的方法对例3-1进行计算。解解 由式（3.3）可得平均信息量为：2022/9/2926本讲稿第二十六页，共七十一页由式（3.4）可得消息所含信息量为：2022/9/2927本讲稿第二十七页，共七十一页n不同的离散信源可能有不同的信源熵，通常我们会期望熵值越大越好。n可以证明，信源熵的最大熵值发生在每一符号出现概率相等的情况下，对具有个符号的信源，最大熵值等于比特/符号；若为二进制信源，最大熵值为1比特/符号。2022/9/2928本讲稿第二十八页，共七十一页3.3 信道与噪声3.3.1 信道的定义和模型信道的定义和模型3.

11、3.2 信道中的噪声信道中的噪声3.3.3 信道容量信道容量2022/9/2929本讲稿第二十九页，共七十一页3.3.1 信道的定义和模型1狭义信道和广义信道狭义信道和广义信道2调制信道的模型调制信道的模型2022/9/2930本讲稿第三十页，共七十一页1狭义信道和广义信道n在第一章中，信道被定义为发送设备和接收设备之间用以传输信号的传输媒质。例如光缆、双绞线电缆、同轴电缆、自由空间、电离层等都是信道。这种信道只涉及传输媒质，通常称之为狭义信道。2022/9/2931本讲稿第三十一页，共七十一页n在通信系统的研究中，为了简化系统模型并突出重点，常常要根据所研究的问题，把信道范围适当扩大，也就是

12、说除了传输媒质以外，还可以将有关的电路或部件包括进来，例如图3.1示意了调制信道和编码信道的构成。这类被扩大了范围的信道统称为广义信道。2022/9/2932本讲稿第三十二页，共七十一页图3.1 调制信道和编码信道2022/9/2933本讲稿第三十三页，共七十一页n狭义信道是广义信道的核心，广义信道的性能在很大程度上取决于狭义信道，因此在研究信道一般特性时，传输媒质仍然是讨论的重点。n在讨论通信系统的一般原理时，通常都采用广义信道。n为了叙述上的简便，我们常把广义信道简称为信道。2022/9/2934本讲稿第三十四页，共七十一页n调制信道（从调制器的输出端到解调器的输入端）是一种常用的广义信道

13、。调制器的作用是产生已调信号，解调器的作用是由已调信号恢复原来的调制信号，至于它们之间的所有部件和媒质，从调制器和解调器的角度看来，都同样起着对已调信号的传输作用，因此可以将它们视作一个整体调制信道。2022/9/2935本讲稿第三十五页，共七十一页2调制信道的模型n调制信道传输已调信号，其输入端接调制器的输出端，输出端接解调器的输入端，可将其视为一个二对端的时变线性网络，如图3.2所示。2022/9/2936本讲稿第三十六页，共七十一页图3.2 调制信道模型2022/9/2937本讲稿第三十七页，共七十一页n设信道的输入（已调）信号 和输出信号 之间满足关系：（3.5）2022/9/2938

14、本讲稿第三十八页，共七十一页n式中 依赖于网络的特性，不依赖于网络特性，它们的存在对输入信号 来说都是干扰。n由于 与 是相乘关系，而 与 是相互独立的，所以习惯上称 为乘性干扰、为加性干扰。2022/9/2939本讲稿第三十九页，共七十一页n乘性干扰 一般是一个复杂的函数，它可能包括各种线性、非线性畸变因素，这是因为网络的延迟特性和损耗特性在随时间作随机变化。2022/9/2940本讲稿第四十页，共七十一页n但大量观察表明，有些信道的 基本不随时间变化，即信道对信号的影响是固定的或变化极为缓慢的；而另一些信道的 是随机快速变化的。2022/9/2941本讲稿第四十一页，共七十一页n这样，在分

15、析乘性干扰时，可把信道分为两大类：一类称为恒参信道，即其 可看成不或基本不随时间变化；另一类则称为随参信道，即其 是随机快变化的。2022/9/2942本讲稿第四十二页，共七十一页n恒参信道非常普遍，如有线信道、无线信道中的超短波信道、卫星信道等都可视作恒参信道。对恒参信道而言，信道模型可简化为非时变的线性网络，那么信道对信号的干扰就只有加性干扰了。n加性干扰也称加性噪声，简称噪声。2022/9/2943本讲稿第四十三页，共七十一页3.3.2 信道中的噪声1噪声的分类噪声的分类2高斯噪声高斯噪声3白噪声白噪声2022/9/2944本讲稿第四十四页，共七十一页1噪声的分类n按来源进行如下分类：n

16、人为噪声来源于无关的其他信号源，如外台信号、电火花、荧光灯干扰等。n自然噪声是指自然界存在的各种电磁波源，如闪电、雷暴等。n内部噪声是系统设备本身产生的各种噪声，如热噪声、散弹噪声、电源哼声等。2022/9/2945本讲稿第四十五页，共七十一页n某些类型的噪声是确知的，例如电源哼声、自激振荡、各种内部的谐波干扰等，虽然消除这些噪声不一定很容易，但至少在原理上可以消除或基本消除。而另一些噪声则不能准确地预测波形，这种不能预测的噪声统称为随机噪声。随机噪声是我们关注的重点。2022/9/2946本讲稿第四十六页，共七十一页n常见的随机噪声可分为单频噪声、脉冲噪声和起伏噪声三类。2022/9/294

17、7本讲稿第四十七页，共七十一页单频噪声 n单频噪声是一种连续波的干扰（如外台信号），它可视为一个已调正弦波（幅度、频率或相位事先无法预测），占有极窄的频带。它的频率可以通过实际测量进行确定，因此只要采取恰当措施，通常可加以防止。2022/9/2948本讲稿第四十八页，共七十一页脉冲噪声 n脉冲噪声是在时间上无规则的时而安静时而突发的噪声，突发时脉冲幅度大，但每个突发脉冲持续时间短，且相邻突发脉冲之间往往有较长的“平静”期。从频谱上看，脉冲噪声通常有较宽的频谱，但频率越高，频谱强度也就越小。这种噪声对模拟语音信号的影响不大，而在数字通信中，一旦出现突发脉冲，由于其幅度较大，常会导致一连串的误码，

18、造成严重危害。不过，这种危害通常可以通过信道（纠错）编码技术得以减轻。2022/9/2949本讲稿第四十九页，共七十一页起伏噪声 n起伏噪声以热噪声、散弹噪声、宇宙噪声等为代表，它无论在时域还是在频域中总是普遍存在、不可避免的。n研究中常以起伏噪声为重点。2022/9/2950本讲稿第五十页，共七十一页2高斯噪声n根据概率论的极限中心定理：大量相互独立的、均匀的微小随机变量的总和趋于服从高斯分布。n对于随机过程也是如此。2022/9/2951本讲稿第五十一页，共七十一页n作为通信系统内主要噪声来源的热噪声和散弹噪声，可以看成是无数独立的微小电流脉冲的叠加，因此它们是服从高斯分布的，即高斯过程，

19、通常把它们叫做高斯噪声。n大量观察表明，高斯噪声始终存在于任何一种信道中。2022/9/2952本讲稿第五十二页，共七十一页3白噪声n一个均值为零、功率谱密度在整个频率轴上有非零常数，即（3.6）的平稳过程，被称为白噪声过程，简称白噪声或白过程。2022/9/2953本讲稿第五十三页，共七十一页图3.3 白噪声的功率谱密度和自相关函数2022/9/2954本讲稿第五十四页，共七十一页n白噪声中的“白”字借用了光学中的“白光”概念白光的频谱包含了所有可见光的频率成分，而白噪声的功率谱中也包含了所有的频率成分。n白噪声在数学处理上比较简单，给通信系统的分析带来方便。2022/9/2955本讲稿第五

20、十五页，共七十一页n白噪声的定义只是一种理想化模型，实际不可能存在。因为在自然界和工程应用中，随机信号就其平均功率而言总是有限的，而且实际过程在非常邻近的两个时刻总会存在一定的相关性，相关函数不可能是严格的冲激函数。2022/9/2956本讲稿第五十六页，共七十一页n实际工作中，当研究的噪声过程在很宽（比有用频带宽得多）范围内具有均匀的功率谱密度，就可以把它作为白噪声来处理。n电子设备中的起伏过程，如电阻热噪声、半导体散弹噪声等，一般都可以视作白噪声。2022/9/2957本讲稿第五十七页，共七十一页n通常把统计特性服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。n如果白噪声的被限制

21、在频率范围 之内，这样的噪声则被称为带限噪声或有色噪声。2022/9/2958本讲稿第五十八页，共七十一页3.3.3 信道容量n信道容量表示一个信道的最大数据传输速率，对应于信道传输数据能力的极限，单位是比特/秒 。n信道容量和数据传输速率的关系可类比于公路的最大限速与汽车的实际速度。2022/9/2959本讲稿第五十九页，共七十一页1数字信道的信道容量数字信道的信道容量2模拟信道的信道容量模拟信道的信道容量2022/9/2960本讲稿第六十页，共七十一页1数字信道的信道容量n数字信道的输入、输出信号都是数字信号。n广义信道中的编码信道就是数字信道。n数字信道模型可用转移概率来表示，有噪声情况

22、下的信道容量这里略去。2022/9/2961本讲稿第六十一页，共七十一页n奈奎斯特公式指出：在对称无记忆信道中，无噪声时信道容量的理论极限为（3.7）是进制（码元）数。是信道带宽，单位为 ；2022/9/2962本讲稿第六十二页，共七十一页n所谓无记忆信道是指每个输出符号只取决于当前的输入符号，而与其他时刻的输入无关。实际信道往往是有记忆的。n在对称信道中，任一码元的正确传输概率相同，错误传输概率也相同。2022/9/2963本讲稿第六十三页，共七十一页【例3-3】n若普通电话线路带宽约，试分别在二进制和八进制情况下，求数据传输速率的理论极限。解解 由式（3.7）可得，二进制时的信道容量为20

23、22/9/2964本讲稿第六十四页，共七十一页八进制时的信道容量为 2022/9/2965本讲稿第六十五页，共七十一页2模拟信道的信道容量n设信道带宽为 ，信道输出的信号功率为 ，输出的加性高斯白噪声功率为 ，则可证明该信道的信道容量为：（3.8）2022/9/2966本讲稿第六十六页，共七十一页n式（3.8）就是信息论中具有重要意义的香农公式。n它表明了当信道带宽和输出信噪比给定时，信道容量的理论极限。n香农公式还是扩展频谱（扩频）技术的理论基础，公式反映出可以通过增大带宽的方法来提高信道容量。2022/9/2967本讲稿第六十七页，共七十一页【例3-4】n已知信道的输出信噪比为 ，带宽为 ，求信道容量。解解 由 ，可得 2022/9/2968本讲稿第六十八页，共七十一页所以，由式（3.8）可得 2022/9/2969本讲稿第六十九页，共七十一页n奈奎斯特公式和香农公式都是在理想条件下推算出来的理论极限，实际系统是达不到这些极限的。2022/9/2970本讲稿第七十页，共七十一页第三章结束2022/9/2971本讲稿第七十一页，共七十一页