第2章 香农定理课件.ppt

《第2章 香农定理课件.ppt》由会员分享，可在线阅读，更多相关《第2章 香农定理课件.ppt（17页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第第2 2章章 香农定理香农定理2.1 2.1 信息量和熵信息量和熵2.2 2.2 信道容量及香农定理信道容量及香农定理2.1 2.1 信息量和熵信息量和熵哈特莱信息度量关系：哈特莱信息度量关系：)(log)(1logxpxpIaa若以若以2为底时单位是为底时单位是“比特比特”（bit binary unit）若以若以e为底时单位是为底时单位是“奈特奈特”（natnature unit）若以若以10为底时单位是为底时单位是“哈特哈特”（Hart Hartley） 例： 已知某离散信源由已知某离散信源由A、B、C、D四个符四个符号组成，其发送概率分别为号组成，其发送概率分别为 若每个符号的出现都

2、是统计独立的。若每个符号的出现都是统计独立的。求传送求传送“BABCCDBDCBBAAB”所包含的所包含的信息量信息量符号ABCD概率1/41/81/21/8离散信源的熵 离散信源的熵即指离散信源的平均信息量。1()() log()miiiHXp xp x 例： 已知某离散信源由已知某离散信源由A、B、C、D四个符四个符号组成，其发送概率分别为号组成，其发送概率分别为 若每个符号的出现都是统计独立的。若每个符号的出现都是统计独立的。求该离散信源的熵。求该离散信源的熵。符号ABCD概率1/41/81/21/82.2 2.2 信道容量及香农定理信道容量及香农定理 信道容量：指信道在信道容量：指信道

3、在无差错无差错传输信息时的传输信息时的最最大信息传输速率大信息传输速率。它反映了信道的。它反映了信道的传输能传输能力力。噪声按来源分类噪声按来源分类 人为噪声人为噪声：它是由人类的活动产生的，例如电钻和电气开它是由人类的活动产生的，例如电钻和电气开关瞬态造成的电火花、汽车点火系统产生的电火花、荧光关瞬态造成的电火花、汽车点火系统产生的电火花、荧光灯产生的干扰、其它电台和家电用具产生的电磁波辐射等。灯产生的干扰、其它电台和家电用具产生的电磁波辐射等。 自然噪声：自然噪声：它是自然界中存在的各种电磁波辐射，例如闪它是自然界中存在的各种电磁波辐射，例如闪电、大气噪声，以及来自太阳和银河系等的宇宙噪声

4、。此电、大气噪声，以及来自太阳和银河系等的宇宙噪声。此外还有一种很重要的自然噪声，即外还有一种很重要的自然噪声，即热噪声热噪声。热噪声来自一。热噪声来自一切电阻性元器件中电子的热运动。例如，导线、电阻和半切电阻性元器件中电子的热运动。例如，导线、电阻和半导体器件等均会产生热噪声。所以热噪声无处不在，不可导体器件等均会产生热噪声。所以热噪声无处不在，不可避免地存在于一切电子设备中。避免地存在于一切电子设备中。噪声按性质分类噪声按性质分类 脉冲噪声：脉冲噪声：它是突发性地产生的幅度很大、持续时间很短、它是突发性地产生的幅度很大、持续时间很短、间隔时间很长的干扰。由于其持续时间很短，故其频谱较间隔时

5、间很长的干扰。由于其持续时间很短，故其频谱较宽，可以从低频一直分布到甚高频，但是频率越高其频谱宽，可以从低频一直分布到甚高频，但是频率越高其频谱的强度越小。电火花就是一种典型的脉冲噪声。的强度越小。电火花就是一种典型的脉冲噪声。 窄带噪声：窄带噪声：它可以看作是一种非所需的连续的已调正弦波，它可以看作是一种非所需的连续的已调正弦波，或简单地就是一个幅度恒定的单一频率的正弦波。通常它或简单地就是一个幅度恒定的单一频率的正弦波。通常它来自相邻电台或其它电子设备。窄带噪声的频率位置通常来自相邻电台或其它电子设备。窄带噪声的频率位置通常是确知的或可以测知的。是确知的或可以测知的。 起伏噪声：起伏噪声：

6、它是在时域和频域内都普遍存在的随机噪声。它是在时域和频域内都普遍存在的随机噪声。热噪声、电子管内产生的散弹噪声和宇宙噪声等都属于起热噪声、电子管内产生的散弹噪声和宇宙噪声等都属于起伏噪声。伏噪声。香农定理香农定理香农公式的表达式：香农公式的表达式：2log (1)SCBNC：信道容量：信道容量 B：传输带宽：传输带宽 S/N：信噪比：信噪比香农简介香农简介 克劳德克劳德香农香农1916年年4月月30日出生于美日出生于美国密歇根州的加洛德（国密歇根州的加洛德（Petoskey），），1936年毕业于密歇根大学并获得数学和年毕业于密歇根大学并获得数学和电子工程学士学位，电子工程学士学位，1940年

7、获得麻省理年获得麻省理工学院（工学院（MIT）数学博士学位和电子工程）数学博士学位和电子工程硕士学位。硕士学位。1941年他加入贝尔实验室数年他加入贝尔实验室数学部，工作到学部，工作到1972年。年。1956年他成为麻年他成为麻省理工学院（省理工学院（MIT）客座教授，并于）客座教授，并于1958年成为终生教授，年成为终生教授，1978年成为名誉教授。年成为名誉教授。香农博士于香农博士于2001年年2月月26日去世，享年日去世，享年84岁。岁。香农公式的重要结论香农公式的重要结论 当信道的当信道的传输带宽一定传输带宽一定时，接收端的时，接收端的信噪比越大信噪比越大，其系统的其系统的信道容量越大

8、信道容量越大。当噪声功率趋近。当噪声功率趋近0时，信时，信道容量道容量趋近无穷趋近无穷。 当接收端的当接收端的信噪比一定信噪比一定时，信道的时，信道的传输带宽越大传输带宽越大，其系统的其系统的信道容量也越大信道容量也越大。当信道带宽趋于无穷时，。当信道带宽趋于无穷时，信道容量信道容量并不趋于无穷并不趋于无穷，而是趋于一个固定值。，而是趋于一个固定值。0222200000limlim log (1)lim log (1)limlog (1)log1.44BBBBn BSSSSSSCBBeNn BnSn Bnn香农公式的重要结论香农公式的重要结论 当当信道容量一定信道容量一定时，信道带宽与信噪比可

9、时，信道带宽与信噪比可以以互换互换。比如，可以通过增加系统的传输。比如，可以通过增加系统的传输带宽来降低接收机对信噪比的要求，即以带宽来降低接收机对信噪比的要求，即以牺牲系统的有效性来换取系统的可靠性，牺牲系统的有效性来换取系统的可靠性，这也正是这也正是扩频通信的理论基础扩频通信的理论基础。例：例：已知彩色电视图像由已知彩色电视图像由500000个像素组成，个像素组成，设每个像素有设每个像素有64种彩色度，每种彩色度有种彩色度，每种彩色度有16个亮度等级。如果所有彩色度和亮度等个亮度等级。如果所有彩色度和亮度等级的组合机会均等，并统计独立。级的组合机会均等，并统计独立。 计算：计算： 1）每秒

10、传送）每秒传送100个画面所需的信道容量。个画面所需的信道容量。 2）若接收机的信噪比为）若接收机的信噪比为30dB，则所需的，则所需的传输带宽为多少。传输带宽为多少。课堂测验课堂测验 1.如果一个由字母如果一个由字母A B C D组成的字，将每组成的字，将每个字母用两位二进制脉冲编码，其中个字母用两位二进制脉冲编码，其中00代代表表A，01代表代表B，10代表代表C，11代表代表D，每，每位宽度为位宽度为5ms。（1）当不同的字母等概出现时，计算传输的）当不同的字母等概出现时，计算传输的平均信息速率。平均信息速率。（2）若每个字母出现的概率分别为）若每个字母出现的概率分别为PA=1/5,PB

11、=1/4,PC=1/4,PD=3/10,计算传计算传输的信息速率。输的信息速率。 2.在强噪声干扰环境下，某电台在在强噪声干扰环境下，某电台在5分钟分钟内共接收到正确的比特数为内共接收到正确的比特数为355Mbit，假，假设系统的信息速率为设系统的信息速率为1200Kbps。（1）系统的误比特率。）系统的误比特率。（2）若具体指出系统所传输的数字信号为）若具体指出系统所传输的数字信号为四进制，试求信息传输速率和码元传输速四进制，试求信息传输速率和码元传输速率。率。 3.某信息源包含某信息源包含X Y Z W四个符号，这四个四个符号，这四个符号出现的概率相等，传输时采用二进制符号出现的概率相等，传输时采用二进制进行，已知信息传输速率为进行，已知信息传输速率为1Mbps。（1）码元传输速率）码元传输速率（2）该信息源工作一小时后发出的信息量）该信息源工作一小时后发出的信息量（3）若一小时内收到的信息比特中发现了）若一小时内收到的信息比特中发现了36个错码，求此时的误码率和误比特率。个错码，求此时的误码率和误比特率。 4.见书上19页第4题