第4章波形信源和波形信道PPT讲稿.ppt
《第4章波形信源和波形信道PPT讲稿.ppt》由会员分享,可在线阅读,更多相关《第4章波形信源和波形信道PPT讲稿.ppt(48页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、第4章波形信源和波形信道05-06学年上Elements of Information Theory1第1页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory24、波形信源和波形信道u4.1 波形信源的统计特性和离散化u4.2 连续信源和波形信源的信息测度u4.3 具有最大熵的连续信源u4.4 熵功率u4.5 连续信源熵的变换u4.6连续信道和波形信道的分类u4.7连续信道和波形信道的信息传输率u4.8连续信道和波形信道的信道容量第2页,共48页,编辑于2022年,星期一05-06学年上Elements of Information
2、 Theory3 4.1波形信源的统计特性和离散化u随机变量u随机过程u随机矢量第3页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory4表4.1消息(信号)取值的集合消息(信号)取值时刻的集合信源种类离散离散离散信源(Discrete source)/数字信源(Digital source)连续连续波形信源Waveform source/模拟信源(Analog source)连续离散连续信源(Continuous source)离散连续第4页,共48页,编辑于2022年,星期一05-06学年上Elements of Informa
3、tion Theory54.2连续信源和波形信源的信息测度u连续信源的数学模型 并满足第5页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory6u一维概率密度函数u一维概率分布函数u条件概率密度函数u联合概率密度函数第6页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory7u假定连续信源 X 的概率密度函数p(x)如右图所示。我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为第7页,共48页,编辑于2022年,星期一05-06学年上Elements o
4、f Information Theory8u这样,连续变量 X 就可用取值为 xi 的离散变量 Xn 来近似。连续信源 X 被量化成离散信源。第8页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory9u这时离散信源 Xn 的熵是u当n,0,离散随机变量 Xn 趋于连续随机变量 X,而离散信源的熵 H(Xn)的极限值就是连续信源的信息熵:第9页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory10u定义连续信源的熵连续信源的熵为:u又称为差熵、微分熵、相对熵。u两随机变量的
5、联合熵和条件熵:连续信源的差熵连续信源的差熵第10页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory11连续信源差熵的性质u可加性:u凸状性和极值性:差熵 H(X)是输入概率密度函数 p(x)的凸函数。即:对于某一概率密度函数,可以得到差熵的最大值。第11页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory12u差熵可为负值。例如,若概率密度函数为例如,若概率密度函数为则则第12页,共48页,编辑于2022年,星期一05-06学年上Elements of Informa
6、tion Theory13例:例:设有一连续随机变量,其概率密度函数为设有一连续随机变量,其概率密度函数为又有又有 试求这随机变量的熵。试求这随机变量的熵。第13页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory14连续信源的平均互信息连续信源的平均互信息两个连续随机变量两个连续随机变量X、Y的互信息定义为:的互信息定义为:单位为比特单位为比特/自由度或奈特自由度或奈特/自由度自由度第14页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory15三种特殊连续信源的差熵u1
7、、均匀分布连续信源的熵值 一维连续随机变量一维连续随机变量X在在 区间内均匀分布时区间内均匀分布时 比特比特/自由度自由度第15页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory16推广:推广:均匀分布均匀分布N维连续信源的差熵为维连续信源的差熵为 第16页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory17u2、高斯信源的熵值高斯信源是指信源输出的一维随机变量高斯信源是指信源输出的一维随机变量X的概率密度分布是正态的概率密度分布是正态分布,即:分布,即:该连续信源的
8、熵为:该连续信源的熵为:第17页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory18u3、指数分布连续信源的指数分布连续信源的熵值指数分布的一维连续信源指数分布的一维连续信源X X的概率密度函数为:的概率密度函数为:其中常数其中常数a是一维连续信源是一维连续信源X的均值,的均值,该连续信源的熵为:该连续信源的熵为:第18页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory194.3具有最大熵的连续信源u离散信源的最大熵问题:离散信源的各符号为等概率分布时,信息熵有最大值
9、(最大离散熵定理)。第19页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory20u在什么条件下,连续信源的熵最大?在不同的条件下,信源的最大熵也不同。在不同的条件下,信源的最大熵也不同。第20页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory21u通通常常有有三三种种情情况况是是我我们们感感兴兴趣趣的的:一一种种是是信信源源输输出出值值受受限限的的情情况况,另另一一种种是是信信源源输输出出的的平平均均功功率率受受限限的的情情况况,还还有有一一种种是是均均值值受受限限的
10、情况。下面分别讨论。的情况。下面分别讨论。第21页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory22峰值功率受限条件下信源的最大熵(取值幅度受限)(取值幅度受限)u定理:定理:若信源输出的若信源输出的幅度被限定幅度被限定在在 区域内,则当区域内,则当输出信号输出信号的概率密度分布是的概率密度分布是均均匀分布匀分布时,信源具有最大熵。时,信源具有最大熵。最大熵为:最大熵为:第22页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory23u当当N维随机矢量维随机矢量取值受限
11、取值受限时,也只有各随机分时,也只有各随机分量统计独立时,并量统计独立时,并均匀分布均匀分布时具有最大熵。时具有最大熵。最大熵为:最大熵为:第23页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory24平均功率受限条件下信源的最大熵(方差受限)(方差受限)u定理:若一个信源输出信号的定理:若一个信源输出信号的平均功率被限平均功率被限定为定为P,则其则其输出信号输出信号幅度的概率密度分布幅度的概率密度分布是是高斯分布高斯分布时,信源具有最大熵。时,信源具有最大熵。最大熵为:最大熵为:第24页,共48页,编辑于2022年,星期一05-0
12、6学年上Elements of Information Theory25均值受限条件下的最大连续熵定理均值受限条件下的最大连续熵定理(均值受限)(均值受限)u 若若连连续续信信源源X X输输出出非非负负信信号号的的均均值值受受限限,则则其其输输出出信信号号呈呈指指数数分分布布时时,连连续续信信源源X X具具有有最最大大熵值。熵值。最大熵为:最大熵为:其中常数其中常数a是一维连续信源是一维连续信源X的均值的均值第25页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory264.4 连续信源熵的变换u从信源发出的消息大都要通过一系列的信息
13、从信源发出的消息大都要通过一系列的信息处理后才在信道中传输。任何信息处理设备处理后才在信道中传输。任何信息处理设备都可用下图所示来表示,可以认为这是一种都可用下图所示来表示,可以认为这是一种坐标变换。坐标变换。第26页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory27u设连续平稳信源输出的是设连续平稳信源输出的是N维连续型随机矢量维连续型随机矢量 ,将它送入信息处理网络,其输出为另一个将它送入信息处理网络,其输出为另一个N维维随机矢量随机矢量 Y和和X之间的变换关系如下:之间的变换关系如下:第27页,共48页,编辑于2022年,
14、星期一05-06学年上Elements of Information Theory28u在在离离散散信信源源中中,若若有有确确定定的的对对应应变变换换关关系系,变变换换后后信信源源熵熵是是不不变变的的。问问:在在连连续续信信源源中中,输输出出的的消消息息经经过过变变换换后后,其其熵熵(差差熵熵)会会不不会会发生改变?发生改变?u下下面面我我们们将将讨讨论论这这个个问问题题。从从数数学学上上讲讲,这这可归纳为坐标变换的问题。可归纳为坐标变换的问题。第28页,共48页,编辑于2022年,星期一05-06学年上Elements of Information Theory29坐标变换后概率密度函数的变
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 波形 信源 信道 PPT 讲稿
限制150内