信息论与编码第三章精.ppt
《信息论与编码第三章精.ppt》由会员分享,可在线阅读,更多相关《信息论与编码第三章精.ppt(65页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、信息论与编码课件第三章第1页,本讲稿共65页第三章第三章 作业作业教材第教材第9191页页 9393页页3.13.1,3.2(b)3.2(b),3.3(1)(3)3.3(1)(3),3.103.10,3.113.11第2页,本讲稿共65页空间传输空间传输:各种物理通道各种物理通道-电缆、光缆、空间等。电缆、光缆、空间等。时间传输时间传输:指将信息保存,然后在以后读取。指将信息保存,然后在以后读取。信道的数学模型和分类信道的数学模型和分类信道概念信道概念通信系统的组成部分,传递和存通信系统的组成部分,传递和存储信息的通道或媒质储信息的通道或媒质,包括空间包括空间传输和时间传输。传输和时间传输。第
2、3页,本讲稿共65页狭义信道:电传播介质(电缆,自由空间)狭义信道:电传播介质(电缆,自由空间)通信设备(信息经过的通道)通信设备(信息经过的通道)广义信道:测量、观察设备(示波器)广义信道:测量、观察设备(示波器)存储、记忆设备(磁带,光盘,书存储、记忆设备(磁带,光盘,书 信等)信等)信道的数学模型和分类信道的数学模型和分类第4页,本讲稿共65页w输入输出关系:转移概率输入输出关系:转移概率 p p(y y|x x)w信道描述:信道描述:1.1.输入集合输入集合 2.2.输出集合输出集合 3.3.输入输出的转移概率分布输入输出的转移概率分布w研究目标:从信道的输出了解信道的输入研究目标:从
3、信道的输出了解信道的输入信道的数学模型和分类信道的数学模型和分类第5页,本讲稿共65页 按信道输入输出符号分类按信道输入输出符号分类 输入、输出空间状态集合时间集合输入、输出空间状态集合时间集合 离散信道(数字信道):输入输出空间为离散。离散信道(数字信道):输入输出空间为离散。连续信道:状态集合连续,时间集合离散。连续信道:状态集合连续,时间集合离散。模拟信道(波形信道):输入输出空间为连续。模拟信道(波形信道):输入输出空间为连续。信道的数学模型和分类信道的数学模型和分类第6页,本讲稿共65页有记忆信道:输出有记忆信道:输出 Y不仅与当前的输入不仅与当前的输入 X 有关,有关,而且与前面的
4、输入有关。而且与前面的输入有关。无记忆信道:输出无记忆信道:输出 Y 仅与当前的输入仅与当前的输入 X 有关,有关,与前面的输入无关。与前面的输入无关。信道的数学模型和分类信道的数学模型和分类 按信道转移概率分布函数的特点分类按信道转移概率分布函数的特点分类按信道转移概率分布函数的特点分类按信道转移概率分布函数的特点分类第7页,本讲稿共65页信道的数学模型和分类信道的数学模型和分类单用户信道:输入和输出都只有一个的单向通信单用户信道:输入和输出都只有一个的单向通信信道。信道。多用户信道:输入和输出中至少有一端有两个以多用户信道:输入和输出中至少有一端有两个以上的用户,且可以进行双向通信。上的用
5、户,且可以进行双向通信。按输入和输出的数目分类按输入和输出的数目分类第8页,本讲稿共65页固定参数(恒参)信道:信道的统计特性不随固定参数(恒参)信道:信道的统计特性不随时间变化。时间变化。时变参数(随参)信道:信道的统计特性随时时变参数(随参)信道:信道的统计特性随时间变化。间变化。信道的数学模型和分类信道的数学模型和分类 按信道的统计特性与时间的关系分类按信道的统计特性与时间的关系分类第9页,本讲稿共65页w单符号无记忆离散信道的信道容量单符号无记忆离散信道的信道容量 数学模型:数学模型:或或离散无记忆信道的信道容量离散无记忆信道的信道容量第10页,本讲稿共65页研究目标:了解输出端能从输
6、入端得到多少信息?即如研究目标:了解输出端能从输入端得到多少信息?即如研究目标:了解输出端能从输入端得到多少信息?即如研究目标:了解输出端能从输入端得到多少信息?即如 何将何将何将何将信道所能传递的信息定量化?信道所能传递的信息定量化?信道所能传递的信息定量化?信道所能传递的信息定量化?数学表示:互信息数学表示:互信息数学表示:互信息数学表示:互信息 I I(X X;Y Y)I I(X X;Y Y)=HH(X X)-HH(X X|Y Y)=HH(Y Y)-HH(Y Y|X X)分析:分析:分析:分析:p p(y y|x x)给定,给定,给定,给定,I I(X X;Y Y)随输入分布随输入分布随
7、输入分布随输入分布p p(x x)变化而变化。调整变化而变化。调整变化而变化。调整变化而变化。调整该分布可使互信息达到最大值,即给出了信道所能传递该分布可使互信息达到最大值,即给出了信道所能传递该分布可使互信息达到最大值,即给出了信道所能传递该分布可使互信息达到最大值,即给出了信道所能传递的最大信息量。定义该最大值为给定信道的信道容量,的最大信息量。定义该最大值为给定信道的信道容量,的最大信息量。定义该最大值为给定信道的信道容量,的最大信息量。定义该最大值为给定信道的信道容量,用用用用C C 表示:表示:表示:表示:求信道容量:找到最佳分布,使互信息达到最大值。求信道容量:找到最佳分布,使互信
8、息达到最大值。求信道容量:找到最佳分布,使互信息达到最大值。求信道容量:找到最佳分布,使互信息达到最大值。(最佳分布:达到信道容量时的信源分布。)(最佳分布:达到信道容量时的信源分布。)(最佳分布:达到信道容量时的信源分布。)(最佳分布:达到信道容量时的信源分布。)离散无记忆信道的信道容量离散无记忆信道的信道容量第11页,本讲稿共65页 离散无记忆信道的信道容量离散无记忆信道的信道容量第12页,本讲稿共65页说明:说明:C 客观反映信道的传输能力,只与信道特性有客观反映信道的传输能力,只与信道特性有关,而与信源无关,表示每个符号可能传输的关,而与信源无关,表示每个符号可能传输的最大信息量。最大
9、信息量。可以通过编码改变信源的分布使互信息达到最可以通过编码改变信源的分布使互信息达到最大值。大值。离散无记忆信道的信道容量离散无记忆信道的信道容量第13页,本讲稿共65页定理定理3.13.1:对于信道矩阵为:对于信道矩阵为 P 的离散无记忆信的离散无记忆信道,其输入分布道,其输入分布 p(x)能使互信息能使互信息 I(X;Y)达到达到最大值(信道容量)的充要条件是最大值(信道容量)的充要条件是离散无记忆信道的信道容量离散无记忆信道的信道容量第14页,本讲稿共65页例例3.33.3(P P:70 70)取输入分布取输入分布 离散无记忆信道的信道容量离散无记忆信道的信道容量第15页,本讲稿共65
10、页所以由定理所以由定理3.13.1得,得,最佳分布最佳分布离散无记忆信道的信道容量离散无记忆信道的信道容量第16页,本讲稿共65页1.1.无噪无损信道无噪无损信道特殊特殊DMC的信道容量的信道容量a1b1a2anb2bn111第17页,本讲稿共65页2.2.有噪无损信道有噪无损信道特殊特殊DMC的信道容量的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/6第18页,本讲稿共65页3.3.无噪有损信道无噪有损信道特殊特殊DMC的信道容量的信道容量a1b1a2a6b2b3111a5a4a3第19页,本讲稿共65页4.4.对称信道对称信道对称信道定义:信道转移矩阵对称信道定
11、义:信道转移矩阵P中所有的行都中所有的行都是同一组元素的不同排列,所有的列也是同一是同一组元素的不同排列,所有的列也是同一组元素的不同排列。组元素的不同排列。特殊特殊DMC的信道容量的信道容量第20页,本讲稿共65页准对称信道定义:设准对称信道定义:设 B 为信道转移矩阵为信道转移矩阵为信道转移矩阵为信道转移矩阵P的列集合,的列集合,如果将如果将B划分成划分成mm个子集,而用每一个子集构成个子集,而用每一个子集构成的矩阵所对应的信道都是对称信道。的矩阵所对应的信道都是对称信道。特殊特殊DMC的信道容量的信道容量第21页,本讲稿共65页特殊特殊DMC的信道容量的信道容量定理定理3.23.2:对于
12、准对称信道,达到信道容量的输入分:对于准对称信道,达到信道容量的输入分布为等概分布。布为等概分布。证明:证明:(略略)准对称信道的信道容量计算准对称信道的信道容量计算第22页,本讲稿共65页特殊特殊DMC的信道容量的信道容量例:准对称信道例:准对称信道第23页,本讲稿共65页对称信道的信道容量计算对称信道的信道容量计算对称信道的信道容量计算对称信道的信道容量计算特殊特殊DMC的信道容量的信道容量第24页,本讲稿共65页对称信道的信道容量计算对称信道的信道容量计算特殊特殊DMC的信道容量的信道容量第25页,本讲稿共65页特殊特殊DMC的信道容量的信道容量例:对称信道例:对称信道第26页,本讲稿共
13、65页 强对称信道(均匀信道)定义:信道输入、输出符号个强对称信道(均匀信道)定义:信道输入、输出符号个强对称信道(均匀信道)定义:信道输入、输出符号个强对称信道(均匀信道)定义:信道输入、输出符号个数相同,且信道矩阵为数相同,且信道矩阵为数相同,且信道矩阵为数相同,且信道矩阵为特殊特殊DMC的信道容量的信道容量第27页,本讲稿共65页当信道转移概率矩阵当信道转移概率矩阵当信道转移概率矩阵当信道转移概率矩阵P P P P是非奇异时(此时是非奇异时(此时是非奇异时(此时是非奇异时(此时n n n n=m m m m),即逆矩),即逆矩),即逆矩),即逆矩阵阵阵阵P P P P-1-1-1-1存在
14、时,该信道被称为可逆矩阵信道。存在时,该信道被称为可逆矩阵信道。存在时,该信道被称为可逆矩阵信道。存在时,该信道被称为可逆矩阵信道。一般一般DMC的信道容量的信道容量第28页,本讲稿共65页例:例:取取另解:另解:达到信道容量时输入、输出概率分布的达到信道容量时输入、输出概率分布的唯一性唯一性第29页,本讲稿共65页结论:结论:(1 1)输入概率分布的解不唯一,输出概率分布输入概率分布的解不唯一,输出概率分布 的解唯一。的解唯一。(2 2)当信道转移矩阵可逆时,则输入概率分布)当信道转移矩阵可逆时,则输入概率分布 有唯一解。有唯一解。达到信道容量时输入、输出概率分布的达到信道容量时输入、输出概
15、率分布的唯一性唯一性第30页,本讲稿共65页数学模型:数学模型:多符号信道的信道容量多符号信道的信道容量第31页,本讲稿共65页(1 1 1 1)信道)信道)信道)信道无记忆无记忆无记忆无记忆:证明:证明:证明:证明:多符号信道的信道容量多符号信道的信道容量第32页,本讲稿共65页(2 2)信源、信道均无记忆:)信源、信道均无记忆:)信源、信道均无记忆:)信源、信道均无记忆:多符号信道的信道容量多符号信道的信道容量第33页,本讲稿共65页信源与信道的匹配信源与信道的匹配第34页,本讲稿共65页信道的组合信道的组合第35页,本讲稿共65页 独立并联信道(积信道)独立并联信道(积信道)独立并联信道
16、(积信道)独立并联信道(积信道)特点:特点:特点:特点:1.1.1.1.多输入,多输出。各分信道彼此独立。多输入,多输出。各分信道彼此独立。多输入,多输出。各分信道彼此独立。多输入,多输出。各分信道彼此独立。2.2.2.2.容量:容量:容量:容量:独立并联信道独立并联信道第36页,本讲稿共65页独立并联信道独立并联信道第37页,本讲稿共65页 和信道和信道和信道和信道特点:特点:特点:特点:1.1.1.1.随机应用随机应用随机应用随机应用N N 个信道中的一个,构成一输入个信道中的一个,构成一输入个信道中的一个,构成一输入个信道中的一个,构成一输入/输出信道。输出信道。输出信道。输出信道。2.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 第三
限制150内