信息论基础讲稿.ppt

《信息论基础讲稿.ppt》由会员分享，可在线阅读，更多相关《信息论基础讲稿.ppt（39页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息信息论基基础第一页，讲稿共三十九页哦离散信源及其数学模型离散信源及其数学模型信息传输系统的组成信息传输系统的组成信息和信息科学信息和信息科学离散信道及其数学模型离散信道及其数学模型信信息息论论基基础础第二页，讲稿共三十九页哦近代人认为近代人认为：信息是具有新内容的消息；是对于决策有价：信息是具有新内容的消息；是对于决策有价值的情报；是一切所感知的信号；信息就是知识。值的情报；是一切所感知的信号；信息就是知识。Winner认为认为：信息是人们在适应外部世界并且使这种适应：信息是人们在适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行交换的内容。反作用于外部世界的过程中，同外部

2、世界进行交换的内容。Shannon认为认为：信息的多少等于事件的不确定性的大小。：信息的多少等于事件的不确定性的大小。人们已知的消息不是信息，而好像，大概，可能之类的不人们已知的消息不是信息，而好像，大概，可能之类的不确切的内容包含着信息。确切的内容包含着信息。1.1 1.1 1.1 1.1 信息和信息科学信息和信息科学信息和信息科学信息和信息科学一什么是信息一什么是信息一什么是信息一什么是信息第三页，讲稿共三十九页哦1.1 1.1 1.1 1.1 信息和信息科学信息和信息科学信息和信息科学信息和信息科学信息：是认识主体（人、生物、机器）所感受和所表达的关于信息：是认识主体（人、生物、机器）所

3、感受和所表达的关于 事物运动的状态以及状态的变化规律。事物运动的状态以及状态的变化规律。1.1.信息的定义信息的定义信息的定义信息的定义2.2.信息的特征信息的特征信息的特征信息的特征 信息是无限的信息是无限的 信息是可以压缩的信息是可以压缩的 信息是可传递的信息是可传递的 信息是可以量度的信息是可以量度的 信息是可以共享的（具有可扩散性）信息是可以共享的（具有可扩散性）第四页，讲稿共三十九页哦3 3信息、消息和信号的区别与联系信息、消息和信号的区别与联系信息、消息和信号的区别与联系信息、消息和信号的区别与联系信息：信息：指事物运动的状态及状态变化的规律，是抽象的意识或知识。指事物运动的状态及

4、状态变化的规律，是抽象的意识或知识。消息：消息：一般指包含有信息的语言、文字、数据、图形、图像等，它是一般指包含有信息的语言、文字、数据、图形、图像等，它是信息的载体信息的载体，但它不是物理性的。但它不是物理性的。信号：信号：是消息的物理体现。常见的信号包括声波、光波、电信号、机械信号是消息的物理体现。常见的信号包括声波、光波、电信号、机械信号等。信号是最为具体的一个层次，可以测量、描述和显示。等。信号是最为具体的一个层次，可以测量、描述和显示。第五页，讲稿共三十九页哦信息论：信息论：研究信息的基本性质及度量方法，研究信息的获取、传输、研究信息的基本性质及度量方法，研究信息的获取、传输、存储和

5、处理的一般规律的科学存储和处理的一般规律的科学。从通信的角度讲，信息论是人们在长期的通信工程实践从通信的角度讲，信息论是人们在长期的通信工程实践 中，应用近代概率统计方法研究信息传输、交换、存储和处理的一门中，应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科。学科。二什么是信息论二什么是信息论二什么是信息论二什么是信息论三信息论的发展及范畴划分三信息论的发展及范畴划分三信息论的发展及范畴划分三信息论的发展及范畴划分1狭义信息论狭义信息论：即通信的数学理论，主要研究狭义信息的度量方法，研究各种：即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定

6、理。（信源、信道的描述和信源、信道的编码定理。（香农信息论香农信息论）第六页，讲稿共三十九页哦信息论是数学的一个分支学科；信息论是数学的一个分支学科；信息论创立的标志：信息论创立的标志：1948年，仙农年，仙农(Claude Edwood Shannon,1916-2001)发表了发表了A Mathematical Theory of Communication（通信的数学理论通信的数学理论）；）；信息论是以客观概率信息为研究对象，从通信的信息传输问信息论是以客观概率信息为研究对象，从通信的信息传输问 题中总结和开拓出来的理论，是在概率论、随机过程和通信题中总结和开拓出来的理论，是在概率论、随

7、机过程和通信 技术相结合的基础上发展起来的学科。技术相结合的基础上发展起来的学科。2 2实用信息论实用信息论：研究信息传输和处理问题，也就是狭义信息论方法研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。在调制解调、编码译码以及检测理论等领域的应用。3 3广义信息论广义信息论：包括信息论在自然和社会中的新的应用，如模式识包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。学等一切与信息问题有关的领域。第七页，讲稿共

8、三十九页哦 信息论所研究的问题是带有根本性、基础性的问题，而得到的结论和定理具有信息论所研究的问题是带有根本性、基础性的问题，而得到的结论和定理具有普遍性，可以帮助解决很多实际问题。因此，信息论从诞生以来，至今仍是指导通普遍性，可以帮助解决很多实际问题。因此，信息论从诞生以来，至今仍是指导通信技术发展的理论基础，是创新通信体制的源泉。信技术发展的理论基础，是创新通信体制的源泉。四信息论的应用四信息论的应用四信息论的应用四信息论的应用 语音信号压缩语音信号压缩 音频信号压缩音频信号压缩 图像信号压缩图像信号压缩 计算机文件压缩计算机文件压缩 纠错编码纠错编码 通信通信第八页，讲稿共三十九页哦1.

9、2 1.2 1.2 1.2 信息传输系统的组成信息传输系统的组成信息传输系统的组成信息传输系统的组成 信息传输系统模型信息传输系统模型信息传输系统模型信息传输系统模型第九页，讲稿共三十九页哦1信信 源：产生消息的源，并将消息转变成电信号或光信号源：产生消息的源，并将消息转变成电信号或光信号。2编码器：将消息变成适合于信道传送的信号的设备。编码器：将消息变成适合于信道传送的信号的设备。（1）信源编码器：对信源输出的消息进行适当的变换和处理，以达到减）信源编码器：对信源输出的消息进行适当的变换和处理，以达到减少或消除信源冗余度来提高信息的传输速率。少或消除信源冗余度来提高信息的传输速率。（2）信道

10、编码器：对信源编码器的输出进行变换和处理，通过增）信道编码器：对信源编码器的输出进行变换和处理，通过增加冗余度来提高信息传输的可靠性。加冗余度来提高信息传输的可靠性。第十页，讲稿共三十九页哦3信信 道：信息传输和存储的媒介。如光纤、电缆、无线电波、磁盘、道：信息传输和存储的媒介。如光纤、电缆、无线电波、磁盘、光盘等。光盘等。4译码器：译码是编码的逆变换，分为信道译码和信源译码译码器：译码是编码的逆变换，分为信道译码和信源译码。5信信 宿：消息的接收者。可以是人，也可以是机器。宿：消息的接收者。可以是人，也可以是机器。第十一页，讲稿共三十九页哦1.3 1.3 1.3 1.3 离散信源及其数学模型

11、离散信源及其数学模型离散信源及其数学模型离散信源及其数学模型 一信源的描述及分类一信源的描述及分类一信源的描述及分类一信源的描述及分类1 1信源的分类信源的分类信源的分类信源的分类1离散信源离散信源消息集消息集X为为离散集合离散集合2连续信源连续信源X为时间离为时间离散而空间散而空间连续的集合连续的集合3波形信源波形信源X为时间、为时间、空间均空间均连续的集合连续的集合根据根据X的不同情况，信源可以分为的不同情况，信源可以分为第十二页，讲稿共三十九页哦根据根据信源的统计特性信源的统计特性，离散信源可以分为，离散信源可以分为1无记忆信源无记忆信源X在各时刻在各时刻的取值的取值相互独立相互独立2有

12、记忆信源有记忆信源X在各时刻在各时刻的取值的取值相互关联相互关联第十三页，讲稿共三十九页哦二离散无记忆信源二离散无记忆信源二离散无记忆信源二离散无记忆信源离散无记忆信源离散无记忆信源离散无记忆信源离散无记忆信源（Discrete Memoryless Source，简记为，简记为DMS）用单个信源符）用单个信源符号表示一个消息，不同时刻发出的符号是彼此统计独立，而且符号集是有限集号表示一个消息，不同时刻发出的符号是彼此统计独立，而且符号集是有限集合或无限可列合或无限可列(可数可数)集合。集合。离散无记忆信源的离散无记忆信源的数学模型数学模型数学模型数学模型为离散型的概率空间，即为离散型的概率空

13、间，即第十四页，讲稿共三十九页哦【例例例例1.3.11.3.1】二进制信源只能输出符号二进制信源只能输出符号0或或1，输出，输出0的概率为的概率为p，输出，输出1 的概率为的概率为1-p，信源概率空间描述为：，信源概率空间描述为：【例例1.3.2】随机掷一个无偏的骰子，可能出现的点数与其概率分布为：随机掷一个无偏的骰子，可能出现的点数与其概率分布为：第十五页，讲稿共三十九页哦三离散无记忆的扩展信源三离散无记忆的扩展信源三离散无记忆的扩展信源三离散无记忆的扩展信源设序列由设序列由N个符号组成，若这个符号组成，若这N个符号取自同一符号集个符号取自同一符号集 a1,a2,ak，并且先后发出的符号彼此

14、间统计独立，我们将这样的信源称作并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆离散无记忆离散无记忆离散无记忆的的的的N N维扩展信源维扩展信源维扩展信源维扩展信源，记作，记作，记作，记作X X N N。其数学模型为。其数学模型为N维矢量的概率空间：维矢量的概率空间：=x1 x2 xN，xi a1，a2，ak，1 i N。序列集序列集X X NN=a1a1a1,a1a1 a2,akakak，共有，共有M=kN种序列。种序列。是长度为是长度为N的符号序列。的符号序列。第十六页，讲稿共三十九页哦由于序列中的各符号间统计独立（无记忆），故序列的概率为：由于序列中的各符号间统计独立（无

15、记忆），故序列的概率为：【例例例例1.3.31.3.3】将二进制信源进行二维无记忆扩展，则信源序列共将二进制信源进行二维无记忆扩展，则信源序列共 M224种：种：00，01，10，11。由由 ，得各序列的概率依次为：得各序列的概率依次为：则将这则将这4种序列看成种序列看成4个符号，得到一个新的信源，即个符号，得到一个新的信源，即 第十七页，讲稿共三十九页哦四离散平稳有记忆信源四离散平稳有记忆信源四离散平稳有记忆信源四离散平稳有记忆信源 一般用一般用联合概率空间联合概率空间联合概率空间联合概率空间来描述离散有记忆信源的输出。由于具有关联性，来描述离散有记忆信源的输出。由于具有关联性，信源在信源在

16、 i 时刻发出什么符号与时刻发出什么符号与 i 时刻以前信源所发出的符号有关，即由时刻以前信源所发出的符号有关，即由条件条件条件条件概率概率概率概率p p(x xi i x xi i-1-1 x xi i-2-2)确定。确定。如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为平稳信源平稳信源平稳信源平稳信源。第十八页，讲稿共三十九页哦【例例例例1.3.41.3.4】某离散平稳信源某离散平稳信源 ，设信源发出的符，设信源发出的符 号只与前一个符号有关，其关联程度用表所示联合概率号只与前一个符号有关，其关联程度用表所示联合概

17、率p(xi xj)表示（表示（xi为前一个符号，为前一个符号，xj为后一个符号），求条件概率：为后一个符号），求条件概率：xjxi01201/31/9011/91/181/6201/61/18p(xixj)p(xjxi)由由 xjxi01203/41/4011/31/61/2203/41/4可计算出可计算出p(xj/xi)，如表。，如表。第十九页，讲稿共三十九页哦五马尔可夫信源五马尔可夫信源五马尔可夫信源五马尔可夫信源设信源设信源 r 时刻发出的符号时刻发出的符号 xr只与前只与前m个符号个符号xr-1，xr-2，.，xr-m有关（有关（称做称做称做称做mm阶马尔可夫信源阶马尔可夫信源阶马尔可

18、夫信源阶马尔可夫信源），这），这m个时间上依次相邻的符号组成一个个时间上依次相邻的符号组成一个状态状态状态状态s s。若若 ，则可能的状态，则可能的状态s有有km种：种：。用用er-1表示表示r-1时刻的状态时刻的状态:当符号当符号xr发出后状态将改变，记为发出后状态将改变，记为1.概念概念第二十页，讲稿共三十九页哦（1）某一时刻信源的输出只与前一时刻信源的状态有关，而与更）某一时刻信源的输出只与前一时刻信源的状态有关，而与更早的状态无关，即早的状态无关，即 且满足：且满足：（2）某一时刻信源所处的状态只由当前的输出符号和前一时刻的）某一时刻信源所处的状态只由当前的输出符号和前一时刻的状态唯一

19、确定状态唯一确定当状态转移概率只与起始和终止状态有关，而与时刻无关，即：当状态转移概率只与起始和终止状态有关，而与时刻无关，即：则称该马尔可夫信源为则称该马尔可夫信源为时齐的时齐的时齐的时齐的。马尔可夫信源的两个条件：马尔可夫信源的两个条件：马尔可夫信源的两个条件：马尔可夫信源的两个条件：第二十一页，讲稿共三十九页哦2.转移概率矩阵转移概率矩阵 将所有状态之间的转移概率将所有状态之间的转移概率 写成矩阵的写成矩阵的形式，就得到转移概率矩阵，记为形式，就得到转移概率矩阵，记为P P中每一行元素代表由同一个起始状态到中每一行元素代表由同一个起始状态到q个不同的终止状态个不同的终止状态的转移概率，因

20、而有的转移概率，因而有 第二十二页，讲稿共三十九页哦【例例例例1.3.51.3.5】设有一个二进制一阶马尔可夫信源，信源符号集为设有一个二进制一阶马尔可夫信源，信源符号集为 X=0,1，符号间的转移概率为，符号间的转移概率为 p(00)=1/4,p(01)=1/2,p(10)=3/4,p(11)=1/2。试写出转试写出转 移概率矩阵并画出香农线图。移概率矩阵并画出香农线图。由符号间转移概率可直接写出由符号间转移概率可直接写出P，由由P可以画出香农线图。可以画出香农线图。【解解解解】：信源是一阶马尔可夫信源，所以信源每个时刻的状态就是该时刻的信源信源是一阶马尔可夫信源，所以信源每个时刻的状态就是

21、该时刻的信源输出。信源符号只有两种，因此信源的状态也只有两种输出。信源符号只有两种，因此信源的状态也只有两种0和和1。第二十三页，讲稿共三十九页哦【例例例例1.3.61.3.6】设有一个二进制二阶马尔可夫信源，信源符号集为设有一个二进制二阶马尔可夫信源，信源符号集为X=0,1。这时信源共有这时信源共有km=22=4 种不同的状态，种不同的状态，S=00,01,10,11。符号。符号 转移概率如下表。试写出转移概率矩阵转移概率如下表。试写出转移概率矩阵P并画出香农线图。并画出香农线图。起始 状态发出符号01S0(00)1/21/2S1(01)1/32/3S2(10)1/43/4S3(11)1/5

22、4/5由符号转移概率可以得到该信源状态的一次由符号转移概率可以得到该信源状态的一次转移概率：转移概率：p(S0S0)=1/2,p(S1S0)=1/2,p(S2S1)=1/3,p(S3S1)=2/3,p(S0S2)=1/4,p(S1S2)=3/4,p(S2S3)=1/5,p(S3S3)=4/5,【解解解解】：第二十四页，讲稿共三十九页哦从而可以得到转移概率矩阵和香农线图从而可以得到转移概率矩阵和香农线图 p(S0S0)=1/2,p(S1S0)=1/2,p(S2S1)=1/3,p(S3S1)=2/3,p(S0S2)=1/4,p(S1S2)=3/4,p(S2S3)=1/5,p(S3S3)=4/5,第

23、二十五页，讲稿共三十九页哦3.平稳分布平稳分布信源的信源的n步转移概率记为步转移概率记为 ，当转移步数，当转移步数n足够大时足够大时，n步转移概率步转移概率是一个与起始状态是一个与起始状态Si无关的常数，记为无关的常数，记为pj，称为信源的，称为信源的平稳分布平稳分布。当时齐马尔可夫信源达到平稳分布时，满足：当时齐马尔可夫信源达到平稳分布时，满足：第二十六页，讲稿共三十九页哦【例例例例1.3.71.3.7】求上例中二阶马尔可夫信源的平稳分布。求上例中二阶马尔可夫信源的平稳分布。求上例中二阶马尔可夫信源的平稳分布。求上例中二阶马尔可夫信源的平稳分布。【解解解解】：设稳定状态下各个状态的分布为：设

24、稳定状态下各个状态的分布为：设稳定状态下各个状态的分布为：设稳定状态下各个状态的分布为p p(S(Si i)=)=p pi i ，由香农线图列，由香农线图列，由香农线图列，由香农线图列 方程组求解方程组求解方程组求解方程组求解 解方程组得信源达解方程组得信源达解方程组得信源达解方程组得信源达到平稳时各状态的到平稳时各状态的到平稳时各状态的到平稳时各状态的概率分布概率分布概率分布概率分布 第二十七页，讲稿共三十九页哦1.4 1.4 1.4 1.4 离散信道及其数学模型离散信道及其数学模型离散信道及其数学模型离散信道及其数学模型 信道是信息传输的通道，如图所示，信道可看作一个变换器，它将输入消息信

25、道是信息传输的通道，如图所示，信道可看作一个变换器，它将输入消息x变换成输出消息变换成输出消息y，通常用信道转移概率，通常用信道转移概率p(y x)来描述信道的统计特来描述信道的统计特性。性。一信道模型及分类一信道模型及分类一信道模型及分类一信道模型及分类1.信道模型：信道模型：其中，其中，X、Y分别是信道输入、输出符号集合，分别是信道输入、输出符号集合，xX,yY。第二十八页，讲稿共三十九页哦（1）根据输入和输出信号的特点可分为：）根据输入和输出信号的特点可分为：2.2.信道分类：信道分类：信道分类：信道分类：离散信道：离散信道：输入和输出都是时间上离散、取值离散的随机序列。离散信输入和输出

26、都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。道有时也称为数字信道。连续信道：连续信道：输入和输出都是时间上离散、取值连续的随机序列，又称为输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。模拟信道。半连续信道：半连续信道：输入、输出序列一个是离散的，而另一个是连续的。输入、输出序列一个是离散的，而另一个是连续的。波形信道：波形信道：输入和输出都是时间和取值均连续的随机信号。输入和输出都是时间和取值均连续的随机信号。（2）根据转移概率）根据转移概率p(y x)的不同，信道又可分类为：的不同，信道又可分类为：无记忆信道无记忆信道：信道的输出：信道的输出y只与当前时刻

27、输入只与当前时刻输入x有关。有关。有记忆信道有记忆信道：信道的输出：信道的输出y不仅与当前时刻输入有关，还与以前的输入有统不仅与当前时刻输入有关，还与以前的输入有统计关系。计关系。第二十九页，讲稿共三十九页哦离散无记忆信道离散无记忆信道（DMC，Discrete Memoryless Channel）的输入和输出）的输入和输出消息都是离散无记忆的单个符号，设输入符号消息都是离散无记忆的单个符号，设输入符号x a1,a2,ak，输出符号，输出符号y b1,b2,bD，信道的特性可表示为转移概率矩阵：，信道的特性可表示为转移概率矩阵：二离散无记忆信道二离散无记忆信道二离散无记忆信道二离散无记忆信道

28、1 1离散无记忆信道特性描述离散无记忆信道特性描述离散无记忆信道特性描述离散无记忆信道特性描述第三十页，讲稿共三十九页哦将信道特性表示成图的形式：将信道特性表示成图的形式：p(bj ai)对应为已知输入符号为对应为已知输入符号为ai，当输出符号为，当输出符号为bj时的信道转时的信道转移概率，满足：移概率，满足：0 p(bj ai)1，且，且第三十一页，讲稿共三十九页哦2 2平稳信道平稳信道平稳信道平稳信道 如果对于任意正整数如果对于任意正整数m、n，和，和 ai A，bj B，离散无记忆信道的转离散无记忆信道的转移概率满足：移概率满足：则称为则称为平稳信道平稳信道。可见，对于平稳信道，可见，对

29、于平稳信道，p(ynxn)不随时间变化。这样，平稳不随时间变化。这样，平稳信道的模型就是信道的模型就是 X，p(yx)，Y 。本章主要研究本章主要研究离散平稳无记忆信道离散平稳无记忆信道。第三十二页，讲稿共三十九页哦3 3几种常见的离散无记忆信道几种常见的离散无记忆信道几种常见的离散无记忆信道几种常见的离散无记忆信道（1 1）二元对称信道）二元对称信道）二元对称信道）二元对称信道（Binary Symmetric Channel，简记为，简记为BSC）。）。它的输入符号它的输入符号x 0,1，输出符号，输出符号y 0,1，转移概率，转移概率p(y x)如图所示，如图所示，信道特性可表示为信道矩

30、阵信道特性可表示为信道矩阵 其中其中p称作称作信道错误概率信道错误概率。第三十三页，讲稿共三十九页哦（2 2）无干扰信道）无干扰信道）无干扰信道）无干扰信道这是一种最理想的信道，也称作这是一种最理想的信道，也称作无噪信道无噪信道，信道的输入和输出符号间有，信道的输入和输出符号间有确定的一一对应关系，即确定的一一对应关系，即如图所示三元无干扰信道中，如图所示三元无干扰信道中，x,y 0,1,2 对应信道矩阵是对应信道矩阵是单位矩阵单位矩阵 第三十四页，讲稿共三十九页哦（3）二元删除信道二元删除信道 对接收符号不能作出肯定或否定判决时，引入删除符号，表示对该符号存有疑对接收符号不能作出肯定或否定判

31、决时，引入删除符号，表示对该符号存有疑问，作为有误或等待得到更多信息时再作判决。问，作为有误或等待得到更多信息时再作判决。二元删除信道如图所示，输入符号二元删除信道如图所示，输入符号x 0,1，输出，输出符号符号y 0,e,1，转移概率矩阵为：，转移概率矩阵为：（4 4）二元二元二元二元Z Z信道信道信道信道 二元二元Z信道如图所示，输入符号信道如图所示，输入符号x 0,1，输出符号，输出符号y 0,1，转移概率矩阵为：转移概率矩阵为：第三十五页，讲稿共三十九页哦三离散无记忆的扩展信道离散无记忆的扩展信道N维离散扩展信道的输入和输出都是长为维离散扩展信道的输入和输出都是长为N的消息序列，如图所

32、示：的消息序列，如图所示：若若xi a1,a2,ak，yj b1,b2,bD，1 i,j N。输入消息序列集：输入消息序列集：XN=a1a1 a1,a1a1 a2,akak ak 。输出消息序列集为输出消息序列集为YN=b1b1 b1,b1b1 b2,bDbD bD。第三十六页，讲稿共三十九页哦信道的特性用序列的转移概率描述：信道的特性用序列的转移概率描述：当信道无记忆时当信道无记忆时 且满足：且满足：第三十七页，讲稿共三十九页哦【例例】求二元对称信道的二维扩展无记忆信道的转移概率矩阵。求二元对称信道的二维扩展无记忆信道的转移概率矩阵。【解解】二元对称信道的输入符号二元对称信道的输入符号x 0

33、,1，输出符号，输出符号y 0,1，转移概率，转移概率p(0/0)=p(1/1)=1-p，p(1/0)=p(0/1)=p，二维扩展后输入和输出都是长为，二维扩展后输入和输出都是长为2的符号序列：的符号序列：可以计算出序列的转移概率可以计算出序列的转移概率 分别为分别为 p(00/00)=p(0/0)p(0/0)=(1-p)2p(01/00)=p(0/0)p(1/0)=(1-p)p p(11/11)=p(1/1)p(1/1)=(1-p)2 信道的转移概率矩阵为：信道的转移概率矩阵为：第三十八页，讲稿共三十九页哦本章是信息论的基本概念，介绍的主要内容有：本章是信息论的基本概念，介绍的主要内容有：(

34、1)信息是关于事物运动的状态和规律。从通信的角度讲，信息论是应用近代概率统信息是关于事物运动的状态和规律。从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。码定理。(2)信息传输系统由信源、信源及信道编码器、信道、信源及信道译码器、信宿组成。信信息传输系统由信源、信源及信道编码器、信道、信源及信道译码器、信宿组成。信源和信宿用来产生和接收消息。信源编码将信源的剩余度剔除，信道编码增加冗余的源和信宿用来产生和接收消息。信源编码将信源的剩余度剔除，信道编码增加冗余

35、的纠错、检错码元。信道是消息传输的通道。纠错、检错码元。信道是消息传输的通道。(3)信源分为离散的和连续的，无记忆的和有记忆的。信源的数学模型为一个样本空间及信源分为离散的和连续的，无记忆的和有记忆的。信源的数学模型为一个样本空间及其概率测度其概率测度X,q(X)。(4)信道分为离散的和连续的，无记忆的和有记忆的。信道的数学模型用转移概信道分为离散的和连续的，无记忆的和有记忆的。信道的数学模型用转移概率描述。离散无记忆信道的输入和输出都是离散无记忆的单个符号。离散无率描述。离散无记忆信道的输入和输出都是离散无记忆的单个符号。离散无记忆记忆N维扩展信道的输入和输出都是长为维扩展信道的输入和输出都是长为N的符号序列。序列的信道转移概率的符号序列。序列的信道转移概率是序列中对应是序列中对应N个符号的信道转移概率的乘积。个符号的信道转移概率的乘积。本本 章章 小小 结结第三十九页，讲稿共三十九页哦