信息论第一章(叶中行).ppt

信息论基础 绪论绪论 第1章 随机随机变变量的信息度量量的信息度量 第2章 随机随机过过程的信息度量和程的信息度量和渐渐近等分性近等分性 第3章 数据数据压缩压缩和信源和信源编码编码 第4章 数据可靠数据可靠传输传输和信道和信道编码编码 第5章 限失真信源限失真信源编码编码和率失真函数和率失真函数 第6章 连续连续信源和信道信源和信道编码编码理理论论绪论信息论信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学 研究可能性和存在性问题，为具体实现提供理论依据信息论研究的主要内容信息论研究的主要内容 广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码。干干扰扰源源 信信道道信道译码器信道译码器信道编码器信道编码器信源译码器信源译码器信源编码器信源编码器信宿信宿信源信源等效信源等效信宿等效干扰信道信息传输系统模型信息传输系统模型 3.信道信道 信息传输和存储的媒介4.译码器译码器 译码是编码的逆变换，分为信道译码和信源译码。5.信宿信宿 消息的接收者。2.编码器编码器 将消息变成适合于信道传送的信号的设备。1.信源信源 产生消息的源。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性第1章 随机变量的信息度量 1.1 自信息自信息 1.2 熵、联合熵、条件熵熵、联合熵、条件熵 1.3 相对熵和互信息相对熵和互信息 1.4 信息量的一些基本性质信息量的一些基本性质 1.5 广义熵广义熵 习题课习题课1.1 自信息信息：通信领域指通信的消息；信号处理方面指包括了数字、数据、图像、语音等进行运算和处理所需的条件、内容和结果信源：消息的来源。信源的分类：离散信源和连续信源信源的表示方法：用随机变量X表示一个离散信源，X的可能取值，即信源可能输出的不同符号用集合表示自信息：信源发出的某个信号所含的信息量，记为 自信息与信号发生概率之间关系自信息满足的公理1.2 熵、联合熵、条件熵熵：对整个信源来说，每个信号的平均信息量的多少定义 离散随机变量X的熵定义为注意！熵只是概率分布p的函数，与X取什么值并无关系H(X)对数函数底熵的单位2比特(bit)e奈特(nat)10哈特(hartley)对数底与熵单位的对应关系1.3 相对熵和互信息第一级处理器 第二级 处理器X输入YZ级联处理器示意图数据处理定理：数据处理过程中只会丢掉一些信息，绝不会创造出新的信息，这就是所谓的信息不增性。编码 信道UYX译码V一般通信系统1.4 信息量的一些基本性质1.5 广义熵习题课x1y1x2y23/41/41/21/210013/41/41/21/2?XY1/3011/31/3010X Y