信息论基础教程文件.ppt

信息论基础PPT目录目录前言前言第第一一章章 随机变量的随机变量的信息度量信息度量 第第二二章章 随机过程信息度量和渐进等分性随机过程信息度量和渐进等分性 第第三三章章 数据压缩和信源编码数据压缩和信源编码 第第四四章章 数据可靠传输和信道编码数据可靠传输和信道编码 n1.1 自信息自信息n1.2 熵、联合熵、条件熵熵、联合熵、条件熵n1.3 相对熵和互信息相对熵和互信息第一章第一章 随机变量的信息度量随机变量的信息度量1.1 自信息自信息n定理1.1.1 若自信息 满足一下5个条件：n 非复性：n 如 则n 如 则n 严格单调性：如果n 则n 如果 则n 则n 其中 为常数。定义 1.1.1 设 有概率 ，则 的自信息定义为。1.2 熵、联合熵、条件熵熵、联合熵、条件熵n定义 1.2.1 离散随机变量 的熵定义为 我们也用 表示这个熵，有时也称它为概率分布 的熵，其中对数函数以2为底时，熵的单位为比特（bit），若对数以 为底时，则熵的单位为奈特（nat）若对数以10为底时，则熵的单位为哈特（hartley）。注意熵只是概率分布 的函数，与 的取值无关。用 表示数学期望，表示关于分布 的数学期望，即则熵可以表示为随机变量 的数学期望，即可见熵是自信息的概率加权平均值n引理 1.2.1 ，且等号成立的充要条件是 有退化分布。例题 1.2.1 设依概率依概率则。n定义 1.2.2 设一对随机变量 的联合分布为则 定义 的联合熵 为或写成数学期望形式：n定理 1.2.2（链法则）证明：习题一选做习题一选做n1 设随机变量 由以下给出计算：（a）（b）如果 为两个边际分布的乘积分布，计 算 和 。n解：n6 设随机变量 有联合分布 ，证明一下不等式，并说明等号成立的条件：n解：n13 令 为掷一枚均匀硬币直至其正面向上所需的次数，求 的概率分布和 。第二章第二章 随机过程的信息度量和渐随机过程的信息度量和渐进等分性进等分性n概念 一 如果一个信源序列是 阶马尔可夫过程，称信源为 阶马尔 可夫信源（简称 阶马氏信源），时称马尔科夫信源（简称马氏信源）。二 若存在 上的一个概率分布 ，满足 ，则称 为马氏过程的平稳分布。习题二选做习题二选做 3 设 为二值平稳马氏信源，其进一步转移概率如下：（a）求该信源的平稳分布。（b）求该信源的熵率。第三章第三章 数据压缩和信源编码数据压缩和信源编码定义一 称唯一可以编码 为即时编码（瞬时编码），如果 出现的码字集中，没有一个码字的前缀。定义二 设码树上最长得路长为 ，如果 进码树上 的路的终结点都被用作码字时共有 个码字，这时每个码字长都是 ，即是定长码，这种树称满树。定理（克莱夫特不等式）码字字母取值于 进字母集的即时码，其码字长分别为 时必须满足 。反之，对给定的满足上述不等式的一组 ，必存在以他们为码字长的一个即时码。注 1 定理的结论对构成即时码的任何可列无穷码长集 也成立。注 2 克莱夫特不等式对唯一可译码也成立。定义三 一个 进唯一可译码的冗余度定义为其平均长度与信源熵的差，即冗余度 或 。习题三选做习题三选做n5 一个信源有以下概率分布(a)对该信源构造一个二进即时码；(b)计算信源熵 和平均码字长。n6 已知信源 有以下概率分布(a)构造一个二进即时码；(b)计算信源熵 和平均码字长。n8 已知信源 有以下概率分布(a)对 分别编一个二进和三进哈弗曼码；(b)计算信源的二进熵 和三进熵 ；(c)以上二种编码哪种更好些？说明理由。第四章第四章 数据可靠传输和信道编码数据可靠传输和信道编码n概念 信道编码的目的是要使译码错误概率 在一定限制下（例如小于 ）使码率达到最大，这个码率的上限就称为信道容量。例题1 二进对称信道。这时 其中所以达到 的输出分布 ,对应的输入分布也是均匀分布。n例题2 二进对称删除信道，这时易计算得其中，由于 ，猜测，是否存在这样的输入分布使对应的输入分布是达到最大熵的均匀分布 呢？n于是进而其中 ，当 时达到最大，这时对应的输出分布为 ，只有当 时，才是均匀分布。此时信道的容量为习题四选做习题四选做n1、计算以下有关信道之容量：解：这是两二进对称信道的串联信道，每个二进对称信道容量 ，考虑 为一马氏链。先计算转移概率 :n类似可以计算得 和因此上述串联信道相当于一下的二进对称信道其容量为4 （并列信道）计算如图之信道的容量（注：该信道可以看做二个 信道之并列）解：可以直接计算，也可以用题6的结论。本信首可分解为以下两个信道的并列信道。于是并列信道容量为结束语结束语谢谢大家聆听！谢谢大家聆听！43