信息论与编码-第24讲-总复习.ppt
总复习2023/5/151l 信息与消息和信号的区别l 消息：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态。l 信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。第一章 概 论总复习2023/5/152l 信息l“本体论”层次定义：信息是该事物运动的状态和状态改变的方式。l 认识论层次的信息是同时考虑语法信息、语义信息和语用信息的全信息。l 全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。l 语法信息：事物运动状态和状态改变的方式；l 语义信息：事物运动状态和方式的具体含义；l 语用信息：事物运动状态和方式及其含义对观察者的效用。l 研究信息论的目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。第一章 概 论总复习2023/5/153单符号离散信源l 自信息量l 用概率测度定义信息量l 设离散信源X，其概率空间为l 如果知道事件xi 已发生，则该事件所含有的自信息定义为l 当事件xi 发生以前：表示事件xi 发生的不确定性。l 当事件xi 发生以后：表示事件xi 所含有（或所提供）的信息量第二章 信源熵总复习2023/5/154l 联合自信息量l 当X 和Y 相互独立时，p(xiyj)=p(xi)p(yj)第二章 信源熵总复习2023/5/155l 条件自信息量：已知yj的条件下xi仍然存在的不确定度。l 自信息量、条件自信息量和联合自信息量之间的关系第二章 信源熵总复习2023/5/156l 互信息量：yj 对xi 的互信息量定义为的后验概率与先验概率比值的对数。第二章 信源熵总复习2023/5/157l 观察者站在输出端：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。l 观察者站在输入端：观察者得知输入端发出xi 前、后对输出端出现yj 的不确定度的差。l 观察者站在通信系统总体立场上：通信后的互信息量，等于前后不确定度的差。第二章 信源熵总复习2023/5/158l 平均信息量信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵/熵函数/熵。l 信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。l 信源熵的三种物理含义l 信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量；l 信源熵H(X)是表示信源输出前，信源的平均不确定性；l 用信源熵H(X)来表征变量X 的随机性。第二章 信源熵总复习2023/5/159l 条件熵：是在联合符号集合XY 上的条件自信息的数学期望。第二章 信源熵总复习2023/5/1510l 信道疑义度H(X/Y)：表示信宿在收到Y 后，信源X 仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵。l 噪声熵H(Y/X)：表示在已知X 的条件下，对于符号集Y 尚存在的不确定性（疑义），这完全是由于信道中噪声引起的。第二章 信源熵总复习2023/5/151 1l 联合熵H(XY)：表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。第二章 信源熵总复习2023/5/1512l 最大离散熵定理(极值性)：离散无记忆信源输出n 个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/n)，熵最大。Hp(x1),p(x2),p(xn)H(1/n,1/n,1/n)=log2n出现任何符号的可能性相等时，不确定性最大。第二章 信源熵总复习2023/5/1513l 平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。第二章 信源熵总复习2023/5/1514l 站在输出端：I(X;Y)收到Y 前、后关于X 的不确定度减少的量。从Y 获得的关于X 的平均信息量。l 站在输入端：I(Y;X)发出X 前、后关于Y 的先验不确定度减少的量。l 站在总体：I(X;Y)通信前、后整个系统不确定度减少量。第二章 信源熵总复习2023/5/1515l BSC信道的平均互信息量设二进制对称信道的输入概率空间为转移概率如图所示。第二章 信源熵总复习2023/5/1516平均互信息量l 当q 不变(固定信道特性)时，可得I(X;Y)随输入概率分布p 变化的曲线，如图所示；二进制对称信道特性固定后，输入呈等概率分布时，平均而言在接收端可获得最大信息量。第二章 信源熵总复习2023/5/1517l 当固定信源特性p 时，I(X;Y)就是信道特性q 的函数，如图所示；当二进制对称信道特性q=/q=1/2时，信道输出端获得信息量最小，即等于0。说明信源的全部信息信息都损失在信道中了。这是一种最差的信道。第二章 信源熵总复习2023/5/1518l 离散无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍，即H(X)=H(XN)=NH(X)离散平稳信源：各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。二维离散平稳信源的熵为第二章 信源熵总复习2023/5/1519l 平均符号熵：信源平均每发一个符号提供的信息量为l 离散平稳有记忆信源的极限熵：当N时，平均符号熵取极限值称之为极限熵或极限信息量。用H表示，即l 极限熵的存在性：当离散有记忆信源是平稳信源时，极限熵等于关联长度N时，条件熵H(XN/X1X2XN-1)的极限值，即l 极限熵的含义：代表了一般离散平稳有记忆信源平均每发一个符号提供的信息量。第二章 信源熵总复习2023/5/1520l m阶马尔可夫信源l m阶马尔可夫信源的极限熵l 有限齐次马尔可夫链各态历经定理l 有关问题的说明l H并非在任何情况下都存在。对n元m阶马尔可夫信源来说，只有状态极限概率p(ej)，j=1,2,nm都存在时，方能计算出H。从理论上可以证明，如果m阶马尔可夫信源稳定后具有各态历经性，则状态极限概率p(ej)可根据下式求出。第二章 信源熵总复习2023/5/1521l 信源熵的相对率：=H/H0l 信源冗余度：=1=(H0H)/H0l 信源的冗余度表示信源可压缩的程度。第二章 信源熵总复习2023/5/1522l 随机过程x(t)中某一样本函数x(t)的时间平均值定义：l 随机过程x(t)在某时刻ti 所取的随机变量的统计平均值/集平均定义：l 遍历的随机过程：时间平均与统计平均相等，即第二章 信源熵总复习2023/5/1523l 连续信源的熵为l 上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。第二章 信源熵总复习2023/5/1524l 连续信源熵有关问题说明l 连续信源熵并不是实际信源输出的绝对熵；l 连续信源的绝对熵还有一项正的无限大量，虽然log2(ba)小于0，但两项相加还是正值，且一般还是一个无限大量。因为连续信源的可能取值数有无限多，若假定等概率，确知其输出值后所得信息量也将为无限大；l Hc(X)已不能代表信源的平均不确定度，也不能代表连续信源输出的信息量。l 连续信源熵的意义l 这种定义可以与离散信源在形式上统一起来；l 在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以熵差具有信息的特征；l 连续信源的熵Hc(X)具有相对性，因此Hc(X)也称为相对熵。第二章 信源熵
