离散无记忆信源的渐近等同分割性.ppt

《离散无记忆信源的渐近等同分割性.ppt》由会员分享，可在线阅读，更多相关《离散无记忆信源的渐近等同分割性.ppt（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

第二节、离散无记忆信源的渐近等同分割性离散无记忆信源的渐近等同分割性、大数定理、大数定理、典型序列、典型序列3.2.1 大数定理大数定理表示：样本均值集中在数学期望附近。表示：样本均值集中在数学期望附近。而远离数学期望的取值只有少数。而远离数学期望的取值只有少数。上式：称以概率收敛。上式：称以概率收敛。3.2.2 典型序列典型序列1、离散无记忆信源离散无记忆信源X，随机序列：随机序列：X=x1x2xN取具体的消息序列（N次扩展序列）：U=u1u2uN由无记忆性：进一步有进一步有：结合大数定理有：结合大数定理有：2 2、典型序列、典型序列定义定义：为给定的离散无记忆信源为给定的离散无记忆信源X的输出长度为的输出长度为N的的典型序列典型序列。3、推论证 明证明略。证明略。注意：推论注意：推论1 1表示：信源典型序列的概率范围。表示：信源典型序列的概率范围。推论推论2 2表示：信源典型序列的个数范围。表示：信源典型序列的个数范围。典型序列介绍的目的：典型序列介绍的目的：信源发出序列绝大多数为典型序列，并且典型序列的个数为|TX|，如要对信源进行无失真编码，则只需要对信源的典型序列进行编码即可。比如：对三个字母的英文单词进行编码，显然有些单词是不存在的，如aaa，aab，只需要对存在的单词进行编码即可，不如are，bee等，这样的单词我们就成为典型序列。