第二章总结与习题课件.ppt
第二章第二章 信源熵信源熵第二章总结(1)单符号离散信源单符号离散信源 信息量信息量l自信息、条件自信息概念、性质、计算自信息、条件自信息概念、性质、计算l互信息、条件互信息概念、性质、计算互信息、条件互信息概念、性质、计算 互信息的三种表达方式（输入端、输出端、系统总体）互信息的三种表达方式（输入端、输出端、系统总体）熵熵l信息熵的概念、性质、计算信息熵的概念、性质、计算 无条件熵、条件熵（信道疑义度、噪声熵）无条件熵、条件熵（信道疑义度、噪声熵）l平均互信息概念、性质、计算平均互信息概念、性质、计算平均互信息的三种表达方式平均互信息的三种表达方式平均互信息的凸函数性平均互信息的凸函数性pI(X;Y)是是p(ai)的上凸函数的上凸函数pI(X;Y)是是p(bj/ai)的上凸函数的上凸函数 数据处理定理概念数据处理定理概念 理解各种熵之间的关系理解各种熵之间的关系3/8/20231第二章第二章 信源熵信源熵(2)多符号离散信源多符号离散信源 离散平稳无记忆信源概念、计算离散平稳无记忆信源概念、计算 离散平稳有记忆信源概念、简单计算离散平稳有记忆信源概念、简单计算 条件熵、极限熵概念、简单计算条件熵、极限熵概念、简单计算 马尔可夫信源概念、极限熵计算马尔可夫信源概念、极限熵计算 信源冗余度概念、通信效率与可靠性的关系信源冗余度概念、通信效率与可靠性的关系(3)连续信源连续信源 概念、与离散信源的比较和区别、简单计算概念、与离散信源的比较和区别、简单计算 理解最大连续熵定理理解最大连续熵定理 熵功率的概念熵功率的概念(4)离散无失真信源编码定理离散无失真信源编码定理 定长编码定理定长编码定理 变长编码定理变长编码定理3/8/20232第二章第二章 信源熵信源熵作业题作业题1n n2.1 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：解：解：解：四进制脉冲可以表示四进制脉冲可以表示四进制脉冲可以表示四进制脉冲可以表示4 4个不同的消息，例如：个不同的消息，例如：个不同的消息，例如：个不同的消息，例如：0,1,2,30,1,2,3八进制脉冲可以表示八进制脉冲可以表示八进制脉冲可以表示八进制脉冲可以表示8 8个不同的消息，例如：个不同的消息，例如：个不同的消息，例如：个不同的消息，例如：0,1,2,3,4,5,6,70,1,2,3,4,5,6,7二进制脉冲可以表示二进制脉冲可以表示二进制脉冲可以表示二进制脉冲可以表示2 2个不同的消息，例如：个不同的消息，例如：个不同的消息，例如：个不同的消息，例如：0,10,1假设每个消息的发出都是等概率的，则：假设每个消息的发出都是等概率的，则：假设每个消息的发出都是等概率的，则：假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量四进制脉冲的平均信息量四进制脉冲的平均信息量四进制脉冲的平均信息量八进制脉冲的平均信息量八进制脉冲的平均信息量八进制脉冲的平均信息量八进制脉冲的平均信息量二进制脉冲的平均信息量二进制脉冲的平均信息量二进制脉冲的平均信息量二进制脉冲的平均信息量所以：所以：所以：所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 2倍和倍和倍和倍和3 3倍。倍。倍。倍。3/8/20233第二章第二章 信源熵信源熵作业题作业题22.2.一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含5252张牌），试问张牌），试问张牌），试问张牌），试问 (1)(1)任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？(2)(2)若从中抽取若从中抽取若从中抽取若从中抽取1313张牌，所给出的点数都不相同张牌，所给出的点数都不相同张牌，所给出的点数都不相同张牌，所给出的点数都不相同能得到多少信息量？能得到多少信息量？能得到多少信息量？能得到多少信息量？3/8/20234第二章第二章 信源熵信源熵作业题作业题2解答解答解答解答：(1)(1)任意排列共有任意排列共有任意排列共有任意排列共有 种，则任一排列的自信息量种，则任一排列的自信息量种，则任一排列的自信息量种，则任一排列的自信息量为：为：为：为：(2)(2)应将点数相同花色不同的牌看作一类，则任意抽取应将点数相同花色不同的牌看作一类，则任意抽取应将点数相同花色不同的牌看作一类，则任意抽取应将点数相同花色不同的牌看作一类，则任意抽取的的的的1313张牌应在张牌应在张牌应在张牌应在1313类种分别进行。其概率为类种分别进行。其概率为类种分别进行。其概率为类种分别进行。其概率为 信息量为：信息量为：信息量为：信息量为：3/8/20235第二章第二章 信源熵信源熵作业题作业题32.3.居住某地区的女孩子有居住某地区的女孩子有25%是大学生，在女是大学生，在女大学生中有大学生中有75%是身高是身高160厘米以上的，而女厘米以上的，而女孩子中身高孩子中身高160厘米以上的占总数的一半。假厘米以上的占总数的一半。假如我们得知如我们得知“身高身高160厘米以上的某女孩是大厘米以上的某女孩是大学生学生”的消息，问获得多少信息量？的消息，问获得多少信息量？3/8/20236第二章第二章 信源熵信源熵作业题作业题3解答：设随机变量解答：设随机变量解答：设随机变量解答：设随机变量X X代表女孩子学历代表女孩子学历代表女孩子学历代表女孩子学历:设随机变量设随机变量Y代表女孩子身高代表女孩子身高 Xx1（是大学生）x2（不是大学生）P(X)0.250.75Yy1（身高160cm）y2（身高 0)的熵的熵Hc(Y)；(3)试求试求Y=2X的熵的熵Hc(Y)。解：解：(1)3/8/202358第二章第二章 信源熵信源熵作业题作业题22(2)3/8/202359第二章第二章 信源熵信源熵作业题作业题22(3)3/8/202360
