第二章作业.ppt
Chapter 2信 源 熵Information source and EntropyChapter 2 信源熵第二章第二章 作业作业2.1 试问四进制、八进制脉冲所含信息量是二进制脉试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？冲的多少倍？解：解：四进制脉冲可以表示四进制脉冲可以表示4个不同的消息：个不同的消息：0,1,2,3八进制脉冲：八进制脉冲：0,1,2,3,4,5,6,7二进制脉冲：二进制脉冲：0,1一般可假设每个消息的发出都是等概率的，则：一般可假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量四进制脉冲的平均信息量 比特比特/符号符号八进制脉冲的平均信息量八进制脉冲的平均信息量 比特比特/符号符号二进制脉冲的平均信息量二进制脉冲的平均信息量 比特比特/符号符号所含信息量分别是二进制脉冲信息量的所含信息量分别是二进制脉冲信息量的2倍和倍和3倍。倍。2Chapter 2 信源熵2.2 居住某地区的女孩子有居住某地区的女孩子有25%是大学生，在女大学是大学生，在女大学生中有生中有75%是身高是身高160厘米以上的，而女孩子中身高厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知厘米以上的占总数的一半。假如我们得知“身高身高160厘米以上的某女孩是大学生厘米以上的某女孩是大学生”的消息，问获得多的消息，问获得多少信息量？少信息量？解：解：实际即为求条件概率的问题。实际即为求条件概率的问题。女生女生大学生大学生 25%其它其它 75%75%25%女生女生50%50%大学生大学生比特比特第二章第二章 作业作业3Chapter 2 信源熵2.3 一副充分洗乱了的牌（含一副充分洗乱了的牌（含52张牌），试问张牌），试问:(1)任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？(2)若从中抽取若从中抽取13张牌，所给出的点数都不相同能得张牌，所给出的点数都不相同能得到多少信息量？到多少信息量？解解:(1)52张牌共有张牌共有52!种排列方式，有：种排列方式，有：比特比特(2)52张牌共有张牌共有4种花色、种花色、13种点数种点数比特比特第二章第二章 作业作业4Chapter 2 信源熵2.4 设离散无记忆信源设离散无记忆信源其发出的信息为：其发出的信息为：(202120130213001203210110321 010021032011223210)求：求：(1)此消息的自信息量是多少？此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是多少？此消息中平均每符号携带的信息量是多少？解解:(1)此消息总共有此消息总共有14个个0、13个个1、12个个2、6个个3，比特比特(2)平均每符号携带平均每符号携带 比特比特 第二章第二章 作业作业5Chapter 2 信源熵2.5 从大量统计资料知道，男性中红绿色盲的发病率从大量统计资料知道，男性中红绿色盲的发病率为为7%，女性发病率为，女性发病率为0.5%，如果你问一位，如果你问一位男士男士：“你是否是色盲？你是否是色盲？”他的回答可能是他的回答可能是“是是”，可能是，可能是“否否”，问这，问这两个回答中各含多少信息量两个回答中各含多少信息量，平均每个回平均每个回答中含有多少信息量答中含有多少信息量？如果？如果问一位女士问一位女士，则答案中含，则答案中含有的有的平均自信息量是多少平均自信息量是多少？解解:男士：男士：比特比特比特比特比特比特/符号符号女士：女士：比特比特/符号符号第二章第二章 作业作业6Chapter 2 信源熵2.6 设信源设信源求该信源的熵，并解释为什么不满足最大离散熵定理？求该信源的熵，并解释为什么不满足最大离散熵定理？解：解：比特比特/符号符号比特比特/符号符号原因：原因：,不满足归一性。不满足归一性。第二章第二章 作业作业7Chapter 2 信源熵2.9 设有一个信源，它产生设有一个信源，它产生0，1序列的信息。它在任意序列的信息。它在任意时间而且不论以前发生过什么符号，均按概率时间而且不论以前发生过什么符号，均按概率 发出符号。发出符号。(1)试问这个信源是否是平稳的？试问这个信源是否是平稳的？(2)试计算试计算 ,及及 。(3)试计算试计算 ,并写出并写出 信源中所有可能的符号。信源中所有可能的符号。解：解：(1)根据平稳信源的定义：根据平稳信源的定义：一阶平稳：一阶平稳：二阶平稳：二阶平稳：该信源是平稳信源。该信源是平稳信源。第二章第二章 作业作业8Chapter 2 信源熵(2)该信源还是无记忆信源。该信源还是无记忆信源。比特比特/符号符号比特比特/符号符号比特比特/符号符号(3)比特比特/符号符号信源的信源的所有符号：所有符号：第二章第二章 作业作业9Chapter 2 信源熵2.10 一阶马尔可夫信源的状态图如图所示。一阶马尔可夫信源的状态图如图所示。(1)求平稳后信源的概率分布。求平稳后信源的概率分布。(2)求信源的极限熵求信源的极限熵 。解解:(1)对于一阶马尔可夫信源，状态对于一阶马尔可夫信源，状态 有有 三种。三种。对平稳状态分布可套用对平稳状态分布可套用P62的式的式(2.2.48):代入：代入：其余为其余为0第二章第二章 作业作业10Chapter 2 信源熵(2)代入代入P61的式的式(2.2.46):代入：代入：其余为其余为0最终整理得：最终整理得：第二章第二章 作业作业11Chapter 2 信源熵2.11 黑白气象传真图的消息只有黑色和白色两种，即：黑白气象传真图的消息只有黑色和白色两种，即：信源信源 。设黑色出现的概率为。设黑色出现的概率为 ，白，白 色的出现概率为色的出现概率为 。(1)假设图上黑白消息的出现前后没有关联假设图上黑白消息的出现前后没有关联,求熵求熵 。(2)假设消息前后有关联，其依赖关系为假设消息前后有关联，其依赖关系为 ，。求此一。求此一阶马尔可夫信源的熵阶马尔可夫信源的熵 。(3)分别求上述两种信源的剩余度，比较分别求上述两种信源的剩余度，比较 和和 的大小，并说明其物理意义。的大小，并说明其物理意义。解解:(1)比特比特/符号符号信源为平稳无记忆信源信源为平稳无记忆信源(单符号信源单符号信源)。第二章第二章 作业作业12Chapter 2 信源熵(2)求平稳状态分布求平稳状态分布,套用套用P62的式的式(2.2.48):一阶马尔可夫信源，状态：一阶马尔可夫信源，状态：代入代入P61的式的式(2.2.46):代入代入比特比特/符号符号(3)更大更大第二章第二章 作业作业13Chapter 2 信源熵2.12 同时掷出两个正常的骰子，也就是各面呈现的概同时掷出两个正常的骰子，也就是各面呈现的概率都为率都为 ，求：，求：(1)“3和和5同时出现同时出现”事件的自信息量。事件的自信息量。(2)“两个两个1同时出现同时出现”事件的自信息量。事件的自信息量。(3)两个点数的各种组合两个点数的各种组合(无序对无序对)的熵。的熵。(4)两个点数之和对应的熵。两个点数之和对应的熵。(5)两个点数中至少有两个点数中至少有1个是个是1的自信息量。的自信息量。解：设两个骰子分别为甲和乙。解：设两个骰子分别为甲和乙。(1)A：“3和和5同时出现同时出现”。比特比特第二章第二章 作业作业14Chapter 2 信源熵(2)B：“两个两个1同时出现同时出现”。比特比特(3)Y：两个点数的各种组合：两个点数的各种组合(无序对无序对)。所有可能的组合：所有可能的组合：Y的概率分布：的概率分布：(21种取值种取值)其它：其它：比特比特/符号符号第二章第二章 作业作业15Chapter 2 信源熵(4)Z：两个点数的和。：两个点数的和。所有可能的组合：所有可能的组合：比特比特/符号符号比特比特(5)C：“两个点数中至少有两个点数中至少有1个个1”第二章第二章 作业作业16Chapter 2 信源熵2.14 对某城市进行交通对某城市进行交通忙闲忙闲的调查，并把天气分成的调查，并把天气分成晴晴雨雨两种状态，气温分成两种状态，气温分成冷暖冷暖两个状态，调查结果得联两个状态，调查结果得联合出现的频度如下。若将这些频度看做概率测度，求：合出现的频度如下。若将这些频度看做概率测度，求：(1)忙闲的无条件熵。忙闲的无条件熵。(2)天气状态和气温状态已知时天气状态和气温状态已知时忙闲的条件熵。忙闲的条件熵。(3)从天气状态和气温状态获得从天气状态和气温状态获得的关于忙闲的信息。的关于忙闲的信息。解解：(1)设设X表示忙闲。表示忙闲。比特比特/符号符号第二章第二章 作业作业17Chapter 2 信源熵(2)设设Y表示表示天气状态，天气状态，Z表示气温状态。表示气温状态。比特比特/符号符号根据根据XYZ的联合概率分布，可求出的联合概率分布，可求出YZ的边缘分布。的边缘分布。比特比特/符号符号比特比特/符号符号(3)比特比特/符号符号第二章第二章 作业作业18Chapter 2 信源熵2.15 有两个二元随机变量有两个二元随机变量X和和Y，它们的联合概率为，它们的联合概率为定义另一随机变量定义另一随机变量 。试计算：。试计算：(1)(2)(3)解解：(1)比特比特/符号符号比特比特/符号符号比特比特/符号符号第二章第二章 作业作业19Chapter 2 信源熵比特比特/符号符号比特比特/符号符号(2)已知：已知：利用联合熵、条件熵、无条件熵间的关系可计算。利用联合熵、条件熵、无条件熵间的关系可计算。第二章第二章 作业作业20Chapter 2 信源熵比特比特/符号符号比特比特/符号符号比特比特/符号符号比特比特/符号符号比特比特/符号符号比特比特/符号符号比特比特/符号符号比特比特/符号符号比特比特/符号符号第二章第二章 作业作业21Chapter 2 信源熵(3)已知：已知：比特比特/符号符号比特比特/符号符号比特比特/符号符号比特比特/符号符号比特比特/符号符号比特比特/符号符号第二章第二章 作业作业22Chapter 2 信源熵2.19 每帧电视图像可以认为是由每帧电视图像可以认为是由 个像素组成，所个像素组成，所 有像素均是独立变化，且每像素又取有像素均是独立变化，且每像素又取 个不同的亮个不同的亮 度电平，并设亮度电平是等概出现，问每帧图像含有度电平，并设亮度电平是等概出现，问每帧图像含有 多少信息量？假设汉字共有多少信息量？假设汉字共有10000个字且这些字等概率个字且这些字等概率 分布并彼此无依赖，现由广播员对一帧图像进行口述，分布并彼此无依赖，现由广播员对一帧图像进行口述，试问若要恰当地描述此图像，广播员在口述中至少需试问若要恰当地描述此图像，广播员在口述中至少需 要多少汉字？要多少汉字？解：每帧图像含有的信息量：解：每帧图像含有的信息量：每个汉字含有的信息量：每个汉字含有的信息量：比特比特至少需要的汉字数：至少需要的汉字数：比特比特第二章第二章 作业作业23Chapter 2 信源熵2.22 设有一连续随机变量，其概率密度函数为：设有一连续随机变量，其概率密度函数为：(1)试求此信源的微分熵试求此信源的微分熵 。解：解：其中：其中：第二章第二章 作业作业24
