清华大学多媒体32.pptx

《清华大学多媒体32.pptx》由会员分享，可在线阅读，更多相关《清华大学多媒体32.pptx（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、会计学1清华大学多媒体清华大学多媒体32以一个信源编码器模型说明以一个信源编码器模型说明编码器编码器信源信源(消息集消息集)编码输出集编码输出集(接收端接收端)X=x1,x2,xnZ=z1,z2,zn符号集符号集A Am m=a=a1 1,a,a2 2,a,am m 编码器模型图 其中其中X X是消息集是消息集,由几个信号单元由几个信号单元x xj j构成（构成（j=1,2,j=1,2,n,n）Z Z是输出集，由几个码字是输出集，由几个码字z zj j构成（构成（j=1,2,j=1,2,n,n），），z zj j与与x xj j一一对应。一一对应。A Am m是是符符号号集集，由由m m个个码

2、码元元a ai i构构成成(i=1,2,(i=1,2,m),m)，符符号号集集中中的的码码元元组组成输出码字。成输出码字。第1页/共12页一一.概念概念:1.信息信息:是用不确定性的量度是用不确定性的量度定义的。定义的。2.信息量信息量:从从N个相等可能事个相等可能事件中选出件中选出 一个事件所需要的信息度一个事件所需要的信息度量或含量。量或含量。3.熵熵:如果将信源所有可能事如果将信源所有可能事件信息量件信息量 进行平均就得到信息的熵进行平均就得到信息的熵(熵就是平熵就是平 均信息量均信息量)。第2页/共12页 (1).信源均含有的平均信息量(熵),就是进 行无失真编码的理论极限。(2).信

3、源中或多或少的含有自然冗余。(3).则信息源X的熵为:取以 2为底：第3页/共12页Shannon 论文论文传输包括传输包括:(1).(1).传输所需要的信息。传输所需要的信息。(2).(2).以任意小的失真或零失真接收这些信息。以任意小的失真或零失真接收这些信息。已经证明：只要符号速率不超过信道容量已经证明：只要符号速率不超过信道容量C C符号可以以任意小的差错概率向该信道中传符号可以以任意小的差错概率向该信道中传输。输。第4页/共12页 另外几种典型的方法是另外几种典型的方法是另外几种典型的方法是另外几种典型的方法是:Fans,:Fans,Huffman,Huffman,编码方法定理编码方

4、法定理编码方法定理编码方法定理,变字长编码变字长编码变字长编码变字长编码最佳编码定理。最佳编码定理。最佳编码定理。最佳编码定理。第5页/共12页变字长编码定理变字长编码定理 在变字长编码中，对于出在变字长编码中，对于出现概率大现概率大的信息符号，编以短字长的码的信息符号，编以短字长的码,对于出现对于出现概率小的信息符号编以长字长概率小的信息符号编以长字长的码，如的码，如果码字长度严格按照符号概率果码字长度严格按照符号概率的大小的的大小的相反顺序排列，则平均码字长相反顺序排列，则平均码字长一定小于一定小于按任何其他符号顺序排列方式按任何其他符号顺序排列方式得到的码得到的码字长度。字长度。第6页/

5、共12页英文字母出现的概率按大小排列英文字母出现的概率按大小排列该英文字母编码的码长按大小排该英文字母编码的码长按大小排列列概率大概率大码长短码长短第7页/共12页证明证明:最佳的平均码字长最佳的平均码字长度度:其中：其中：P(ai)P(ai)是信源符号是信源符号aiai出现的概率；出现的概率；nini是符号是符号aiai的编码长的编码长度。度。第8页/共12页根据编码方法定义规定：根据编码方法定义规定：根据编码方法定义规定：根据编码方法定义规定：P(ai i)=P(as s)nins 如果将如果将ai i 的码字与的码字与as s的码字互的码字互换，则换，则:第9页/共12页(一).熵、熵编

6、码原理、变字长编码最佳 编码定理。(二).Huffman就是利用了这个定理进行 编码。(1).(1).把信源符号按概率大小顺序排列，把信源符号按概率大小顺序排列，并设法按逆次序分配码字的长度。并设法按逆次序分配码字的长度。(2).(2).在分配码字长度时，首先将出现概率在分配码字长度时，首先将出现概率 最小的两个符号的概率相加合成一个概率。最小的两个符号的概率相加合成一个概率。第10页/共12页 (3).把这个合成概率看成是一个新组合符号地概率，重复上述做法直到最后只剩下两个符号概率为止。(4).完成以上概率顺序排列后，再反过来逐步向前进行编码，每一次有三个分支各赋予一个二进制码，可以对概率大的赋为零，概率小的赋为1。第11页/共12页