现代图像分析知识点 (32).pdf

Modern Image Analysis6.3 无损编码理论在压缩后不丢失信息，即对图像的压缩编码解码后可不失真地复原原图像。我们把这种压缩编码称为无损压缩编码，简称无损编码，或称无失真编码、信息保持编码或熵保持编码。如何量化信息的度量？一本50万字的史记到底有多少信息量？一套莎士比亚全集有多少信息量？1948年，香农 通信的数学原理 无损压缩Modern Image Analysis6.3 无损编码理论香农美国数学家、信息论的创始人香农美国数学家、信息论的创始人Modern Image Analysis6.3 无损编码理论如何量化信息的度量？香农在1948年发表的论文“通信的数学理论”中指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。香农借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。Modern Image Analysis6.3 无损编码理论 信源的熵21()()log()JiiiHAP aP a 图6.3-1 一个简单的信息系统模型 12,JAa aa 12()(),(),()JP AP aP aP a ia()ja ij 若信源由J个符号组成信源集：，对应各符号出现的概率为，且与不相关，则该信源的平均随机程度或平均信息量就称为信源的熵，表示为Modern Image Analysis在无干扰条件下，存在一种无失真的编码方法，使编码的与信源的熵H(A)任意的接近。即6.3 无损编码理论相当于灰度级i，相当于灰度级出现的频数（概率），即直方图。信源的熵则表示图像各灰度级的平均比特数或图像信源的平均信息量。ia()iP a(),0avgLH A基本编码定理1.无失真编码定理avgLModern Image Analysis但以H(A)为下限，即。这就是Shannon的无失真编码定理。同时，该定理也为我们提供了一个评价无失真编码的标准。因此，我们可给出描述无失真编码性能的几个参数：()avgLH A max()()RmCH A 其中，m为采用自然编码时的码长。此时，式中分母有下限，则对应最大压缩比为：avgL（1）编码效率：（2）冗余度；（3）压缩比。()avgH AL (1)100%DR RavgmCL DRRC6.3 无损编码理论Modern Image Analysis在变字长编码中，对出现概率大的信符赋予短码字，而对小的赋予长码字。如果码字长度严格按照所对应信符的出现概率大小逆序排列，则编码的平均码长不会大于任何其它排列方式。6.3 无损编码理论2变字长编码定理()iP aia()jP aja()()()ijkP aP aP a()()()ijkl al al a即若，则利用变字长编码定理进行无失真编码的两种常用方法包括霍夫曼编码法和算术编码法。