基于色彩空间的无参考图像质量评价研究-褚江.docx

《基于色彩空间的无参考图像质量评价研究-褚江.docx》由会员分享，可在线阅读，更多相关《基于色彩空间的无参考图像质量评价研究-褚江.docx（56页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 学位论文使 用授权声明 今天，人类已经步入一个高清和智能的数字视觉新时代，人们对图像和视频的清晰

2、度要求越来越高，即对图像质量的要求越来越高，然而如何评价图像的质量到现在仍没 有一个可靠的方法，因此对图像质量的评价是一项非常有意义的研究课题。 客观图像质量评价方法一般可以分为全参考评价方法、半参考评价方法 (部分参考 评价方法 )和无参考评价方法三类。在无参考图像质量评价中，自然图像统计模型 (NSS) 得到了广泛应用，但目前绝大部分的图像质量评价方法都是针对灰度图像的，没有有效 地利用色彩空间的信息。本文对 RGB, HSV， LAB, YCBCR， YIQ五种色彩空间的统 计规律性进行分析，研究了使用广义高斯概率密度函数在这五种色彩空间建模的可行 性。为了发现是否有更适合的分布来对色彩

3、空 间的统计规律性建模，我们使用广义高斯 分布 ,对数正态分布，极值分布和 T分布对色彩空间的统计信息进行拟合，对拟合结果 进行了分析和比较，发现最适合各个色彩空间的模型。然后我们使用拟合成广义高斯模 型的参数来对 LIVE库的失真图像进行分类，用来判断色彩空间提取的这些特征对于不 同失真类型的分散程度，从实验结果中可以看出使用某些色彩分量进行分类效果要优于 灰度空间。 在研究了色彩空间的统计规律后，我们设计了一种无参考图像质量评价算法，利用 了色彩空间的信息。该方法可以分为两个阶段，第一阶段判断失真类型，第二阶段对 特 定失真类型的图像选择最适合的色彩空间，在该色彩空间对图像的质量进行评价。

4、最适 合的色彩空间是通过在各种失真类型分别对上述几种色彩空间进行实验选择最优值得 到的。本文方法是在灰度空间的方法上加入了色彩信息，实验结果表明，本文方法达到 了较为满意的效果，比灰度空间的方法有所改善，在一定程度上也证明了充分利用色彩 空间的信息，对图像质量的评价会有所帮助。 关键词：图像质量评价，自然图像统计，色彩空间，图像处理 Abstract Today, mankind has entered a new era with high-definition digital visual and intelligence. The clarity or quality of images

5、 and videos have become increasingly demanding. However, there is no reliable method to evaluate the quality of images. Therefore， evaluation of image quality is a very significant research topic. Analyzing the image quality by direct observation, which is called subjective evaluation method, has ve

6、ry high accuracy, but it is time consuming. What we need is an objective image quality evaluation method. Objective method is a method that we design a computing model for computer, so that the computer can automatically determine the quality of the images without intervention. Objective image quali

7、ty evaluation methods can be classified into three catalogues: full-reference evaluation methods, reduced-reference evaluation methods and no-reference evaluation methods. Full reference method assumes the existence of a perfect quality of an original image. The distorted images are distorted by the

8、 original image, and the quality of a distorted image can be computed by comparing the distorted image with the original image. Reduced-reference evaluation method does not have a complete original image, but only partial information of the original image for comparison, while no-reference evaluatio

9、n method has no knowledge about the original image. Natural image statistics model (NSS) has been widely used in no reference image quality assessment for gray-scale images, but color space information has not been properly utilized. We select five color spaces (RGB， HSV， LAB， YCBCR， YIQ), and then

10、study the feasibility of using the generalized Gaussian probability density function in these color spaces to model the normalized coefficient statistics of natural images. We compared the effectiveness of the model with logistic distribution, extreme distribution and T distribution. Then we use Gau

11、ssian model parameters as feature to classify the distorted images in LIVE database to determine the degree of dispersion of the characteristics of these different types of distortion. We find out that the classify precision in some color space outperforms that in gray-scale statistics. After studyi

12、ng the statistical regularities in color spaces, we designed a no-reference image quality assessment algorithm using color space information. This method can be divided into two stages: firstly determine the type of distortion, and then utilize distortion-specific methods based on the most suitable

13、color space for the specific type of distortion to evaluate the quality of images. The most suitable color space for a specific type of distortion is determined by experiments. Experimental results demonstrate that the proposed method achieved satisfactory results, and outperformed the methods in gr

14、ay space, which also suggests that make foil use of the color space information can help improve image quality evaluation performance. Keywords： image quality assessment, natural scene statistics, color space, image processing. HI 目录 _ 要 . I Abstract . II 1引言 . 1 1.1图像质量评价研究的背景与意义 . 1 1.2国内外研究现状 . 1

15、 1.3论文主要研究内容 . 4 1.4论文章节安排 . 5 2图像质量评价方法综述 . 6 2.1图像及其质量评价简介 . 6 2.2主观评价方法概述 . 6 2.3客观图像质量评价方法 . 7 2.3.1全参考型图像质量评价方法 . 7 2.3.2半参考型图像质量评价 . 9 2.3.3无参考型图像质量评价 . 12 2.4图像数据库介绍 . 17 2.5本章小结 . 18 3自然图像颜色空间统计规律性研究 . 20 3.1色彩空间简介 . 20 3.2自然图像统计模型 . 22 3.3色彩空间的其他模型 . 25 3.4使用色彩空间模型参数进行分类 . 26 3.5本章小结 . 29 4

16、基于色彩空间的无参考图像质量评价方法 . 30 4.1空间域自然图像统计模型 . 30 4.2评价指标 . 32 4.3基于色彩空间的无参考图像质量评价方法 . 35 4.4实验结果与分析 . 35 4.4本章小结 . 40 5总结与展望 . 41 5.1研究内容总结 . 41 5.2研究工作展望 . 41 豫 . 44 . 45 M . 50 1引言 我们生活在一个信息时代，据统计，人类从外界获得的信息中约有 75%来自于视觉 系统，也就是从图像或视频中获得，这足以说明图像的重要性。中国有句古话 “ 百闻不 如一见 ” ，说明图像可以表达的信息非常丰富。今天，随着各种电子产品的普及，人们 接

17、触数字图像和视频的机会非常多，对图像和视频清晰度的要求越来越高，如果能够对 图像的质量进行评价将十分有用，图像质量评价的研究是十分有意义的研究课题。本文 对图像质量评价方法进行研究。 1.1图像质量评价研究的背景与意义 随着科技的发展，大量的图像充斥着我们的生活，人们对图像的分辨率和清晰度的 要求也越来越高。然而，在对图像进行采样、处理、存储、传输过程中，由于硬件设备、 环境变化和处理方法的不完善等各种原因，不可避免的会导致图像失真，这些失真会导 致图像质量的改变。例如，在图像传输的过程中，由于各种原因难免会加入噪声、模糊， 它们都会导致图像质量的下降。因此需要一些方法来评价图像质量的好坏，这

18、就是图像 质量评价要解决的问题。 图像的最终受体是我们的眼睛，不管图像是否清晰、视频中的噪声是强是弱，色彩 是否鲜明、灰度的对比度是高是低，图像中所有的瑕疵都逃不过人们的眼睛，人眼能够 轻松判断图像的质量，因此，人眼成为评价图像质量的重要依据。然而，随着图像数量 的不断增加，面对浩如烟 海的图像和视频信息，要想迅速实时的判断图像的质量，如在 视频会议中判断图像的清晰度是否满足要求等情况下，人眼已无能为力，这就需要计算 机的帮助。根据人眼视觉系统的特性建立起图像质量自动评价模型，让计算机代替人来 判断图像的质量，将是一项非常有意义的工作。 图像质量评价的目的就设计出一种方法，该方法能够评价图像质

19、量的好坏，最简单 的方法就是直接让观察者来观测待评图像，这就是主观评价方法，由于图像的最终观测 者是人，主观方法最为可靠。但是，主观方法需要进行多次重复实验，综合多人的评价 结果，非常耗时，而且容易受 到观测者主观因素的影响，很难应用于实际中，因此人类 迫切需要研究出客观的图像评价方法，能够自动的对图像的质量进行评价，使之与人的 视觉感知保持一致。图像质量评价主要研究的是客观的图像质量评价方法，本文将简单 介绍主观评价方法，重点介绍客观的评价方法。 1.2国内外研究现状 客观图像质量评价的基本目标是设计出一个数学模型，使得计算机可以使用模型准 确地计算出图像的质量，最终的目标是使得该模型能够准

20、确模拟人类视觉系统对图像质 量的感知方式，设计出一套与人类视觉系统对图像质量感觉保持一致的方法，给定一幅 图像，能够迅速计算出图像的质量。 根据能够获得的原始图像 (又称为参考图像 )信息的多少，通常把客观图像质量评价 分为三类：全参考图像质量评价，半参考图像质量评价和无参考图像质量评价方法 1。 全参考图像质量评价方法假设能够得到参考图像的所有信息，认为参考图像的质量非常 完美，可以通过衡量失真图像相对与参考图像失真的程度来评价失真图像的质量。相对 于半参考和无参考评价方法来说，全参考评价方法目前为止最为可靠。全参考评价方法 是目前为 止客观图像质量评价方法中最可靠的方法。无参考图像质量评价

21、方法不能获得 参考图像的任何信息，只存在一幅失真图像，对失真图像进行评价，半参考图像质量评 价方法介于两者之间，只能获得参考图像的部分信息用于评价，是全参考评价方法过渡 到无参考的折中。 最早开始研究的是全参考图像质量评价方法，主要通过对两幅图像进行对比来评价 退化图像的质量，在实际生活和应用中，常常不能获得完整的原始图像。例如在多媒体 通信等应用中，接收端几乎不可能得到原始图像。由于原始图像获取困难，全参考图像 质量评价方法的应用领域非常有限，在很多 应用中甚至完全不存在参考图像。随后发展 出了半参考图像质量评价方法，它不需要参考图像的全部信息，仅仅使用参考图像的部 分信息来评价。无参考图像

22、质量评价方法已成为近几年的研究热点，因为无参考图像质 量评价更为实用，但评价方法的设计也更加困难，本文对无参考评价方法进行研究。 最早提出的全参考评价方法是均方误差 (Mean Squared Error, MSE)和峰值信噪比 eak Signal-to-Noise Ratio, PSNR)2】 ，它们计算出参考图像和失真图像之间灰度值的差 异，以差异程度来评价失真图像失真的程度，虽然计算非常简单，物理意义明确，但却 不能很好的与人的主观感受保持一致，随着人们对人类视觉系统 （ HumanVisualsystem， HVS)的认识不断深入，开始出现利用人类视觉系统的某些特性进行评价的方法，出

23、现 了基于 HVS的模型，它们主要是在心理学和生理学方面进行实验来获得人类视觉系统 的前端特征，由此构建出视觉模型，从而模拟人的视觉系统来对图像质量进行客观评价， 典型的基于 HVS模型的方法有文献 3中提出的 NQM(Noise Quality Measure)和 文献 4 中提出的 VSNR(Visual Signal-to-NoiseRatio)， 但这些方法效果并没有得到令人病思的结 果。 Wang 等 5提出 了结构相似性理论 (Structural Similarity， SSIM)， SSIM 假设 HVS 擅长 提取场景中的结构信息，认为结构信息能反映图像的质量，通过计算失真图

24、像结构信息 的退化程度对图像进行评价，对参考图像和退化图像的亮度、对比度和结构信息进行比 较 ，得到 了较好的结果。许多学者对 SSIM方法进行了改进，如 Wang等 6提出了多尺 度结构相似 性 (Multiscale Structural Similarity， MSSIM)， 通过在多个尺度上计算结构相似 2 性，得到了比单一尺度更好的结果， Li等 7提出了 3-SSIM (three-component weighted SSIM)，把 SSIM中对整幅图像的亮度、对比度和结构的比较，替换为在边缘、纹理和 平滑三个区域分别计算，对每个区域按照敏感程度赋予不同的权重，得到最终的评测结

25、果。 Chen等 8提出了基于梯度的结构相似性 (Gradient-based SSIM, GSSIM)， 与 SSIM方 法不同的是，该方法计算出参考图像和失真图像的梯度图像，然后使用梯度图像计算出 对比度和结构 fg息的相似性。 Sheikh等提出了自然场景分析 (Natural Scene Statistics， NSS) 的方法 IFC9】 和 VIF岡，它们通过统计的方法，计算出参考图像和失真图像的包含共同 信息，由此来评价失真图像的质量，得到了较好的结果。Liu等 11把相位一致性 (Phase Congruency， PC)用于图像质量评价，相位一致性信息能够 较好的表征图像的结

26、构信息， 而不依赖于图像的亮度和对比度，但是亮度和对比度对图像的质量也有重要影响，该方 法没有考虑到，因此结果并不太理想， Zhang12在该方法的基础上，提出了特征相似性 方法 (Feature Similarity， FSIM)， 在考虑相位一致性信息的同时又加入了梯度信息，得到 了较好的结果，其他的全参考图像质量评价参见文献 13_22。 半参考图像质量评价方法是利用原始图像的部分信息对失真图像质量进行评价的一 种方法，在某些应用中有一定的作用。不需要参考图像的全部信息，只需要参考图像的 部分信息，计算起来会相对简单，但参考图像的部分信息的选择非常困难，要能够表征 图像的质量，对特征选择

27、的要求较高，典型的半参考评价方法有：基于降质特征提取的 方法 23 24、基于谐波强度的方法 25、基于小波域自然图像统计模型的方法 26刀 、基于特 征嵌入的方法 28 29】 、基于多尺度几何分析的方法 圳等。 在很多应用中，需要知道图像或视频的质量是否能够满足要求，但却没有或者很难获得 原始图像，这就需要无参考图像质量评价方法。无参考图像质量评价没有参考图像进行 比较，而且图像可能经受的失真类型又很多，研究的难度更大。为了简化这种复杂性， 很多学者提出了针对特定失真类型的方法，如文献 36中提出的针对模糊失真的方法， 文献 37中提出的针对 JPEG和 JPEG2000失真的方法。通用的

28、不依赖于失真类型的方法 通常在变换域进行统计建模，然后再进行评价。在无参考图像质量评价中，自然图像统 计特征 (NSS)得到了广泛应用。通常把使用高质量的捕获设备获得的视频或图像称为自 然场景 (Natural Scene)， 自然场景只是所有可能图像的一小部分，现实世界中大多数的 退化过程都会扰乱这些统计特征，使得图像或视频信号变得 “ 不自然，。许多学者已经 研究出了一些对自然场景统计特征进行建模的方法，如文献38中作者提出称为 BIQI(Blind Image Quality Indices)的两阶段的图像质量评价方法，首先对小波系数的统计 特征建模区分出图像失真的类型，然后在使用针对特

29、定类型进行评价的方法，文献 39 中作者对图像进行离散余弦变换 (DCT)， 对局部 DCT系数的统计特征建模来预测图像质 量 ，提出了 BLINDS(BLind Image Integrity Notagrity Notator using DCT Statistics),后来 该作者又在文献 39的基础上，引入了在局部 DCT变换域进行系数统计的广义参数化模 型，得到 BLINDS-II29。文献 30在文献 27框架的基础上加入了自然图像统计特征， 提出了称为 DIVINE的方法。文献 31提出了一种在空间域进行统计建模的方法，称为 BRISQUE， 随后该作者又对该方法进行了扩展 46

30、，也取得了令人满意的结果。文献 44 中在小波变换域对小波系数的统计规律进行了分析，文献 45使用自然场景统计模型对 JPEG2000失真的图像进行评价，文献 46在 Contourlet域进行统计建模，其他的无参考 评价方法参见文献 47_53。 基于自然场景分析的方法达到了较为满意的效果，有很多学者对此进行研究，试图 在各种变换空间进行建模。但是上述基于自然场景分析的方法大多是对灰度图像的特征 进行统计，没有充分的利用色彩空间的信息，而在自然风景等图像中色彩对 图像的质量 有着重要的影响，也是图像质量一个很重要的指标。如果能够充分地利用色彩空间的信 息，把灰度空间捕获不到的信息在色彩空间挖

31、掘出来，对图像质量评价领域的研究将会 有重要的意义。本文将在色彩空间研究自然图像统计规律，并提取一种基于色彩空间的 无参考图像评价方法。 1.3论文主要研究内容 本学位论文主要包括以下几个方面的研究内容： (1) 研究典型的图像质量评价方法 全参考型图像质量评价方法是通过对失真图像和原始图像进行比较，假设原始图像 质量是完美，通过计算失真图像偏离完美图像的程度来评价失真图像的质量。在客观评 价方法中，全参考图像质量评价最为可靠，典型的全参考评价方法主要有 MSE， PSNR， SSIM等，对全参考评价方法的充分研究对以后研究无参考评价方法有重要的指导作用。 无参考方法的研究还不是很成熟，但很多

32、方法的思想对我们的研究用重要帮助，本 文对几种重要的无参考评价方法进行研究。 (2) 研究自然图像在转换空间 (如 DCT或小波 )上的规律性分布 自然场景中的图像的某些特征存在着某种规律性，通过设计出能够描述这些规律性 与图像质量的关系的模型， 可以设计出一些无参考的评价方法。许多学者已经研究出了 一些对自然场景统计特征进行建模的方法，对自然场景统计规律的研究对无参考评价有 重要作用。 (3) 研究色彩空间的自然图像统计模型 目前大多的无参考评价方法都在灰度域进行研究，色彩空间的信息没有得到有效地 利用，我们将在色彩空间研究自然图像统计的规律性，把自然场景统计模型扩展到色彩 空间，并与其它模型比较来验证这些规律的可行性和有效性。