基于场景模式的立体图像舒适度客观评价模型-应宏微.pdf

《基于场景模式的立体图像舒适度客观评价模型-应宏微.pdf》由会员分享，可在线阅读，更多相关《基于场景模式的立体图像舒适度客观评价模型-应宏微.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 38 卷第 2 期 电 子 与 信 息 学 报 Vol . 38No.2 2016 年 2 月 Journal of Electronics & Information Technology Feb. 2016 基于场景模式的立体图像舒适度客观评价模型 应宏微蒋刚毅*郁 梅彭宗举邵 枫(宁波大学信息科学与工程学院 宁波 315211) (宁波工程学院电子与信息工程学院 宁波 315211) (南京大学计算机软件新技术国家重点实验室 南京 210093) 摘 要：为了预测双目立体图像内容对视觉健康可能产生的危害， 该文提出一种基于场景模式的立体图像舒适度客观评价模型。根据场景中前景目标和后景

2、区域相对于显示屏幕的凹凸性以及是否处于舒适观看区， 将自然场景抽象为多种场景模式。在模式选择阶段，从视差图中自适应分割出前景目标和后景区域，根据前、后景的视差角特征确定场景所属的模式；在建模阶段，采用前、后景的视差角特征结合前景的宽度角和曲折度特征对各个场景模式分别进行建模，并量化了前、后景视差因素对视觉舒适度的影响。在 IVY 数据库上的实验结果表明，所提出的模型与主观感知存在较好的一致性， Pearson相关系数高于 0.91, Spearman相关系数高于 0.90, Kendall相关系数高于 0.74，平均绝对值误差低于 0.24， 均方根误差低于 0.32，与现有的方法相比，该文所

3、提出的模型的评价效果更好，更接近于主观测试结果。 关键词：立体图像；舒适度评价；场景模式；双目视觉 中图分类号： TN919. 81 文献标识码： A 文章编号：1009-5896(2016)02-0294-09 DOI: 10.11999/JEIT150267 Objective Visual Comfort Assessment Model of Stereo Image Based on Scene Mode YING HongweiJIANG GangyiYU MeiPENG ZongjuSHAO Feng(Faculty of Information Science and Engi

4、neering, Ningbo University, Ningbo 315211, China) (School of Electronic and Information Engineering, Ningbo University of Technology, Ningbo 315211, China) (State Key Laboratory for Novel Software Technology at Nanjing University, Nanjing 210093, China) Abstract: To predict the effects induced by st

5、ereo image content on visual health, a new objective Visual Comfort Assessment (VCA) method of stereo image is proposed based on scene modes. Natural scene is abstracted as multiple scene modes according to two position states of foreground object and background region. One is the convex-concave to

6、screen, and the other is the whether locate on zone of comfortable viewing. In the process of mode selection, disparity map is utilized to segment scene into foreground object and background region adaptively. Then, the scenes mode can be determined by disparity angle features of both foreground obj

7、ect and background region. In the modeling stage, disparity angle features of foreground object and background region, width angle and sinuosity features of foreground object are utilized to build objective VCA models in various scene modes. The experimental results tested on IVY database show that

8、high consistency exists between the proposed model and subjective perception that Pearson linear correlation coefficient is higher than 0.91, Spearman rank-order correlation coefficient is higher than 0.90, Kendall rank-order correlation coefficient is higher than 0.74, Mean Absolute Error (MAE) is

9、lower than 0.24 and Root Mean Squared Error (RMSE) is lower than 0.32. Compared with other existing methods, the proposed model has the better assessment performance and is much closer to the subjective assessment scores. Key words: Stereo image; Visual comfort assessment; Scene mode; Binocular visi

10、on 1 引言近几年来，以 3D 电影、 3D 游戏为代表的 3D收稿日期： 2015-03-04； 改回日期： 2015-11-18；网络出版： 2016-01-04 *通信作者：蒋刚毅 基金项目：国家自然科学基金(U1301257 , 61171163, 61271270, 61271021, 61311140262)，宁波市自然科学基金(2013A610113) Foundation Items: The National Natural Science Foundation of China (U1301257, 61171163, 61271270, 61271021, 61311

11、140262), Natural Science Foundation of Ningbo (2013A610113) 文化产业所产生的巨大需求，带动了立体视觉相关产品的飞速发展，使用户得到了全新的视觉体验1,2。但由于人眼视觉机制、 3D 内容、显示器参数、观看条件等原因，人们在观看 3D 节目后会产生诸如眼疲劳、头痛、恶心等生理上的不舒适感3，从而限制了 3D 图像 /视频系统的广泛应用。为了改善这个问题， 3D 产业发展需要舒适度评价体系以指导 3D 内容制作、后期处理等方面的工作，此时视觉舒适度第 2 期 应宏微等： 基于场景模式的立体图像舒适度客观评价模型 295 评价( Visua

12、l Comfort Assessment, VCA)就引起人们的关注4。 立体图像引起不舒适的原因有许多，从人的生理线索来说，视差是产生深度感知的主要途径5，但由于人眼观看立体景物时存在的“调节”(accommodation)与“会聚”( 辐辏，vergence) 的矛盾机制，过大的视差也是引起双目无法融合，导致视觉疲劳的主要因素6。宽度因素也是一种对舒适度影响较大的特征，文献 7,8发现，在视差因素固定的情况下，双目融合 限制和目标宽度因素呈现为一种线性关系，宽度越小，融合限制越强，越容易引起不舒适感。此外，图像的空间频率特征会对双目融合产生影响9,10，随着频率下降、双目融合限制会放松。文

13、献1 1发现对图像进行模糊或者锐化会影响视觉舒适度，当视差超过双目融合限制时，如果空间频率较低，主观实验受试者中感到不舒适的人数相对较少。文献1 2的主观实验表明，立体图像低空间频率所致的模糊可以增加观看舒适度。 就立体图像舒适度的客观评价，文献 13提出了基于加权最大视差、相对视差和目标宽度特征(WMX+RD+OT)的立体图像舒适度评价方法，使用 M5P 回归树算法建立客观评价模型，文献 8设计了主观实验研究了前景目标的视差因素及 宽度因素与舒适度的关系，提出了基于前景目标视差角和宽度角特征的舒适度客观评价模型(D +W)。文献1 4提出一种基于视觉重要区域的立体图像舒适度客观评价模型，首先

14、利用 2 维图像显著图和视差图像得到立体图像视觉重要区域，然后提取视觉重要区域的视差幅度特征、视差梯度边缘特征以及空间频率特征，并 建立特征信息与平均主观评分值的关系。以上模型在 韩国先进科学技术院(Korea Advanced Institute of Science and Technology)的图像和视频系统实验室提供的立体图像数据库15(IVY)上 进行测试，都取得了较好的性能。其中文献1 3所使用的相对视差特征和文献 12所使用的视差梯度边缘特征隐含了立体图像局部区域的前、后景视差信息，所得到模型的性能较文献 8更好。 本文根据场景中前景目标和后景区域的深度设计了多种场景模式，在每

15、种场景模式下分别建立舒适度客观评价模型，所提出的模型组能更精确地反映视差对视觉舒适度感知的影响，实验结果显示提高了自然立体图像视觉舒适度的评价性能。 2 场景模式的分类 在文献 8主观实验所布置的场景仅为一种模式：前景目标凸出于屏幕，视差类型为交叉视差；后景区域为屏幕，视差为 0。所提出的 D+W 模型反映了前景目标的视差和宽度对视觉舒适度的影响，若该模型以 5 分制表示，则如式(1)所示： VC( , ) 4.2028 0.7084 0.1912 ln( )0.0208 ln( )DW D WDW (1) 其中 0.50 2.00D, 0.25 4.00W。 D 和 W分别表示前景目标的视差

16、角和宽度角， VC( , )DW 是舒适度评价值。 D 的取值范围为 0.50 ,2.00 ，这是因为当 D 小于 0.50时，前景目标处于舒适区内，难以产生不舒适感；当 D 大于 2.00时，许多受试者出现了不舒适的“复视”现象。因此可认为如果 D 处于 0.50 ,2.00 范围之外，则前景目标宽度因素对舒适度的影响不大。宽度角 W 的取值范围为 0.25 ,4.00 ，固定 D 时，舒适度会随着 W 的增大而上升，当 W 超出取值范围时，人眼的舒适感变化很小。 但在 IVY 数据库中，许多自然立体图像的前景目标超过了式(1)的视差限制，背景区域也并非固定于屏幕。用均方根误差(Root M

17、ean Squared Error, RMSE)和平均绝对值 误差( Mean Absolute Error, MAE)来度量该模型的误差，如果仅测试满足 D 0.50 ,2.00 的立体图像，得到 RMSE 0.347 , MAE 0.266 ；如果测试 IVY 数据库中所有的立体图像，得到 RMSE 0.450 , MAE 0.332 ，即误差上升。这说明当 D+W 模型面对更复杂的场景时，评价性能会有所下降。 真实的场景中通常存在多个目标物体，由于深度位置上的差异，它们对视觉舒适度的影响并不相同。为了简化研究，根据立体显示器场景中各立体内容的深度，可将它们抽象为前景目标、后景区域和显示器

18、屏幕 3 部分。人眼对场景中不同深度目标的关注度是不相同的，一般而言， 距观看者较近的前景目标所获得的关注度较高，对舒适度感知的影响较大16，后景区域则相对较小。同时，若前景目标离人眼太近或后景区域离人眼太远，超过了双目的潘诺融合限制(Panum s fusion limit)，都会引起不舒适感。因此为得到性能较佳的舒适度模型，须分析不同深度位置的立体内容对人眼舒适度感知的影响程度。本文提出根据前、后景相对于屏幕的凹凸性以及是否处于舒适区( Zone of Comfortable Viewing, ZCV)17，将立体显示器所显示的自然场景分为 10 种模式，如图 1 所示。 双 目调节和会聚

19、矛盾是影响立体图像舒适度的生理机制。调节双目的实际对焦距离即为“调节”，当双目观看某一景物时，睫状肌会自动的调节晶状体的屈光力，使景物发出的光线能落于视网膜的中央凹处，确保成像清晰。与此同时，双目的视轴也 296 电 子 与 信 息 学 报 第 38 卷 图 1 立体显示器所显示的自然场景的分类 要转向内侧，使视轴均朝向被注视的景物，这种现象称为“会聚”。在观看自然世界时，人眼的调节和会聚是相互协作联合运动的，焦点的调节始终跟随着会聚的变化，二者是一致的。然而在观看人工制作的立体影像时，由于调节的距离即是眼睛到立体显示屏的距离，而会聚的距离则是人眼到显示于屏幕前方或后方的景物的距离，两者距离不

20、一致，就会产生冲突。 视差角体现了双目调节和会聚的矛盾，根据文献 18定义的视差角特征，定义 k 为调节角， f 和 b 分别是前景和背景的会聚角，则前景目标的视差角af为 af kf (2) 后景区域的视差角ab 为 ab kb (3) 当视差角绝对值大于 1时，通常双目将无法融第 2 期 应宏微等： 基于场景模式的立体图像舒适度客观评价模型 297 合，会产生“复视”等不舒适感，因此将视差角绝对值小于 1的区域称为舒适区域，如图 1 中两条虚线内的区域所示，虚线外的则为非舒适区域17。 采用 IVY 数据库作为立体图像样本数据集合。由于该数据库中所有立体图像的后景视差角绝对值均小于 1，即

21、都处于舒适区内，而场景模式 10 仅有1 幅图像，因此本文仅对 4, 5, 8, 9 这 4 类模式展开研究。 3 提出的视觉舒适度评价方法 为得到性能更优的视觉舒适度评价方法，本文对 4 类场景模式分别建立了视觉舒适度模型。首先提取影响视觉舒适度的特征，然后对文献8 的D+W 模型进行扩展，添加前景目标的曲折度衰减系数，建立了各场景模式下的模型，还得到了每种场景下前、后景对视觉舒适度影响力的量化结果。本文提出的视觉舒适度评价方法的 框架如图 2 所示。 图 2 所提出的视觉舒适度评价方法框架 3.1 模型的特征提取 IVY 数据库使用深度估计软件(Depth Estimation Refer

22、ence Software, DERS)19获得右视点的视差图像。统计视差图像的灰度直方图，使用最大类间方差法(OTSU) 对视差直方图进行自适应分割，得到前景区域和后景区域， 视前景区域中各连通域为前景目标。计算出各前景目标的平均视差幅值 F 、后景区域的平均视差幅值 B ，结合人眼到显示器的距离 h 、瞳距 p 、显示器宽度 L 、水平分辨率 N 等先验知识，以图 3 所示的视差角几何示意图为例，可得以式(4) 式 (6)所示的前景会聚角 f ，后景会聚角 b ，调节角 k 。 图 3 视差角几何示意图 /2 arctan2p FLNfh (4) /2 arctan2p BLNbh (5)

23、 2 arctan2pkh (6) 然后根据式(2)， 式(3)，可确定前景视差角af 和后景视差角ab 。 通过行扫描得到各前景目标的平均宽度 W ，然后将其转化为前景目标的宽度角aW ，以图 4 所示的宽度角几何示意图为例，则 2 arctan2aWWh(7) 图 4 宽度角几何示意图 根据研究，当前景目标处于非舒适区时，立体图像中树枝形态的曲折度较大的前景目标会显著降低视觉舒适度，以数据库中的 51 号立体图像为例，如图 5 所示，前景目标为两串树枝，其形态表现出高频特征，是引起人眼不舒适的重要原因。 在前景目标分割结果的二值图中，设前景目标像素值 为“ 1”，后景区域像素值为“ 0”，

24、对前景目标行扫描，得到每一行由“1 ”构成的线段数，然后计算所有含有“1 ”线段的行的平均线段数rS ；同理可得所有含有“1 ”线段的列的平均线段数cS 。rS和cS 值越大，则说明前景目标的曲折度越大。用前景视差角af , rS 和cS 来度量曲折度，当affT , rrST , ccST 同时满足时(fT , rT , cT 是经验阈值，将在下文的实验中确定) ，认为该前景目标的曲折度将引起视觉舒适度的显著衰减。 298 电 子 与 信 息 学 报 第 38 卷 图 5 前景目标曲折度示例( 数据库中的编号 51 图像 ) 3.2 本文模型 式(1)所示的 D+W 模型由 4 项组成，第

25、1 项是常数项，第 24 项体现了前景视差、前景目标宽度这两个因素对视觉舒适度的影响。固定式(1) 中的W ，可知舒适度和视差 D 存在一个线性关系。但该模型在视差因素上仅考虑前景目标对舒适度的影响，而在不同的场景模式下，人眼对前后景的关注程度也会有所不同，因此本文将 D+W 模型进行扩展，综合了前、后景视差对视觉舒适度的共同影响。保持式(1)中与宽度因素相关的项，定义场景模式 n的全局视差角： (1 ) , 0.1,0.2, ,1.0a na n a nD qf q bq (8) nq 和 (1 )nq 分别表示场景模式 n 下前景和后景视差角的权重。然后，重建aD 与舒适度 VC 的线性关

26、系，确定系数 U 和 V ，定义 P 为前景曲折度引起的舒适性衰减系数，得到本文提出的基于场景模式的舒适度评价模型 (Scene Mode based Model, SMM)，如式 (9)所示： SMM 0.1912 ln( )0.0208 ln( )n n na aaaU VD WD WP (9) 式 (8)和式 (9)中的系数nq , nU , nV , P 需要通过定量的实验分析加以确定。 4 实验分析与建模 下面通过实验分析对所提出的舒适度客观评价模型，确定其中未知系数的最优值。所采用的 IVY立体图像库由 120幅分辨率为 19201080的立体图像组成，包含了各种室内场景和室外场景

27、图像 。 该立体图像库的主观实验按照 ITU-R BT.500-11 和ITU-R BT.1438 规定的标准进行，对立体图像按照5 个等级(5 表示非常舒适， 4 表示舒适， 3 表示一般舒适，2 表示比较不舒适，1 表示非常不舒适)进行主观评分，最终得到每幅立体图像的平均主观评分值(Mean Opinion Score , MOS)。 4.1 各场景模式的建模 对 4 类场景模式(4 , 5, 8, 9)分别进行定量分析，以确定式(8)和式(9)中的系数。暂不考虑曲折度衰减系数 P ，先求系数nq , nU , nV ，定义： SMMO SMM+0.1912 ln( ) 0.0208 ln

28、( )n n n naa aaP U VDW DW (10) 式(10) 中已屏蔽 P 。令式(1)的第 2 项为 0，即先屏蔽舒适度与视差角的线性关系项，保留常数项和与宽度因素相关的项，得到 VC ( , ) 4.2028 0.1912 ln( )0.0208 ln( )hDW WDW (11) 在场景模式 n 下，取 0.1nq ，根据式(8) 计算出全局视差角 (0.1)aD ，将 (0.1)aD 和aW 代入式(11) ，得到客观评价值 VC ( (0.1), )ha aDW。已知主观评价值MOS，定义 差值 ERR VC ( (0.1), ) MOSha aDW，建立 ERR 与aD

29、 线性拟合关系，得到拟合直线方程ERR (0.1) (0.1)au vD。逐渐增大nq ( 0. 1,nq 0.2, ,1.0 )，假设当nnqQ 时，模型的平均绝对值误差(MAE )最小，则模型 SMMOn可表达为 SMMOVC ( ( ), ) ERRVC(), )() ()()(4.2028 ( ) ( ) ( )0.1912 ln( ) 0.0208 ( ) ln( )nhan ahan a n nann nana an aDQ WDQ W uQ vQDQuQ vQ D QW DQ W (12) 在不同的场景模式下，人眼对于前景和后景的关注程度有所不同，各场景模式下 q 的取值需通过以

30、下的实验分析确定。 以场景模式 4 为例， 在该场景中 q 取不同值时，ERR 与aD 的线性拟合情况如图 6 所示。从图 6(a)中可以看出，当 0.1q ，即前景和后景视差角权重分别为 0.1 和 0.9 时， 图中的散点较为散乱； 图 6(c)中当 1.0q ，即前景和后景视差角权重分别为 1 和0 时，图中的散点也较为散乱。说明 q 取 0.1 或 1.0时的全局视差角不能很好地体现与视觉舒适的线性关系。当 0.7q 时， 0.7 0.3aaaDfb，此时散点的拟合程度最好，拟合直线方程为 ERR 0.6652 0.191aD，如图 6(b)所示， 得到的4SMMO为 第 2 期 应宏

31、微等： 基于场景模式的立体图像舒适度客观评价模型 299 4SMMO 4.3938 0.6652 0.1912 ln( )0.0208 ln( )aaaaDWDW (13) 场景模式 5, 8, 9 中 ERR 与aD 的线性拟合情况分别如图 7，图 8 和图 9 所示。 图 10 中的菱形 线表示场景模式 4 中， q 取不同值时所得到的4SMMO 与主观 MOS 值 的平均绝对值误差(MAE )。 可以看到 0.7q 时 MAE 最小，此时模型最精确。 同理可得场景模式 5 中， 当 0.6q 时，aD 0.6 0.4aafb, 5SMMO 与主观 MOS 的 MAE 最小，模型最精确。该

32、场景中 ERR 与aD 的 拟合直 线方程为 ERR 0.721 0.0298aD ， 如图 7 所示， q 取值与5SMMO 的 MAE的关系如图 10中方形线所示。得到的5SMMO 为 5SMMO 4.2326 0.721 0.1912 ln( )0.0208 ln( )aaaaDWDW (14) 同理可得场景模式 8 中， 当 0.6q 时， 0.6aD 0.4aafb, 8SMMO 与主观 MOS 的 MAE 最小，模型最精确。该场景中 ERR 与aD 的 拟合直线方程为 ERR 0.8918 0.3204aD， 如图 8 所示， q 取值与8SMMO 的 MAE的关系如图 10中三角

33、形线所示。 得到的8SMMO 为 8SMMO 4.5232 0.89180.1912 ln( ) 0.0208 ln( )aa aaDW DW(15) 同理可得场景模式 9 中， 当 0.5q 时， 0.5aD 0.5aafb, 9SMMO 与主观 MOS 的 MAE 最小，模型最精确。该场景中 ERR 与aD 的 拟合直线方程为 ERR 2.6905 1.2588aD， 如图 9 所示， q 取值与9SMMO 的 MAE 的关系如图 10 中圆形线所示。得到的9SMMO 为 9SMMO 5.4616 2.6905 0.1912 ln( )0.0208 ln( )aaaaDWDW (16) 场

34、景模式 10 的特点是前景和后景都凹于屏幕，且都处于舒适区。但 IVY 数据库中仅 14 号图像位于该场景模式中，根据文献8所述，宽度因素对视觉舒适度的影响和 视差类型( 交叉或非交叉 )无关，文献2 0认为在交叉和非交叉视差两种情况下，宽度因素对双目融合限制的影响是相似的。因此前后景的凹凸性不影响宽度因 素对舒适度所起的作用；同时，当前后景都处于舒适区时，双目可以融合，视差因素 (包括视差大小，视差类型) 对舒适度所起的影响较小。由于该场景模式前后景的凹凸性相同， 图 6 场景模式 4 中 ERR 和aD 的线性拟合图 图 7 场景模式 5 中 ERR 和aD 的线性拟合图 图 8 场景模式

35、 8 中 ERR 和aD 的线性拟合图 300 电 子 与 信 息 学 报 第 38 卷 图 9 场景模式 9 中 ERR 和aD 的线性拟合图 且都处于舒适区，可近似视为场景模式 9 的对称模式，因此，使用场景模式 9 的式(16) 模型计算该立体图像的客观评价值。 根据式(13) 式(16) 的计算，可得到暂不考虑前景曲折度时的模型性能指标，如表1 中的 SMMO所示。 4.2 基于前景曲折度的模型调整 进一步考虑前景目标曲折度对舒适度的影响，根据文献6 所述，当前景视差角大于 2时，双目出现了不舒适的“复视”现象。本文在实验中也发现，此时若前景目标呈较为曲折的形态时，舒适度将急剧地衰减。

36、设前景角视差阈值 2fT ，行与列的平均前景线段数阈值 2rT , 1.5cT ，当前景角视差绝对值affT ，且同时满足行平均前景线段数rrST 、列平均前景线段数ccST 时，定义视觉舒适度衰减系数 P 对 SMMO 模型进行调整。满足上述条件的有场景模式 4 中的 29, 51, 52, 102 号以及模式 5 中的 49, 50 号共 6 幅立体图像，它们的前景目标形态均表现出较大的曲折度。 图 11 中的横坐标表示需要调整客观评价值的立体图像编号，菱形点表示主观 MOS 值，矩形点表示调整前的客观评价分 SMMO。从图中可以看到，SMMO 比主观 MOS 值明显要高，而折线的形态基本

37、一致，因此可认为当前景目标曲折度大于曲折阈值时，视觉舒适感会进一步衰减。根据实验测试，取衰减系数 1.6P 以修正 SMMO，调整后的客观评价分如图 11 的圆形点所示。最终的模型SMM 表示为 458945894589|(1 )| , , , 0.7,0.6,0.6,0.5SMMO 0.1912 ln( )0.0208 ln( ) , , , 4.3938,4.2326,4.5232,5.4614 , , , 0.6652, 0.7120,a na n an n na aaaD Qf Q bQQQQU VD WDWUUUUVVVV 0.8918, 2.6905max(SMMO 1.6, 1)

38、,SMM | | 2 , 2, 1.5SMMO ,nn a rcnf SS 其他(17) 4.3 系数q的取值分析 图 12 显示了 SMM 舒适度评价模型中，各场景的前后景视差角的权重系数 q 。 图中， a 表示前景区域， b 表示后景区域， a 和 b 旁边所标注的权重系数值，反映了前后景视差因素对视觉舒适度的影响力。 根据前后景的凹凸性，可将模式 4、模式 8 归为一类，模式 5、模式 9 归为另一类，两类的区别在于后景的凹凸性，从图 12 中可总结出，后景凸比后景凹对视觉舒适度的影响更大。 根据前景是否处于舒适区，可将模式 4、模式 5归为前景超出舒适区一类，模式 8、模式 9 归为

39、前景处于舒适区内一类，从图 12 中可总结出，超出舒适区的前景比舒适区内的前景对视觉舒适度的影响越大 综合以上的观察，可以得出“越凸出的区域，对视觉影响越大”的结论，这和人倾向于关注离自 图 10 q 取值与 SMMO 模型的平均绝对值误差(MAE)的关系 图 11 主观 MOS值、调整前后的客观评价值的对比 第 2 期 应宏微等： 基于场景模式的立体图像舒适度客观评价模型 301 图 12 各场景模式的前后景视差因素权重 己更近的物体的视觉特性是相一致的。 q 值的确定，量化了前后景对视觉舒适度的影响程度。 4.4 模型的性能及对比 由于在主观质量评价实验中会引入一系列非线性因素，为避免非线

40、性因素对客观评价模型性能的影响，需要将模型的客观评价分值 x 做非线性拟合，本文采用 5 参数 Logistic 函数进行非线性拟合，如式(1 8)所示，从而预测得到客观模型预测值 y 。 1 4523112 1 exp ( ( )yx (18) 其中，参数1 , 2 , 3 , 4 和5 通过训练得到。然后计算 y 与平均主观评分值 MOS 的相关性来度量客观模型的性能，在本文中采用 Pearson 相关系数(Pearson Linear Correlation Coefficient, PLCC), Spearman 相关系数( Spearman Rank-Order Correlatio

41、n Coefficient, SROCC)、Kendall 相关系数 (Kendall Rank-Order Correlation Coefficient, KROCC)、平均绝对值误差(Mean Absolute Error , MAE)和均方根误差(Root Mean Squared Error, RMSE) 5 组客观参量，其中，PLCC , SROCC 和KROCC 反映客观评价模型预测值的相关性、单调性和一致性，MAE 和 RMSE 反映客观评价模型预测值的准确性。 PLCC, SRCC, KRCC 越大， MAE, RMSE 越小说明客观评价预测值与平均主观评分值MOS 的相关性

42、越好。 表 1 给出了本文提出 SMMO 和 SMM 模型与文献 8,13,14所提出的模型在 IVY 数据库上的各项性能指标对比，由表中数据可以看出， SMMO 模型与文献 14所提出的模型性能相近，SMM 模型的性能则优于其他模型。 5 结论 随着 3 维视频图像技术的迅猛发展，研究影响舒适度的各种因素， 建立舒适度客观评价模型是当前亟需解决的问题，它对 3 维内容制作，促进显示器设计与制造等相关技术的发展进步具有指导作用。 本文研究了立体图像中影响舒适性的因素和对应的图像特征，包括前后景的会聚角、屏幕调节角、视差角、宽度角，以及度量前景目标曲折度的各特征，在各类立体图像场景模式的基础上，

43、提出了一个立体图像舒适度的客观评价模型 SMM。 在公开的IVY 立体图像数据库上，用 5 种性能指标对提出的客观评价模型进行评价， 实验显示，模型的相关性、单调性、一致性、准确性与现有的方法相比，性能更好。 表1 舒适度客观模型的性能指标及对比 模型 PLCC SROCC KROCC MAE RMSE D+W80.829 0.868 0.628 0.332 0.450 WMX+RD+OT130.838 未给出 未给出 0.331 0.422 文献1 4 0.874 0.835 0.672 未给出 0.391 SMMO(本文方法 ) 0.855 0.897 0.723 0.300 0.418

44、SMM(本文方法) 0.919 0.909 0.748 0.237 0.318 参 考 文 献 1 HEWAGE C T E R and MARINI M G. Quality of experience for 3D video streamingJ. IEEE Communications Magazine, 2013, 51(5): 101-107. 2 蒋骁辰 , 李国平 , 王国中 , 等 . 基于 AVS+实时编码的多核并行视频编码算法J. 电子与信息学报, 2014, 36(4): 810-816. doi: 103724/SP.J.1146.2013.00845. JIANG

45、Xiaochen, LI Guoping, WANG Guozhong, et al. Multi-core parallel video coding algorithm based on AVS+ real-time encodingJ. Journal of Electronics & Information Technology, 2014, 36(4): 810-816. doi: 103724/SP.J.1146.2013. 00845. 3 KIM D and SOHN K. Visual fatigue prediction for stereoscopic imageJ. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(2): 231-236. 302 电 子 与 信 息 学 报 第 38 卷 4 LI J, BARKOWSKY M, and CALLET P L. Visual discomfort of stereoscopic 3D videos: Influence of 3D m