基于车行视程与大气光快速估值的车载视频去雾算法-李炎炎.pdf

《基于车行视程与大气光快速估值的车载视频去雾算法-李炎炎.pdf》由会员分享，可在线阅读，更多相关《基于车行视程与大气光快速估值的车载视频去雾算法-李炎炎.pdf（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第49卷第3期2017年5月工程科学与技术ADVANCED ENGrNEERnqG SCIENCESV0149No3Mav 2017机械工程 DOI：1015961jjsuese201601407基于车行视程与大气光快速估值的车载视频去雾算法李炎炎，龙 伟+，覃宏超，付继贤(四川大学制造科学与工程学院，四川成都610065)摘要：交通场景中的视频图像去雾处理，是一个实时性极强的不确定反问题，针对雾霾天气下车载视频图像退化严重的现象，分析了交通环境中雾气浓度对车前物景可视度的关系，提出了大气能见度与车行视觉距离之间的关系模型，讨论了降质图像增强的理论与方法，建立了雾霾条件下车行可视距离的线性回归

2、公式和基于大气能见度的透射率快速估值模型。同时，研究了雾霾物像暗通道的基本特征，提出了利用引导滤波对图像实现边缘平滑、细节增强以及利用盒式滤波保持边缘信息，降低时间复杂度；直接利用灰度图像获取大气光像素矩阵的估值方法，建立了基于大气光的快速估计模型，解决了暗原色先验理论方法的“非天空区”假设及其时间复杂度难以适应车载视频图像处理的问题。根据上述提出的透射率估计方法和天空光的估值模型，本文提出了一种鲁棒性好，实时性强的雾霾视频图像去雾的新算法，并完成了基于该方法的视频图像恢复处理流程设计，构造了车载雾霾视频图像恢复处理的综合验证平台，通过信息熵和图像边缘检测的方法，对本文提出的方法与目前已有的几

3、种流行的去雾方法进行了图像恢复质量的比较，结果表明，本文提出的方法在反映图像细节和清晰化等方面都取得了良好的处理效果。关键词：车行视程；大气光估值；去雾算法；引导滤波；盒式滤波中图分类号：TN91173 文献标志码：A 文章编号：2096。3246(2017)03021706Video Dehazing Algorithm Based on the Visual Range of the Vehicle Driving andthe Airglow Rapid EstimationLYanyan，LONG Wei，QINHongchao，FUJixian(School ofManufactur

4、ing Sciand Eng，Sichuan Univ，Chengdu 610065，China)Abstract：Aiming at the problem of serious degradation of image in the weather of fog and haze，this paper analyzed the relationship between theatmospheric visibility and the visual distance of the vehicle driving，and established the linear regression f

5、ormula of the visual distance of thevehicle driving under the hazy weather and the transmittivity rapid estimation model based on the atmospheric visibility，according to the severedegradation issue ofthe vehiclemounted video image in the hazy weather；at the same time，according to the dark channel fe

6、atures ofthe objective image，a fast estimation model ofatmospheric light is constructedIt built the rapid estimation model ofthe airglow by using the guided filterand the box filter and solved the problem of method of the dark channel priori theory hypothesis of the”the sky area”and the time complex

7、ity isdifficult to adapt to the onboard video image processing problemsIt proposed a new hazy weather video image dehazing algorithm with good robustness and strong instantaneityThen designed the video image restoration processing comprehensive verification platform，which conductedthe evaluation com

8、parisort 09 the image、recovery quality ofthe theoretical method presented by this article and the current typical dehazing method through the comentropy and image edge defection，gained good processing effectsKey words：visual distance on vehicle；airglow rapid estimation；defogging algorithm；guided fil

9、ter；box filter。、i车辆行驶环境的雾气是一种严重的道路气象灾害，它造成的视觉障碍严重影响城市交通、车行网路的安全。近年来，人们借助数字信息处理技术，提出了许多针对雾霾图像进行复原处理的方法，归纳起来这些方法大致分为3类：利用多幅图像特征的恢复方法、依据单幅图像的恢复法、借助深度信息的复原法11。收稿日期：20161226基金项目：四川省科技支撑计划资助项目(201420007；2010GZ0171)作者简介：李炎炎(1979一)，女，博士生研究方向：车辆交通智能技术Email：lyy_scu163tom4通信联系人Email：scdxlongweiyeahnethttp：jsue

10、seijournalsca http：jsueseSOU，educa万方数据218 工程科学与技术 第49卷Nayar等悼J研究团队利用相同场景不同气候环境下多幅图像的信息特征，获取物像的场景结构来复原图像，该方法适合应用于固定场合的视频监控图像处理，不适用于具有环境变化无常性的车载视频成像处理。Schechner等【j J将偏振光的理论应用于雾霾图像的复原处理中，避免了图像获取时间间隔长的缺点，并成功得到了清晰的复原图像，但它需要无限远处的天空信息作为基础，因而有一定的局限性。Fattal【4J在大气衰减的物理模型基础上，通过假设入射光在大气中的传播与场景对象表面性质的不相关性，并利用图像邻

11、域信息的Markov特性和局部最优化的思想计算得到清晰的图像；这种方法主要利用数理统计，并且需要大量色彩信息，因而对于浓雾条件下色彩退化的图像，难以获得较可信的传输图像，恢复后的图像存在较多失真的现象。He等p1利用暗原色先验知识的方法来恢复图象，仅需要按照雾霾大小对局部图像的色彩进行复原处理，便可获得较好的去雾效果，但是当物像的亮度与天空亮度接近时，暗原色方法的效果会大大降低。针对上述算法在处理雾气图像时去雾不完全，计算复杂的问题，作者提出了基于车行视程的透射率快速估值模型，同时，根据暗通道原理，通过引导滤波的方法和引入盒式滤波加速运算的方法，构建了大气光的快速估计模型的方法，提出了一种新的

12、车载视频图像的去雾处理方法。1基于车行视程的透射率估值基于大气散射理论，可见光物景成像任意一点的灰度值，可通过数学推算表示为：E=Lpe_h+L(1一e_h) (1)设，(x)为摄像机获取的原始图，以x)为没有雾霾影响的图像，4为物像环境的大气光，t(x)=e-PX为大气的透射率。式(1)可进一步转换为：1(x)=I，(x)f(x)+A(1一f(D) (2)对雾霾图像的复原处理，就是在对r(x)和爿的估值基础上，通过式(2)求解m)。包含雾霾的大气总散射因子序，是由大气分子的吸收系数a、大气分子的衰减系数p。与雾霾粒子的消光系数反所组成，即它们之间的关系为16J：B=d+$s+舀x 03)由于

13、大气本身的空气分子对物景光线的吸收与散射作用十分微小，因而可以忽略式(3)中的前两项影响，得到：卢卢。 (4)消光系数反一般采用如下经验公式来估计：凤：半(罕)g (5)式中，三为含雾大气的能见度，km；A为物景光线的波长，m；q为能见度一波长修正因子，它与能见度有关【7J：f 0585L，L20km雾天条件下的能见度不会超过2 km，故q的取值通常为0585Lk。进一步地，在大多数交通场景所获取的水平方向的视频图像，多以A为500580 um的光辐射为主，而可见光A的均值为532 um，所以可将式(6)中的A近似为550岬，则式(5)可简化为：L。下3912 (7)x通常将雾浓度的视障程度分

14、为5个等级，它反映在能见度上，其与雾天车行的可视距离t的关系8】见表1。表1 L与车行距离的关系Tab1 Relationship between L and car distance对车行可视距离与能见度关系的观测点进行线性回归处理，并根据最小法原理推导线性回归公式如下：n 一乞(厶一L)LcLc=云+(LZ)(号一Z(Li一-)2j=I式中，Z为车行环境中大气能见度观测数的均值，云为车行可视距离观测数的平均值。以表1的数据代入式(8)，可得车行可视距离厶与的线性关系为：Lc=aL+2255 (9)式中：a=0256 1，被称为视程衰减因子，换算成百分比则为a=2561，它表示大气能见度反映

15、在车行可视距离的减弱程度；L。反映了含雾视频图像的视觉焦点或可视景深。于是根据式(5)、(8)，得到：f(x)=e啦=e-半4，d100，500】 (10)由式(10)可知，在目标物体的景深为定值且大万方数据第3期 李炎炎，等：基于车行视程与大气光快速估值的车载视频去雾算法 219气中的雾气浓度非常大时，其能见度三将会变得很小，极端情况下趋近于0，这时雾气对目标物景图像光传输的透射率趋近于0，且Plimt(x)_0，理论上完全阻隔。当雾气浓度很小时，其能见度三将会变得很大，这时大气对目标物景图像光传输的透射率趋于100，即limt(x)_1，理论上完全透射。当透射率趋近于1时，说明观察到的目标

16、图像就是没有雾气影响的清晰图像。实际上，大气对物景的光传输永远不可能达到100的完全透射，在车辆交通环境中通常认为大气能见度达到2 000 m，就可以获得很好的车行视程。由此，对式(10)进行如下的归一化处理：假设大气能见度为2 000 m时达到完全透射，透射率记为f(x)。，而大气能见度为20 m时为完全阻隔，则构造大气透射率的估值模型为：，、 3912 of(x)：1一型等=二二 (11)f)。式(11)不仅在物理意义上规定了透射率f)与大气能见度之间变化关系，也在数学意义上规定了透射率估值模型如)在【0一1的变化范围。当三。取2 0001TI，诹150 m时，则有：e0,195 6102

17、df(z)=己面(12)由式(12)可见，透射率f(z)的大小与能见度三和目标物像的视觉深度痛关。如果把一定能见度条件下的车行可视距离作为目标物体的景深d，把式(9)代入式(12)，则戤)估计模型的一般应用形式为：e(0 5L+44|0 8)103f(工)=t面面丽矿(130 )DI-J，L这样，根据车载能见度仪或道路能见度装置获取的实时三值，便可快速估计雾霾图像退化模型的缸)值。2引导滤波的大气光的快速估值21雾霾图像的引导滤波计算模型引导图像滤波是一种边缘平滑滤波器，它可以实现图像边缘的平滑、细节增强、图像融合、噪声去除等处理，并能保留图像丰富的细节信息特征。设需要进行引导滤波的原始图像助

18、输入图像，功引导图像，口为滤波输出图像，并以劝中心的核函数窗口。中存在如下线性关系pJ：qf=nt，f+bk，ViOA女 (14)式中，CO女窗口边长为rxr，ak与b女为窗口03t内的线性变换系数(即线性因数，在窗口中为固定值)，f为COt中的像素索引。引导滤波的功能，主要是搜索线性因数(a女，b)的最佳解，使输入图像屿输出图像q的差异最小，因而使式(14)达到最小值：瓣(鸟r一扩一跚；) (15)进一步以式(16)为目标函数，利用最小二乘法求解，可得：三薹舻”五口女2丁一，+sbt=一akp女。 (16)式中：s为正则化平滑因子，即防止aN值过大引入调整因子；ak的分子为引导图像瘌原始输入

19、图像朋协方差；一为引导-在co女中的方差；了=为脏内的均值；女为引导图像庄内的均值。式(15)的最小化限制，使结果图像保留了原始图像的整体特性，并且又因为式(14)所保证的线性关系，使其滤波输出能够获得并反映引导图的细节特征，因此可把原始图像作为引导图进行滤波处理。22引入盒式滤波的引导滤波快速处理由于引导图像滤波处理，涉及一系列均值及方差乘除运算，这会占用大量的机器时间，增加算法的时间复杂度，盒式滤波正好提供了在给定滑动窗口下对每个窗口内的像素值进行快速均值运算的功能。如果把引导滤波中口t和bt运算的所有均值都用盒式滤波的操作来代替，则有： ak：一Box(Iji)k-Box(1i)kBox

20、(ji)k(1 7)=一 kBox(Iijf)k-(Box(1i)k)。+sbk=Box(j1)k-akBox(1i)k (18)式中，Box为对矩阵元素进行均值运算的盒式滤波：一i：l,jf-Box(1iji)k (19)叫“iEtok盒式滤波以图像矩阵为单位进行计算，所以最后得到的是图1中2张图。球始图像 吼的处理I冬| ，的处列3幽图1基于盒式滤波处理的4k和图Fig1 ak and k based on the box filter processing由图1可以看到，原始图像的边缘部分或变化剧烈的部分，在at图像中被保留下来了(即图像的白色部分)，而边缘部分或变化剧烈的部分在b女图像

21、中的万方数据220 工程科学与技术 第49卷值却接近为0(即黑色)。同时，原始图像中变化平缓的区域，无论是白色还是黑色，它们在at中的值均接近于0(黑色)，而在b女中却为平坦区域像素的均值，这表明引人盒式滤波后很好地保持了引导滤波凸现边缘的特性。23基于引导滤波的大气光估计模型为了区别引导图像表示符，与大气退化模型式(2)中的原始图像表示符m)，设原始雾霾图为J(x)，待求的无雾图为瞰)于是大气退化模型表述为：J(x)=f(x)E(曲+A(1一f(z) (20)若把原始雾霾图作为引导图像，可获得它的引导滤波图qf，进一步将获得的引导滤波图qf以窗口中的像素均值作为大气光A，则有：A产而It善纺

22、 (21)于是，可以获得大气光的估计模型：Af_(高荟吼n+高玩 (22)其引入盒式滤波的形式为：e：三B。x(口t)忌五+肋x(6女)足， (23)Vfu 7式中，为输人图像的像素点，f为索引系号。3去雾算法流程构造对于在能够获取车行环境大气能见度A的实时值的场合，可根据式(13)提出的透射率f伍)快速估值模型和式(23)提出的基于盒式滤波与引导图的大气光A估值模型来构造1个视频图像去雾处理模型，见图2。该参考模型主要由2个基本的循环组成，即透射率foc)的估值循环和大气光A的估值循环。图3是该算法流程的1个中雾图像的实际处理效果图。分析表明：通过引导滤波处理后的灰度图变得模糊，这是被均匀化

23、了以后的结果，当图像存在明显的边缘时被很好地保存下来，因而可用引导滤波均匀化后的灰度图像来估计各个场景深度下的大气环(a)原始图像窘境光。这与其他滤波相比较，对同样的网格计算，引导滤波的均化程度更好，处理时间更短，因而更适合视频图像的去雾处理。能见度装置： ：视频显示器： ti车载摄像仪r H一 、 rl葬由台匕丽庸，l，朋伯补 无限循习Il生成引导图像l铁啾眍儿腹I、 7l山灰度图，Il通过能见度三 大气退化模型 通过盒式滤波I计算透射率t E=(J-A)t+A 计算嘶和b。l生成透射率J I J估计女与*4l灰度图fo)l ”“一图2去雾算法流程构造Fig2 Defogging algor

24、ithm process利用引导图像滤波对A。进行估值时，滤波窗口的半径r和调整参数8对滤波效果都会有一定的影响，其中，的选择值在3040为宜，s的取值以10一为宜。4修复结果与比较41单幅图像的修复结果对比视频图像处理的质量主要是针对其视频图像的清晰化程度进行评价的，所以对车载视频图像修复质量的评价，本质上是对不同方法的单幅图像修复结果的对比。对此，挑选了目前流行的暗原色(HE)、双边滤波以及本文提出的基于三的f(x)与引导图A估值法的图像处理对比，见图4。通过对比可以看出，暗原色法处理的图像普遍显得较暗，在薄雾条件下其处理结果比较理想，但在浓雾时因图像灰暗而使很多细节不能得到凸现。双边滤波

25、方法在浓雾时，效果不错，但相较于本文方法其色彩不是柔和，细节较少，噪点也较多。本文提出的方法效果要好于前两种。42利用Canny边缘检测修复评价通过Canny算法的边缘检测，可获得图像的边缘信息，而边缘信息的多少最终可以通过它的灰度均图3中雾图像处理实例Fig3 Example image processing on the medium fog、=0003的去雾图需万方数据第3期 李炎炎等：基于车行视程与大气光快速估值的车载视频去雾算法 221(b)暗原色法 (c)双边滤波法 (d)本文方法图4 3种图像恢复处理方法的效果对照Fig4 Comparison of the three imag

26、e recovery processing methods值反映。因此，在不考虑光环效应时，计算出边缘图像的灰度平均值，其平均值越大，细节越多，表明图(a)原始图像及其边缘检测(c)双边滤波法及其边缘检测像越清晰。图5采用4种去雾处理方法所获图像的边缘检测图实例。(b1暗原色法及其边缘检测(d)本文方法及其边缘检测甘冀篓妻变兰凳篓：黧堡要粤毫筻要登碧擞j式中，三为灰度级，集合6f)为所有灰度级像素点的个萎望粤冀尧警謇竺嘉彗竺!冀耋，其清晰化程度也 薮，。茹霸芸羞荔尉翟豢(翥。等星；象戳卧尔。”|越高窑裂翌景堡警詈竺苎要兰望亨二。、。 ”“高誊茹蔷军某帚采。哥秸磕舅萎薪获得的修复图像熵作为信息量

27、的评估标准，它的评估方程如下： 图像：釜藉蓓三诗磊并：J翥姜荔葆：”“梦4万方数据工程科学与技术 第49卷图的值都要大许多，表示本文提出的方法所获得的物像细节更多，清晰程度也更好。表2修复图像的信息熵Tab2 Information entropy of defogging image44各方法处理时间对比表3是通过MATLAB和Open CV对几种不同去雾处理算法的时间对比，其结果表明本文提出的方法具有很好的实时性，而且占用机器空间也小，每帧图像处理时间约35ms，因而本文方法更适合于有雾视频图像处理的场合。表3不同算法的处理时间Tab3 Processing time of differe

28、nt algorithm5结论提出了车行可视距离与大气能见度的关系模型，解决了“z)=e-#x中车行视频图像场景深度d的估值问题，并构建了基于能见度的透射率估值模型。同时，深入研究了雾霾物像暗通道的基本特征，提出了利用引导滤波对图像实现边缘平滑、细节增强以及利用盒式滤波保持边缘信息、降低时间复杂度，直接通过灰度图像获取大气光像素矩阵的估值方法，建立了基于引导滤波的大气光爿的快速估值模型，解决了暗原色先验理论方法的“非天空区”假设及其时间复杂度难以适应车载视频图像处理的问题。重点分析研究了雾霾图像增强与恢复质量的数学评价方法，并通过边缘检测以图像信息熵方法，雾霾图像恢复处理模型与目前流行的几种方

29、法进行了修复质量的对比分析。其结果表明，本文提出的方法在反映图像细节和清晰化方面的评价指标都要优于其他方法。参考文献：1】Long Wei，Fu Jixian，Li Yanyan，et a1Algorithm about densefog image dehazing based on atmospheric extinction coefficient and guided filteringJJournal of Sichuan University(Engineering Science Edition)，2016，48(4)：175180龙伟，傅继贤，李炎炎，等基于大气消光系数和引导滤

30、波的浓雾图像去雾算法叨四川大学学报(工程科学版)，2016，48(4)：1751802Narasimhan S G，Nayar S KVision and the atmosphereJInternational Journal of Computer Vision，2002，48(3)：233-254【3Schechner Y Y，Narasimhan S G，Nayar S KPolarization-based vision through hazeJApplied Optics，2003，42(3)：51 1-525【4】Fattal RSingle image dehazingJAC

31、M Transactions onGraphics，2008，27(3)：1-9【5He Kaiming，Sun Jian，Tang XiaoouSingle image haze removal using dark channel priorJIEEE Transactions onPattem Analysis and Machine Intelligence，201 1,33(12)：234123536Yang Weidong，Liu Dongyan，Jin Xingxing，et a1HF 20P4，20P5 excitation spectral atmospheric trans

32、mission performante experimentJHigh Power Laser and Particle Beams，2002，14(5)：685-688杨维东，刘冬燕，金行星，等氟化氢泛频20P4、20P5激光谱线大气传输性能实验J强激光与粒子束，2002，14(5)：685-6887Liu Xichuan，Gao TaichangPrecipimtion phenomenon of atmosphefic extinction coefficient and the influence of visibilityJJournal of Applied Meteorologi

33、cal Science，20 1 0，21(4)：433-440刘西川，高太长降水现象对大气消光系数和能见度的影响J应用气象学报，2010，21(4)：433440】【8】He Dianke，Wu XiaohongAn improved image dehazing algorithm based on boundary constrainJJournal of SichuanUniversity(Engineering Science Edition)，2015，47(Supp 2)：136141侯典柯，吴晓红改进的基于边界限制的图像去雾算法J1四Jll大学学报(工程科学版)，2015，47

34、(增刊2)：136_141】91 Yang GuotaoResearch on the vehicle video image defoggingD：Chengdu，Sichuan University，2015杨国涛车辆前端视频图像去雾处理研究D】成都：四川大学，2015(编辑黄小川)引用格式：Li Yanyan，Long wei，Qin Hongchao,et a1Vide。dehazing algorithrn based。n the visualrange。f the Vehicle driV-：+ing and the airglow rapid estimationJAdvanced Engineering Sciences，2017，49(3)：217-222李炎炎，龙伟，覃宏超，等基：于车行视程与大气光快速估值的车载视频去雾算法J工程科学与技术，2017，49(3)：217-222 +万方数据