结合WLS滤波与还原控制因子的图像去雾_王伟鹏.pdf

结合 WLS 滤波与还原控制因子的图像去雾王伟鹏1,项文杰2,刘新芳11(闽南科技学院光电信息学院,泉州362332)2(厦门大学海洋与地球学院,厦门361102)通信作者:项文杰,E-mail:摘要:雾天退化图像的复原过程中,针对大气光幕和大气亮度估计不准确导致光晕效应、偏色现象和对比度不足等问题,提出一种结合 WLS(weightedleastsquare)滤波与还原控制因子的去雾算法.首先分析 WLS 滤波器的原理和性能,并用于大气光幕的有效提取;其次利用 Sobel 算子检测二值化图像边缘,将边缘数目与像素均值同时作为四叉树空间索引的依据,提高大气亮度的估计准确性;最后分析天空出现颜色失衡现象的原因,引入还原控制因子改善视觉效果.实验结果表明,去雾后图像的平均梯度整体提高 58.03%,信息熵提高 2.88%,运行时间节省 50%以上.该方法对含有浓雾、薄雾以及天空等深度复杂的远景图像、近景图像均能得到高对比度、可视度和色彩保真度的恢复效果.关键词:图像去雾;加权最小二乘法滤波(WLS 滤波);图像复原;图像增强;大气散射模型引用格式:王伟鹏,项文杰,刘新芳.结合 WLS 滤波与还原控制因子的图像去雾.计算机系统应用,2023,32(2):303309.http:/www.c-s- Dehazing Based on WLS Filtering and Restorative Controlling FactorWANGWei-Peng1,XIANGWen-Jie2,LIUXin-Fang11(CollegeofOptoelectronicInformation,MinnanScienceandTechnologyUniversity,Quanzhou362332,China)2(CollegeofOceanandEarthSciences,XiamenUniversity,Xiamen361102,China)Abstract:Astheinaccurateestimationofatmosphericlightcurtainandatmosphericlightresultinthehaloeffect,colordistortion,andlowcontrastintheprocessofhazeimagerestoration,adehazingalgorithmbasedonweightedleastsquare(WLS)filteringandrestorativecontrollingfactorisproposed.Firstly,thisstudyanalyzestheprincipleandperformanceoftheWLSfilter,whichcanbeutilizedtoeffectivelyestimatetheatmosphericlightcurtain.Secondly,withtheassistanceoftheSobeloperator,thebinaryimageedgesaredetected.Thenumberofedgesandthemeanvalueofpixelsaretakenasthebasesofthequad-treespaceindex,whichimprovestheestimationaccuracyoftheatmosphericlight.Finally,accordingtothecausesofcolordistortionintheskyarea,arestorativecontrollingfactorisintroducedtoimprovevisualeffects.Experimentalresultsshowthatthemeangradientobtainedbythismethodincreasesby58.03%,andtheinformationentropyincreasesby2.88%.Inparticular,therunningtimerelativelydecreasesbymorethan50%.Theproposedmethodachievesbetterrestorationintermsofcontrast,visibility,andcolorfidelityofthehazeimagecontainingcomplicatednearanddistantscenesthatmixeddensehaze,mist,andskyarea.Key words:imagedehazing;weightedleastsquare(WLS)filtering;imagerestoration;imageenhancement;atmosphericscatteringmode计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(2):303309doi:10.15888/ki.csa.008947http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:福建省中青年教师教育科研项目(JAT200977)收稿时间:2022-07-09;修改时间:2022-08-09;采用时间:2022-08-18;csa 在线出版时间:2022-11-04CNKI 网络首发时间:2022-11-15SoftwareTechniqueAlgorithm软件技术算法303雾霾天气条件下,户外机器影像采集设备所捕捉的画面容易受到大气中微小悬浮颗粒和水滴的干扰,造成图像信息严重降质,具体表现为对比度下降、颜色退化.降质图像不利于安防监控、目标检测与识别等方面的应用,甚至造成机器设备无法正常工作.为了消除退化图像带来的不良影响,提高机器设备的工作效率,有必要研究高效的图像去雾算法.当前主流的去雾方法可以分为两类:基于模型的复原方法和基于神经网络的学习方法.复原方法建立物理模型,分析雾天成像及退化机理,通过求解模型中的未知参量实现图像去雾.He 等人1首次发现了暗通道先验统计规律,并用于估计介质透射率,由于软抠图细化步骤的运算复杂且耗时严重,采用引导滤波器2进行改进,取得良好的去雾效果.Tarel 等人3首先将彩色图像的最小颜色分量作为大气光幕的初始估计,使用中值滤波器对其进行细化修复,再依次通过大气散射模型和色调映射恢复无雾图像.Kratz 等人4和Nishino 等人5结合雾天场景的结构特征与统计特性估算介质透射率,研究基于贝叶斯理论的图像复原算法.Meng 等人6提出了一种正则化方法,结合传输函数的边界约束,为估计场景透射率的优化问题建模,以此恢复高质量的无雾图像.Fattal7认为 RGB 颜色空间中,图像局部像素通常呈现一维分布特征,利用这一规律估计场景透射率,实现有效的图像去雾.王平等人8考虑了大气亮度和介质透射率之间的关联性,将其作为两个相互影响的整体,利用迭代算法进行优化,保持复原图像的真实色彩.杨红等人9改进了暗通道先验方法,将天空区域分割出来,引入具有保边缘去噪的双边滤波器,提高了复原图像的对比度,改善了颜色失真现象.Gayathri 等人10在多尺度 Retinex 的基础上,结合暗通道和引导滤波器实现了雾霾图像的增强,该方法消除了图像中的雾气影响并保留了有用的细节信息.李红云等人11构造基于 Kirsh 算子的差分滤波器,优化介质透射率,实现多曝光融合的图像去雾.吴正平等人12在引导滤波器的基础上,采用自适应 gamma 校正函数估计介质透射率,再利用高斯相对性优化复原图像.基于学习的方法通过训练样本使得去雾过程中算法具有学习记忆能力.Cai 等人13提出一种可深度训练的端到端系统,用于介质透射率的有效估计,再通过散射模型恢复图像.Ren 等人14对雾天图像与透射率之间的映射关系进行深度网络学习,提出基于多尺度卷积神经网络的去雾算法.Engin 等人15提出一种循环网络去雾算法,不依赖于大气散射模型的参数估算,通过周期一致性和感知损失来增强训练,提高纹理信息的复原.肖进胜等人16结合深度学习与卷积神经网络进行雾气层的估计,将雾天图像减去雾气层从而恢复结果.王高峰等人17在 Cai 等人13的基础上改进了端到端训练系统,采用深度可分离卷积层和膨胀卷积的方式,有效实现图像去雾.Fahim 等人18研究深度去雾网络,采用 4 个模块实现非线性特征提取,并引入边缘损耗函数,获得视觉良好的去雾效果,且无需后处理操作.杨燕等人19提出阶梯型网络与注意力交融的复原方法,提高了深度学习的训练速度.陈平20结合明暗通道先验和循环 GAN 网络,改进感知损失函数,有效缩短了训练时长.上述复原方法在多种不同场景下普遍存在适应性不足的局限,例如远近景交汇处容易产生光晕效应、边缘残雾现象;白色目标对大气亮度的提取造成干扰而出现整体偏色;大面积天空区域的过度处理而导致颜色失真与过饱和现象.而学习方法需要训练的样本数较多,效率较低,且处理自然拍摄的图像时,效果并不出众.为了提高场景适应能力,本文在大气散射模型的基础上提出一种新的复原方法.通过大量雾天图像的研究实验,总结了远景、近景、浓雾和薄雾等多场合下的去雾关键技术和解决方法:一是提取深度信息复杂的大气光幕,采用平滑效果出众的滤波器,获得与雾气分布特性相一致的光幕值,克服场景深度跳变处的光晕效应和对比度不足的局限;二是解决白色物体对大气亮度的估计影响,结合边缘检测算子与四叉树空间索引,可有效排除非天空、非浓雾区域的白色物体干扰,得到合理准确的大气亮度值,避免复原结果偏暗以及整体偏色现象的产生;三是针对大面积天空亮度不足和颜色失真问题,定义像素级还原控制因子,结合大气散射模型实现局部区域的有效保护.1大气散射模型在机器视觉和图像处理领域中,基于模型的图像去雾算法普遍采用大气散射模型,该模型根据光线经过大气中悬浮颗粒和水滴散射的特性,将雾化图像描述为:I(x,y)=J(x,y)ed(x,y)+A(1ed(x,y)(1)(x,y)I(x,y)J(x,y)其中,表示图像中的像素点坐标;表示观测到的原始图像(有雾图像);表示去雾处理后的清计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第2期304软件技术算法SoftwareTechniqueAlgorithmd(x,y)ed(x,y)A晰结果(无雾图像);是大气散射系数,为景物深度,为介质透射率,表示光线通过空气介质到达图像采集设备的比例;表示天空亮度或浓雾区域的亮度,统称大气亮度.A(1ed(x,y)U(x,y)该散射模型中,等号右边第 2 项定义为大气光幕,指场景中其他光线对成像造成的影响.用表示大气光幕,式(1)等效为:I(x,y)=J(x,y)(1U(x,y)/A)+U(x,y)(2)U(x,y)A其中,和 至关重要,估计准确与否将直接影响复原图像的质量.因此,本文在该模型的基础上,结合参数的物理意义和雾化场景的特征进行深入研究,获取最佳估计值,实现更加有效的图像去雾.2本文算法基于大气散射模型,本文重点围绕大气光幕和大气亮度展开研究,提出一种图像去雾新方法,实现步骤如下:1)将有雾图像的 3 个颜色通道最小值进行分离,利用 WLS 滤波器的平滑特性提取大气光幕;2)结合Sobel 算子与四叉树空间分割,获得大气亮度的准确估计值;3)定义还原控制因子,结合大气散射模型实现图像去雾.2.1 大气光幕的提取大气光幕既可表示图像中的雾气浓度,又近似反映了场景中的深度信息.当前多数算法采用暗通道先验1粗略估计大气光幕,当局部区域处在深度跳变的边缘时将使得估计结果产生较大误差,造成光晕效应的出现.为解决该问题,一般以原始图像的边缘结构为参照,采用软抠图或引导滤波2进行细化修复.然而软抠图运算量较大,引导滤波的参数不易调整都将导致效果不理想.为了克服上述问题,本文采用滤波效果