基于天空区域分割与置信度图导向融合的去雾方法研究_孙开伟.pdf

D O I:1 0.1 6 1 3 6/j.j o e l.2 0 2 3.0 2.0 2 1 9基于天空区域分割与置信度图导向融合的去雾方法研究孙开伟*,冉 雪,李 彦,宣立德(重庆邮电大学 数据工程与可视计算重点实验室,重庆4 0 0 0 6 5)摘要:基于暗通道先验的去雾算法总是存在复原结 果 中 天 空 区 域 处 理 不 佳 等 问 题,为 了 进 一 步 优化对传输函数的估计,本文提出一种基于置信度 图 导 向 融 合 的 传 输 函 数 优 化 方 法。首 先,将 雾 天图像的天空区域分离出来,以达到 对 天 空 区 域 的 优 化;计 算 窗 口 级 暗 通 道 与 像 素 级 暗 通 道,以 平滑传输函数在物体边缘并保留小于窗口尺寸的细 节 特 征;最 后,计 算 窗 口 级 暗 通 道 与 像 素 级 暗 通道之间的置信度图,以其为导向对两者进行融合 得 到 优 化 的 传 输 函 数 图,实 现 图 像 去 雾。实 验 结果表明,本文算法可达到很好的复原结果优化效果。关键词:图像去雾;暗通道先验;天空区域分割;置信度导向融合中图分类号:T P 3 9 1 文献标识码:A 文章编号:1 0 0 5-0 0 8 6(2 0 2 3)0 2-0 1 4 7-0 9D e h a z i n g a l g o r i t h mb a s e d o n s k y r e g i o n s e g m e n t a t i o n a n d r e l i a b i l i-t ym a pg u i d e d f u s i o nS U NK a i w e i*,R A NX u e,L IY a n,X U A NL i d e(K e yL a b o r a t o r yo fD a t aE n g i n e e r i n ga n dV i s u a lC o m p u t i n g,C h o n g q i n gU n i v e r s i t yo fP o s t sa n dT e l e c o m m u n i c a-t i o n s,C h o n g q i n g4 0 0 0 6 5,C h i n a)A b s t r a c t:T h e s k y r e g i o n i n t h e r e s t o r a t i o n r e s u l t s f o r d e h a z i n g a l g o r i t h mb a s e d o nd a r k c h a n n e l p r i o r a l-w a y se x i s t st h ed r a w b a c k ss u c ha sh a l o s.I no r d e r t of u r t h e ro p t i m i z et h ee s t i m a t i o no f t r a n s m i s s i o nf u n c t i o n,t h i s p a p e r p r o p o s e s a t r a n s m i s s i o n f u n c t i o no p t i m i z a t i o nm e t h o db a s e d o n r e l i a b i l i t ym a pg u i d e df u s i o n.F i r s t l y,t h e s k y r e g i o no f t h eh a z y i m a g e i s s e g m e n t e d a n do p t i m i z e d;t h ew i n d o wl e v e l d a r k l e v e lc h a n n e l a n d p i x e l d a r k l e v e l c h a n n e l a r e c a l c u l a t e d t o e n s u r e t h e s m o o t h n e s s o f t h e t r a n s m i s s i o n f u n c t i o na t t h e e d g e o f t h e o b j e c t s a n d t h e o u t s t a n d i n g o f t h e d e t a i l f e a t u r e s s m a l l e r t h a n t h ew i n d o ws i z e;f i n a l l y,t h e r e l i a b i l i t ym a pb e t w e e nw i n d o wl e v e l d a r k c h a n n e l a n dp i x e l l e v e l d a r k c h a n n e l i s c a l c u l a t e d.T h e r e-f i n e t r a n s m i s s i o n f u n c t i o nm a pi so b t a i n e dt or e a l i z e i m a g ed e h a z i n gb yt h ef u s i o no f t h e s et w od a r kc h a n n e l s t h r o u g h t h eg u i d a n c eo f t h e r e l i a b i l i t ym a p.T h e e x p e r i m e n t a l r e s u l t s s h o wt h a t t h ee s t i m a t i o no f t r a n s m i s s i o n f u n c t i o no p t i m i z e db y t h ep r o p o s e dm e t h o dc o u l da c h i e v e f i n e i m a g ed e h a z i n ge f f e c t s.K e yw o r d s:i m a g ed e h a z i n g;d a r kc h a n n e l p r i o r;s k y r e g i o ns e g m e n t a t i o n;r e l i a b i l i t yg u i d e d f u s i o n0 引 言 水滴、灰尘以及其他空气中的悬浮粒子,统称为气溶胶,对进入成像系统的光进行多次散射,从而形成半透明的大气光,造成雾天图像模糊,目标物难以辨认。利用图像去雾技术1可解决雾天图像降质的问题,在雾天环境下探测目标等 人类活动中有着广泛的应用。针对图像去雾的问题,现有多种方法 加以解决:TAN等2从增强雾天图像对比度的角度进行去 雾,使 用 马 尔 科 夫 随 机 场(M a r k o vr a n d o mf i l e d,MR F)的 框 架 估 计 雾 天 图 像 的 大 气 光 值。光 电 子 激 光第3 4卷 第2期 2 0 2 3年2月 J o u r n a l o fO p t o e l e c t r o n i c sL a s e r V o l.3 4N o.2 F e b r u a r y2 0 2 3*E-m a i l:1 8 2 0 8 5 9 9 1 4 q q.c o m收稿日期:2 0 2 2-0 3-3 1 修订日期:2 0 2 2-0 5-2 5基金项目:国家自然科学基金(6 1 8 0 6 0 3 3)、重庆市教委项目(K J C X Z D 2 0 2 0 0 2 7)和重庆市自然科学基金面上项目(c s t c 2 0 1 9 j c y j-m s x m X 0 0 2 1)资助项目F AT TA L等3通 过 假 定 表 面 阴 影 和 传 输 函 数 之间的局部无关性以估计传输函数,但是这 个统计特 性 在 雾 天 图 像 的 浓 雾 区 域 会 失 效。TAR E L等4使用双边滤波或中值滤波的方式对雾天图像进行滤波以获得对大气光的均匀估计,从 而复原目标图像。B E RMAN等5提 出 的 雾 线 模 型 使 用几百种颜色对无雾图像进行近似,并利用K D-t r e e聚类算法将像素进行聚类,且每一类形成 一个雾霾线,以雾霾线模型估计传输函数并复原 雾天图像。HE等6对大量户外无雾图像进行统计分析,提出基于暗通道先验的去雾算法。ME NG等7对暗通道先验作进一步优化和改进,将传输 函数的边界约束建模成一个最优化问题,以重新 估计传输函数。WANG等8为 了 解 决 天 空 区 域 出 现 的光圈及光晕等缺点,采用形态学腐蚀膨胀 等操作将雾天图像的天空区域分离出来,对天空 区域的传输函数进行优化,解决天空区域处理效 果不佳的问题。作为图像去雾的关键参数,传输函数 在细节部分的处理情况往往反映在去雾结果之中。上述从图像对比度等角度入手9的对传输函数的估计方法中,往往丧失了传输图像中的细节特征,或者估计得到的传输函数对于天空区域的处理效果不佳。本文以HE等6的暗通道先验估计传输函数为基础,计算雾天图像的多个尺度级别的 暗通道图像,并对其进行融合。可达到复原雾天图像时,既抑制天空区域的光圈效应,同时突出目 标细节特征的目的。针对大气散射模型中的传输函数,本 文提出一种优化方法:首先,将雾天图像的天空区域分离出来,根据雾天图像与大气光之间的索引 图抑制传输函数中天空区域带来的光圈等效应;然后,根据原雾天图像分别计算得到其窗口级暗通道图像和像素级暗通道图像;最后,计算两个级别暗通道图像的置信度图,以置信度图为导向,将两者进行融合,以获得优化的传输函 数图像。通过 对比实验,本文算法得到的优化传输函数在抑制 光圈和突出细节等方面具有有效性。1 雾天图像复原原理1.1 大气散射模型 通常使用大气散射模型1 0描述雾天图像的形成过程。大气散射模型认为,目标辐射光在向成像系统传输时,受到大气中的粒子的吸收等作用而衰减;太阳光等环境光受到粒子的散射作用而形成大气散射光,大气散射光是造成雾天图像降质的主要原因。雾天环境下拍摄获取的雾天图像的总光强为衰减的目标光和大气散射光的线性叠加,且两者占总光强的比例由传输函数决定。对于雾天环境中探测系统获得的图像,其大气散射模型通常可表示为:I(x)=J(x)t(x)+(1-t(x),(1)式中,I为探测系统获取图像的总光强,J为复原得到的未经衰减和散射的无雾目标图像,A为无穷远处的大气光向量,t(x)为传输函数,x为图像中像素的坐标,I(x)、J(x)和A均为R G B颜色空间的三维向量,t(x)为标量。传输函数为描述雾天图像成像过程的关键因素,因环境光包含多种光源,且大气中悬浮粒子等气溶胶成分复杂,故其形成过程很难用完整具体的数学表达式描述。通常,可以认为传输函数与两个因素有关,即场景深度和大气散射系数1 1:t(x)=e-d(x),(2)式中,d(x)为场景深度,表示在像素x处目标场景与成像系统之间的距离;为大气散射系数。式(2)表明场景辐射随着场景深度d呈指数衰减。1.2 大气光向量的求解 现有多种大气光向量的估计方法。对于大气散射模型中的大气光向量A,最直观的方法是手动选取雾天图像中的天空区域的像素以计算大气光值,但是手动估计的方法过程比较繁琐,无法在实际操作中应用。本文选取一种自动估计的方法,即文献6的估计方法:首先计算雾天图像的暗通道图像,选取雾天图像中对应于暗通道图像灰度值从大到小前0.1%的像素,计算雾天图像每一个颜色通道在这些像素处的灰度值均值,获得的大气光值则构成大气光向量A。1.3 雾天图像的复原 本文首先依据1.