基于预检机制的偏振图像去烟研究_阎庆.pdf

第 18 卷 第 2 期2023 年 3 月大 气 与 环 境 光 学 学 报JOURNAL OF ATMOSPHERIC AND ENVIRONMENTAL OPTICSVol.18 No.2Mar.2023基于预检机制的偏振图像去烟研究基于预检机制的偏振图像去烟研究阎 庆 1,叶孟孟 1,2*,张晶晶 1,2,3,刘 晓 3,年福东 1,4,李 腾 1,2(1 计算智能与信号处理教育部重点实验室(安徽大学),安徽 合肥 230601;2 偏振光成像探测技术安徽省重点实验室,安徽 合肥 230031;3 中国科学院通用光学定标与表征技术重点实验室,安徽 合肥 230031;4 合肥学院先进制造工程学院,安徽 合肥 230031)摘要:烟的存在会导致图像目标信息的损减或丢失。针对烟在场景中具有局域性，提出了基于目标检测Yolov3算法的去烟预检机制，即在去烟流程中增加预检机制实现对烟图定向去烟，提升去烟效率和避免对无烟区的影响。不同于现有针对可见光图像的基于深度学习去雾方法，该方法将四幅偏振态图像作为网络输入，并利用多尺度注意力对抗网络提取烟区目标的偏振态特征信息，从而缓解失真现象以及丰富去烟后目标的结构和细节信息。在真实数据集上的定性与定量实验结果表明，本文提出的算法有效提升了偏振图像的去烟效果和去烟效率。关 键 词:图像除烟;卷积网络;偏振态图像;多尺度;注意力机制;对抗网络中 图 分 类 号:TP391.4;O436.3 文 献 标 识 码:A 文章编号:1673-6141(2023)02-108-011Polarization image smoke removal based on precheck mechanismYAN Qing 1,YE Mengmeng 1,2*,ZHANG Jingjing 1,2,3,LIU Xiao 3,NIAN Fudong 1,4,LI Teng 1,2(1 Key Laboratory of Computational Intelligence and Signal Processing(Anhui University),Ministry of Education,Hefei,Anhui 230601,China;2 Anhui Key Laboratory of Polarized Light Imaging Detection Technology,Hefei 230031,China;3 Key Laboratory of Optical Calibration and Characterization,Chinese Academy of Sciences,Hefei 230031,China;4 School of Advanced Manufacturing Engineering,Hefei University,Hefei 230031,China)AbstracAbstract t:The presence of smoke can cause the damage or loss of image target information.In view of the local nature of smoke in the scene,a smoke removal precheck mechanism based on the target detection Yolov3 algorithm is proposed in this work,that is,a precheck mechanism is added in the smoke removal process to realize the directional removal of smoke on the smoke image,improve the efficiency of smoke removal and avoid the impact of smoke on the non-smoking area.Different from the existing deep learning-based defogging methods for visible images,this method takes four polarization images as network input,DOI:10.3969/j.issn.1673-6141.2023.02.003基金项目:中国科学院通用光学定标与表征技术重点实验室开放研究基金,偏振光成像探测技术安徽省重点实验室开放基金,国家自然科学基金青年科学基金(61902104),安徽省自然科学基金(2008085QF295),安徽高校自然科学研究项目(KJ2020A0651)作者简介:阎 庆(1978-),女,安徽合肥人,博士,副教授,硕士生导师,主要研究方向为模式识别、图像处理和深度学习。E-mail:rubby_收稿日期:2021-06-25;修改日期:2021-09-09*通信作者。第 2 期阎 庆,等:基于预检机制的偏振图像去烟研究and uses multi-scale attention adversarial network to extract the polarization information of the target in the smoke area,so as to alleviate distortion and enrich the structure and detail information of the target after smoke removal.Qualitative and quantitative experimental results on real data sets show that the proposed algorithm can effectively improve the smoke removal effectiveness and efficiency of polarized images.K Keyey wordswords:image smoke removal;convolutional network;polarization image;multi-scale;attention mechanism;adversarial network0 引 言大气中悬浮粒子的存在,导致图像对比度下降、视觉效果变差以及目标特征信息丢失等一系列问题。随着计算机视觉在军事、交通监控等领域的发展及应用,图像去雾已成为计算机视觉领域的重要研究方向。研究人员为此提出了一系列算法,经典算法包括He等1提出的暗通道先验、Jiang等2提出的自适应双通道先验等去雾算法,但在实际应用中,这些基于先验的方法鲁棒性较差,具有一定局限性。基于偏振特性的去雾算法中,赵录建等3提出基于最大最小光强的偏振去雾算法,首先获取最大和最小光强下的正交偏振图像,并利用偏振滤波和亮通道先验方法分别估算大气光偏振度和无穷远处大气光强值,最终重构出无雾图像。高隽等4提出利用偏振信息进行全局最优重构去雾算法,该算法考虑图像中不同位置大气杂散光参数的不一致性,对图像每一区域的重构参数分别运算,从而获得全局最优的重构参数图像。以上算法估计参数过程繁琐,容易产生累计误差。基于深度学习的方法主要是利用神经网络数据分布的学习能力。最新的深度学习去雾方法中,Chen等5采用端到端门控上下文聚合网络(GCANet)来直接恢复最终的无雾图像,Qin等6设计出特征融合注意网络(FFANet),利用一种新颖的特征注意模块将通道注意与像素注意机制结合在一起,不平等地对待不同的通道和像素,从而扩展了卷积网络的拟合能力,在去雾指标上提升到了新的高度。但GCANet和FFANet仅采用L1或L2范数损失函数,易产生过拟合现象,且面对浓雾场景情况下,去雾结果图中目标结构以及细节信息恢复效果较差。目前图像去雾算法对于烟和雾并不区分,传统及深度学习算法都是利用雾图数据集开展实验和研究,细分到图像去烟的研究可参考文献很少。通常烟图主要区别于雾图的地方在于:烟在场景中具有局域性且烟局域性浓度较高,由于光线散射作用,烟的存在导致普通可见光成像设备采集图像存在目标信息严重丢失问题,这给图像去烟带来更大挑战性,套用去雾算法效果并不理想。综上所述,针对烟在场景中局域性存在,在去烟预处理步骤中增加预检机制,以提高去烟效率并避免对图像无烟区的影响。针对普通可见光烟图目标信息损减严重导致去烟效果差问题,采集可见光偏振态7烟图数据集用于探索去烟效果,并据此提出多尺度注意力对抗网络。该网络模型的主要构件包括:多尺度结构8、注意力机制9和对抗网络10,能够有效地提取图像目标偏振态特征信息以提升去烟效果。最后,在弹坑烟图数据集上的实验证明了该方法的优越性。1 研究方法1.1 预检机制在弹坑烟图数据集中,烟局部存在于弹坑烟源周围,图像所有像素数据作为去烟网络输入时,图像无烟109大 气 与 环 境 光 学 学 报18 卷区域会占用计算资源从而降低去烟效率。另一方面烟区像素信息特征常常出现与其他区域(如:阳光照射区、白色墙面等一些高像素值区)相似的情形,去烟网络提取图像语义特征时易出现过拟合现象,导致测试集中去烟图像无烟区特征失真现象。为提升去烟效率以及减少对无烟区影响,在去烟前增加基于目标检测网络Yolov311的预检机制。目标检测是计算机视觉领域的基本任务之一,目标检测网络Yolov3在版本Yolov112和Yolov213基础上进行改进,有着检测快速和预测精度相对较高的优势。Yolov3系列算法是one-stage检测算法:首先将输入图片分成S S个网格,待烟区中心落入某个网格时,由该网格负责预测出B个边界框。每个边框输出的向量大小为1+5,其中1代表仅有烟这一类待检测物体,5表示类似C=(xywhS)的五元组,(xy)表示烟区中心的横纵坐标,(w,h)表示烟区的宽高,S表示预测框的置信度得分,其计算公式为S=PoPcIou,(1)式中Po表示预测框是否存在烟雾,Pc表示预测框中物体属于烟的得分概率,Iou代表预测框与真实框的交并比。在获得每个预测框的置信度得分后设置阈值,采用非极大性抑制算法(NMS)过滤,置信度得分小于或等于阈值的置 0,得分大于阈值的预测框设置为检测框。1.2 整体结构去烟整体流程图如图1所示。使用可见光偏振相机采集偏振角为0o、45o、90o和 135o的线偏振光强图像,分别用I(0o)、I(45o)、I(90o)和I(135o)表示。光的偏振信息由斯托克斯(Stokes)矢量7(I,Q,U)和偏振度P表示,计算公式为 I=I(0o)+I(90o)Q=I(0o)-I(90o)U=I(45o)-I(135o)P=Q2+U2I,(2)式中I 表示光的总强度,Q表示0o与90o线偏振光分量之差,U表示45o与135o线偏振光分量之差,P表示光的偏振度。Yolov3检测网络的数据输入为普通可见光图像,因此把光学性质类似于普通可见光图像的I 图像作为Yolov3输入,得到烟区的定位二维坐标。根据坐标得到四幅I、Q、U、P偏振态图像的烟区,以四通道形式作为去烟网络输入,丰富去烟图像目标的结构细节特征信息,以提升去烟效果。图像融合采用简单的图像拼接方法:把局部去烟图根据二维坐标替换I 图像的烟区,达到最终的局部去烟目的。1.3 去烟网络1.3.1去烟网络模型多尺度注意力对抗去烟网络的结构如图2所示。生成器部分采用端到端的方式:三层卷积作为浅层特征提取部分。采用9个残差块的残差模块(Res18)作为编码器,以增加网络的深度与表现力,每个残差块包含两个标准卷积层(C+B+R)。选用三组相同的Res18模块为多尺度结构的每个尺度建立一个专属的通道,让每个尺度更加有效地提取偏振态图像高频和低频信息。接下来是多尺度结构与注意力模块的结合