基于RGB色彩平衡方法的沙尘降质图像增强_丁元.pdf

第 31 卷 第 7 期2023 年 4 月Vol.31 No.7Apr.2023光学 精密工程 Optics and Precision Engineering基于 RGB色彩平衡方法的沙尘降质图像增强丁元*，邬开俊（兰州交通大学 电子与信息工程学院，甘肃 兰州 730070）摘要：针对沙尘环境下室外图像存在的色差，低对比度以及低清晰度的问题，提出一种基于 RGB色彩平衡方法的沙尘降质图像增强算法，该算法主要包括色彩校正、对比度提升两个任务。针对沙尘图像色彩分布的特殊性以及灰色世界算法的启示，提出了保持颜色分量均值的 RGB色彩平衡方法（RGBCbm），使得 RGB三通道分量根据颜色分量的均值进行拉伸，有效去除了图像中沙尘造成的色幕问题，进一步采用带色彩恢复的多尺度视网膜增强算法提高色彩校正结果；利用相对全局直方图拉伸算法结合 Lab颜色模型对图像的对比度、色彩以及明亮度进行最后的增强和校正。对实验数据进行测试，结果表明，该算法可以有效解决各类沙尘降质图像的色差问题，并在提高图像色彩丰富性和对比度的同时增强图像细节的清晰度。与其他先进算法相比，水下图像质量指数和图像对比度指数分别达到了 0.602和 0.994，分别提高了 0.140和 0.018。关键词：计算机视觉；沙尘图像增强；色彩平衡；颜色校正；多尺度视网膜增强算法；相对全局直方图拉伸算法中图分类号：TP394.1 文献标识码：A doi：10.37188/OPE.20233107.1053Sand-dust image enhancement using RGB color balance methodDING Yuan*，WU Kaijun（College of Electronics and Information Engineering，Lanzhou Jiaotong University，Lanzhou 730070，China）*Corresponding author，E-mail：Abstract：This paper proposes a dusty image enhancement algorithm based on the RGB color balance method to address the problem of color difference in low-contrast and low-definition outdoor images in dusty environments.The method mainly includes two tasks：color correction and contrast enhancement.First，in view of the particularity of the color distribution of dust images and the illumination mechanism assumed by the gray world algorithm，an RGB color balance method（RGBCbm）that maintains the mean value of the color component is proposed such that the RGB three-channel component is stretched according to the mean value of the color component，which effectively removes the color curtain problem caused by dust in images.The multi-scale retinal enhancement algorithm with color restoration（MSRCR）is further used to improve the color correction results.Subsequently，the relative global histogram stretching（RGHS）method combined with the Lab color model is used to enhance and correct the contrast，color，and brightness of the image.Test results and verification of the proposed algorithm on experimental data show that the algorithm can effectively solve the color difference problem in various dust-degraded images 文章编号 1004-924X（2023）07-1053-12收稿日期：2022-06-22；修订日期：2022-09-26.基金项目：甘肃省自然科学基金资助项目（No.21JR7RA300）；甘肃省敦煌文物保护研究中心开放课题（No.GDW2021YB15）第 31 卷光学 精密工程and enhance the clarity of image details while improving the color richness and contrast of the image.In the quantitative comparison with other advanced algorithms，the highest underwater image quality measure（UIQM）and image contrast index（Conl）reach 0.602 and 0.994，respectively，which are 0.140 and 0.018 higher than those of other algorithms.Key words：computer vision；sand dust image enhancement；color balance；color correction；multi-scale retinal enhancement algorithm with color restoration algorithm；elative global histogram stretching algorithm1 引 言在沙尘天气影响下，大气光中蓝光、绿光被沙尘所吸收的速度远快于红光和黄光，因此室外场景中所拍摄到的图像往往存在偏色色幕、能见度低、清晰度下降等问题，这对于以数据为关键要素的视觉工作产生了不利的影响。与雾霾天气下退化图像具有相同的 R，G，B 衰减度不同，沙尘天气下退化图像由于其 R，G，B 的衰减度不同，存在明显的偏移特征。消除沙尘图像的色差、提高对比度和清晰度是增强算法的核心工作，也是十分具有挑战性的一项任务。目前，雾霾图像增强的研究进展迅速1，但是沙尘图像增强方向的研究却刚起步，所以沙尘图像增强算法有着巨大的发展空间。沙尘图像的视觉特点为图像整体呈现黄色甚至红色，清晰度低，而且由于大气中沙尘颗粒相较于雾霾颗粒体积更大，所以将传统的去雾算法直接应用于沙尘图像并不会取得很好的效果4。沙尘图像增强是一个相比去雾和其他一些图像增强问题更加复杂的任务。由于缺乏大规模沙尘图像标准数据集，因此基于深度学习的沙尘图像增强算法也发展缓慢。沙尘降质图像增强的主要任务是解决色差严重以及对比度下降的问题。传统的色彩校正算法比如 Retinex 算法5、灰色世界算法6、直方图均衡化7、小波变换8等已经不适用于直接对沙尘图像进行增强。因此，很多沙尘图像增强算法应运而生。Yan等9为了增加沙尘图像增强的效果，采用全局模糊增强和限制直方图均衡化结合的方法，该方法提高了沙尘图像增强后的对比度，但是其色彩校正效果并不理想。Wang 等10利用 La 色彩空间对沙尘图像进行增强，将色彩和对比度进行校正，同时对亮度分量进行局部高斯滤波增强，但是这种方法处理的图像可能存在偏蓝的现象。Shi等11提出利用限制对比度自适应直方图均衡化来增强沙尘图像的对比度，然后采用伽马校正进行归一化，最后基于灰色世界原理得到增强后的图像，这个方法具有较好的效果，但是对于退化严重的图像，该方法的色彩恢复效果较差。另一类方法是基于图像恢复的方法，这类方法大多依赖于大气散射模型（Atmospheric Scattering Model，ASM）12。ASM 模 型广泛地应用在图像去雾领域，在沙尘图像增强领域依然不能离开 ASM。Yu 等13提出了一种基于 ASM 的沙尘图像增强算法，该方法通过迭代来补偿颜色的偏差，从而准确估计 ASM 参数，得到清晰图像，但该方法在大面积单色调场景会出现光晕。Gao等 14 基于ASM提出了一种反转蓝色分量的沙尘图像增强算法，该方法去除沙尘效果显著，但对于严重沙尘污染图像效果不佳。目前，基于深度学习的沙尘图像增强算法得到了广泛关注。然而，深度学习是一门依赖数据的技术，大规模开放沙尘图像标准数据集的缺乏影响了沙尘图像增强在深度学习领域的发展速度。很多基于深度学习的沙尘图像增强算法其效果往往不如先进的去雾算法，Cai 等15提出的DehazeNet是第一个使用深度学习进行去雾的模型，它 采 用 卷 积 神 经 网 络（Convolution Neural Network，CNN）进行雾霾图像的特征提取，然后通过 ASM 得到清晰化图像。Das 等16提出了快速深度多补丁分级网络，利用该网络模型去雾可以在网络参数少的情况下融合来自不同空间的特征信息，恢复非均匀的雾霾图像。Yu 等17采用双分支神经网络来处理去雾问题，包括预训练的特征提取网络和拟合当前数据的特征拟合网络，最后通过一个融合层将两个子网的结果融合之后映射为清晰图像。然而，将这些方法应用于1054第 7 期丁元，等：基于 RGB色彩平衡方法的沙尘降质图像增强实际沙尘图像增强中，沙尘图像的色彩恢复和对比度提升都没达到理想效果。当前的沙尘图像增强算法可以在一定程度上减轻沙尘对人们视觉体验的影响，但处理之后的图像依然存在颜色失真、对比度提高不明显以及细节丢失等问题。鉴于此，本文提出一种基于RGB 色彩平衡方法的沙尘图像增强算法。该方法一共包括 4个步骤：通过 RGBCbm 进行初步的颜色校正；通过 MSRCR 算法18进一步提升图像的颜色校正效果；采用基于自适应参数获取的相对 全 局 直 方 图 拉 伸（Relative Global Histogram Streching，RGHS）算法19对图像整体效果和对比度进行增强操作；最后，在 Lab 空间对图像的色彩和明亮度进行最后调整，得到增强之后的清晰图像。2 本文算法本文算法的设计流程如图 1 所示。首先，对沙尘图像的色彩分布进行研究，按照沙尘图像独有的色彩分布特点设计整个算法流程。2.1沙尘图像色彩分布沙尘图像的 RGB 色彩分布如图 2所示（彩图见期刊电子版），其分布图具有明显的偏移性、集中性以及有序性。文献 20 对偏移现象的解释是：沙尘图像的色彩分布由于受到散射影响会产生偏移，并且 R，G，B 三通道值是离散的；集中性是指沙尘图像 R，G，B 三通道的像素值分别集中在一定的灰度范围之内；而顺序性是指沙尘图像的颜色直方图中，R，G，B 三通道的分布按 B，G，R 的顺序排列。另外可以发现，沙尘图像的颜色直方图中图像的蓝色和绿色分量相比较于红色分量较弱，而沙尘图像偏红或者偏黄取决于绿色分量的强弱，绿色分量较强时图像偏黄，而绿色分量较弱时图像偏红。2.2算法介绍2.2.1保持颜色分量均值的 RGB色彩平衡图 3为自然清晰图像与沙尘图像直方图分布对比，可以发现，自然清晰图像的 R，G，B 三通道直方图分布更加均匀，且重合率较高；而沙尘图像直方