基于视觉多头注意力与跨层白化的水下图像增强网络_丛晓峰.pdf

基于视觉多头注意力与跨层白化的水下图像增强网络丛晓峰 桂 杰，贺 磊 章 军摘 要由于水下的光吸收现象、散射现象与小粒子的存在，水下图像存在色彩失衡与细节失真问题为此，文中设计基于视觉多头自注意力与跨层白化的水下图像增强网络采用层级式的架构，由编码路径进行特征提取并由解码路径进行图像重建，编码与解码路径的核心组件是视觉多头自注意力模块对浅层特征进行实例白化处理，并将实例白化后的浅层特征通过跨层连接嵌入到深层特征中作为跨层白化路径内容损失与结构损失用于网络的训练过程在基准水下图像数据集上进行对比实验，定量与视觉结果表明视觉多头自注意力与实例白化对水下增强任务是有效的关键词 水下成像，视觉注意力，跨层白化，质量复原引用格式 丛晓峰，桂 杰，贺 磊，章 军基于视觉多头注意力与跨层白化的水下图像增强网络模式识别与人工智能，（）：中图法分类号 ，收稿日期：；录用日期：，；，国家自然科学基金项目（）、东南大学新进教师科研启动经费项目（）资助 （），（）本文责任编委 桑 农 东南大学 网络空间安全学院 南京 紫金山实验室 南京 安徽大学 人工智能学院 合肥 ，第 卷 第 期模式识别与人工智能 年 月 ，（）：水下图像的拍摄、分析与处理是水下探索任务的重要组成部分，高质量的水下图像对海洋研究任务具有促进作用水下环境中存在光的吸收与散射现象，导致水下图像出现色彩偏移等问题，对水下相关任务造成负面影响，如失真的水下图像会导致拍摄的水下生物视觉效果降低在水下环境中不同波长的光被吸收的程度存在差异，海水对红光的吸收作用要高于绿光与蓝光，因此随着海水深度的增加，红光成分低于绿光与蓝光，导致图像颜色更倾向于绿色与蓝色此外，水下场景中存在微小粒子引起的光散射，导致图像中存在同质背景噪声针对水下图像的失真问题，当前研究主要分为非基于深度学习的增强算法和基于深度学习的增强算法非基于深度学习的增强算法通常会对水下成像过程进行建模，并反向求解参数，对水下图像进行增强 等对水下图像的三个颜色通道的亮度衰减进行差异化分析，结合图像去雾领域的物理学模型，提出能够用于深度估计与颜色校正的方法 等分析与对比多种水下深度估计方法，提出基于图像模糊与亮度吸收的增强模型 等对数据集的背景光进行标注，并采用背景光统计与透射图优化技术，进行水下图像复原的建模 等提出 （），并设计线性深度建模方法此类非基于深度学习的增强算法不受限于水下图像的数据量，但是在具体水下数据集上的性能表现略低于基于深度学习的增强算法基于深度学习的增强算法主要采用卷积神经网络（，）技术，一些研究将对抗性训练融入网络训练过程中现有研究同时表明小波分解技术与卷积网络可联合用于构建水下图像增强网络 等提出基于频域信息的对偶流网络，采用离散的小波变换技术，将原始图像分解为多个频带，分解所得的频带信息可以作为多颜色空间融合与细节增强网络的输入信息 等设计基于编码与解码结构的对抗网络，通过对抗性训练学习水类型的相关特征，用于提升模型对水类型的适用性 等利用计算机视觉领域的注意力模型，设计（），包含动态的特征选择模型与多尺度通道注意力模型，能够基于输入信息进行自适应调节，并强化通道间特征 的 提 取 过 程 等将 神 经 架 构 搜 索（，）应用于水下增强网络的设计过程，增强网络的特征提取与图像重建能力，搜索空间包括多种操作符，如卷积模块和注意力模块等此方法涉及的架构搜索技术所需的计算资源相对较多 等利用内容与风格分离技术，提出域适应（）增强网络，增强过程中同时使用交叉域的图像到图像转换方法以及特征编码与解码方法 等提出，用于增强水下失真图像的质量，采用 型的对称网络架构方式，并通过内容损失、对抗损失与感知损失等进行联合训练，但是存在一定的颜色校正失真问题 等结合空间实例白化与通道归一化，提出 等使用循环一致性生成对抗网络生成可用于水下增强任务的有监督训练的数据集，并提出含有对抗损失与图像梯度损失的（），用于质量增强过程 等通过堆叠常规的卷积模块，构建 网络包含特征的降维与升维过程，并通过跨层连接提升水下图像增强过程的特征复用性，然而针对结构信息的复原效果不佳陈学磊等提出融合深度学习与成像模型的水下图像增强算法，利用深度学习领域的扩张卷积以及带参数的激活方法，并结合背景散射光和传输映射估计过程，充分结合数据驱动技术与物理成像技术 等采 用 残 差 连 接 方 式，提 出 （），采用像素损失与边缘损失对 进行联合优化，然而 存在结构复原效果不足问题 等提出采用 种输入变换进行增强的，包括白平衡变换、直方图均衡变换以及伽马校正变换然而，田永林等指出，卷积模型受限于基于临近像素具有较大相关性的假设，因此基于卷积模型的水下图像增强算法存在相对较强的归纳偏置问题相对于常见的采用小尺寸卷积（如 卷积）的卷积模型，架构具有相对较弱的归纳偏置，使其特征学习能力更加灵活 架构已应用于多个领域，如目标检测、中文唇语识别、新闻推荐等，等将预训练的 架构直接应用于水下图像增强任务，模式识别与人工智能（）第 卷该预训练 架构最初应用于去噪与超分辨率等任务作为网络的核心组件，设计 ，参数量超过 ，较明显地增加水下探索设备的存储开销，且网络并未考虑水下图像增强任务中水的类型对模型效果的影响综上所述，本文在设计水下图像增强算法时主要考虑如下 个方面）利用 模型的数据学习能力设计有效的水下图像增强模型）保证基于 的水下图像算法的存储开销相对较小）通过对水的类型的处理，提升水下图像增强模型的效果因此，本文提出基于视觉多头注意力与跨层白化的水下图像增强网络（，）网络采用层级化的编码解码架构方式，利用 模型的数据学习能力，并且每层仅由单个视觉多头自注意力模块构成，保证模型的存储开销较小此外，等指出 架构中的多头自注意力机制具有低通滤波的效果，而常规卷积计算具有高通滤波效果，因此在设计网络的过程中将常规卷积计算与视觉多头自注意力计算联合应用，兼顾二者优势进一步地，实例白化（，）操作嵌入基于视觉注意力的增强网络中作为跨层连接，用于提升水下图像的增强效果总之，针对水下图像存在的色彩失真与细节模糊问题，本文采用视觉注意力机制，设计特征提取与图像重建的整体网络结构，针对复杂水下退化情况，对注意力模块提取的特征进行实例白化处理，降低不同水类型对网络增强效果的影响在水下图像数据集上的实验验证本文网络的增强效果基于视觉多头注意力与跨层白化的水下图像增强网络本文提出基于视觉多头注意力与跨层白化的水下图像增强网络（），网络结构包括编码路径的降维过程与解码路径的升维过程，并通过跨层白化进行空间特征的实例白化处理网络的核心特征提取模块采用多头自注意力机制，实现 总体结构 的整体结构如图 所示，图中数值表示水下图像与特征图的长宽信息，网络输入失真的水下图像，输出增强后的水下图像记失真水下图像为，网络增强后的输出图像为，特征图为，表示某层的索引，卷积操作记为（），池化操作记为（），双三次插值操作记为（），表示步长 主要包含如下 个模块）卷积模块（，）第 层 为（），最后一层 为 （）下采样模块（，）采用（）实现，用于 的特征图降维过程 共包含 个，特征图尺寸从 降至 ）跨层白化模块（，）采用实例白化实现，用于空间特征的跨层传递 可以直接嵌入浅层与深层的视觉多头自注意力模块之间，不需要进行额外的网络修改以图 左侧第 次跨层路径为例，该过程为 模块输出特征图尺寸为 首先将该特征图输入 进行实例白化然后将实例白化后的特征与解码特征进行通道拼接操作，拼接后的特征图尺寸为 最后通过降维模块（，）对尺寸为 的特征图进行通道降维，降维后特征图尺寸为 ，继续传入下个模块中）基于 的注意力模块（，）与降维的基于 的注意力模块（，）采用视觉 中基于窗口的多头自注意力机制实现 由 和 构成 通过卷积计算（），降低跨层白化后特征图的维度，再将特征图传入 的实现如下：（）此时 的通道数为 且 的通道数为）插值模块（，）采用（）实现，用于解码过程的特征图升维过程共包含 个，特征图尺寸从 升至 上述个模块可构建，编码路径与解码路径均含有 个 为了便于下文分析，将不含跨层白化模块的增强网络记为 第 期 丛晓峰 等：基于视觉多头注意力与跨层白化的水下图像增强网络CBDBDBTABTABDBTABTAB256 256 D+128 128 D+64 64 D+32 32 D+32 32 D+?SWBSWBSWBSWBC32 32 2D+TAB32 32 D+32 32 D+RDBIBTAB64 64 D+CRDB64 64 2D+64 64 D+IBTAB128 128 D+128 128 2D+CRDBIBTAB256 256 3+CB256 256 D+128 128 D+?CD?RTABRDBTAB图 网络结构图 基于 的注意力模块采用视觉多头自注意力实现的与是 的基本模块，计算原理来自视觉注意力模型首先，自注意力（，）计算方式如下：（，），其中，输入矩阵为、，分别表示查询、键和值，表示维度缩放值在计算 时将相对位置偏差 加入上式中，即（，）构建 模块时采用多头自注意力机制，进行 次 计算，即（，），其中，表示拼接操作，表示投射矩阵，（，），、均表示投射矩阵文献 指出 中的循环移位（）适用于高级视觉任务，因为高级视觉任务中图像中心像素的作用大于图像边缘像素，因此提出在图像复原任务中使用反射填充（，）替代循环移位 本文网络在计算（）时采用 方式，通过对特征图进行反射填充，保证特征图长宽是窗口尺寸的整数倍数，即为（）在特征传递过程中采用层归一化（）函数（）进行特征归一化，第层的特征的计算需要使用前一层特征，首先计算中间特征：（）（）然后使用多层感知机（）获取第 层的特征：（）（），（）其 中，、表 示 权 重，、表 示 偏 差 项，（）表示激活函数式（）与式（）为 的计算过程，中的 计算过程与此相同跨层白化模块水的类型包括浅海、深海以及浑水等，如图所示，海水深度影响光的吸收程度，的特征主要通过前向计算中堆叠 和上下采样模块获得，未充分考虑水的类型的影响模式识别与人工智能（）第 卷?A?B?C?图 水下环境光吸收示意图 为了降低水的类型多样性造成的影响，并加强特征信息复用，通过实例白化（）将浅层特征嵌入深层网络记 第 层的批数量为 且长为、宽为 的批次特征为 对于第个特征信息，其中 ，均值向量为：完成均值向量的计算后，协方差矩阵为：（）（）为了防止 为奇异矩阵，在 的计算过程中添加，的定义与文献 保持一致，表示数值较小的正数，设定为 对角线元素为各个通道的方差，非对角线元素表示通道间的相关性实例白化变换的计算如下：（）（）在上述计算中满足的关系是（）（）对浅层特征 进行实例白化处理，通过跨层连接拼接浅层特征（）与深层特征，获得强化后的解码特征（）（），），其中，表示与 对应的深层特征的索引，（）表示通道拼接操作 即为对批次特征 执行实例白化内容与结构损失函数由于 架构的有效性，采用常规的损失函数对 进行训练即可获得较优的水下图像增强效果将 表示的映射函数记为（），原始失真水下图像为（长宽分别为 与），标签水下图像为 第 部分内容损失为：（，）（，），（）其中、表示位置索引第 部分是结构损失，采用结构相似性度量（，）实现，对 获得的增强图像（）与参考图像 计算 值，得到（），），则结构损失定义为 （），）（）的整体损失为式（）与式（）损失之和：，其中，为权重因子，用于控制内容损失与结构损失在 的网络参数更新过程中所占的比重实验及结果分析实验设置水下图像增强算法的效果评估可以从定量结果与视觉效果两方面进行，本文选用水下图像数据集，并从水下图像数据库 上选择水下图像集 数据集图像包含不同特性的质量退化，标签图像的构造采用 种增强方法并结合人工视觉筛选过程，训练数据为 组，验证数据为 组在 数 据 集 上 选 择 水 下 图 像 集（，），该数据集标签的构造主要通过循环一致对抗网络实现，训练数据为 组，验证数据数为 组实验平台为 ，并采用 深度学习框架为了公平对比不同算法，需要使用量化评估指标对比不同算法增强后的水下