基于事件帧与RGB帧融合的...下透明生物检测实验方案设计_罗偲.pdf

实 验 技 术 与 管 理 第 40 卷 第 4 期 2023 年 4 月 Experimental Technology and Management Vol.40 No.4 Apr.2023 收稿日期:2022-11-30 基金项目:国家重点研发计划“智能可持续空中地面物联网络研究”（2021YFE0111600）作者简介:罗偲（1983），男，湖北武汉，博士，副教授，主要研究方向为智能无人系统，luo_。通信作者:任鹏（1981），男，内蒙古土右旗，博士，教授，博士生导师，主要从事图像处理相关科研和教学工作，。引文格式:罗偲，吴吉花，孙士新，等.基于事件帧与 RGB 帧融合的水下透明生物检测实验方案设计J.实验技术与管理,2023,40(4):62-68.Cite this article:LUO C,WU J H,SUN S X,et al.Experiment scheme design for underwater transparent organisms detection based on fusion of event frames and RGB framesJ.Experimental Technology and Management,2023,40(4):62-68.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.04.008 基于事件帧与 RGB 帧融合的水下透明 生物检测实验方案设计 罗 偲，吴吉花，孙士新，李凯扬，任 鹏（中国石油大学（华东）海洋与空间信息学院，山东 青岛 266580）摘 要：为了提高水下透明生物的检测精度，在图像预处理方面，提出用事件相机转化得到的事件帧与 RGB帧进行图像的像素级融合，以便加强水下透明生物的边缘特征。在检测方面，提出用改进的 YOLOX 算法进行水下透明生物检测，改进内容包括：添加自适应空间特征融合模块进行加权融合，充分利用不同尺度之间的特征；使用 Focal loss 函数，缓解数据集中类别不均衡问题；使用iou-函数进行更准确的边界框回归，提高定位的准确率。实验结果表明，与传统的 YOLOX 算法相比，该文提出的算法的 mAP 提高了 2.58%，与Faster R-CNN、SSD 等算法相比也有较大提升，证明了该文改进 YOLOX 算法的有效性与优越性。关键词：水下透明生物检测；事件相机；YOLOX；自适应空间特征融合；损失函数 中图分类号：TP391 文献标识码：A 文章编号：1002-4956(2023)04-0062-07 Experiment scheme design for underwater transparent organisms detection based on fusion of event frames and RGB frames LUO Cai,WU Jihua,SUN Shixin,LI Kaiyang,REN Peng(College of Oceanography and Space Informatics,China University of Petroleum(East China),Qingdao 266580,China)Abstract:In order to improve the detection accuracy of underwater transparent organisms,in the aspect of image preprocessing,it is proposed to use the event frame converted by the event camera and RGB frame for pixel-level fusion of the image,in order to strengthen the edge features of underwater transparent organisms.In terms of detection,the improved YOLOX algorithm is proposed for underwater transparent organisms detection.The improved contents include:adding the adaptive spatial feature fusion module for weighted fusion,making full use of features between different scales;the Focal loss function is used to alleviate the imbalance of categories in the dataset;using-iou function to perform more accurate boundary box regression to improve the accuracy of location.The experimental results show that compared with the traditional YOLOX algorithm,the mAP of the algorithm proposed in this paper is increased by 2.58%,and it is also greatly improved compared with Fast R-CNN,SSD,and other algorithms,which proves the effectiveness and superiority of the improved YOLOX algorithm in this paper.Key words:underwater transparent organisms detection;event camera;YOLOX;ASFF(adaptive spatial feature fusion);loss function 1 概述 水下生物在自然界有着极其重要的地位，是人类的宝贵资源，我国越来越重视对海洋生物的保护。利用计算机视觉技术进行水下透明生物检测，有利于对其进行更有效的研究和保护。罗 偲，等：基于事件帧与 RGB 帧融合的水下透明生物检测实验方案设计 63 近年来，基于深度学习的计算机视觉发展迅速，目标检测是计算机视觉的一个重要组成部分。目标检测算法可以分为单阶段（one-stage）和双阶段（two-stage）1两类。单阶段目标检测的代表性算法有 YOLO（you only look once）2系列算法和 SSD（single shot multibox detector）3算法，该类算法可以直接将定位和分类任务一次性完成，实现端到端的检测，检测速度快，但精度略低于双阶段检测算法。双阶段目标检测经典算法包括 Fast R-CNN4、Faster R-CNN5等，该类算法将检测过程划分为两个阶段，首先产生候选区域（region proposals），然后再对候选区域进行分类和位置回归得到检测结果。该类算法的检测精度较高，但检测速度慢，难以满足实时性要求。针对检测速度和检测精度平衡问题，ZHENG 等人提出了 YOLOX6目标检测模型，这是典型的单阶段目标检测网络，兼顾了精度和速度，但对于透明的水下生物来说检测精度仍然相对较低。有鉴于此，本文在 YOLOX 基础上，对网络进行了改进。事件相机（event camera）是一种受生物启发的视觉传感器7，与传统基于帧的相机工作方式有所不同。基于帧的相机的曝光时间是固定的，所以即便是某个像素点上的亮度没有发生变化也会曝光。而事件相机是通过像素点独立成像的，每个像素点可以独立检测亮度变化，以稀疏和异步事件流形式生成数据。对于水下应用场景来说，事件相机相较于传统的基于帧的相机优点明显。首先，事件相机高动态范围的优点使其即使在光线较暗的水下，也能清晰捕捉到游动的生物；其次，事件相机的功耗较低，当用于水下机器人时可以实现更小的机器人功耗；最后，事件相机没有运动模糊，所以即使是运动速度很快的水下生物也能被事件相机清楚地捕获到。由于水下透明生物的边缘特征被弱化，对其检测要比其他生物困难，因此增强水下透明生物的边缘特征，可以提高检测精度8。此外，本研究对 YOLOX检测算法进行了三点改进，进一步提高了检测精度。综上所述，本文的主要工作包括：（1）本文使用事件相机得到的水下透明生物数据集，对该数据集中的事件帧和 RGB 帧进行像素级融合，以此来增强水下透明生物的边缘信息和背景信息。（2）在 YOLOX 检测网络的 PAFPN 模块后端加入空间自适应特征融合模块。该模块能使网络直接学习如何在其他级别对特征进行空间滤波，从而进一步提取水下透明生物的边缘特征。（3）使用iou-来改进定位损失中使用的 IoU_ loss，用于更准确的边界框回归，并在置信度损失中加入 Focal loss 函数，缓解数据集中正负样本不均衡问题，使模型在训练时更专注于难分类样本。2 事件相机简介 神经形态学的发展推动了一种新型仿生视觉传感器的开发和应用。事件相机是一种受自然界生物启发得到的新型视觉传感器，最初以硅视网膜9形式被人们所研究。事件相机不以固定速率输出，且对像素上光照的变化很敏感，当亮度变化达到阈值后会触发“事件”，每个事件由一个元组来表示，记为：(,)ex y p t=（1）其中，(,)x y为事件的位置坐标，t 表示瞬时时间戳，p表示事件极性（1 为亮度变暗的事件，1 为亮度变亮的事件）。事件相机可以对每个像素的时间戳、坐标、事件极性做出异步输出。由于事件相机与普通帧相机的工作方式完全不同（见图 1），而具有高动态范围、无运动模糊、低功耗、低延迟等独特优点，因此可以在光线强或弱场景、高速运动场景、需要较低功耗场景（如搭载在无人机或水下机器人）上发挥巨大优势10。图 1 事件相机和普通帧相机工作方式示意图 本文使用的数据集由型号为 DAVIS 346 的事件相机采集而来。该事件相机由两个通道组成，一个为主动像素传感器（active pixel sensor，APS），一个为动态视觉传感器（dynamic vision sensor，DVS），其中 APS通道可以输出传统的 RGB 帧图像，而 DVS 通道会输出基于亮度变化的异步事件信息。由于目前大部分基于深度学习的目标检测都是以 CNN即卷积神经网络为基础的，而卷积神经网络对处理二维图像有优势，因此本论文使用的水下透明数据集已将 DVS 通道的输出转换为事件帧格式，以便进行后续处理。虽然事件相机的 DVS 通道可以输出高动态范围、低延迟的事件信息，但有时会由于缺乏背景信息给目标检测带来困难，而 APS 通道输出的 RGB 帧恰好可以弥补这一不足。因此，可将 APS 通道与 DVS 通道融合起来以便更好地保存信息的完整性，增加水下透明生物的边缘特性（见图 2）。我们对水下透明生物数据集中的事件帧与 RGB 帧进行线性加权的像素级融合11，增强水下透明生物的边缘和背景信息，从而实现快速准确的检测。64 实 验 技 术 与 管 理 图 2 事件帧与 RGB 帧融合得到的融合图 3 YOLOX 模型 YOLOX 目标检测网络是以 YOLOv3 目标检测网络为基础改进而来，相较于 YOLO 系列的目标检测算法，YOLOX 的目标检测精度和速度有了进一步提高。该算法由三部分组成：Backbone、Neck 和 Prediction，其网络结构如图 3 所示。3.1 骨干网络 骨干网络 Backbone 继续采用了 YOLOv412使用的 CSPDarknet13结构，该部分使用残差网络 Residual14结构。Residual 采用跳跃式