基于样本迭代融合的海洋生物检测_吴立栋.pdf

0220001-1第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展研究论文基于样本迭代融合的海洋生物检测吴立栋1，彭宗举1，2*，李欣2，苏涛2，陈芬2，王晓东11宁波大学信息科学与工程学院，浙江 宁波 315000；2重庆理工大学电气与电子工程学院，重庆 310027摘要 海洋生物相互聚集形成遮挡现象是误检和漏检的重要原因。为了解决这个问题，提出一种采用样本迭代融合辅助网络训练的海洋生物检测方法。首先，选用改进后的深度空洞残差结构作为特征提取网络，提升了网络的特征提取能力；然后，结合海洋生物图像目标遮挡、密集的特点，改进损失函数避免发生误检、漏检现象；最后，为了进一步解决目标遮挡、数据不平衡的问题，提出样本迭代融合方法，生成模拟图像扩充训练集，提高了网络训练的有效性和对小样本量海洋生物的检测能力。实验结果表明，所提海洋生物检测方法在 URPC2018和台湾鱼类数据集上的准确率分别达 91.36%和 90.27%，检测准确率和速度高于现有目标检测算法。关键词 海洋生物检测；样本迭代融合；深度学习；水下目标检测识别；数字图像处理中图分类号 TP391 文献标志码 A DOI：10.3788/LOP212567Marine Creature Detection Based on Sample Iterative FusionWu Lidong1,Peng Zongju1,2*,Li Xin2,Su Tao2,Chen Fen2,Wang Xiaodong11Faculty of Electrical Engineering and Computer Science,Ningbo University,Ningbo 315000,Zhejiang,China;2School of Electrical and Electronic Engineering,Chongqing University of Technology,Chongqing 310027,ChinaAbstract Occlusion caused by gathering of marine creatures together is an important reason for false and missed detections.Therefore,this study proposes a marine creature detection method based on iterative fusion of sample-assisted network training.First,an improved deep hole residual structure is selected as the feature extraction network,which improves the feature extraction ability of the network.Second,because of the occlusion and dense characteristics of marine creature images,the loss function is improved to avoid false and missed detections.Finally,to solve the problems of target occlusion and data imbalance,a sample iterative fusion method is proposed to generate an extended training set of simulated images.This improves the effectiveness of network training and the ability to detect marine creatures with a small sample size.The experimental results show that the proposed method can achieve a detection accuracy of 91.36%on the URPC2018 dataset and 90.27%on the Taiwan fish dataset.The detection accuracy and speed of the proposed method are higher than those of existing target detection algorithms.Key words marine creature detection;sample iterative fusion;deep learning;underwater target detection and recognition;digital image processing1引言海洋生物检测在水产养殖等方面有着至关重要的作用。海洋成像环境复杂多变，水下图像往往存在对比度低、纹理失真、光照不均匀等问题，检测效率低下。目前，设计适应全球各地海洋环境及不同成像条件的海洋生物检测方法面临巨大挑战，且少有一种增强方法 可 以 同 时 处 理 不 同 退 化 类 型 的 水 下 图 像1-2。Fish4Knowledge 项目3公开了珊瑚礁鱼类数据集，获得了较为准确的渔情并制定了相应的捕捞计划，推动了海洋生物检测技术的发展4。海洋生物检测属于图像目标检测的应用范畴。近年来，深度学习在目标检测领域得到了广泛的应用5。基于卷积神经网络（CNN）的目标检测方法主要分为两大类：第一类为两步目标检测方法，先生成一系列样本候选框，再通过 CNN 进行样本分类，常见方法有R-CNN、Fast R-CNN 和 Faster R-CNN6等；第二类为单步检测方法，直接通过回归得到类别概率和位置坐收稿日期：2021-09-22；修回日期：2021-10-18；录用日期：2021-11-08；网络首发日期：2021-11-18通信作者：*0220001-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展标 值，典 型 方 法 有 SSD7、RFB8、YOLO9-11和EfficientDet12等。两步目标检测方法检测精度较高，但运算速度慢；单步目标检测方法速度快但检测精度较低。现有的海洋生物检测方法大多在目标检测网络框架上加入图像预处理模块以提升检测精度。Zheng等13提出一种基于时频特征的深度神经网络的浅海鱼类检测方法，并分析了不同学习速率对检测性能的影响。张有波等14利用多粒度剪枝策略对 YOLOv4 进行通道和卷积层的双向压缩，平均检测速度可以达18.2 frame/s。Guan等15提出一种对水体散射噪声与鱼 类 目 标 信 号 的 偏 振 特 性 进 行 正 确 估 计 的 方 法。Zhang等16提出一种基于 Faster R-CNN 的水下鱼类检测方法，实现了鱼类数据采集自动化，并使用改进的非最大抑制来减小部分鱼类的分类错误，提高了平均精度均值（mAP）。Mandal等17将 Faster R-CNN 作为主干网络，结合 ZFNet、CNN 和 VGG16 三个网络，对共计 50种鱼类和甲壳类动物进行检测，mAP 达 82.4%。Rathi等18在 Fish4Knowledge数据集中对 21种热带鱼进行分类，前景增强去噪预处理后使用 YOLOv3完成识别，mAP达 96.29%。Chen等19以 SSD 网络为基本框架，提出多类逆变 Adaboost 方法，用于提高对小物体的检测精度。Lin等20提出 RoIMix增强方法来模拟鱼类间的遮挡，在目标聚集的 URPC2018 数据集上的mAP 达 74.92%，在 VOC2007 上 的 mAP 达 80.8%。Han 等21采用灰度阴影法实现了水下视觉增强，对CNN 结构进行调整，与 Faster R-CNN 和 YOLOv3 相比，mAP得到较大提升。上述海洋生物检测方法为了提升检测性能，大部分增加了图像增强预处理模块，往往局限于某种水体环境，不能适用于多种水下场景的海洋生物检测。其中大多数方法13-19忽略了水下场景中引起漏检和误检的海洋生物间的遮挡现象，从而导致目标检测失败22。此外，这类检测方法不能很好地平衡检测精度和实时性。针对现有方法的缺点，本文提出了一种基于样本迭代融合的海洋生物检测方法。一方面，建立轻量化的海洋生物检测网络模型，针对遮挡现象设计了新的损失函数；另一方面，采用水下样本迭代融合方法扩充训练数据集，以解决目标遮挡、样本不平衡的问题。通过在两个数据集上的实验，结果证明所提方法不仅有效地解决了鱼群遮挡导致的漏检、误检等问题，而且平衡了样本数量，在保证检测实时性的同时获得了较高的检测精度。2算法描述所提方法的结构如图 1 所示，主要包括检测网络和水下样本迭代融合两部分。在检测网络中，构建了轻量化的海洋生物识别循环网络模型，融合了目标重合惩罚因子，以降低鱼群遮挡场景中目标的重检、误检概率。在水下样本迭代融合模块中，采用水下样本迭代融合法，分配融合权重因子，以降低样本量不平衡、目标遮挡等对检测效果的影响。2.1样本权重更新检测网络目标检测不仅需要精确地识别目标种类，还需精准定位目标位置。R-CNN 及其衍生的 Fast R-CNN、Faster R-CNN8成功地利用 CNN 下采样操作时具有的强语义信息，将目标检测问题转换为分类问题。然而，CNN 的多次下采样操作虽然提高了对目标种类的识别，但深层特征图空间分辨率的降低却导致其无法精确定位水下环境中小目标的位置。为了解决上述问题，本文构建了一种包含丰富语义信息的循环网络体系。首先，采用跨阶段局部网络（CSPNet）9-11的残差结构提升检测网络的深度，获取待检测图像的高频信息，其 中 Res_Block 的 具 体 结 构 如 图 2 所 示。Res_Block 由一次下采样卷积模块 Conv_BN_Mish 和多次残差结构堆叠构成，其中 Conv_BN_Mish 卷积模块由单层卷积、BatchNormalization 标准化、Mish 激活函数三部分组成。残差结构处进行了左右拆分：特征提取主干采取通常残差块堆叠的模式；另一部分作为额外残差边，绕过了主干部分的残差结构直接与主干部分的输出进行整合。然后，通过空洞卷积层在不牺牲特图 1基于样本迭代融合的海洋生物检测网络模型Fig.1Marine biological detection network model based on sample iterative fusion0220001-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展征图分辨率的情况下获得较大的感受野，从而获得更高层次的语义信息，其中 Dilated_Block 的具体结构如图 3 所示。通过空洞卷积，将特征图的感受野从 33扩大至 1515。最后采用两种尺寸的上采样层，即解码层 Deconv Block1 和 Deconv Block2，Deconv_Block的具体结构如图 4所示。上采样后的结果与同一尺度的 Res_Block 输出进行特征图融合，使网络能够预测多尺度的目标。同时，为了获取含有丰富语义信息的特征图，通过低频信息与高频信息融合的方式，即上采样得到的尺寸为（38，38，256）的特征图与编码层特征图通过跳远连接进行融合。考虑到水下图像中多尺度目标检测精度差距过大的问题，还采用了特征金字塔的方法读取目标语义信息及位置信息，并在不同尺度的特征图中生成目标的预测边界框。在检测网络构建后，基于水下图像中海洋生物的漏检、误检问题提出一种新的损失函数设计方法。以待 检 测 目 标 与 对 应 真 实 标 签（GT）之 间 的 交 并 比（Io