智能化舰船要害检测、轨迹预测与位姿估计算法_李晨瑄.pdf

http:/DOI:10.13700/j.bh.1001-5965.2021.0253智能化舰船要害检测、轨迹预测与位姿估计算法李晨瑄，李湉雨*，李梓正，曾维贵，胥辉旗(海军航空大学岸防兵学院，烟台264001)摘要：准确检测与打击舰船要害部位可有效提升反舰导弹毁伤效能。针对舰船要害部位检测精度低、导引误差解算精度不足等问题，提出基于深度学习的舰船要害关键点检测、轨迹预测与导引头位姿估计算法。融合深层语义信息与浅层定位信息，采用 SoftPool 池化保留细粒度特征，提升多角度多尺度舰船要害部位检测精度；将关键点检测结果与舰船空间结构建立映射，解算导引头三维位姿；引入长短期记忆网络挖掘要害打击点时空特征，实现多尺度舰船要害动态轨迹预测。实验结果表明：所提算法对舰船要害部位检测与轨迹预测精度高，导引头位姿估计结果较准确，满足自主突防视角反舰导弹对复杂海战场的态势感知需求。关键词：目标检测；关键点网络；SoftPool；长短期记忆网络；位姿估计；反舰导弹中图分类号：V243.5；TP751.1文献标志码：A文章编号：1005-5965（2023）02-0444-13舰船要害部位的精确打击能力是精确制导的关键技术之一。全方位的态势感知能力、高精度的目标检测能力，能够有效提升末制导段反舰导弹毁伤效能，具有重大研究意义。舰船姿态、命中点位置严重影响反舰导弹对敌舰毁伤概率。反舰导弹不断接近舰船目标的过程中，舰船轮廓细节逐渐放大，基于角点检测1、特征匹配的目标检测方法易出现跟踪目标漂移，无法适应剧烈变化的舰船目标检测任务；不同的攻击进入角下，导引头探测所得舰船投影一致性差，基于局部特征提取的检测算法精度有待提升。由于卷积神经网络具有强大的特征提取能力，基于深度学习的目标检测技术一经提出，在辐射源识别、舰船目标检测2等领域得到广泛应用。文献 3 提出的舰船检测网络使用密集注意力特征聚合获取高分辨率特征图，通过密集连接与迭代融合提高网络泛化性能；文献 4 利用感兴趣区域改进 YOLO（youonlylookonce）网络，提取舰船候选特征，改善了高分辨率卫星图中的舰船识别精度。针对小尺度密集舰船检测精度低等问题，文献 5 结合 YOLOv3-tiny网络与特征映射模块，增强了预测层获取重要特征的能力，取得了较高的检测精度；文献 6 提出了基于多层卷积特征融合的舰船检测网络，融合深层与浅层特征图，提升了多尺度船舶的检测效果。文献 1-6 中算法在不同任务场景下，均能较好实现舰船目标检测任务，但仍存在一定不足：仍将舰船作为整体目标识别船型，无法准确检测舰船要害部位，细粒度特征利用不充分；无法结合要害部位特征预测要害打击点轨迹，利用时空特征推断打击点运动趋势有利于提升毁伤概率；算法仅输出二维图像检测结果，无法结合舰船三维结构改善导引误差解算精度。基于关键点检测的人体姿态估计算法7通过给定图像，确定人体行为与动作。人体姿态估计算法 DeepPose8引入卷积神经网络处理姿态估计问题，无需设计特征提取器，是深度学习用于人体姿态估计的里程碑；Tompson 等9结合图像模型预测关键点热力图，提升了关节定位鲁棒性；卷积姿态机10收稿日期：2021-05-14；录用日期：2021-06-25；网络出版时间：2021-07-0511：25网络出版地址： J.北京航空航天大学学报，2023，49（2）：444-456.LI C X，LI T Y，LI Z Z，et al.Intelligent algorithm of warships vital parts detection,trajectory prediction and pose estimationJ.Journalof Beijing University of Aeronautics and Astronautics，2023，49（2）：444-456（in Chinese）.2023年2月北京航空航天大学学报February2023第49卷第2期JournalofBeijingUniversityofAeronauticsandAstronauticsVol.49No.2对网络特征层输出进行中继监督，改善了网络加深导致的梯度消失问题。将人体姿态关键点检测算法创新性运用到舰船要害部位检测任务中，利于提升反舰导弹对舰船要害打击点的检测准确度。空间目标的位姿测量技术11是航空航天、自动化领域研究的重要课题。光纤陀螺仪价格昂贵，精度漂移误差大，利用计算机视觉解决位姿估计问题，测量精度高，成本低廉。空间三维结构比二维平面具备更精确的打击点导引信息。反舰导弹突防过程中，利用舰船要害时序运动信息实现打击点的轨迹拟合与预测，有利于弹载控制系统及时调整飞行姿态，进一步提升毁伤概率。准确估计导引头三维位姿，有助于导引误差的准确解算。综合分析精确制导反舰导弹作战需求，本文提出一种基于深度学习的舰船要害关键点检测、打击点轨迹预测与导引头位姿估计（shipkeypoints-longshorttermmemory,SHKP-LSTM）算法。所提算法不依赖目标检测框，利用热力图直接回归关键点特征，引入了 SoftPool 池化获取细粒度特征图，改善多尺度多角度舰船要害部位的检测精度；结合舰船三维结构信息与 PnP(perspective-n-point)算法，估计导引头（相机）的三维位姿，利于当前命中点与任务打击点导引误差的精确解算；结合时空信息准确预测要害打击点的运动轨迹，能够进一步提升控制系统解算效率与反舰导弹的毁伤概率。实验结果表明，所提算法对舰船要害部位检测精度高，位姿估计较准确，要害打击点轨迹拟合与预测效果较好，利于反舰导弹对舰船要害精确打击任务的实现。1所提算法实现与优化将舰船要害部位定义为关键点，直接检测关键点特征，不依赖整体舰船检测框，提升检测精度与实时性的同时，降低了算法超参数；根据关键点检测结果可推算舰船整体预测框，结合舰船三维结构解算导引头位姿，利用检测所得舰船要害关键点的时空序列特征，合理预测要害打击点运动轨迹，利于导弹飞行姿态的及时调整。精确解算当前命中点与任务打击点的导引误差，能够显著提升末制导段反舰导弹对敌舰毁伤概率。所提算法流程如图 1 所示。将导引头捕获的舰船视频数据输入 SHKP-LSTM 算法，检测得到关键点像素坐标及关键点可见性；反舰导弹接近舰船过程中，舰船要害关键点检测信息具有时序性，长短期记忆网络12（longshort-termmemory,LSTM）能较好地处理时序数据，可利用检测结果实现要害打击点的轨迹预测，预测精度较高；结合舰船坐标系下要害部位三维坐标，将检测的关键点像素坐标与三维坐标建立投影映射，通过 PnP 算法解算舰船坐标系下导引头三维位姿；最后，输出舰船要害关键点检测信息、预测轨迹及导引头三维位姿。将解算结果输入弹载计算机综控系统，有利于反舰导弹对舰船要害部位打击精度的提升。导引头视频采集要害点轨迹拟合与预测获取舰船坐标系关键点三维坐标参数模型PnP位姿解算输出关键点检测、预测轨迹与导引头位姿舰船要害关键点检测图1所提算法流程Fig.1Proposedalgorithmflowchart1.1所提算法框架不依赖预选框（Anchor-Free）的检测网络无需处理冗余锚框与非极大值抑制等，直接利用网络生成的热力图回归关键点特征。将基于 Anchor-Free网络的人体姿态估计算法用于舰船要害部位的关键点检测，直接分析特征参数定位与回归要害部位，检测精度与实时性较好。轻型反舰导弹突防过程中，视场内舰船要害部位具备多尺度成像特性，且不同角度的要害部位成像差异大。综合权衡检测精度与速度，本文提出一种融合深层语义信息与浅层定位信息的 Anchor-Free 舰船要害关键点检测、轨迹预测与导引头位姿估计 SHKP-LSTM 算法。所提算法结构如图 2 所示。I RWH3 RWHNY 0,1WRHRcJ RWRHRN2RNcW、HSHKP-LSTM 算法利用卷积神经网络提取特征，将生成的关键点热力图输入检测结构，检测结构回归得到舰船要害关键点类别与位置；输入图像为，关键点信息为，经特征提取网络生成目标中心点热力图，关键点热力图，其中，为尺寸缩放比例，为检测关键点个数，为检测目标数，分别为图像的宽和高。如图 2 所示，所提算法将卷积处理后的特征热力图输入检测结构，关键点预测分支用于检测热力图目标中心与关键点中心，尺度预测分支用于检测舰船目标的宽与高，预测框基于目标中心点生成，关键点偏移量预测分支用于回归关键点中心的偏移量。通过成像分析与实验测试，选取CenterNet-DLA13作为主要特征提取网络。CenterNet-DLA 网络能够第2期李晨瑄，等：智能化舰船要害检测、轨迹预测与位姿估计算法445较好的融合深层语义信息与浅层定位信息，对投影一致性较差的舰船要害检测鲁棒性较好。针对图像特征剧烈变化导致检测精度较低的问题，利用SoftPool 改进最大值池化，获取具备更多特征信息的细粒度特征图，可提升舰船要害关键点检测精度。卷积神经网络挖掘要害关键点空间依赖关系，LSTM 分析动态轨迹数据的时序依赖关系。轨迹预测模块使用 LSTM 处理检测所得具有时序特征的要害关键点信息，挖掘其时间与空间运动趋势实现轨迹预测。结合 PnP 算法建立要害点二维检测结果与三维坐标的映射，解算导引头的三维位姿，获取更精确的导引信息，利于弹上综控系统及时调整导弹飞行姿态，从而进一步提升精确制导导弹的毁伤概率。1.2SoftPool 池化aiwiaiwi池化操作可用于降低特征维度，缓解网络过拟合风险，使池化内核中有用信息得以保留。原CenterNet-DLA 网络利用最大值池化实现下采样，最大值池化保留池化内核中的局部最大值，部分舰船要害特征相似度较高，最大值池化易损失重要区分信息导致误检，检测剧烈变化的舰船图像同样需要高质量的细节特征。SoftPool14较好的结合 softmax 加权与指数函数特点，使池化内核中的重要属性分配到更大权重。在局部激活区域中，SoftPool 为每个激活因子分配了相应的权重，如式（1）所示，非线性变换对池化内核中的所有激活因子实现了加权求和，由激活因子 与相应权重共同实现。?a=iRaiwi=iRaiexpaijRexpaj（1）iijj式中：为 SoftPool 处理的第 个激活区域；为激活区域相关领域内的第 个像素特征；exp 为底数为e 的指数。SoftPool 池化原理如图 3。在正向与反向传播期间，池化内核的激活梯度均得到更新。综合利用了池化内核中所有激活因子，仅增加了极少的内存，最大程度降低了特征损失，获取到高质量的细粒度特征图，能够提升舰船要害关键点检测精度。反向传播前向传播?a=wi ai=aiexpaiexpajiRiRjR图3SoftPool 原理Fig.3PrincipleofSoftPool1.3损失函数与梯度累加依据 SHKP-LSTM 算法原理与舰船要害部位检测任务需求，定义损失函数。关键点预测损失。关键点对应的中心点唯一，目标背景易产生较多负检测点，改进的 FocalLoss损失函数可改善样本不均衡问题，关键点预测损失函数为Llocation=1Nxyc(1Yxyc)lg(Yxyc)Yxyc=1(1Yxyc)(Yxyc)lg(1Yxyc)Yxyc#1（2）和NYxycYxycxycxyc式中：为损失函数惩罚系数；为关键点个数；为真实标签值；为预测标签值。下标表示第个像素点，其归属为第 类目标。关键点偏移量预测损失。分析热力图中各关48164844444n倍下采样特征图n倍下采样聚合节点SoftPool改进后的卷积处理可变性卷积特征图特征提取网络上采样81632nn检测机构预测目标尺度预测关键点偏移量预测关键点中心要害关键点轨迹预测与PnP导引头三维位姿估计33 卷积11 卷积33 卷积11 卷积33 卷积11 卷积33 最大值池化图2SHKP-LSTM 算法结构Fig.2StructureofSHKP-LSTMalgorit