基于ResNet-LSTM网络的船型识别方法_朱治学.pdf

总第345期1引言近年来，随着我国的水运能力和国际贸易能力不断增强，海上运输承担的任务日渐繁重，交通环境也日益复杂。船舶行业也进入了高速发展时代，逐渐从传统向智能化交通方向发展。随着位置传感技术和位置感知设备的发展，其所收集到的时空轨迹信息作为移动对象的位置和时间的记录序列，是交通运输工程，交通地理学领域的重要研究内容1。基于航迹数据的船舶类型识别研究具有重要的实际意义，这种研究能够对船舶的轨迹进行分析，从中提取出船舶运动特征规律，进而将轨迹划分出不同的、具有相似运动规律的类别。它是分析和预测运动对象行为、正确规范船舶行为、及时发收稿日期：2022年9月9日，修回日期：2022年10月13日基金项目：国家自然科学基金面上项目（编号：61972363）；中央引导地方科技发展资金项目（编号：YDZJSX2021C008）资助。作者简介：朱治学，男，硕士研究生，研究方向：模式识别技术、信息融合技术。杨风暴，男，博士，教授，研究方向：信息融合、遥感图像分类识别、模式识别、可能性分布理论。基于 ResNet-LSTM 网络的船型识别方法朱治学杨风暴（中北大学信息与通信工程学院太原030051）摘要针对传统单一神经网络对复杂航迹特征提取能力有限、无法充分挖掘航迹数据中的有效信息，导致基于航迹数据进行船型识别准确度低的问题。提出了一种ResNet-LSTM的融合网络模型，首先利用迁移学习的ResNet预训练模型提取航迹数据中的局部空间特征，然后构建LSTM长短时记忆网络提取航迹数据中的长距离时序性特征，最后构造网络融合公式，利用反向传播分别训练网络参数，实现基于航迹数据对船舶类型进行识别。在对比实验中，确定融合最佳参数，对比现有的网络模型架构，ResNet-LSTM融合网络模型在准确度、精确度、召回率、F1值等评价指标上表现突出，能够高效地提取到航迹数据中的有效特征，在完成船型识别任务上表现优异。关键词船舶分类；残差神经网络；长短时记忆网络；模型融合中图分类号TN953DOI：10.3969/j.issn.1672-9730.2023.03.024Ship Type Recognition Method Based on ResNet-LSTM ModelZHU ZhixueYANG Fengbao（School of Information and Communication Engineering，North University of China，Taiyuan030051）AbstractThe traditional single neural network has limited ability to extract complex track features and can not fully explorethe effective information in track data，which leads to the low accuracy of ship type identification based on track data.A fusion network model of ResNet-LSTM is proposed.Firstly，the transfer learning ResNet pretraining model is used to extract the local spatialfeatures in the track data，and then the LSTM long term memory network is constructed to extract the temporal features in the trackdata.Finally，the network fusion formula is constructed，and the network fusion formula is constructed，and the network parametersare respectively trained by the back propagation.Ship type identification based on track data is realized.In the comparative experiment the optimal fusion parameters are determined.Compared with the existing net model architecture，the ResNet-LSTM fusionnetwork model shows outstanding performance in accuracy，precision，recall，F1 value and other evaluation indexes，which can efficiently extract effective features from track data and perform well in the task of ship type recognition.Key Wordsship classification，residual neural network，short and long term memory networks，model fusionClass NumberTN953舰 船 电 子 工 程Ship Electronic Engineering总第 345 期2023 年第 3 期Vol.43 No.3112舰 船 电 子 工 程2023 年第 3 期现并处理船舶轨迹异常的前提条件，可为下一步实现智能船舶交通管理系统（Vessel Traffic Service，VTS）监控船舶行为打下坚实的基础2。对航迹数据的处理方式有多种多样，传统的聚类算法35和机器学习算法6存在应用场景理想化、不利于长时间航迹数据处理、所选统计量具有主观性等缺点，不利于该任务的完成。随着神经网络技术78的发展，深度学习技术也开始被广泛使用在船舶轨迹研究领域，实现更准确且更有效的识别。现有工作中，Endo等9研究人员将原始轨迹数据结构转换为图像数据结构，但其所提卷积神经网络提取特征能力有限，训练周期较长，对数据分析不到位，最终的分类效果有所欠缺。Jiang X等10使用速度及其统计量作为特征，将其嵌入到特征空间中后再送入GRU对轨迹进行分类，但其手动选择的统计量具有人为主观因素，所采用的统计特征具有一定的片面性。赵佳欢等11利用循环神经网络处理时序数据上的优势，对空中目标类型识别，将雷达信噪比和目标航迹特征相结合，以提高目标识别准确度，但没有考虑到循环神经网络RNN的梯度消失和长时间依赖问题。Wang L等12通过迁移学习的方式对互联网打车轨迹的进行了识别，但是在其汽车数据集中，许多车辆运动规律单一，并没有研究对复杂情况下的轨迹特征提取方法，所研究方法仍存在一定局限性。综上，本文经过对已有研究内容的分析以及不足的思考，提出了一种ResNet-LSTM融合网络的船型识别模型。通过ResNet卷积网络则可以有效地提取航迹数据的局部空间特征，构造LSTM网络去提取航迹数据中的长时间时序特征，同时由于ResNet网络的残差跳跃结构，也可以避免传统网络的梯度消失和梯度爆炸问题，从而提高模型在海上复杂船迹类型识别任务中的准确度。2相关理论知识2.1残差网络（ResNet）残差神经网络13是由MSRA的学者提出的一种卷积神经网络。在神经网络中，网络深度的增加往往意味着网络对数据的拟合能力越好，但它也会带来过拟合以及梯度消失或者梯度爆炸的问题，这会导致网络准确度的降低甚至丧失对测试集的检测能力。残差神经网络通过其跳跃连接的机制可以解决此问题。其具体原理如图1所示，假设神经网络某一层的神经网络所代表的函数为F()x，x为输入到该层神经元的特征信息，在传统的深度神经网络中，神经元的输出即为F()x，但在残差神经网络中，其内部的残差块使用了跳跃连接，将原始的特征信息与F()x的信息相加作为下一个神经元的输入。图1残差结构图解在ResNet模型中这一结构用数学公式可以表示为y1=h(x1)+F(x1,Wl)xl+1=f(y1)（1）ResNet 系 列 网 络 包 括 ResNet18、ResNet34、ResNet50、ResNet101、ResNet152等，网络模型数字越大，代表模型越大，所需要的计算量越大。ResNet18具有精度高、模型小、易于实现等优点。本文所利用的ResNet网络是ResNet18轻量级网络模型。2.2长短时记忆网络（LSTM）LSTM长短时记忆网络14是一种特殊的递归神经网络，通过门限机制，完成网络前馈过程，以克服传统的RNN网络在处理长序列输入数据中表现的不足，对数据长距离时序特性的提取能力较强，其基本结构如图2所示。图2长短时记忆网络基本结构LSTM长短时记忆网络的前馈过程可表示为ft=sigm(wfhht-1+wfxxt+bf)（2）gt=tanh(wghht-1+wgxxt+bg)（3）ct=fct-1+itgt（4）ot=sigm(wohht-1+woxxt+bo)（5）113总第345期ht=ottanh(ct)（6）其中，sigm 为 Sigmoid 激活函数，取值范围为 0，1。tanh为双曲正切激活函数。LSTM网络的训练过程通过权重参数W、U和偏置参数b来控制。3基于 ResNet-LSTM 的融合网络结构设计本文设计了一种残差神经网络（ResNet）与长短时记忆网络（LSTM）进行结果融合的网络模型，所采取的融合方式为令ResNet模型的最终输出结果为F1()x，LSTM模型的最终输出结果为F2()x，定义一个权重参数a，令模型融合的结果为F3()x，可以得到公式如下：F3()x=aF1()x+(1-a)F2()x（7）总模型结构如图3所示。如图 3 所示，本文使用的 ResNet 网络在 ImageNet15数据集上事先预训练好权重，通过迁移学习的方法16，使该网络参数能够更快速地收敛，该权重对应的分类个数为 1000，本模型在 ResNet预训练模型之后增加一层全连接层，以修改分类个数，激活函数为Softmax，其输出的特征向量表示模型对输入所预测的5种船舶类型的概率。所使用的LSTM模型中，模型层数为2，输入维度为480，输出维度为256。模型的最后同样是全连接层，输出5类的预测概率。图3总模型结构图最终根据所构建的融合公式，将两个模型的输出进行融合，在神经网络的训练过程中，在反向传播过程中，交叉熵损失函数所产生的梯度也会根据该融合权重数值分别更新两个模型的参数。4实验流程4.1数据预处理本文使用原始数据集为船舶AIS航迹数据集17。采集2017年美国海岸包括渔船、客船、油船、集装箱船和散货船等船舶类型在内的真实船舶轨迹数据。该数据集存在的问题如下：1）因为该数据集数据量比较大，所以会存在数据重复、错误以及时间混乱的数据。2）由于船舶数据通过硬件上传信息，可能由于设备，网络传输等问题造成数据缺失。所以在针对上述数据集中存在的问题使用的方法如下：1）对于重复的数据进行去重操作，根据时间戳进行排序，按照时间排序绘制轨迹路线。2）在缺少数据的部分，采用线性插值处理，弥补数据缺失部分。本文数据预处理的流程图如图4所示。图4数据预处理流程图4.2动态特征的选取本文将船舶数据根据速度的大小关系按航迹点迹映射为不同颜色，映射关系如图5所示。当船只的速度高时，其颜色其可视化偏向于蓝输入输入层卷积层ConventionallayerConv（7，7）LSTM1LSTM2输出层F2（x）F1（x）反向传播分别更新网络参数全连接层跳跃连接池化层Max Poolinglayer（3，3）深度卷积层ConventionallayerConv（3，3）平均池化层Average Pooling