Bi-PPYOLO_tin...轻量型的机场无人机检测方法_刘闪亮.pdf

Piscataway，NJ，USA:InstituteofElectricalandElectronics Engineers，2017:658666.18 樊钰 基于深度学习的安全帽检测系统设计与实现 D 呼和浩特:内蒙古大学，2019.FAN Y Design and implementation of detection systemof wearing helmets based on deep learning D Huhhot:Inner Mongolia University，2019.Research on the lightweight detectionmethod of person helmet wearingZHANG Yu-tao，ZHANG Meng-fan，SHI Xue-qiang，CHEN Xiao-kun，REN Yao，LIU Rui(College of Safety Science and Engineering，Xian University ofScience and Technology，Xian 710054，China)Abstract:The existing helmet detection algorithms based ondeep learning have high computation complexity and highrequirements for hardware computing capabilities，resulting in ahigh cost in actual applications Moreover，the diversity of theshape and scale of the detection targets are not fully consideredin existing algorithms，so there also exist common problems ofmissed and false detection of small targets Aiming at the aboveproblems，this paper proposes a lightweight helmet detectionmodel based on the Pytorch deep learning framework to reducethe amount of calculation of the model In addition，a deformablebi-direction aggregation network is proposed to transfer shallowdetail information and deep semantic information in a bi-directional way，thereby improving the models adaptability todetect targets of different scales And the deformable convolutionis introduced to improve the models adaptability to detect targetsof differentshapesWevalidatetheeffectivenessofouralgorithms with extensive experiments on a helmet detectiondataset(Safety Helmet Wearing Dataset，SHWD)We use6 000 images in SHWD as the training set and 2 000 images asthe testing set A computer with Intel-Xeon(R)4214 CPU(2.2GHz)，64 GB memory，and four NVIDIA GeForce GTX2080TiGPUs are used as the experimental platform The experimentalresults indicate that the recognition accuracy of the proposedalgorithm is over 90%The proposed deformable bi-directionaggregation network employs deep semantic features and shallowdetail features，and adaptively adjusts the receptive field，whichcan adapt to objects of different shapes and scales，thusimprovingthedetectionaccuracyBesides，theproposedalgorithm achieves a detecting speed of 137 frames per second，which far meets the needs of real-time operation Compared withthe existing helmet detection algorithms，the detection accuracyand running speed are significantly improved，and the parametersare significantly reducedKey words:safety engineering;helmet-wearing detection;lightweightnetwork;deformablebi-directionaggregation network;deep learningCLC number:X947Document code:AArticle ID:1009-6094(2023)02-0474-07文章编号:1009-6094(2023)02-0480-09BiPPYOLO tiny:一种轻量型的机场无人机检测方法*刘闪亮，吴仁彪，屈景怡，乔晗，何雨龙(中国民航大学天津市智能信号与图像处理重点实验室，天津 300300)摘要:机场“黑飞”无人机的检测关系着整个机场的安全问题，机场现有基于雷达手段的无人机探测方法无法正确识别无人机的类型及个数。基于现有雷达探测无人机方法存在的缺点，对 PPYOLO tiny 目标检测方法在无人机检测中存在的问题进行改进，结合机场“黑飞”无人机的特性和硬件设备部署中模型参数量小的特性，提出了基于 BiPPYOLO tiny的轻量型无人机检测方法，提出双锥台特征融合结构，并优化检测头部的锚框大小，有效提升了无人机的检测精度。经试验验证，该方法将平均检测精度 PmA从 68.07%提升至76.71%，模型参数量为 4.06 MB，推理速度为 32.21 帧/s。所提方法有助于轻量型无人机检测方法在光电设备上的部署与实施，与现有机场无人机探测手段共同保障机场安全。关键词:安全工程;机场安全;无人机检测;轻量化;特征融合;目标检测中图分类号:X949文献标志码:ADOI:10.13637/j issn 1009-6094.2021.1818*收稿日期:20211012作者简介:刘闪亮，博士研究生，从事深度学习、图像处理、目标检测研究，shliucauc ;吴仁彪(通信作者)，教授，博士，博士生导师，从事自适应信号处理、现代信号谱分析及其在雷达、卫星导航的应用研究，rbwu vip 。基金项目:中央高校基本科研业务费项目(3122019185);天津市研究生科研创新项目(2020YJSB097)0引言在我国国民经济快速提升的同时，无人机行业持续发展，截至 2020 年底，全行业无人机注册用户约 55.8 万个，参与民航局无人机云交换系统的无人机飞行时间共有 183 万 h1。消费级无人机数量日益增长的同时，由于现有监管手段不足，不断出现无人机“黑飞”侵入机场净空区威胁民航安全的案例。2017 年以来，无人机扰航事件频发，不但带来了严重的经济损失，更伴随着严重的安全隐患2 3。机场无人机的有效实时监管是保障民航安全的亟待解决的重要技术难题。机场环境下，现有的无人机探测方法包括无线084第 23 卷第 2 期2023 年 2 月安全 与 环 境 学 报Journal of Safety and EnvironmentVol 23No 2Feb，2023电探测、声学探测、雷达探测、光电探测手段。无线电探测设备通过检测无人机用于传输数据的无线电信号进行无人机的识别和定位4 5，不会对机场设备造成干扰，对合作式无人机的探测距离远;但民航机场电磁环境复杂，无线电探测设备易受外界其他无线电信号的干扰，无法识别非合作式无人机或以5G 信号通讯的遥控无人机。由于不同型号的无人机声音不同6 10，可以使用声音探测设备识别无人机的类型，但此技术易受环境噪声的干扰，有效探测距离太近。图 1BiPPYOLO tiny 无人机检测框架Fig 1BiPPYOLO tiny Unmanned Aerial Vehicle(UAV)detection framework基于雷达探测设备的目标探测手段11 13 在机场近距离范围内会与机场现有的电子设备相互干扰;另外，使用雷达设备无法直观获取目标的精确画面，无法判别目标类型及数量。光电技术在良好的天气下可以正确识别无人机，正确判断无人机的数量，已有的研究包括基于回归策略的无人机识别方法14、目标全局特性与局部特性相结合的目标识别方法15、利用帧间差分法和支持向量机分类器的无人机识别方法16、基于改进的核相关滤波算法的无人机识别方法17，上述方法很难实现机场复杂环境下小目标无人机的识别。自 2012 年，深度学习在目标检测领域的应用逐渐增多。2021 年，高新波等18 首次对深度学习算法中小目标检测存在的难点 可利用特征少、定位精度要求高、样本不均衡问题进行了全面的总结概括，为小目标检测的发展奠定了理论基础。随着深度学习技术的不断发展，轻量型的目标检测方法逐渐被应用于各工业领域。Long等19、Xin 等20 以模型部署为目的，得到超轻量型的目标检测模型，为目标检测在移动端的部署奠定了基础。本文改进超轻量型网络 PPYOLO tiny 算法，提出一种基于 BiPPYOLO tiny(Bifrustum PPYOLOtiny)网络的轻量型机场无人机智能检测方法。该方法结合机场无人机目标小、背景复杂、移动端无人机检测模型体积小的特点，提出一种新的特征融合方式，得到包含更多目标信息的特征图;改变检测头部的预测框设计，使其更符合小目标的正确识别需求，以取得良好的检测效果。本方法有助于监管人员采取合适的反制手段将无人机诱导或驱赶至安全区域，以保障机场及航班的安全，起到保障机场安全的作用。1检测方法PPYOLO tiny 算法是由百度提出的一种超轻量型的目标检测网络，相比常规的卷积操作，有更少的参数量和运算成本，更符合移动端设备的内存空间和算力的需求。其模型体积为 4.3 MB，在 COCO 数据集上，输入尺寸为 416 像素 416 像素的图片时，得到的平均检测精度(mean Average Precision，PmA)为 22.7%，在 4 个麒麟 990 芯片上的时延为 15.48ms，可以满足机场无人机实时检测的需求20。本文改进 PPYOLO tiny 算法，提出双锥台特征融合方式，并优化检测头部的锚框设计，改进后得到 BiPPYOLO tiny 小目标无人机检测算法。使用实拍的机场无人机数据集验证，模型效果得到明显提升。本文结合移动端设备部