基于轻量级迁移学习的无人机航拍视频图像天气场景分类_黄安陈.pdf

基于轻量级迁移学习的无人机航拍视频图像天气场景分类黄安陈1,张晓滨1,田泽2,李云云1,王家丰31(西安工程大学计算机科学学院,西安710600)2(集成电路与微系统设计航空科技重点实验室,西安710068)3(郑州大学网络空间安全学院,郑州450002)通信作者:张晓滨,E-mail:摘要:针对传统航拍视频图像 CNN 模型天气分类效果差、无法满足移动设备应用以及现有天气图像数据集匮乏且场景单一的问题,构建了晴天、雨天、雪天、雾天 4 类面向多场景的无人机航拍天气图像数据集,并提出了基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型.该模型采用迁移学习的方法,在 ImageNet 数据集上训练好两种轻量级 CNN,并设计 3 个轻量级 CNN 分支进行特征提取.特征提取首先采用 ECANet 注意力机制改进的 EfficientNet-b0 作为主分支提取整幅图像特征,并使用两个 MobileNetv2 分支分别对天空和非天空局部独有的深层特征进行提取.其次,通过 Concatenate 将这 3 个区域进行特征融合.最后,使用 Softmax 层对 4 类天气场景实现分类.实验结果表明,该方法应用于移动等计算受限设备时对于天气场景分类的识别准确率达到了 97.3%,有着较好的分类效果.关键词:场景分类;迁移学习;MobileNet;EfficientNet;ECANet引用格式:黄安陈,张晓滨,田泽,李云云,王家丰.基于轻量级迁移学习的无人机航拍视频图像天气场景分类.计算机系统应用,2023,32(2):371378.http:/www.c-s- Scene Classification of UAV Aerial Video Images Based on Lightweight Transfer LearningHUANGAn-Chen1,ZHANGXiao-Bin1,TIANZe2,LIYun-Yun1,WANGJia-Feng31(SchoolofComputerScience,XianPolytechnicUniversity,Xian710600,China)2(KeyLaboratoryofAviationScienceandTechnologyonIntegratedCircuitandMicro-systemDesign,Xian710068,China)3(SchoolofCyberScienceandEngineering,ZhengzhouUniversity,Zhengzhou450002,China)Abstract:ThetraditionalCNNmodelshaveapoorweatherclassificationeffectforaerialvideoimagesandcannotsatisfytheapplicationstomobiledevices,andtheexistingweatherimagedatasetsarelacking,withsinglescenes.Toaddresstheseproblems,thisstudyconstructsfourtypesofUAVaerialweatherimagedatasetsofsunnydays,rainydays,snowydays,andfoggydaysformultiplescenesandproposesaweathersceneclassificationmodelforUAVaerialvideoimagesbasedonlightweighttransferlearning.ThemodelusesatransferlearningapproachtotraintwolightweightCNNsontheImageNetdatasetanddesignsthreelightweightCNNbranchesforfeatureextraction.Infeatureextraction,EfficientNet-b0,amodificationoftheECANetattentionmechanism,isfirstusedasthemainbranchtoextractwhole-imagefeatures,andtwoMobileNetv2branchesareemployedtoextractdeepfeaturesuniquetotheskyandnon-skylocalitiesseparately.Next,featurefusioniscarriedoutforthethreeregionsbyConcatenate.Finally,aSoftmaxlayerisusedtoclassifythefourclassesofweatherscenes.Theexperimentalresultsindicatethatthemethodachievestheaccuracyof97.3%inclassifyingweathersceneswhenappliedtomobileandothercomputationallyconstraineddevices,withgoodclassificationresults.Key words:sceneclassification;transferlearning;MobileNet;EfficientNet;ECANet计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(2):371378doi:10.15888/ki.csa.008954http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041收稿时间:2022-07-06;修改时间:2022-08-09;采用时间:2022-08-25;csa 在线出版时间:2022-10-28CNKI 网络首发时间:2022-11-15ResearchandDevelopment研究开发371无人机航拍视频图像无论在军事侦察、边境巡航、地图遥感,还是交通管控、农业耕作等方面颇有应用,但是因为航拍场景不足以及航拍视频图像在恶劣天气条件下容易受到影响,导致在机载显示系统的成像效果不佳,从而对航拍图像的识别会造成一定的不利影响.因此,研究无人机航拍视频图像快速识别当前的天气场景类型,对其后的自适应视频图像清晰化处理极为重要.传统的天气分类方法使用传感器或者雷达进行数据集采集1,其使用范围受限且价格昂贵、成本较高.随着图像场景分类技术在计算机视觉领域的不断发展,出现了使用摄像头获取视频图像的天气分类研究.传统的天气图像分类方法通常需要一定的预处理技术、人工设计特征提取以及特定区域筛选等步骤之后,利用支持向量机(SVM)、随机森林等分类器进行天气场景分类.如 Chen 等人首先标记晴天、多云和阴天 3 种天气图像的天空区域,然后对天空区域的纹理特征、颜色特征等进行提取,最后利用分类器进行天气分类2.Li 等人通过提取整体图像的噪声、功率谱斜率、对比度和饱和度等特征之后,训练分类器进而实现图像天气类型的识别3.Lu 等人提取了图像的天空、阴影、反射、对比度和薄雾 5 种特征,实现了晴天和阴天的天气分类4.然而,这些方法往往因手动提取特征不够全面,且泛化能力和鲁棒性不好,会造成图像天气分类效果不佳.随着卷积神经网络(convolutionalneuralnetworks,CNN)在深度学习中的发展,它已经被用于图像天气分类问题的研究.如 Zhang 等人使用 CNN 来解决天气图像分类问题,并与传统方法进行比较,从而证明了 CNN在天气分类研究应用上的优越性能5.Li等人提出了一种多特征加权融合方法,对天气特定特征和 CNN 特征采用各种权重来学习自适应五类天气条件分类器,所提出的方法比单独使用 CNN 特征的方法获得了更好的性能6.Kang 等人通过经典的 GoogLeNet、AlexNet等卷积神经网络对雨、雪、雾 3 种天气现象的分类,准确率达到了 92%7.虽然许多经典 CNN 模型的提出与改进,使得人们在天气图像分类等领域取得了一些成果.但是,目前天气图像数据集还是比较匮乏的,而基于 CNN 进行天气图像分类所需的数据集规模一般都是巨大的,运算能力有很高要求.当前,迁移学习8已经在图像分类领域有着很好的应用.迁移学习可以在大型数据集上把CNN 模型训练好之后,通过一定方式在小规模的目标数据集上经过小幅训练完成目标分类任务.这样就可以避免因训练数据集不足而导致模型出现的过拟合问题,还可以对模型的识别准确率和泛化能力有一定的提高.张珂等人对经典的 LeNet、AlexNet、GoogLeNet、ResNet、Xception、SqueezeNet、DenseNet、Xception系列和 MobileNet 系列等网络模型性能进行分析,指出经典 CNN 存在模型参数多、复杂度高等问题,往往会在速度和资源消耗上很难满足移动设备的应用场景9.因此,通过考虑对网络进行压缩,便出现了轻量级卷积神经网络模型.轻量级的本质就是在保持深度神经网络精度的前提下优化存储空间和提升运行速度10.如陈思玮等人提出了一种基于深度学习的天气场景自动分类模型,利用迁移学习的 DenseNet 网络模型实现了沙尘、雾霾、雨、雪、露、霜 6 类天气场景分类11.Google 公司在 2018 年提出一种轻量级 CNN 模型 MobileNetv2 网络12,它基于 MobileNetv113中深度可分离卷积提高运算速度的思想,引入了线性瓶颈结构(linearbottleneck)和反向残差结构(invertedresidual)两种新的架构特性.其原理是采用先升维再降维的思想,增强梯度的传播和网络的表达能力,从而可以让网络对输入的图像提取到更深层的特征信息,而且运算量也比较小.在 2019 年 Google 公司又提出了 EfficientNet轻量级 CNN 模型14,它通过一个简单且高效的复合系数可以很好地平衡深度(depth)、宽度(width)、分辨率(resolution)这 3 个维度.该网络模型利用神经结构搜索可以得到多个轻量翻转瓶颈卷积模块(mobileinvertedbottleneckconvolution,MBConv),该模块的内部采用了压缩与激发网络(squeeze-and-excitationnetwork,SENet)注意力机制思想.轻量级 CNN 主要从结构和计算两个角度考虑,与传统的 CNN相比,其计算量和参数量方面都有一定的减小,符合低内存需求的移动设备应用.目前通过利用迁移学习方法对 EfficientNet 和MobileNetv2 这两种轻量级 CNN 进行天气图像场景分类的研究还比较少.然而,构建识别准确率高、泛化能力强、尺寸更小的轻量级模型对于移动设备进行天气图像场景分类是非常需要的.鉴于此,本文对无人机航拍的多天气场景图像分类问题进行研究,通过构建航计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第2期372研究开发ResearchandDevelopment拍图像天气数据集,提出了一种基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型(以下简称本文模型).1天气场景分类模型设计对于无人机航拍视频图像的天气场景分类问题,主要是充分的提取天气图像特征信息,并实现准确分类.本文设计的基于轻量级迁移学习的无人机航拍视频图像天气场景分类模型如图 1 所示,其模型设计路线:(1)收集并构建了晴、雨、雪、雾 4 类面向多场景的航拍图像数据集,并进行预处理.(2)使用已经在 Image-Net 数据集上训练好的 MobileNetv2 和 EfficientNet-b0 网络作为预训练模型,并对预训练模型迁移训练,把最后的分类层