基于深度学习的自然灾害遥感影像语义分割_王关茗.pdf

基于深度学习的自然灾害遥感影像语义分割王关茗,胡乃平(青岛科技大学信息科学技术学院,青岛266061)通信作者:王关茗,E-mail:摘要:自然灾害种类繁多,通过遥感影像语义分割相对比较困难.为了能够更好实现遥感影像分割,本文提出一种基于生成对抗网络的 3 层遥感影像语义分割模型,针对不同场景的解析,基于全卷积神经网络 FCN,设计一种多层次的遥感语义分割框架.有效对遥感图像语义分割进行处理,从而提高了模型的分割精度.实验表明利用这种模型是有效的,特别是受损建筑的分割结果,mIoU 为 82.28%,通过该模型与其他网络模型进行对比,其性能评价指标明显优于其他网络模型.最后,通过对自然灾害各种场景影像进行分析,为应急管理部门提供一份可靠的数据报告.关键词:自然灾害;遥感影像;深度学习;语义分割引用格式:王关茗,胡乃平.基于深度学习的自然灾害遥感影像语义分割.计算机系统应用,2023,32(2):322328.http:/www.c-s- Segmentation of Natural Disaster Remote Sensing Image Based on Deep LearningWANGGuan-Ming,HUNai-Ping(CollegeofInformationScienceandTechnology,QingdaoUniversityofScienceandTechnology,Qingdao266061,China)Abstract:Therearemanykindsofnaturaldisasters,anditisrelativelydifficulttosemanticallysegmentremotesensingimages.Inordertobetterrealizeremotesensingimagesegmentation,thisstudyproposesathree-layersemanticsegmentationmodelforremotesensingimagesbasedonagenerativeadversarialnetwork.Fortheanalysisofdifferentscenes,amulti-levelremote-sensingsemanticsegmentationframeworkisdesignedbasedonafullyconvolutionalnetwork(FCN).Thesemanticsegmentationofremotesensingimagesiseffectivelyperformed,andthusthesegmentationaccuracyofthemodelisenhanced.Experimentsshowthatthismodeliseffective,whichcanbedirectlyobservedfromthesegmentationresultsofdamagedbuildings,withmIoUbeing82.28%.Inaddition,thismodeliscomparedwithothernetworkmodels,anditsperformanceevaluationindexissignificantlybetterthanthatofothernetworkmodels.Finally,areliabledatareportisprovidedtoemergencymanagementdepartmentsbyanalyzingvarioussceneimagesofnaturaldisasters.Key words:naturaldisaster;remotesensingimage;deeplearning;semanticsegmentation近年来,地震、洪灾、火灾等自然灾害频繁发生,给国家和人民带来难以磨灭的伤害.如何挽救宝贵生命和减少经济损失是我们面临的重大课题,其中最重要的步骤是准确评估这些事件造成的损害1.对损失的正确估计可以有效地掌握灾情,并使救援小组能够合理地安排紧急援助2.当前随着社会的高速发展,越来越多的高精尖技术应用在防范自然灾害领域,其中,计算机视觉是该领域的核心研究课题,计算机视觉主要分为图像分类、目标检测和语义分割,本文主要采用图像语义分割对自然灾害场景分类进行研究3.图像的计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(2):322328doi:10.15888/ki.csa.008994http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041收稿时间:2022-07-12;修改时间:2022-09-07,2022-09-15;采用时间:2022-09-27;csa 在线出版时间:2022-12-02CNKI 网络首发时间:2022-12-05322软件技术算法SoftwareTechniqueAlgorithm语义分割由 Shelhamer 等人4首次提出,其主要的内容是对分割后的图像加上语义特征分类,就是给分割后图像中的相同类的物体加上标签,输入一般是彩色深度图像.与传统的图像分割相比,图像语义分割为图像中的目标添加了一定的语义信息,可以根据图像本身的场景、纹理等语义特征识别图像本身所表达的信息.语义分割是将图像按照不同属性划分为不同的区域,用相同的颜色代表同一个区域;图像分分割后不同区域有明显的界线.随着计算机视觉的快速发展,尤其是以全卷积神经网络(FCN)为基础框架的图像语义分割等深度学习的技术.鉴于目前国内还没有全面论述基于深度学习的自然灾害遥感图像语义分割的综述文献,该论文主要基于遥感图像,应用于防范自然灾害,提高快速救援自然灾害的能力,为科学救灾提供可靠的依据.针对上述问题,本文提出一种基于生成对抗网络的3 层遥感影像语义分割模型,针对不同场景的解析,基于全卷积神经网络 FCN,设计一种多层次的遥感语义分割框架,有效对遥感图像语义分割进行处理,从而提高了模型的分割精度.针对当前自然灾害的复杂性,本文主要采用公开的 xBD 数据集,该数据集自然灾害种类多、规模大、分辨率高.1相关工作本文在研究了基于深度学习的图像语义分割基础上,结合遥感影像中地物目标具有多尺度的特性,探索高分辨率遥感图像的多尺度语义分割,具有重要的研究和应用价值.自然灾害数据集最初可分为两类:成像数据集和非成像数据集.根据图像捕获位置,现有的成像自然灾害数据集可进一步分为 3 类:地面图像、卫星图像和航空图像.最近,研究人员介绍了几种用于自然灾害损失评估的数据集.Nguyen 等人5提出了 AIDR系统的扩展,主要是从中国的社交媒体收集数据中提出了 AIST 建筑物变化检测(ABCD)数据集,其中包括海啸后的航空图像,以确定建筑物是否已被冲毁.Chen等人6在中提出了一种融合不同数据资源的方法,用于飓风后建筑物损伤的自动检测.Christie 等人7介绍了一组名为“世界功能地图”的建筑物和土地图像.Rudner 等人8提出了一种从 Sentinel-1 和 Sentinel-2卫星收集的卫星图像,用于洪水建筑物的语义分割.Gupta 等人9提出了 XBD,其中包括事件前后的卫星图像,以评估建筑物损坏.Zhuet 等人10提出了一个名为 MSNet 的空中视频实例分段,以评估建筑物损坏.针对以上研究现状,结合自然灾害的多变性和复杂性,本文提出一种基于生成对抗网络的 3 层遥感影像语义分割模型,通过改进 PSPNet 网络模型与 PSPNet11、DeepLab12等网络进行对比,在多层网络模型使用空洞卷积13扩大感受野,通常采用编码-解码模型,该模型广泛应用于计算机视觉领域,其中包括位置评估14、目标检测15和语义分割16.本文的框架如图 1所示.后期处理语义分割特征提取输入图像粗糙分割边界优化,精细处理结构预测,逐步精细化粗糙分割图像分类+分割分类粒度先进行分类像素分类深度神经网络特征选择生成候选区域以区域单位以像素为单位概率图模型特征图特征整合特征增强基于 GAN 网络特征编码图 1遥感影像语义分割框架2融合特征增强与通道域注意力分割模型本文通过对 PSPNet 网络模型增加通道域注意力模块,将输入影像中的关键特征提取并标注,经过不断的学习和训练,让网络模型更加准确获得影像的特征信息17.同时,在每个通道设置不通的权重,并不断增强特征,进而生成通道域注意力模型.xBD 数据集标签2023年第32卷第2期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法323和灾害类型分布高度不均衡.此外,区分不同程度损伤的视觉线索可能非常小.不同类型灾害的负面图像的不同可用性也可能是定位模型的一个障碍.ResNet50是在 ImageNet18上预先训练的,而较小的边缘网络是用随机权重初始化的.使用 ReLU19激活所有卷积层.首先输入高精度遥感影像,使用数据增强对抗神经网络模型,增加像雾霾、多云、雷雨等实际场景,更好的提取特征信息;然后不同尺寸进行池化操作得到多尺度特征图,再经过通道注意力机制卷积神经网络来减少通道数量,最后采用强化模块的上采样方法得到相同尺寸的特征图,并在通道上拼接起来,它包含了不同尺度之间的变化信息.由于 xBD 数据集自然灾害种类较多,通过先分类再分割的方法,将相同灾害类型放在同一个模块,这样更好的减少卷积网络的任务,能够实现更高的预测结果和更多的应用场景,网络模型如图 2所示.CONVCONVCONVCONVUPSAMPLECONV(a)输入图像(b)特征图(c)金字塔池化模型(d)最终预测强化模块通道注意力通道注意力通道注意力通道注意力CNNPOOL图 2改进 PSPNet 网络结构 2.1 全卷积神经网络(FCN)目前,大多数语义分割方法依赖于深度卷积神经网络(CNN).但是 CNN 对局部接收的卷积会影响语境空间关系的建模.通过基于全卷积神经网络(FCN)的图像语义分割方法,改善了 CNN 对卷积的影响.目前,大多数较好的语义切分网络都是基于 FCN 进行改进的.图像的语义分割是通过图像中的每个像素进行分类,主要是为了解决语义图像分割的问题,FCN 能够输入不同大小的图像.通过反卷积方法对最后卷积的特征图进行上取样,得到各像素的预测,同时保持其原始图像的空间信息.然后将上取样的特征图像素进行归类.FCN 网络主要通过卷积神经网络对图像的强大学习能力,采用全卷积的方法,利用卷积层代替现有的语义分割深度网络模型.因为卷积层后面有一个连接池层,而连接池层又叫下采样层,所以会影响图片的分辨率.FCN 采用反卷积方法实现上采样,以确保图像的清晰度.FCN 和CNN 区别就是将CNN 的全连接层替换为全卷积,并将其作为一个标志.FCN 作为图像语义分割具有里程碑的意义,是后来很多图像语义分割网络模型的研究的理论基础.FCN 能接受任意大小图片输入、运算高效等特点.Max-Pool、Convolution 和 Dense的输出被输入通道和空间关系模块,用于生成关系增强特征.这些特征随后通过 11 滤波器反射各自的卷积层,以将通道数压缩为类别数.最后,将卷积特征映射放大到所需的全分辨率,并按元素添加,以生成最终的分割映射.2.2 空洞卷积首先,空洞卷积提出的是一种用于处理图像的方法,常用的图像分割方法一般采用池化或卷积来增大感知范围,并将其特征图尺寸减小,最后采用上采样进行恢复;由于特征图的缩小和放大处理会导致测量的准确性下降,所以必须采用一种既能提高感知范围又能保证特征图大小不改变的运算,取代下、上采样,既能保证图像的几何特性,又能保证图像的信息不会丢失.在网络层要求较大的感知范围时,使用空洞卷积效果最好.r 设置为“膨胀率”,即孔卷积的步长,代表输入信