基于脚点热度图和双向连接图的遥感影像建筑物提取方法_张利利.pdf

基于脚点热度图和双向连接图的遥感影像建筑物提取方法张利利张津铭*刘雄飞乔海浪王宏琦(中国科学院空天信息创新研究院北京100190)(中国科学院大学北京100049)(中国科学院大学电子电气与通信工程学院北京100049)(中国科学院网络信息体系技术重点实验室北京100190)摘要：目前，大多数基于深度学习的遥感影像建筑物提取方法采用语义分割的方式，对遥感影像进行二分类预测。然而，该类方法没有考虑建筑物的几何特性，难以进行精确提取。为了更精确地提取建筑物，该文引入建筑物的几何信息，提出一种基于脚点热度图和双向连接图的建筑物轮廓提取方法。该方法为一种多分支的深度卷积网络，分别对建筑物的脚点以及脚点间的连接性进行预测。在其中一个分支中，预测建筑物的脚点热度图，并用非极大抑制算法得到建筑物的脚点像素坐标；利用另外两个分支预测脚点之间的正向连通性和反向连通性，并通过这种双向连接图对脚点间是否具有连接性进行判断，在将具有连通性的脚点进行连接后，可得到最终的建筑物轮廓。该文算法在Buildings2Vec数据集上进行了验证，结果表明该方法在遥感影像建筑物提取中具有一定的优越性。关键词：遥感影像；深度学习；脚点预测；双向连接图中图分类号：TN911.73;P237文献标识码：A文章编号：1009-5896(2023)04-1435-10DOI:10.11999/JEIT220201Building Extraction from Satellite Imagery Based on Footprint Mapand Bidirectional Connection MapZHANGLiliZHANGJinmingLIUXiongfeiQIAOHailangWANGHongqi(Aerospace Information Research Institute,Chinese Academy of Sciences,Beijing 100190,China)(University of Chinese Academy of Sciences,Beijing 100049,China)(School of Electronic,Electrical and Communication Engineering,University of Chinese Academy of Sciences,Beijing 100049,China)(Key Laboratory of Network Information System Technology,Chinese Academy of Sciences,Beijing 100190,China)Abstract:Moststate-of-the-artbuildingextractionfromsatelliteimageryarebasedonbinarysegmentation.However,thegeographicinformationhasnotbeenconsideredinthesemethods,thus,itisdifficulttoextractbuildingaccurately.Toconsiderfullythegeographicinformationonfeatureextraction,abuildingextractionconvolutionalneuralnetworkbasedonfootprintmapandbidirectionalconnectionisproposed.Theproposedmethodisamulti-branchnetwork,whichisdesignedtopredictthefootprintandbidirectionalconnectionmap,respectively.ThispaperpredictsthefootprintheatmapofbuildingsandusestheNon-MaximumSuppression(NMS)algorithmtoobtainthepixelcoordinates.Anothertwobranchesareusedtopredictpositiveconnectivityandnegativeconnectivitybetweenfootprints.Eachpairofnodesisconnectedaccordingtothebidirectionalconnectivitymaptoobtainthefinalbuildingoutline.ExperimentsontheBuildings2Vecdatasetdemonstratethattheproposedmethodoutperformsvariouspreviouswork,whichillustratethesuperiorityinbuildingextractionfromsatelliteimagery.Key words:Satelliteimagery;Deeplearning;Footprintprediction;Bidirectionalconnectionmap收稿日期：2022-03-01；改回日期：2022-06-02；网络出版：2022-06-28*通信作者：张津铭基金项目：中国科学院青年创新促进会基金(E03307020D)，创新研究专项基金(2022C61540)FoundationItems:TheYouthInnovationPromotionAssociationFoundation(E03307020D),TheSpecialFundsforCreativeResearch(2022C61540)第45卷第4期电子与信息学报Vol.45No.42023年4月JournalofElectronics&InformationTechnologyApr.20231 引言遥感影像建筑物提取技术在城市规模评估、违法建筑物检测中起到了举足轻重的作用。近年来，随着高分辨率卫星技术的发展，遥感影像具有较高的空间分辨率，可以呈现更为丰富的地表信息，对于建筑物来说也可以获取更为清晰的几何结构、建筑规模。然而，也引入了与建筑物周围无关的干扰信息，例如建筑物的部分信息被其他地物遮挡1(例如，植被等)。这些干扰信息会给建筑物的自动提取带来障碍。因此，如何从复杂场景中精确提取建筑物信息成为急需解决的问题。目前，遥感影像建筑物提取方法主要分为两部分：基于传统特征设计的方法26和基于深度学习的方法710。基于传统特征设计的方法，主要通过设计固定或者自适应参数的规则和模型，对遥感影像中的建筑物要素进行提取。该类方法首先构建描述建筑物特征的先验信息，创建建筑物的脚点和脚点连接边之间的关系，利用图结果进行表示11。同时，由于建筑物多为规则的矩形，有些算法将建筑物的脚点的直角特征作为角度的先验信息，精化建筑物提取的结果12。虽然传统方法设计的特征具有一定的描述性，然而对特征的精确分类一直是一个难题。随着机器学习的发展，一些学者将传统设计的特征和机器学习分类器进行了融合。Baluyan等人13提出了一种融合K-means聚类和支持向量机(SupportVectorMachines,SVM)的建筑物提取方法。首先，采用K-means聚类方法对影像进行分割，并将分割结果中可能属于同一建筑物区域的分割区域关联起来。然后，采用经过训练的SVM分类器对屋顶区域和非屋顶区域进行分类，得到最后的建筑物提取结果。Li等人14提出了一个新型建筑物提取框架。首先，该框架采用一种无监督预分割的方法获得像素的初始分类。然后，设计了一种融合屋顶像素级信息和分割级信息的条件随机场模型(ConditionalRandomField,CRF)来实现准确的建筑物屋顶提取。与基础的CRF模型相比，该模型增加了高阶信息表示，保证了模型的区域一致性和形状一致性特征。然而，基于传统特征和机器学习分类的方法具有一定的局限性。由于真实世界中的建筑物复杂多样，仅靠人工设计的特征很难涵盖所有的建筑物类型。例如，传统特征多是将建筑物假设为规则的多边形，并未考虑体育馆等圆形、椭圆形的建筑物。同时，基于传统机器学习分类器的方法在特征分类上的能力较弱，难以满足高精度建筑物提取的任务需求。随着深度学习的发展，特征提取与分类的思维方式得到了整体性变革，并在自然图像分类中得到了广泛的应用。于是，很多学者开始将深度学习技术引入到遥感影像的建筑物提取中，并取得了很好的效果。Hosseinpour等人15提出了一种端到端跨模式门控融合网络(Cross-ModalGatedFusionNet-workCMGFNet)，用于从VHR遥感图像和DSMs数据中提取建筑物框架。CMGFNet使用两个单独的编码器从RGB和DSM数据中提取多级特征。该框架提供了两种融合特征的方法：跨模态特征融合和多层次特征融合。对于跨模态特征融合，提出了一种选通融合模块来有效地结合两种模态。多层次特征融合通过自上而下的策略将深层的高级特征与浅层的低级特征融合在一起。此外，为了提高上采样过程的性能，降低解码部分的参数和时间复杂度，引入了类残差深度可分离卷积(R-DSC)。与此同时，在现有用于高速语义分割的双分支体系结构的基础上，Yang等人16设计了一种用于有效空间细节的高分辨率分支，以及一个具有轻量级全局聚合和局部分布块的上下文分支，以实现对遥感影像中的建筑物进行实时提取。Li等人17提出了一个简单而有效的深度学习框架，可分为两个阶段：自动语义分割网络的粗略结果和交互式细化网络的精细结果。通过使用初始分割的二进制掩码和用户提供的交互信息18，获得最终的建筑物提取结果。文献19提出了AttentionBuildNet(ABNet)，利用卷积块注意模块，结合通道和空间注意，有选择地聚焦于重要特征，从而改进了建筑物特征表示。Cheng等人20提出了一种用于建筑物自动分割的网络：DARNet。该网络首先利用卷积网络预测能量图，并构建能量函数。然后通过最小化能量函数来生成多边形轮廓，并将最小值作为最终分割的结果。与之前方法不同的是，该方法采用极坐标系代替传统的欧式坐标系，在避免自相交的同时，还可以简化能量函数的设计。文献21提出了一种基于全卷积神经网络和条件随机场(CRF)的建筑物自动提取方法，基于深度全卷积网络的初步结果，采用条件随机场的方法对提取结果进行优化，提高了大型建筑轮廓的提取效率。Guo等人22提出了一种基于注意力增强的特征金字塔网络方法(FPN-SENet)，实现了多源卫星影像建筑物的自动提取。在对注意力机制的运用中，刘德祥等人23设计了一个多级的残差连接块RSDBlock和一个双向的FPN结构用于捕获1436电子与信息学报第45卷多尺度特征信息，并随后运用了注意力机制进一步处理多尺度特征，以全局上下文信息为约束条件抑制或增强特征，提升对建筑物特征的提取能力。为了提升建筑物分割轮廓的规则性，Zhu等人24通过金字塔空间池化技术对建筑物的全局相关性进行提取，细化建筑物提取结果中不规则的边界。Chen等人25设计了一种高效的双路径转换器结构，并且引入了一个名为“sparsetokensampler”算法，解决因为单个建筑物在遥感影像中仅占图像所有像素一小部分而引起建筑物提取效果差的问题。综上，基于分割的方法并没有考虑遥感影像中建筑物的几何特性。在实际人工作业中，针对提取建筑物轮廓任务，通常先标绘出建筑物的脚点，然后对脚点进行线段连接。受此启发，本文设计了一种基于建筑物脚点和边界双向连接的建筑物提取网络，充分模拟了人在真实作业中的建筑物提取流程。本文的主要贡献有：(1)提出了一种多分支的深度卷积网络，通过“脚点-连接”的策略对建筑物进行提取，得到的建筑物轮廓更加精准、稳定。(2)提出了一种双向连接性预测的脚点连接性检测方法，将建筑物脚点之间的连接性转换为双向图预测，提升了脚点间连接性的准确性。(3)