基于Elan-UNet的遥感影像建筑物提取方法_李松宇.pdf

2023 年 6 月 10 日第 7 卷 第 11 期现代信息科技Modern Information TechnologyJun.2023 Vol.7 No.1189892023.062023.06收稿日期：2023-03-03基于 Elan-UNet 的遥感影像建筑物提取方法李松宇（渤海大学 信息科学与技术学院，辽宁 锦州 121013）摘 要：为了克服传统的 U-Net 网络高分辨率遥感影像建筑物提取可能出现的漏检，以及边缘细节损失的问题，以 U-Net网络作为基础模型，提出一种多尺度采样模块（residuals elan block）以及多分支组合下采样模块结合的语义分割算法。通过重新设计网络模型的编码器，使网络编码获取更多语义信息；通过采用卷积与池化结合的方法改善池化带来的空间信息丢失问题。在 WHU Building Dataset 公开数据集上的实验结果表明，该算法的精准度为 85.01%，交并比为 80.88%，比基础模型算法分别提高了 4.73%和 10.6%。关键词：U-net；多尺度采样；感受野；深度学习中图分类号：TP183；TP751 文献标识码：A 文章编号：2096-4706（2023）11-0089-05Remote Sensing Image Building Extraction Method Based on Elan-UNetLI Songyu(College of Information Science and Technology,Bohai University,Jinzhou 121013,China)Abstract:In order to overcome the possible problems of missing detection and edge detail loss in building extraction of high-resolution remote sensing images using the traditional U-Net network,a semantic segmentation algorithm combining the multi-scale sampling module(residuals elan block)and the multi-branch sub-sampling module is proposed based on the U-Net network as the basic model.By redesigning the encoder of the network model,the network coding can obtain more semantic information.By combining convolution and pooling,the spatial information loss caused by pooling can be improved.The experimental results on the open data set of WHU Building Dataset show that the algorithms precision is 85.01%and the IoU is 80.88%,which is 4.73%and 10.6%higher than the basic model algorithm,respectively.Keywords:U-net;multi-scale sampling;receptive field;deep learning0 引 言城市高分辨率遥感影像的绝大多数的人工建筑为建筑物，遥感影像的建筑物自动识别对城市建设规划、自然灾害等应用具有重要的意义1-3。从高分辨率光学遥感图像中自动提取建筑物也是计算机视觉和遥感领域中热点课题，并取得了实质性的进展。近年来，由于深度卷积神经网络（DCNN）在目标检测4-6、图像分类7，8和语义分割9-12中的成功应用，深度学习逐渐应用于入遥感领域的地物分类等问题13-15。例如，Saito 等人16应用单个卷积神经网络直接从原始 VHR 遥感图像中提取包括建筑物在内的多种地物；Bittner 等人提出了由三个并行 FCN4s 网络组成的 Fused-FCN4s 模型，从三波段（红、绿、蓝）、全色和归一化数字表面模型（nDSM）图像中学习空间和光谱构建特征；刘尚旺等人17提出一种基于 U-net网络多任务学习的建筑地物语义分割方法；张春森等人18在 SegNet 网络基础上提出了基于稀疏约束 SegNet 的高分辨率遥感影像建筑物提取方法；于明洋等人19提出了一种基于 DeepLab V3 的高分辨率遥感影像建筑物自动提取方法；武花等人20提出了融合多特征的 PSPNet 模型实现复杂场景DOI:10.19850/ki.2096-4706.2023.11.021下的建筑物提取。基于深度学习的建筑物提取方法，在精度和稳健性上有了明显的改善。但是，目前，主流的编码解码语义分割算法的特征提取仍然存在忽略上下文信息且空间信息损失的问题，使得一些高分辨率的小建筑物存在漏检现象或者边缘精度较差的现象。针对上述问题，本文改进了传统的编解码网络 U-net 算法：1）改进 U-net 编码：改进其特征提取的局部性和单一性问题，引入 Elan 网络结构，通过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性；2）改进 U-net 在池化过程中存在空间信息的丢失现象，采用卷积与池化结合的方法改善池化带来的空间信息丢失问题。1 传统的 Elan 网络结构和 U-Net 网络结构1.1 Elan 模块Elan 模块（多尺度采样模块）主要功能是特征提取，主要由两条分支组成。Elan 模块的第 1 条分支做了 11 卷积处理，其主要功能是改变特征图通道数；第 2 条分支进行了4 次不同感受野的特征提取操作，特征提取单元主要进行卷积、归一化（Batch Normalization）、激活函数（Silu）操作，最后将分支 1 与分支 2 所有特征，通过短接操作进行特征融合，其结构如图 1 所示。90902023.062023.06第 11期现代信息科技BCWHBC/2WHconv(33)BC/2WHconv(33)BC/2WHconv(33)BC/2WHconv(33)BC/2WHconv(11)B2CWHBCWHBC/2WHconcatconv(11)conv(11)图 1 Elan 模块结构图1.2 U-Net 网络U-Net 网络是经典的语义分割网，如图 2 所示，主要分为两个模块。其中第一个模块是编码部分，该模块通过卷积操作和最大池化操作缩小图片的尺寸，利用编码部分能够生成 5 个有效的特征层。第二个模块是解码部分，利用该模块将生成的 5 个特征层进行上采样，恢复特征图至原图大小的尺寸。编码器和解码器之间通过跳跃连接（skip connection），将得到的所有有效特征层进行特征融合。最终利用最后一层的有效特征层，通过 Softmax 对每一个特征点进行分类。2 Elan-UNet 网络语义分割网路本文保留了 U-Net 网络基本的网络结构，提出了一种Elan-UNet 网络结构。其整体结构分为编码、解码两部分。编码部分由特征提取模块、降采样模块组成；解码部分由上采样模块组成，结构与编码部分对称。算法整体的结构图，如图 3 所示。2.1 编码器Elan-UNet 基本框架如图 3 所示。编码阶段通过 5 次Elan 模块对遥感图像特征提取，以及 5 次下采样模块，最后将特征图尺寸变为原来的 1/2。编码器解码器图 2 U-Net 网络模型Down-samplingblockElan blockDown-samplingblockElan block samplingblockElan blockDown-samplingblockElan block samplingblockElan blockDown-samplingblockElan block samplingblockElan blockDown-samplingblockElan blocksamplingblockElan blockDown-samplingblockElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan blockConvTranspose 2dElan block图 3 Elan-UNet 模型结构图91912023.062023.06第 11期与目前主流编码器使用池化操作不同，本文的降采样模块是多分支组合降采样模块，由 2 个分支组成，分支 1 采用最大池化，然后进行 11 的卷积；分支 2 先进行 11 的卷积改变通道数，然后进行步长为2的33卷积来进行降采样，最后将分支 1 与分支 2 的结果加起来，得到增强后的降采样特征，结构图如图 4 所示。BCWHMax PoolingBCW/2H/2BC/2W/2H/2BC/2W/2H/2BC/2WHBCW/2H/2concatConv(11)Conv(11)Conv(33)stride 2图 4 下采样模块结构图2.2 解码器解码器的主要功能是将编码器提取的浅层语义信息进行处理，进一步提取出更高级的语义特征，并通过反卷积操作进行上采样，将提取的高级语义特征扩展到输入影像的尺寸，最后利用分类器对高级语义特征逐像素分类完成分类任务。本文解码器是由 Elan 模块和上采样模块组成，Elan 模块用于提取高级语义特征，上采样用于扩展特征图尺寸。上采样模块是采用反卷积操作完成的。反卷积是一种特殊的正向卷积，先按照一定的比例通过填充 0 来扩大输入图像的尺寸，接着旋转卷积核，再进行正向卷积，具体操作如图 5 所示。图 5 反卷积结构图3 实验分析3.1 实验环境与数据集简介本文所有算法是在 Win 10 系统，Python 3.8 环境下进行对比实验。本文对算法验证是在 WHU Building Dataset 上进行的，WHU Building Dataset 主要分为训练集、验证集、测试集三部分，其中训练集有 4 736 张 512512 尺寸的建筑影像，验证集有 1 036 张 512512 尺寸的影像，测试集有2 416 张 512512 尺寸的影像。训练集主要用于训练模型，验证集用于挑选训练性能最优的模型，测试集用于评价训练出来模型的性能。3.2 实验过程及结果分析为证明算法的有效性，本文将 Elan-UNet、U-Net、DeepLab V3、SegNet 四个算法在 WHU Building Dataset 进行训练并对各项指标进行模型性能测评，例如交并比（IoU）、精确度（Precision）、召回率（Recall）、F1_Score 值等。为了验证算法公平性，本文的对比实验是在相同 epoch次数、损失函数、优化器进行；其中 epoch 都设置 100 次，优化器为 Adam 算法，Loss 为交叉熵函数。为了保证参数初始化带来的影像，本文的所有的模型编码器都没有使用大型公共数据预训练模型。为了验证算法在训练时的收敛情况以及算法模型的精确度，本文记录了各模型 Loss 情况以及每一轮模型在测试集上精确度，如图 6 所示。loss/precisionepoch0 20 40 60 80 10