基于高程感知多尺度图卷积网络的地物分类.pdf

http:/DOI:10.13700/j.bh.1001-5965.2021.0434基于高程感知多尺度图卷积网络的地物分类文沛1，2，程英蕾1，*，王鹏1，赵明钧1，张碧秀1，3(1.空军工程大学信息与导航学院，西安710077；2.中国人民解放军93575 部队，承德067000；3.中国人民解放军93897 部队，西安710077)摘要：机载激光雷达获取的点云具有类别分布不均匀、样本高程差异大的复杂特点，现有方法难以充分识别其细粒度的局部结构。针对该问题，堆叠使用多层边缘卷积算子同时提取局部信息和全局信息，并引入高程注意力权重作为特征提取的补充，设计了一种用于机载激光雷达点云地物分类的端到端网络，提出基于高程感知多尺度图卷积网络的地物分类方法。对原始点云划分子块并采样到固定点数；采用多尺度边缘卷积算子提取多尺度局部-全局特征并进行融合，同时采用高程感知模块生成注意力权重并应用于特征提取网络；利用改进的焦点损失函数进一步解决类别分布不均问题，完成分类。采用国际摄影测量与遥感学会（ISPRS）提供的标准测试数据集对所提方法进行验证，所提方法的总体分类精度达到 0.859，单类别分类精度特别是对建筑物的提取精度较ISPRS 竞赛中公开的最好结果提高了 4.6%。研究结果对实际应用和网络设计优化具有借鉴意义。关键词：图像处理；图卷积；深度学习；高程感知；点云分类中图分类号：V557+.3；TP391文献标志码：A文章编号：1001-5965（2023）06-1471-08机 载 激 光 雷 达（light detection and ranging,LiDAR）作为一种主动式对地观测系统，获取的高精度、高密度三维点云已广泛应用于自动驾驶1、三维重构2、森林监测3、电力线检测4等领域，为3D 目标感知和场景理解提供了重要空间信息。尽管研究人员提出了大量处理点云的方法5-7，由于机载远距离传感器噪声高、场景复杂等因素，机载激光雷达点云的分类仍极具挑战。传统机器学习方法通常基于手工设计规则提取特征并选择合适分类器进行分类8-10，模型泛化能力弱，对专业经验依赖程度高。随着深度学习在图像处理领域的巨大成功，研究者们开始采用深度学习模型处理点云分类问题。目前，基于深度学习的点云分类方法主要有 3 种：多视图投影、体素化及直接处理原始点云。多视图卷积神经网络（multi-viewconvolutionalneuralnetworks,MVCNN）11将点云从不同位置和角度投影到多个 2D 视图后进行卷积操作提取特征，较传统机器学习方法效果更优，但极易受视点选择影响。文献 12 将点云划分为多尺度体素，提取不同空间分辨率的多尺度特征，并依据此特征预测类别概率，在遥感测绘领域取得良好效果，但内存消耗大、训练时间长。PointNet是将原始点云作为模型输入的开创性工作，采用旋转矩阵、最大池化等方法，以较低代价、较好效果解决了点云无序性、置换不变性和旋转不变性的问题13。PointNet+在此基础上补足了其无法捕获局部邻域信息的缺陷14。许多研究者受 PointNet+启发对模型进行改进，但大都在不同邻域内独立处理点，忽略了点之间的几何关系及邻域间的拓扑关系，导致有用信息的缺失7。收稿日期：2021-08-02；录用日期：2021-10-29；网络出版时间：2021-11-2216：36网络出版地址： J.北京航空航天大学学报，2023，49（6）：1471-1478.WEN P，CHENG Y L，WANG P，et al.Ground object classification based on height-aware multi-scale graph convolution networkJ.Journal of Beijing University of Aeronautics and Astronautics，2023，49（6）：1471-1478（in Chinese）.2023年6月北京航空航天大学学报June2023第49卷第6期JournalofBeijingUniversityofAeronauticsandAstronauticsVol.49No.6针对独立处理点导致的邻域间信息缺失的问题，有学者开始研究基于图的方法。文献 15 基于图结构提取点云特征提出边缘卷积（EdgeConv），通过构造 k 近邻图（k-nearestneighbors,kNN）建立点之间的关系，受此启发，本文也采用图卷积的方法捕获目标丰富的结构信息，提出一种基于高程感知多尺度图卷积网络的地物分类方法。首先对原始点云进行预处理，包括划分子块和采样；将预处理后的点云子块分批次送入多尺度特征提取模块，并对提取的特征进行融合。同时，将相同批次点云子块送入高程感知模块获取对应高程权重，进一步增强特征表达能力，并对损失函数进行改进，解决LiDAR 扫描获取的点云部分类别高程差异较大（例如屋顶一般比其他类别高16），不同类别样本数量和规模差异大（例如屋顶、树木和电力线、汽车等）的问题。最后经过后处理，完成分类任务。实验证明，本文方法可以充分提取点云特征，精确分类得到地物目标。1基本原理与方法1.1点云预处理1.1.1分块策略k0CLCCNCCC10,C11,C12,C13,C14,C15,C16,C17C1i0 C10,C11,C12,C13,C14,C15,C16,C17LC1=LC/2NC1i0NC1i0=0C1i0NC1i0 0j0=k0Cj0i0NC1i0 0为使数据大小不超过 GPU 内存限制，方便后续使用批处理策略对网络模型进行训练，提高训练效率，需要将点云划分为多个子块。具体分块策略如下：设定最大递归深度；以原始点云边界为最大尺寸边界，建立初始立方体，边长为，中共有个点（即原始点云点数）；将立方体等分成 8 个小立方体，得到，对 任 意，边长为，点数为，若，则丢弃；若，则重复步骤，直至递归次数，此时保证任意中点数，则分块结束。1.1.2采样策略Pset=P1,P2,PM|M N+Pr PsetNcurrent N+,r=1,2,MNtarget N+Ncurrent NtargetNcurrent Ntarget为使分块后的子点云能直接输入后续神经网络，需要进行采样操作获得具有固定点数的样本。以分块处理后得到的一系列子点云为基础定义数据集，对任意，点数为。给定常数作为目标点数，当时对子点云块进行下采样，为提高效率，缩短运行时间，本文采用随机采样（randomsampling,RS）；当时对子点云块进行上采样，为降低计算复杂度，本文采用kNN 插值算法。1.2基于图卷积网络的特征提取1.2.1边缘特征提取基于图结构的点云处理算法因其强大的拓扑piqjdj=1,2,kpipiqjpiqjeijpi特征提取能力，近年来得到广泛研究。本文引入边缘卷积算子 EdgeConv15对点及与其邻域点之间的几何关系进行学习，从而捕获点云局部信息。图 1(a)为 kNN 图，以为中心点，为邻域点构建 kNN图，特征维度为，。中心点的边缘特征不仅与本身有关，还与邻域点有关，图 1(b)为边缘卷积，与之间的边缘特征及更新的处特征可表示为eij=h(pi,qj pi)pi=g(eij)=g(h(pi,qj pi)（1）h()g()式中：为边缘卷积函数；为特征聚合函数。ml(l):Rdl1 RdlG(l)=(V(l),E(l)V(l)E(l)E(l)V(l)V(l)piEi=ei1,ei2,eij,eiklE(l)=E1,E2,Ei,EnRnkdl1Rndll图 1(c)为边缘卷积和特征聚合过程，对重复次的边缘特征提取操作，每一个边缘卷积层的输出为下一个边缘卷积层的输入。具体而言，在第层，定义输入输出的映射关系为，kNN 图为，为顶点集合，为边缘集合，由此可得任意中心点的边缘特征为，第 层的边缘特征张量为，映射关系为。边 缘 卷 积 函 数 取 多 层 感 知 机（multilayerperceptron,MLP），特征聚合函数取最大池化（Max-pooling），则第 层的输出为output(l)=Maxpooling(MLP(E(l)=Maxpooling(ReLU(W(l)E(l)+b(l)（2）W(l)b(l)ReLU式中：为共享权值矩阵；为全连接层中的偏置向量；为激活函数；eijpiqjL1L2根据式(1)可知与和均有关，本文使用点间距的、范数和点坐标构建边缘特征向量，计算如下：qkqkeikei1ei2ei3ei4ei5q1q1q2q2q3q3q4q4q5q5pipi(qj)(qj).(a)kNN图(b)边缘卷积(c)图卷积G0G1GiGm图1边缘特征提取示意图Fig.1Schematicdiagramofedgefeatureextraction1472北 京 航 空 航 天 大 学 学 报2023年eij=(L1,L2,P,Q)L1=ds=1?xisxjs?L2=(ds=1(xisxjs)2)1/2（3）L1L2piqjPQpiqjxisxjspiqjs式中：和分别为和之间的曼哈顿距离和欧氏距离；和分别为和的三维坐标；和分别为和的第 维坐标值。1.2.2多尺度局部-全局特征提取kNN 图描述了中心点和其前 k 个最近邻点之间的邻接关系，当 k 取不同大小值则捕获中心点附近不同比例的局部邻域信息；EdgeConv 模块同时考虑了邻域内的局部信息和全局信息，通过层次堆叠使用 EdgeConv 模块可以提取单尺度局部-全局特征。本文通过融合多比例边缘卷积特征提取模块的输出来实现多尺度局部-全局特征的提取，如图 2 所示，其中 M1、M2和 M3为 k 的不同取值，以此达到构造不同尺度领域空间的目的。首先根据kNN 图 生 成 边 缘 特 征 向 量，通 过 多 层 感 知 器MLP(64,64,128)和 最 大 池 化 层 Maxpooling(128)得到 浅 层 边 缘 特 征；然 后 输 入 MLP(128,256)和Maxpooling(256)获 取 深 层 特 征；进 一 步 采 用MLP(256,512)和 Maxpooling(512)获取更深层次特征；然 后 将 每 层 输 出 特 征 进 行 拼 接，并 送 入MLP(896,1024)和 Maxpooling(1024)得到深层边缘特征；最后将多比例特征进行融合，得到多尺度局部-全局特征。输入输出边缘特征向量边缘卷积MLP边缘卷积MLP边缘卷积MLP最大池化最大池化MLP最大池化最大池化CC特征拼接kNN图k=M1kNN图k=M2kNN图k=M3特征提取模块特征融合特征提取模块特征提取模块特征提取模块图2多尺度特征提取示意图Fig.2Schematicdiagramofmulti-scalefeatureextraction1.3高程感知模块与室内场景点云不同，机载激光雷达获取的点云在不同类别地物间呈现差异较大的高程分布特点，例如建筑物高程普遍高于植被、车辆等。为充分利用不同类别间的高程差异特性，本文引入高程感知模块17，生成点的高程注意力权重，使模型充分考虑每个点的高程信息，提高分类精度，改善分D1类效果。具体而言，对输入点云取 z 坐标生成 1 维特征向量，通过权值共享的 MLP 对其进行升维，获取与特征提取主干网络输出的节点特征（维度为）相匹配的高维特征，最后通过 Softmax 层得到高程注意力权重，原理如图 3 所示，其中，D 为输入点云维度，N 为预处理后输入网络的点云中点的数量。S Softmax11 卷积批归一化ReLUMLPSN(3+D)N1ND1ND1高程感知模块11 卷积批归一化ReLU批归一化ReLU11 卷积图3高程感知模块原理图Fig.3SchematicdiagramofHeight-awaremodule1.4高程感知多尺度图卷积网络本 文 设 计 的 高 程 感 知 多 尺 度 图 卷 积 网 络（height aware multi-sc