基于多源数据融合的农村建筑智能识别与三维建模方法研究_陈彪.pdf

第 43 卷 第 2 期2023 年 2 月Vol.43，No.2Feb.，2023热带地理TROPICAL GEOGRAPHY基于多源数据融合的农村建筑智能识别与三维建模方法研究陈彪1，彭欣月1，周素红2，陈家亮1，孔宪娟1，卞明月1，林高远1（1.奥格科技股份有限公司，广州510000；2.中山大学 地理科学与规划学院，广州510275）摘要：中国幅员辽阔且农村房屋数量庞大、分布广泛，乡村地区低成本、广覆盖的信息采集和建模一直是乡村信息化亟待解决的问题。文章提出了一种简易的农村三维建筑建模方式，即基于多源数据融合的农村建筑智能识别与三维建模方法，并以广东省云浮市新兴县河村为研究对象，建立精细化三维建筑模型。该方法分为粗模生成和深化建模2个阶段。首先，在粗模生成阶段，基于高分辨率遥感影像和Mask R_CNN技术识别建筑物，确定房屋位置并拉伸生成基础白模；在深化阶段，外业采集员根据实际情况，基于农村建筑模型库将基础白模替换为更精细的、参数化的白模；然后，通过简单的手机拍摄及纹理处理，实现建筑立面纹理的补充；最后，通过坐标匹配、影像地形融合、三维轻量化等技术形成真实的、可存储和可交换的三维建筑模型，可支撑乡村调查、乡村规划、乡村建设、共同缔造等应用。该方法简单易用，降低了常规建模在数据采集、处理等技术方面的高要求，为农村地区提供一种低成本、高效率的“大众化”建筑三维重建方法。关键词：农村建模；建筑智能识别；纹理映射；Mask R_CNN中图分类号：TP751；TP183 文献标志码：A 文章编号：1001-5221(2023)02-0190-12DOI：10.13284/ki.rddl.003633 开放科学（资源服务）标识码（OSID）：中国农村地域辽阔，建筑物作为典型的地物要素，是农村生活空间的主体，同时也是乡村振兴用地的重要保障之一（徐涛 等，2022）。此外，农村建筑物的三维场景一张图是乡村信息化建设的重要数据之一，通过对农村建筑物识别可有效分析当前农村的密集程度和土地利用率（古杰 等，2013；王利忠 等，2019），同时对优化乡村发展布局、促进乡村振兴实施具有重要的现实意义。但现阶段农村房屋数据较为稀缺，如何快速、准确地构建农村三维建筑模型是乡村信息化建设的首要内容。早期三维建筑建模依靠人机交互，在二维矢量数据的基础上，利用3dsMAX、CAD等软件手动构建建筑物三维模型（谢小魁 等，2016；单杰 等，2019）。该方式模型精度高，但存在建模成本高、耗时长、覆盖范围小、真实纹理采集困难等问题，无法满足大范围快速建模的需要（张春敏 等，2018；张俊辉 等，2020）。随着倾斜摄影技术的广泛应用，自动化三维建筑建模取得很大进展。也有研究结合航空立体像对与3dsMAX软件完成了三维建模以及纹理映射（程慧，2013；李德仁 等，2015；文雄飞 等，2016；张春敏 等，2018）。陈良超等（2018）提出一种基于底面纹理的倾斜摄影模型动态单体化方法。周晓敏等（2016）采用倾斜影像联合空中三角测量技术，通过多视影像密集匹配和自动纹理关联，实现城市高精度真三维模型的构建。倾斜摄影技术为三维模型领域带来新的方法，但该类方法计算过程复杂且对数据质量具有较高的要求，所构建的三维模型在近地面时常存在纹理模收稿日期：2022-09-09；修回日期：2023-01-15基金项目：城市信息模型（CIM）平台关键技术研发及广州示范应用（202103050001）作者简介：陈彪（1987），男，湖南邵阳人，高级工程师，学士，主要从事计算机三维技术等方面的研究工作，（E-mail）chenb ；通信作者：彭欣月（1996），女，江西萍乡人，硕士，主要从事计算机三维技术等方面的研究工作，（E-mail）。陈彪，彭欣月，周素红，陈家亮，孔宪娟，卞明月，林高远.2023.基于多源数据融合的农村建筑智能识别与三维建模方法研究.热带地理，43（2）：190-201.Chen Biao,Peng Xinyue,Zhou Suhong,Chen Jialiang,Kong Xianjuan,Bian Mingyue,and Lin Gaoyuan.2023.Intelligent Recognition and 3D Modeling of Rural Buildings Based on Multi-Source Data Fusion.Tropical Geography,43(2):190-201.陈彪等：基于多源数据融合的农村建筑智能识别与三维建模方法研究2 期糊、丢失、扭曲形变等问题，无法还原精细、完整的真实建筑物的空间信息（王琦 等，2012；张茂正 等，2022）。此外，建筑单体化还需进行二次操作（包括建筑结构重建与纹理贴图），耗时更长。近年来，高分辨率卫星的飞速发展，为地物识别分析提供更丰富的途径和资源（王艳阳 等，2020）。高分辨率卫星数据集空间分辨率高，地物边界、形状和纹理也更加清晰，足以支撑对目标地物的识别，且覆盖范围大、采集周期较短、成本相对较低、受气象条件影响较小，使得利用高分辨率卫星影像快速制作大范围三维建筑物模型成为现实（陈良超 等，2018）。如曹治国等（2006）利用IKONOS卫星立体像对实现城市场景的快速三维重建。龙北平等（2021）基于无人机遥感影像利用迁移学习法实现乡村建筑物的快速检测，并结合参数化建模方法完成乡村区域建筑物的三维模型重建。为了更好地满足精细化实景三维建模的需求，基于多源数据融合的三维建模成为主流研究方向。目前，常见的融合建模方法主要结合航空摄影技术与LiDAR或地面近景摄影技术（连蓉 等，2017）。如张俊辉等（2020）利用 WorldView-3 卫星、GeoEye-1卫星影像和互联网众源影像完成迪拜市建筑物单体化建模。孙保燕等（2019）融合航摄影像与地面照片重建桂林市靖江王陵的三维模型。Yu等（2021）利用深度学习从航空影像中提取建筑轮廓并构建一级细节（LOD1）模型。上述研究中，最优纹理的挑选与映射仍是三维重建需攻克的关键技术。大多数研究方法均围绕城市三维建模展开，鲜少有针对农村地区三维建筑建模的一套完整方案。若直接将城市三维建模方法应用在农村地区，会存在投资成本高、维护周期长等问题。鉴于此，本文提出一种基于多源数据融合的农村建筑智能识别与三维建模方法，基于高分遥感影像识别建筑的轮廓，形成基础白模，然后依靠现场采集人员利用手机设备完善模型细节，最后提供多端设备及三维技术展示建模成果。并以广东省云浮市新兴县河村单体建筑为建模对象，采集建立了村庄的精细化三维建筑模型，以期实现乡村精细化的管理。1 研究方法 在农村地区，众包建模在资金投入方面显然比倾斜摄影等建模方法更具成本优势，但众包建模往往需要在操作流程上简单易用，以便公众参与。本文提出的基于多源数据融合的农村建筑智能识别与三维建模方法，分为粗模生成和深化建模2个阶段。在粗模生成阶段，基于高分辨率遥感影像利用深度学习算法初步勾勒建筑基本形态，包括位置、尺寸及方位；为解决由模型精度不高引起的建筑轮廓畸形等问题，提出建筑轮廓正则化算法和自适应的建筑校正算法；融合农村的建筑高度信息则可拉伸成基础三维白模。在深化建模阶段，现场采集人员在基础白模的基础上，通过模型替换、尺寸调整、纹理贴图等方式，逐步深化为精细化的三维建筑模型。最后，通过自动化的三维模型融合技术形成完整的农村电子沙盘，支撑智慧农村建设的各项应用。总体技术流程如图1所示。1.1基于Mask R_CNN的建筑识别基于深度学习的建筑目标提取已被证明比传统的 方 法 更 有 效（Bittner et al.,2018；胡 舒 等，2020），其中，Mask R_CNN算法（He et al.,2017；陆清屿 等，2021）在建筑物识别方面表现出鲁棒性，因此，利用Mask R_CNN算法实现建筑物的自动识别，其技术路线如图2所示，主要分为模型训图1农村建筑建模总体技术流程Fig.1Overall technical flow of rural building modeling19143 卷热带地理练和模型测试2个阶段。首先，从影像数据截取建筑物遥感影像建立样本训练集，利用LabelMe标注工具标记出遥感影像中建筑物的轮廓；然后，将训练集输入到Mask R_CNN网络架构中，经过多次迭代得到最优的建筑目标识别模型。Mask R_CNN能同时分割出建筑与背景部分，对于每一个建筑都能产生与原图相同大小的分割掩膜。基于Mask R_CNN算法的建筑物目标识别方法步骤为：首先，将裁剪好的遥感影像输入到预训练好的神经网络（卷积层1）中进行卷积、池化，得到对应的特征图（图3）；接着，对特征图的每个像素设定固定的感兴趣区域（ROI）数量，从而获得多个候选ROI；然后，将候选ROI输入至区域建议网络（RPN）进行前景（建筑物）和背景分割以及边界框优化，精炼出前景得分最高的ROI；下一步，将精炼后的ROI进行ROI Align操作，使得特征图像素能与原图像素完全对齐；最后对ROI通过卷积层2进行建筑分类、边框回归和建筑掩膜生成。1.2建筑轮廓提取建筑物目标识别模型输出的结果为掩膜图像，而粗模生成需得到建筑的底部轮廓，因此需要从掩膜图像中提取建筑外轮廓，并对建筑轮廓正则化。本文结合Ostu算法（Ostu,2007；宋森森 等，2019）对掩膜图像进行阈值分割并提取建筑外轮廓。Ostu算法原理是根据直方图确定阈值将灰度图像分割成目标和背景2部分，使得目标与背景的类间距离最大。结合k-means聚类算法，建筑轮廓提取与正则化步骤为：1）输入掩膜图像，利用Ostu算法进行分割，取99的内核执行2次开运算，平滑图像边缘、消除细狭缝、截断细连通；2）提取分割后的几何轮廓，得到多个轮廓多边形Pi(i=1，2，.，n)；3）计算图像中每个多边形的面积APi(i=1，2，.，n)，如果APi值在十分位数以下则直接删除；利用k-means聚类算法对APi进行分类，将聚类集合中数量少且面积过小的多边形删除；4）计算剩下的所有多边形的最小外接矩形P*i(i=1，2，.，n)，设定阈值T，如果最小外接矩形面积与多边形面积的比值小于阈值，即AP*iAPi T，则令P*i为最终建筑轮廓；5）利用Douglas-Peucker算法对Pi进行优化，减少建筑轮廓中重复或过于密集的点，并以最终的优化结果为建筑轮廓。1.3自适应的建筑校正算法通常，由于影像分辨率、树木遮挡、算法识别精度等影响因素，识别的建筑轮廓并不能完美匹配真实情况，会出现多个建筑识别为一个建筑、建筑方位抖动、建筑边角缺失等问题。考虑到农村建筑一般具有尺寸和方位的一致性，提出自适应的模型校正方法，对建筑大小和方位施加约束。1.3.1建筑分割遥感影像中的农村地区成片建筑在尺寸和风格上基本一致且布局紧密，如图4-a所示。但受树木、地面等干扰物的影响，或因相邻建筑分布紧密、建筑物目标识别模型精度不足等，掩膜图像会存在较小或很大的建筑轮廓。通过计算掩膜面积发现：一定区域范围的建筑面积呈近似正态分布。因此，可利用正态分布阈值控制方法对识别后的建筑大小进行校正。假设目标区域内有n个建筑，且所有的建筑像素面积AM=A1，A2，.，Am，.，An可用正态分布表示：f(x)=12 Aexp|-(x-A)22A2（1）式中：A为区域内建筑像素面积的均值；A为区域内建筑像素面积的标准差。如 果 第 m 个 建 筑 像 素 面 积Am(m=1，2，.，n)在 区 间(A-A1，A+A2)内，则不做处理；其中，1、2为正态分布阈值控制参图2建筑物目标识别技术路线Fig.2The technology route of building object recognition192陈彪等：基于多源数据融合的农村建筑智能识别与三维建模方法研究2 期数。如果Am A+A2，则将该建筑分割为面积较小的 2个建筑。1.3.2建筑旋转由于建筑一般为成片修建，所以相邻的建筑朝向应该是一致的。建筑分割