基于空地影像融合的实景三维建模研究_段芸杉.pdf

地矿测绘2023，39(1):1822CN 531124/TDISSN 10079394Surveying and Mapping of Geology and Mineral esources基于空地影像融合的实景三维建模研究*段芸杉1，吴献文1，刘玲玲2(1广东工贸职业技术学院，广东 广州510550;2河北省欣航测绘院有限责任公司，河北 廊坊065000)摘要:由于古建筑物形状窄而高、建筑结构复杂多样，导致基于单一数据的建模技术因数据采集的限制，无法构建完整的古建筑三维模型。本研究以倾斜影像数据为主，地面近景影像数据为辅的采集方法来克服以上问题。通过将空地影像同名区域的点云数据进行融合来实现多源坐标系的统一，并对融合后的模型进行精度评价。实践证明，该方法可以为古建筑物的建模提供新思路。关键词:倾斜摄影;地面近景摄影;数据融合;三维建模;古建筑;数据采集;精度评价中图分类号:P 231;P 237文献标识码:A文章编号:10079394(2023)01001805esearch on eal Scene 3D Modeling Based on Air-Ground Images FusionDUAN Yun-shan1，WU Xian-wen1，LIU Ling-ling2(1Guangdong Polytechnic of Industry and Commerce，Guangzhou Guangdong 510550，China;2Hebei Xinhang Surveying and MappingInstitute Co，Ltd，Langfang Hebei 065000，China)Abstract:Due to the narrow and high shape of ancient buildings with the complex and diverse structures，themodeling technology based on a single data cannot build the complete 3D model of ancient buildings for the limita-tion of data collectionIn this study，we uses the acquisition method that is the oblique image data primarily and theground close-range image data secondarily to overcome the above-mentioned problemsThe unification of the multi-source coordinate system is achieved by fusing the point cloud data of the area with the same name in the air-groundimage，and the accuracy of the fused model is evaluatedPractice has proved that this method can provide some newideas for the modeling of ancient buildingsKey words:tilt photography;ground close-range photography;data fusion;3D modeling;ancient building;dataacquisition;accuracy evaluation0引言随着实景三维建模技术的迅速发展1，无人机倾斜摄影测量技术2 也得到了极大的关注。其在城市规划3、数字城市、消防救护、地灾应急、建筑设计以及工程施工等方面起到了巨大作用。2015年广西某县大面积地面隆起断裂，导致房屋公路遭到严重破坏，事后国土、安监部门用无人机对灾区进行了航拍，通过高精度差分定位和高效的数据处理，采用三维建模的手段及时提供了灾区高清影像图和三维地表模型，使得救援指挥工作准确快速展开。由此可见，实景三维建模技术已经融入人们的生活中4。虽然基于无人机倾斜摄影可以获得地物顶部和侧面的高分辨率影像5，但是，由单一的无人机倾斜影像数据构建模型6 会因近地面地物遮挡或81*收稿日期:20220715基金项目:智慧城市时空大数据与云计算产教融合创新平台(2020CJPT023);广东省测绘地理信息虚拟仿真产教融合创新平台(2021CJPT001)DOI:10.16864/ki.dkch.2023.0014建筑物自身遮挡等因素，使得影像覆盖不完全7，最终使模型出现纹理模糊、拉花、扭曲变形、空洞等问题，造成模型的精度下降。为解决这一问题，一般做法是将模型单体化，使模型效果逼真，但需要采集大量的坐标和纹理数据，大大增加成本，导致建模效率不增反降8，而多源数据融合建模可以较好地解决这一问题9。对航拍中的死角区域采用三维激光扫描或近景摄影测量方式进行补测，使得数据更加完整，便于后期精细模型的构建。如，余芳强等人运用倾斜摄影、三维激光扫描与 BIM 技术对上海玉佛寺进行精细建模，得到高精度古建筑物模型;王超等人通过车载和机载 Lidar 数据对建筑物进行点云融合建模10。本研究选取无人机倾斜摄影与地面近景摄影的方式进行融合建模。首先在无人机航拍获取数据的基础上，采用地面近景摄影的方式进行建筑物细节补拍11，然后使用建模系统对两种数据进行融合建模12，保证在不增加生产周期的情况下提高模型精度。1研究区概况及数据来源11研究区概况本研究选取河北省廊坊市大城县郝家村的马家祠堂为实验数据，其位于河北省廊坊市最南端，位于东经 116653，北纬 38705。祠堂的建筑面积为299.599 m2，占地面积为 842.614 m2。12影像数据采集121倾斜影像数据采集本研究航拍设备采用大疆多旋翼 DJI Phantom4TK 无 人 机，搭 载 相 机 型 号 为 FC6310，焦 距8.8 mm，影像最大分辨率(3 2)为 5 4723 648 像素。为了能够构建更加精细的模型，航高设置为30 m，航向重叠度与旁向重叠度分别设计为 80%和75%，平均地面采样距离为 0.82 cm/pixel，共获得影像2 119张。图 1 为无人机所拍摄影像示例。图 1无人机倾斜影像示例Fig1Example of tilting image of UAV122地面近景影像数据采集从图 1 中可以看到，基于无人机倾斜摄影的影像无法清晰展现近地面地物纹理特征，需要对近地面地物进行近景摄影，获取近地面处建筑物的外立面、房檐等位置的影像13。获取近景影像的设备为SONY 的 DSCH200，焦距 22.3580 mm，影像最大分辨率(4 3)为 5 1843 888 像素。地面近景摄影所拍摄影像应与倾斜摄影在近地面处获取的影像数据具有较高重叠度。在拍摄时相邻两张影像重叠率不小于 70%，夹角不大于15，且沿着建筑物呈顺时针或逆时针方向拍摄，并与建筑物的水平距离为 6 m。图 2 为地面近景摄影的影像数据示例。2多源数据融合建模及效果分析实验流程图 3 所示。图 2地面近景影像示例Fig2Example of ground close-range image本研究首先将倾斜影像与近景影像分别进行空中三角测量计算1415，生成带有地理坐标的倾斜影像与无地理坐标的近景影像稀疏点云结果。然后在上述无人机倾斜影像空三生成的点云结果基础上进行三维重建，生成带有地理坐标信息的初始91第 39 卷第 1 期段芸杉，吴献文，刘玲玲:基于空地影像融合的实景三维建模研究图 3多源数据融合建模的实验流程图Fig3Experimental flow of multi-source data fusion modeling三维模型16，从初始模型上选取坐标点作为近景影像的控制点，对加入控制点坐标的地面近景影像进行二次空三计算，从而生成带有坐标信息的空三计算成果。在此实验数据中，因出现纹理特征相似的区域，系统自动匹配时会出现错误匹配点对，导致最后结果精度降低。本研究采用手工添加连接点的方式来增加匹配点对，并对添加连接点后的数据进行空三计算，以此提高融合精度，有效避免自动匹配错误现象。在空三结果的基础上通过多视密集匹配算法计算出物方空间中每个点的三维坐标，以此来重建整个测区的实景三维模型。再通过构建 TIN 三角网生成白膜，经过自动纹理映射后生成带有真实色彩的三维模型。结果如图 4 至图 6 所示。图 4 显示的是融合前后祠堂三角网模型整体效果对比图，从矩形框标出的至部分可以看出，融合前所构建的三角网杂乱无章，且在建筑物内部因无人机拍摄视角的问题导致无法获取影像，使得构建的模型出现漏洞与扭曲拉花情况;经过多源数据融合之后，整体三角网分布密集，在融合前出现的漏洞部分也重新构建了三角网，而且对融合前模型出现扭曲变形的地方也进行了纠正，构建出正确的纹理图，如图 4(d)中至所示。图 5 和图 6 是对地面处的较小部件细节纹理处理展示。对于祠堂门前的石狮子，基于单一无人机倾斜影像构建的模型只体现出了大概的形态与轮廓特征，而石狮子的眼睛，嘴巴等细节部位都没有展现出来。在融合后的模型中则可以清晰地看到石狮子各个部位的细节纹理，以及其身后牌匾的内容。从图 6(a)组图中所标出的至中可以看出，在融合前，建筑物模型在房檐下方出现了多处无纹理和扭曲拉伸现象，牌匾处的字体也不清晰，这是因为无人机在航拍过程中因拍摄视角受限导致类似地方的影像缺失，导致不能进行同名区域的特征点匹配和构建三角网，在进行纹理贴图时也因影像的缺失导致构建的模型比较粗糙，只能从整体进行观看，却不能进行单体化等一系列操作。而在融合后的模型中(见图 6(b)组图中的至)可以看到屋檐下方的斗拱、榫柳等部位的模型都完整地构建了出来，并且彩绘纹理细节也更加完整。图 4融合前后整体差异对比Fig4Comparison of overall differences before and after fusion图 5融合前后小部件建模效果对比图Fig5Comparison of widget modeling effects before and afterfusion02地矿测绘2023 年 3 月图 6融合前后建筑物细节处建模效果对比图Fig6Comparison of modeling effects at building details before and after fusion通过观察可以发现，经过融合后的模型相对于融合前的模型在细节纹理部分处理更加精确，且近景摄影对近地面建筑细节纹理处的数据采集有效地弥补了无人机倾斜摄影拍摄角度单一和获取影像分辨率低的缺陷。基于两种数据融合建模所生成的实景三维模型，不论是从整体上看，还是从细节上看，生成的模型结果都具有照片级别的纹理特征和真实感，满足 CH/T 90152012 三维地理信息模型数据产品规范 中针对三维模型提出的复杂度要求。3精度评价通过对无人机倾斜摄影与地面近景摄影获取的影像数据进行处理，生成高精度融合实景三维模型，该模型可以在 3Dview 中打开并获取三维地理坐标。将实地采用 TK 测量的 20 个检查点的三维坐标设为真值，模型上选取的同名点坐标值为观测值。利用平面中误差与高程中误差来验证模型精度，计算公式为:ms=ni=1X2+Y2()/n(1)mz=ni=1(Z2)/n(2)式中:ms为平面中误差;X、Y 为模型同名点与检查点平面坐标差;mz为高程中误差;Z 为模型同名点与检查点高程差;n 为检查点个数。检查精度结果如表 1 所示。表 1外业检查点坐标精度Tab1Coordinate accuracy of field inspection points点号较差/mXYZ点号较差/mXYZ10220.