基于三维重构的钢桥表面锈蚀提取方法研究_倪有豪.pdf

第 4 5 卷 第 1 期2 0 2 3 年 1 月铁道学报JOUNAL OF THE CHINA AILWAY SOCIETYVol 45No 1January2 0 2 3文章编号:1001-8360(2023)01-0128-07基于三维重构的钢桥表面锈蚀提取方法研究倪有豪1，王浩1，茅建校1，贡照华2，惠卓1(1 东南大学 混凝土及预应力混凝土结构教育部重点实验室，江苏 南京211189;2 中国铁路上海局集团有限公司 南京桥工段，江苏 南京210011)摘要:为实现钢桥表面锈蚀的准确提取及可视化，提出基于三维重构的钢桥锈蚀提取方法。该方法利用无人机采集桥梁影像，基于倾斜摄影生成三维点云模型，通过点云模型进行 GB 颜色分布直方图统计，获取模型初始聚类中心，运用 K-means 聚类算法结合最大类间方差法获取锈蚀最佳分割阈值，进而对锈蚀率及锈蚀等级进行评估，并结合点云模型实现锈蚀可视化。以某钢桁拱桥为背景，采用该方法提取锈蚀区域，基于视觉分析和定量分析进行精确度评价，验证方法的有效性。结果表明，该钢桥的表面锈蚀率 1.3%9.4%，锈蚀等级为 34 级;提出的钢桥锈蚀提取方法平均正确提取率可达 90.1%，平均漏提取率、误提取率分别为 9.9%、8.2%，可有效用于钢桥表面锈蚀提取。关键词:桥梁工程;锈蚀提取;倾斜摄影;点云模型;K-means 聚类算法中图分类号:U216.41文献标志码:Adoi:10.3969/j issn 1001-8360.2023.01.016Study on Extraction Method of Surface Corrosion of Steel BridgeBased on 3D econstructionNI Youhao1，WANG Hao1，MAO Jianxiao1，GONG Zhaohua2，XI Zhuo1(1 Key Laboratory of CPC Structures of Ministry of Education，Southeast University，Nanjing 211189，China;2 Nanjing Bridge Division，China ailway Shanghai Group Co，Ltd，Nanjing 210011，China)Abstract:In order to precisely extract and visualize steel bridge surface corrosion，an extraction method of steel bridgesurface corrosion was proposed based on 3D reconstruction Initially，based on the bridge video acquired by unmannedaerial vehicle，a three-dimensional point cloud model of the bridge was formed through the oblique photography technolo-gy，and the analysis of histogram statistics of gray value distribution was performed in three channels of GB colourSubsequently，the initial clustering center was obtained，while the best segmentation threshold was obtained by combi-ning with K-means clustering algorithm and Otsu s method Finally，the corrosion rate and corrosion grade were evalua-ted，and the visualization of the surface rust was realized through the point cloud model Based on the case of a steeltruss arch bridge，this method was used to extract the rust area，and visual analysis and quantitative analysis were usedto evaluate the extraction accuracy of the rust area to verify the effectiveness of the method The results show that thesurface corrosion rate of the steel bridge is between 1.3%and 9.4%，and the corrosion grade is between Grade 3 andGrade 4 The average correct extraction rate reaches 90.1%，with the average missing and error extraction rates of 9.9%and 8.2%，respectively，which can be effectively used for the extraction of steel bridge surface corrosionKey words:bridge engineering;corrosion extraction;oblique photography;point cloud model;K-means clustering algo-rithm收稿日期:2020-12-11;修回日期:2021-02-25基金项目:国家自然科学基金(51722804，51978155);江苏省科技项目(BE2018120);国家“万人计划”青年拔尖人才项目(W03070080)第一作者:倪有豪(1987)，男，江苏仪征人，博士研究生。E-mail:yhni seu edu cn通信作者:王浩(1980)，男，江西鹰潭人，教授，博士。E-mail:wanghao1980 seu edu cn随着现役钢结构桥梁运营年限不断增长，日益累积的病害对其日常养护管理工作带来新的挑战，同时对养护技术、质量、效率提出新的要求1-2。表面锈蚀作为钢结构桥梁最常见的病害之一，其检测方法的可靠性与及时性能有效降低工程事故的发生概率，延长第 1 期倪有豪等:基于三维重构的钢桥表面锈蚀提取方法研究桥梁结构的服役寿命3。目前，应用图像处理技术已实现基于二维图片的钢桥表面锈蚀提取。如，Son等4 提出基于颜色空间、支持向量机、决策树、K 近邻等分类处理手段的钢桥表面锈蚀提取方法;Yi 等5 采用卷积神经网络模型识别钢材表面锈蚀区域;王达磊等6 通过对锈蚀图像进行语义分割，实现钢桥表面锈蚀区域的检测与定量分析。然而，基于图像处理的锈蚀提取方法难以实现钢桥表面锈蚀的三维提取和可视化。近年来，三维点云技术的飞速发展为实现病害三维的提取及可视化提供了可能，且在旧桥病害重构、变形监测等方面取得卓有成效的研究成果。文献 7-8基于无人机倾斜摄影分别对砌体拱桥和混凝土桥进行三维重构，为旧桥病害分布及严重程度分级提供依据。Ye 等9 以点云格式记录桥梁几何形状，通过分割成不同结构单元与拟合原始形状比对，实现旧桥变形和位移长期监测。Armesto 等10 提出一种依据沿拱顶截面对称性准则确定拱顶变形的方法，实现无任何经验参数情况下拱桥历史变形的准确获取。熊文等11 通过对构件点云模型的时空变化趋势进行跟踪，进行桥梁结构力学现状的判断及发展趋势的预测。然而，基于三维点云在钢结构桥梁锈蚀方面的提取方法研究却鲜有公开文献报道。为实现钢桥表面锈蚀的准确提取及可视化，本文将点云在桥梁病害方面的研究拓展至锈蚀提取方面。在掌握钢结构锈蚀颜色分布特征规律的先验知识基础上，结合 K-means 聚类算法和最大类间方差法获取钢桥锈蚀最佳分割阈值，并运用三维点云模型实现桥梁表面锈蚀的可视化，形成一套钢结构桥梁表面锈蚀准确提取方法，用该方法识别某钢桁拱桥表面的锈蚀区域，运用视觉分析和定量分析对提取的锈蚀区域进行精确评价，并验证方法的有效性。1基于三维点云和聚类算法的钢桥表面锈蚀提取方法1.1基于倾斜摄影的钢桥点云模型点云模型是基于倾斜摄影原理从多角度获取影像数据匹配生成的三维模型，更加客观地反映物体的三维信息12-13。对生成的钢桥点云模型进行滤波，剔除无效数据，如错误数据、噪声、孤立点等。对点云模型中存在的大尺度噪声，一般表现为孤立点，即与主体模型偏离较远，可采用基于空间分布的去噪(StatisticalOutlier emoval，SO14)算法进行粗差剔除。进行粗差剔除后的点云模型，根据需要选择滤波器对噪声进行滤除。均值滤波、中值滤波、高斯滤波都是典型的滤波方法15。其中均值滤波采用邻域模板像素的均值代替目标像素的方法实现滤波;中值滤波可消除椒盐噪声;高斯滤波采用卷积形式实现滤波，适用于符合正态分布规律的噪声。1.2锈蚀提取相关方法1.2.1K-means 聚类算法传统 K-means 聚类算法是从原始数据集中随机选取 K 个数据点进行聚合，作为初始聚类中心16。在给定 D 维欧几里得空间的原始数据集(x1，xN)，将该组数据聚成 K 个簇。引入二值变量 rnk 0，1(n=1，N;k=1，K)来表示数据 xn对聚类 K 的归属，定义损失函数 J 为J=Nn=1Kk=1rnkxn uk2(1)式中:uk为聚类中心。目标是寻找使损失函数 J 最小的所有数据点的归属集 rnk 和聚类集 uk。1.2.2最大类间方差法最大类间方差法是日本学者大津提出用于图像自适应的一种阈值分割算法17，该算法通过图像的灰度特征确定分割阈值，使目标和背景的类间方差取最大值。假设点云模型中背景部分与锈蚀部分的分割阈值为 k0，则类间方差 2表达式为2=1(1)2+2(2)2=12(12)2(2)s t1+2=1(3)11+22=(4)式中:1为背景部分点平均灰度值;1为占整个点云模型的比例;2为锈蚀部分点平均灰度值;2为占整个点云模型的比例;为整个点云模型点的平均灰度值。当类间方差取值越大，说明锈蚀部分与背景部分的差别越大，因此当 2取极大值时所对应的阈值 k0为最大类间方差法确定的分割阈值。1.3技术路线基于三维点云和聚类算法的表面锈蚀提取技术流程见图 1。该方法主要步骤如下:Step1采用无人机搭载高清相机的方式对钢结构桥梁进行拍摄，利用倾斜摄影原理形成钢结构桥梁的三维点云模型。Step2对点云模型进行预处理，即运用 SO 滤波进行粗差剔除以及选取合适的滤波器进行滤波去噪等。Step3统计点云模型中的 GB 颜色三通道灰度分布直方图，利用样本 K-S 检验其三通道灰度分布特921铁道学报第 45 卷征，得到双峰均值作为 K-means 聚类算法的初始聚类中心。Step4对 K-means 聚类算法不断迭代得到中间分割阈值，结合最大类间方差法得到阈值，获取最佳分割阈值。Step5将锈蚀从点云模型中分割出来，通过CloudCompare 软件进行锈蚀分布可视化。图 1锈蚀提取技术流程2工程应用2.1工程背景某大桥是京沪高速铁路一个重要的组成部分，自投入运营以来，已走过近十年风雨。钢桁桥主体结构整体涂装为蓝色18。根据锈蚀形状特点，已出现点状、斑状、整体均匀锈蚀。依据高铁桥梁 10 a 一次大检查的标准，目前需对大桥进行健康检查，包括涂装层表观锈蚀检查。本研究采用大疆 M300TK 无人机，搭载 WP-E2 单云台相机，拍摄分辨率达到 6 K。2.2点云模型预处理基于无人机获取的钢