计算机视觉在管网缺陷快速定位中的应用进展_王宵.pdf

Construction&DesignForProject工程建设与设计1引言1.1研究背景地下排水系统是现代城市中最大的基础设施之一。健康、功能合理的排水系统能有效防止城市内涝，对水资源的可持续发展具有积极作用。然而，由于各种缺陷，如裂缝、偏移、地下水渗入和横向污水管侵入等使得许多国家的管网系统正在恶化，当务之急是需要对管网缺陷类型快速识别并对其状态进行评估，辅助后续修复工程。1.2计算机视觉检测计算机视觉检测是指用各种视频采集系统代替人类视觉器官对目标进行跟踪、检测与识别等。视觉系统通过CMOS、CCD等视频传感器采集到需要场景的视频后，进而通过计算【基金项目】上海勘测设计研究院有限公司科研项目资助（2021JC（8）-002）【作者简介】王宵（1982），男，湖北天门人，副高级工程师，从事工程物探及检测相关技术研究。计算机视觉在管网缺陷快速定位中的应用进展Advances in the Application of Computer Vision in the Rapid Localization ofPipe Network Defects王宵1，郭剑桥2，杨鑫2，李杰1，刘志翔3，张强2（1.上海勘测设计研究院有限公司，上海 200335；2.三峡智慧水务科技有限公司，上海 200335；3.河海大学港口海岸与近海工程学院，南京 210024）WANG Xiao1,GUO Jian-qiao2,YANG Xin2,LI Jie1,LIU Zhi-xiang3,ZHANG Qiang2(1.Shanghai Survey Design&Research Institute Co.Ltd.,Shanghai 200335,China;2.Three Gorges Water Technology Co.Ltd.,Shanghai 200335,China;3.College of Port Coastal and Offshore Engineering Hohai University,Nanjing 210024,China)【摘要】针对污水管道的缺陷检测和状态评估进行了简单阐述，从算法框架以及对算法采取的不同改进策略等方面对已有研究进行了分析。研究发现，不同的管网缺陷检测方法根据算法类别可以分为缺陷分类、缺陷检测和缺陷分割。从缺陷检测算法的精度和速度方面分析算法性能，并基于标准的评判指标对算法进行综合对比，最后基于当前研究的不足以及未来可能突破的技术难题，提出对未来研究的展望和方向。【Abstract】In this paper,the defect detection and condition evaluation of sewage pipeline are briefly described,and the existing research isanalyzed from the aspects of algorithm framework and different improvement strategies.It is found that different defect detection methodsof pipeline network can be divided into defect classification,defect detection and defect segmentation according to algorithm categories.The performance of defect detection algorithms is analyzed from the aspects of accuracy and speed,and the algorithms are comprehensivelycompared based on standard evaluation indexes.Finally,based on the shortcomings of current research and the technical problems that maybe broken through in the future,the prospect and direction of future research are put forward.【关键词】计算机视觉；缺陷检测；状态评估；管网【Keywords】computer vision;defect detection;condition assessment;pipe network【中图分类号】TU992.01【文献标志码】B【文章编号】1007-9467（2023）04-0146-04【DOI】10.13616/ki.gcjsysj.2023.04.044146机算法分析得到立体环境中物体的姿态、形状、运动、位置以及结构等信息，最终通过算法对这些关键信息进行感知、理解和解释，从而做出判断和预测1。基于计算机视觉的目标检测能够从不同复杂程度的背景中辨识出目标物体，并将其与背景分离，从而完成对目标的跟踪、识别等后续任务。因此，目标检测是高层理解与应用的基础任务，其性能的好坏将直接影响后续目标跟踪、动作识别以及行为理解等中高层任务的性能。计算机视觉检测流程如图1所示。1.3管网缺陷检测流程地下污水管道缺陷检测流程包括4个常见步骤：（1）管道图像、视频数据采集；（2）缺陷检测；（3）缺陷等级评定；（4）管道修复及替代材料确定。目前，研究人员开发了多种可用于数据采集阶段的技术：（1）基于闭路电视的检测技术，该技术通过远程控制装有闭路摄像机的机器人来完成，以此获取管道影像信息；（2）管网扫描评估技术，通过传感器设备获取管道扫描数据；（3）集成的声纳和摄像系统，利用声纳和闭路电视摄像机获得管网状况的视图信息。过去的研究中指出，基于闭路电视的检测是最广泛使用的方法之一2，其具有经济、安全和简单的优点，但是其性能受到采集数据质量的限制。因此，基于图像的检测方法需要预处理算法，以去除噪声并提高所收集图像的分辨率。在过去的几十年里，研究人员提出了许多基于闭路电视的缺陷检测方法和算法。传统的机器学习（ML）方法主要根据形态、几何或纹理特征来诊断缺陷。为了提高整体性能，深度学习（DL）已被广泛应用于管网检测中。2基于计算机视觉的排水管网缺陷检测2.1基于分类的缺陷识别由于机器学习技术的进步，很多行业都尝试将基于ML的模式识别应用于自己的领域，如农业、资源管理和建筑。目前，针对二分类和多类的缺陷分类任务，研究者们提出了多种类型的缺陷分类算法。下面描述常用的算法。2.1.1支持向量机（SVMs）SVMs是一种二分类模型，它的目标是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。相较于其他算法，SVMs更加强大、稳健且对过度拟合问题不敏感，但是SVMs算法不能应用于端到端的分类问题。Zuo Xin等3人应用基于特定直方图的SVMs算法对不同的裂缝在子类层面进行分类。通过像素差异特征对视图进行分类的同时定位管道接头，然后应用结构化边缘检测来获得检测图像中的潜在裂缝，利用基本图像处理后的图像二值化对裂缝的二维直方图进行建模，最后训练线性SVMs对裂缝进行分类，裂缝分类的召回率水平达到90%左右。Ye Xiangyang等4人提出了一种图像识别算法，应用了特征提取和机器学习的方法来描述缺陷的特征，并使用SVMs对下水管道缺陷进行分类。算法包括胡氏不变矩、纹理特征、横向傅里叶变换和道贝希斯变换。该诊断系统被应用于中国南方某城市的下水道管道系统，根据检测结果显示，算法定义了7种缺陷，总体准确率达到84.1%。2.1.2卷积神经网络CNN模型通常包括通过对输入图像的堆叠层进行特征提取，如卷积、激活和极化，以及通过全连接层进行分类，以输出每个类别的分数。每一层负责不同的功能，并使用前一层的结果作为输入。与传统方法相比，CNN需要较少的图像预处理，而且图像特征是通过学习提取的，因此，不需要人工设计复杂的特征提取器。近年来，CNN在各种计算机视觉任务（如图像分类、物体图 1基于计算机视觉的目标检测与跟踪框架Intelligentialize and Informatization智能与信息化147Construction&DesignForProject工程建设与设计识别和定位）中的良好表现表明CNN在基础设施的自动缺陷检测方面具有巨大的潜力。目前，已经有部分研究成功将深度学习方法用于基础设施的自动缺陷检测。Kumar等5人使用CNN检测了3种最常见的下水道缺陷，即根部侵入、沉积和裂缝，测试结果的准确度（0.862）、精确度（0.877）和召回率（0.906）的平均值均表明CNN可用于CCTV下水道视频中的缺陷自动分类。2.2基于物体检测的缺陷识别随着深度学习的快速发展，物体检测网络也相继被提出，如R-CNN、YOLO和SSD，并且广泛地被应用于多个领域，如交通、农业和建筑。对于管网检测来说，缺陷定位和分类是两个任务，可以通过上述网络同时解决。与缺陷分类算法不同，物体检测网络是利用矩形边界框（BBs）和置信度（CSs）对图像中的目标进行定位和分类。基于CNN的物体检测方法通常分为两类：一类是单阶段网络，如SSD和YOLO6系列；另一类是双阶段网络，如基于区域的CNN（R-CNN）7系列。在本研究中，对管网检测研究中采用的单阶段和双阶段网络进行了讨论和分析。2.2.1Single Shot Multibox Detector(SSD)Liu Wei等8人提出了一种使用单个深度神经网络检测图像中物体的方法SSD，该方法根据每个特征位置的不同纵横比和比例将边界框的输出空间离散化为一组默认框，在预测时，网络对每个默认框中的物体类别做出区分，并对框进行调整以更好地适应物体形状。此外，该网络结合了来自不同分辨率的多个特征图的预测，可自然地处理各种尺寸的图像检测。SSD方法同样被用来在条件评估框架中检测CCTV图像的缺陷，相比于其他的检测器如YOLO、SSD以及R-CNN，SSD模型拥有最快的速度（每幅图像33ms），表明了实时缺陷检测的可行性。2.2.2You Only Look Once（YOLO）YOLO是一种单阶段算法，其将物体检测视为一个单一的回归问题，并且使用简单而统一的方法来解决，与基于区域的物体检测算法相比，YOLO只使用预定义的网格单元进行预测，显著提高了检测速度，并实现了目标的实时检测。研究人员9提出了一种基于YOLO的改进CNN模型，实现了污水管道缺陷的自动检测。研究对污水管道模型的损失函数、数据增强、边界盒预测和体系结构进行了改进，并通过实验进行了验证。实验结果表明，该方法在结合所有提出的技术时能够有效地提高模型的性能。在测试数据集上mAP最高达到92%，显著优于以往的污水管道缺陷自动检测模型。YOLOv3在检测小尺寸物体方面优于以前的YOLO算法，因为YOLOv3模型应用了3个尺度的机制，将3个尺度的特征图连接起来，并通过采样和卷积操作，由不同尺度的预测结果决定图像中检测对象的适当尺寸。因此，具有3个尺度机制的YOLOv3能够检测到更精细的特征。YOLOv3模型对7种缺陷的平均精度达到了85.37%的高水平，同时也获得了实时应用的快速检测速度。2.2.3Faster R-CNNFaster R-CNN模型是一个双阶段的检测模型，包括3个主要步骤：（1）通过骨干CNN层生成特征图；（2）训练区域建议网络（RPN）来生成一个区域（ROI）并提出候选边界框以表示物体的存在；（3）图像中对应于RPN的每个ROI，通过两个完全连接的卷积层进行处理，以产生一个类别概率分数和一个边界框调整因子，该因子能够使边界框更好地适应物体。与单阶段框架相比，基于区域建议的方法需要更多的时间来处理不同的模型组件。训练RPN和快速R-CNN检测器比其他端到端模型如YOLO和SSD在检测裂缝、底部侵