基于深度学习LoFTR算法的路面图像拼接①张瑞1,袁博1,杨明1,丁健刚1,徐政超2,李伟11(长安大学信息工程学院,西安710064)2(西安工程大学计算机科学学院,西安710048)通信作者:徐政超,E-mail:xzc110@163.com摘要:相比基于特征点的传统图像特征匹配算法,基于深度学习的特征匹配算法能产生更大规模和更高质量的匹配.为获取较大范围且清晰的路面裂缝图像,并解决弱纹理图像拼接过程中发生的匹配对缺失问题,本文基于深度学习LoFTR(detector-freelocalfeaturematchingwithTransformers)算法实现路面图像的拼接,并结合路面图像的特点,提出局部拼接方法缩短算法运行的时间.先对相邻图像做分割处理,再通过LoFTR算法产生密集特征匹配,根据匹配结果计算出单应矩阵值并实现像素转换,然后通过基于小波变换的图像融合算法获得局部拼接后的图像,最后添加未输入匹配网络的部分图像,得到相邻图像的完整拼接结果.实验结果表明,与基于SIFT(scale-invariantfeaturetransform)、SURF(speededuprobustfeatures)、ORB(orientedFASTandrotatedBRIEF)的图像拼接方法比较,研究所提出的拼接方法对路面图像的拼接效果更佳,特征匹配阶段产生的匹配结果置信度更高.对于两幅路面图像的拼接,采用局部拼接方法耗费的时间较改进之前缩短了27.53%.研究提出的拼接方案是高效且准确的,能够为道路病害监测提供总体病害信息.关键词:路面图像拼接;弱纹理图像;注意力机制;LoFTR算法;深度学习;小波变换;特征匹配;局部拼接引用格式:张瑞,袁博,杨明,丁健刚,徐政超,李伟.基于深度学习LoFTR算法的路面图像拼接.计算机系统应用,2023,32(2):170–180.http://www.c-s-a.org.cn/1003-3254/8920.htmlRoadImageMosaicBasedonDeepLearningLoFTRAlgorithmZHANGRui1,YUANBo1,YANGMing1,DINGJian-Gang1,XUZheng-Chao2,LIWei11(SchoolofInformationEngineering,Chang’anUniversity,Xi’an710064,China)2(SchoolofComputerScience,Xi’anPolytechnicUniversity,Xi’an710048,China)Abstract:Thefeaturematchingalgorithmbasedondeeplearningcanproducelargerscaleandhigherqualitymatchingthanthetraditionalalgorithmbasedonfeaturepoints.Thisstudyaimstoobtainawiderangeofclearpavementcrackimagesandsolvetheproblemofmissingmatchingpairsinweaktextureimagemosaics.TheroadimagemosaicisrealizedbasedonthedeeplearningLoFTR(detector-freelocalfeaturematchingwithTransformers)algorithm.Giventhecharacte...
