局部图像特征直线描述算法综述_付苗苗.pdf

数字媒体技术本栏目责任编辑：唐一东Computer Knowledge and Technology电脑知识与技术第19卷第6期(2023年2月)第19卷第6期(2023年2月)E-mail：http：/Tel：+86-551-65690963 65690964ISSN 1009-3044Computer Knowledge and Technology电脑知识与技术Vol.19,No.6，February2023局部图像特征直线描述算法综述付苗苗（洛阳师范学院 信息技术学院，河南 洛阳 471000）摘要：局部图像特征直线的描述现如今不仅是图像特征直线匹配过程的关键和基础，还已成为人工智能和计算机视觉领域中的研究难点和热点问题之一。它不仅被广泛应用到宽基线匹配、图像检索、图像拼接、3D重建等计算机视觉任务中，还被应用到产品质量检测、指纹解锁、自动工件检测等实际工程应用中。近年来，随着人工智能的发展和深度学习在许多领域的成功应用，文献中出现了诸多相关学者针对局部图像特征直线描述问题而提出的不同算法。本文对经典且具有代表性的局部图像特征直线描述算法进行阐述、分析总结以及全面客观评价，最后总结归纳了局部图像特征直线描述的现状、所面临的困难与挑战以及未来可能的研究走向，为相关学者未来的研究工作提供一定的参考。关键词：局部图像特征直线描述；深度学习；图像特征直线匹配中图分类号：TP18文献标识码：A文章编号：1009-3044(2023)06-0103-03开放科学（资源服务）标识码（OSID）：0 引言局部图像特征直线描述是将经过预处理之后的待匹配图像中提取的边缘线特征描述成具有代表性和唯一性的描述向量。一个鲁棒的描述向量应该对于匹配块不会因为视角、光照、旋转、模糊和噪声等的变化而变化，同时对于非匹配块要保持不同图像块之间的区分性。其可以被广泛应用于图像分类、场景识别、人造场景、3D重建、图像配准、图像拼接和图像分割等各个场景中。局部图像特征直线的描述算法不仅是特征匹配领域中一个重要且具有研究意义的子课题，也是计算机视觉任务中的研究难题和研究热点问题之一。其一般分为两个步骤，如图1所示，步骤1：对采集的原图像和经过各种变换的图像进行预处理并提取图像中的特征直线；步骤2：将步骤一获得的特征直线进行描述以生成特征直线描述子。采集的原图像和经过各种变换的图像图像预处理直线特征提取构建直线描述子特征提取特征描述图1 特征直线描述流程图相对于点，直线在一些特定场景中可以提供更多的纹理内容和几何信息，从而为了实现图像的精确匹配。与特征点描述相比，特征直线描述子一直发展缓慢。其主要理由：1）图像的各种几何光学变化会造成图像遮挡问题，导致边缘直线的长度、方向以及纹理发生变化；2）利用边缘检测算子进行提取特征直线时，容易造成直线断裂，进而会使直线出现端点定位不准以及不连续的问题。直线端点的不精确定位将会导致匹配的两条直线的描述向量存在较大的差异，进而会容易造成错误的匹配结果，直接影响匹配性能；3）相对于点，因直线长短不一，在构造特征直线描述向量时会更难以统一表达；4）缺少用于训练的大规模且多样的标注特征直线数据集，然而构造这样的数据集又需要大量的人力和财力。因此，局部图像特征直线描述算法的研究不仅在理论和应用上具有研究价值，同时也具有一定难度和挑战。近年来，深度学习在诸多视觉任务中成功地展现出了其具有强大的函数拟合能力。而局部图像特征直线描述算法的本质任务也是设计一个复杂的函数映射，使得相同物理线的局部图像输出距离相近的特征向量，同时保证不同物理线的局部图像输出距离较大的特征向量。因此，将其应用到局部图像特征直线描述算法中，以提升现有算法的性能不仅值得研究，也是局部图像特征直线匹配任务中研究的热点和难点问题。本文将当今比较经典且主流的由传统经验或研究人员的专业知识驱动的基于手工设计的局部图像特征直线描述算法和由数据驱动基于深度学习的局部图像特征直线描述算法分别进行了全面客观的比较与分析，总结了局部图像特征直线描述的现状、所面临的困难与挑战以及未来可能的发展走向，为未来该领域研究者进一步研究提供一定的参考。1 基于手工设计的局部图像特征直线描述算法局部图像特征直线描述不仅在图像特征匹配算收稿日期：2022-11-15作者简介：付苗苗（1993），女，河南西华人，助教，硕士，研究方向为深度学习、深度迁移学习、图像局部特征描述与匹配。103DOI:10.14004/ki.ckt.2023.0297本栏目责任编辑：唐一东数字媒体技术Computer Knowledge and Technology电脑知识与技术第19卷第6期(2023年2月)第19卷第6期(2023年2月)法中占领着至关重要的位置，还引起了许多该领域研究人员的关注。与特征点描述算法一样，也是从基于手工设计的算法开始的。基于手工设计的局部图像特征直线描述算法的基本思想大都来自于传统经验或研究者的专业知识。其大概分为两类：基于纹理特征直线描述算法和基于几何特征的直线描述算法。基于纹理特征直线描述算法为了获取具有区分性的描述向量，将邻域进行划分作为特征直线的支撑区域。该类算法中最具有代表性的是Wang等人为了解决直线难以统一描述而提出的直线描述子MSLD1（如图2所示）。该算法首先将像素支撑区域中各个子区域的四个方向上的梯度向量描述成一个梯度描述矩阵，最后通过计算该矩阵列向量的均值和标准差来构造MSLD，从而提高了直线描述子的区分性和鲁棒性。该算法对于纹理场景中适当的图像变化具有良好的匹配结果，但在低纹理图像中的匹配结果不佳。此外，它还表明均值和标准差可以有效地描述直线，同时因将其应用到曲线特征描述上而获得了MSCD描述子。李等人2以图像的灰度值为基础，计算直线支撑区域内灰度值编码实现直线的匹配，但是该算法原理复杂，匹配性能低。Lpez等人3提出的一种基于纹理和外观的描述子LMCA，实验结果表明，LMCA在低纹理场景和各种图像变换下仍能具有良好的鲁棒性。但是该算法太过于依赖直线的外观信息，所以其仍需面临直线端点不能准确检测的问题。Ldd.11G12G13G1GiG1 iG2iG3iG1NG2NG3NGNG.图2 直线特征描述子MSLD基于几何特征的直线描述算法其实是依据特征直线的几何属性来实现的。该类算法中最具有代表性的是 Zhang 等人4结合直线描述子 LBD 和几何约束，以实现线的匹配。该算法具有对尺度变化、低纹理图像等具有较好的鲁棒性，且该算法设计的LBD描述子计算速度较快。但当图像中含有旋转变化时，LBD存在不能解决图像遮挡的问题。Fan等人5从两点和一线出发来探索了一个仿射不变量。他们利用这种仿射不变量来匹配具有已知点对应关系的线。该算法的主要缺点是需要已知的极线几何或点对应关系。此外，由于缺乏良好的点对应关系，所以在低纹理场景中的性能受到限制。总之，以上这些基于手工设计的局部图像特征直线描述算法各有各的优势与缺陷。上述文献中该类算法的文献不仅年份相对较早，而且在复杂条件下的图像特征直线匹配问题时，其已经无法获得令人满意的结果，进而限制了直线特征匹配在其他应用中的运用。进而证明由研究人员的专业知识驱动的手工设计算法不仅逐渐淡出了历史的舞台，而且性能也已经走入了瓶颈期。2 基于深度学习的局部图像特征直线描述算法2012年以来，随着深度学习在图像分类、局部图像特征点描述、行人在识别、目标检测与识别等诸多计算机视觉任务中的成功应用，相关研究者也已经提出了一些优良且由数据驱动的基于深度学习的局部图像特征直线描述算法，它们表现出比基于手工设计的特征直线描述子更好的匹配性能。Liu等人6首先构造了一个名为HLines的大规模线数据集，然后在基于学习的特征点描述算法HardNet和L2-Net启发下，提出了基于学习的特征线描述符LPDNet（如图3所示），实验结果表明，描述符LPDNet优于手工设计的特征线描述符，特别是在视角、尺度和模糊变化图像上表现出更大的优势。此外，又将其应用到特征曲线匹配当中，实验结果证明，与现有的特征线描述符相比，LPDNet具有更广泛的适用性。霍等人7通过直接从原始局部图像块中进行训练学习而获得直线特征描述子LP-HardNet，并在相关实验中取得了良好的性能，但由于构造的训练样本缺乏多样性，该方法对遮挡和低纹理变化较为敏感。Huo等人8首先构造了一个线数据集GDLFpatches，接着探索了基于FCNNS和迁移学习的三种神经网络架构：CS S-Net（如图4所示）、CS PS-Net（如图4所示）、CS 2-Channel-Net（如图5所示），经过实验表明，提出的三种描述子优于现有的手工设计描述子，特别是在模糊变化、视角变化、旋转变化和尺度变化上取得了显著的成功。Input6464233 ConvStride 1BN+ReLU33 ConvStride 1BN+ReLU323233 ConvStride 2BN+ReLU646433 ConvStride 1BN+ReLU33 ConvStride 2BN+ReLU12833 ConvStride 1BN+ReLU1281616BN+L2Norm256Output图3 网络架构图均值块标准差块64128164641326413264132 331 Convpad1BN+Relu32 3332 Conv pad 1BN+Relu64 3332Conv pad 1/2BN+Relu64 3364 Conv pad 1BN+Relu128 3364 Conv pad 1/2BN+Relu12833128Convpad 1256 816128 ConvBN+L2NormBranch 1 output:256132331Conv pad 1BN+Relu323332Conv pad 1BN+Relu64 3332Convpad 1/2BN+Relu643364Conv pad 1BN+Relu128 3364Convpad 1/2 BN+Relu12833128 Convpad1BN+Relu+Dropout256816128ConvBN+L2NormBranch 2 output:2561ConcatencationOutput:5121两个分支的前六层参数是从预训练好的L2-Net迁移过来的模型参数参数共享（CS S-Net）参数不共享（CS PS-Net）BN+Relu+Dropout64641图4 CS S-Net和CS PS-Net网络3 结束语直线作为图像的三大主要局部特征之一，其被广泛应用于3D重建、图像检索、图像拼接、目标检测和104数字媒体技术本栏目责任编辑：唐一东Computer Knowledge and Technology电脑知识与技术第19卷第6期(2023年2月)第19卷第6期(2023年2月)识别、指纹解锁等计算机视觉任务和实际工程应用当中。局部图像特征直线描述作为图像直线匹配技术中的关键技术不仅是计算机视觉的一项重大研究意义的课题，也是该领域的一个研究难点和热点。它是将局部图像特征直线块编码成代表性向量，所期望的直线特征描述向量对于匹配块而言应该是不变的，对于非匹配块是具有区分性的。在过去的几十年里，相关研究人员在这一领域也取得了长足的发展。因此本文对现有的局部图像特征直线描述算法（从手工设计的到基于学习的）进行了全面回顾，以便为相关研究学者提供更好的参考和理解，本文做了以下总结与展望：（1）与特征点相比，直线特征可以提供更多的纹理内容和几何信息、直线特征稳定性较高、不易受到环境噪声的干扰；但是，由于局部直线特征描述存在的上述引言中所述的困难，使得直线特征描述的研究进展一直相对缓慢。（2）从上述的研究现状可知，现如今局部图像特征直线描述算法的研究已经进入基于数据驱动的时代。传统经验或研究学者的专业知识驱动的手工设计算法不仅由于参数确定困难、设计思路受研究人员对事物的认知限制等原因，其性能已经几乎接近瓶颈期，而且这类算法在面对复杂场景和多样图像变化时，现如今已经无法获得令人满意的