基于局部重叠区域的无显著特征图像配准算法_杨旭朝.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第1期总第329期摘要：针对沙漠、戈壁等特征不显著场景在配准过程中存在快速性、精确性等问题，提出一种基于局部重叠区域的特征不显著图像配准方法。首先利用图像标记对待配准图像进行预处理增强其特征，接着通过多相机三维投影对多幅待配准图像重叠区域进行预算，并采用图像掩膜和图像分割技术将重叠区域分割出来，最后对重叠区域使用ORB+GMS（Oriented Brief-Grid-based Motion Statistics for Fast）融合算法进行配准，完成多幅图像的配准工作。基于图像重叠区域的配准避免了无显著特征图像在进行整体配准时精确性低的缺点，并且由于是局部配准，相较于全局配准拥有更快的配准速度。对比传统配准方法和本文提出的改进配准方法，实验结果显示，本文提出的改进方法配准精度在传统配准方法的基础上提升了28%，同时，算法具有更高的鲁棒性和实时性。关键词：特征匹配；无显著特征；图像标记；ORB+GMS融合算法中图分类号：TP391文献标志码：ADOI：10.3969/j.issn.1006-2475.2023.01.005Non-saliency Feature Image Registration Algorithm Based on Local Overlapping RegionYANG Xu-zhao，LEI Zhi-yong，WANG Jiao-jiao（School of Electronic Information Engineering,Xi an Technology University,Xi an 710021,China）Abstract：Aiming at the problems of rapidity and accuracy in the registration process of scenes with non-saliency features such asdesert and Gobi，this paper proposes a non-saliency feature image registration method based on local overlapping region.Firstly，the image to be registered is preprocessed by using the image mark to enhance its features，then the overlapping area of multipleimages to be registered is budgeted through multi camera three-dimensional projection，and the overlapping area is segmented byusing the image mask and the image segmentation technology.Finally，the overlapping area is registered by ORB+GMS（OrientedBrief-Grid-based Motion Statistics for Fast）fusion algorithm to complete the registration of multiple images.The registration basedon the image overlapping region avoids the disadvantage of low accuracy in the overall registration of images with non-saliency features.Due to the local registration，it has a faster registration speed than the global registration.Compared the traditional registration method with the improved registration method proposed in this paper，the experimental results show that the registration accuracy of the improved method proposed in this paper is improved by 28%on the basis of the traditional registration method.The algorithm has higher robustness and real-time performance.Key words：feature matching；non-saliency features；image markers；ORB+GMS fusion algorithm文章编号：1006-2475（2023）01-0024-060引言图像配准技术是指利用一定的转换模型1，将包含同一场景的多幅图像从不同的空间坐标系转换到同一平面坐标的过程。在目标检测2、国防侦查3、地图测绘工程等行业，因为涉及物理范围较广，单幅图片通常无法获得全部目标区域，因此需要将多幅有重合区域的图像拼接成一幅更大视场角的全景图像4，便于工作人员进行下一步工作安排，而图像配准的质量会直接影响图像拼接的品质5，因此，对图像配准技术进行研究可以提高图像拼接的质量，解决实际工程问题6。在对沙漠7、戈壁8等图像进行配准时，由于特殊地貌导致获取的图像特征不明显，这进一步加大了配准工作的难度。目前常用的配准方法有灰度信息互相关性配准9、特征配准10以及变换域配准11，其中应用最为广泛的是特征配准方法。文献 12 针对色调和纹理类图像在配准过程中精度较低的问题，融合尺度不变特征转换（Scale-Invariant FeatureTransform，SIFT）和加快鲁棒特征13（Speed Up Robust Features，SURF）优化算法对单独沙丘图像开展配准，提高了配准精度和实际应用性能；文献 14 将二进制鲁棒单独特征（BRIEF）描述符运用于图像配准，不但降低了创建描述符的时间，并且大大减少了储存空间，对阳光照射转变具备较强的响应式鲁棒性，但其特征点检验不具备尺度和旋转不变性；文献15设计了具有方向的简明优化算法（OrientedBrief，ORB），最先运用快速分割检测（Features FromAccelerated Segment Test，FAST）中的特征获得具备尺度不变性的角点特征信息内容，随后测算角点的基于局部重叠区域的无显著特征图像配准算法杨旭朝，雷志勇，王娇娇（西安工业大学电子信息工程学院,陕西 西安 710021）收稿日期：2022-04-23；修回日期：2022-10-13作者简介：杨旭朝（1993），男，陕西西安人，硕士研究生，研究方向：图像处理，深度学习，E-mail：。2023年第1期主方向，并创建了具备转动不变性的简单描述符，增强 了 计 算 的 效 率。而 基 于 互 相 关 信 息（Cross-Correlation Information，CCI）的配准是通过计算互相关系数评价图像之间的相似度，并且根据相似度寻找配准的坐标，计算变换矩阵，从而实现图像配准16。尽管配准方法多种多样，但是在解决实际问题时，依旧存在诸多问题，如ORB图像配准方法虽然具备较快的配准速度，但是配准精度不高，难以在实际应用中得到较好的效果；SURF与SIFT图像配准方法虽具备较好的鲁棒性，但是这些方法的配准误匹配率同样有待降低；而基于互相关信息的图像配准方法虽然配准精度较高，但是在配准的速度和鲁棒性2个方面表现较差。针对这些问题，本文融合ORB特征和局部网格稀疏化方法，提出一种改进的图像配准算法17：首先通过ORB特征完成局部图像的粗配准，提升算法的鲁棒性，接着对粗配准图像进行局部互相关信息提取，计算其单应矩阵18，最后将获取的单应矩阵应用于待配准图像全图，实现图像的精确配准。该方法在已有配准方法的基础上提升了配准的精度、速度以及鲁棒性，更加适合解决特征不明显图像的配准问题。基于局部重叠区域的无显著特征图像配准算法流程如图1所示。图1图像配准的整体方案设计流程框图1图像预处理本文主要针对特征不显著的戈壁、荒漠等类似地区大范围航拍图像进行配准，其典型地表为砾石碎石地表，部分地区覆盖有大片沙子，并且由于常年缺水导致植被稀少，仅有的地表植物也是以低矮灌木和草本植物为主，缺少典型的植被信息19，因此，获取到的图像信息一般比较单调，在配准时难度增加20，并且配准结果往往差强人意。为了减小配准难度，首先对图像进行预处理增强其特征，本文利用图像标记对图像进行预处理，处理前后图像如图2所示。（a）原始图（b）预处理后图像图2图像预处理2配准区域优化传统图像配准算法是检测待配准图像之间全部区域的特征点，配准耗时长且效率低下21，难以应用在实际工程中。本文提出对多幅图像重叠区域进行配准达到最终配准效果的新方法，对待配准图像预处理后，利用多相机的三维视角对图像重叠区域进行预算，接着根据预算结果将重叠区域分割出来进行特征点检测，完成局部配准，最后根据局部配准结果完成整体图像配准。对需要配准的图像进行预处理增强特征后，需要对图像重叠区域进行分割，主要包含重叠区域预算和分割2个部分。重叠区域大小主要利用多个相机不同视角的重合进行预算。图3为多相机拍摄示意图。图3多相机拍摄示意图图 3 中，A、B、C、D 分别表示不同视角的多个相机，阴影部分是其对应的拍摄区域投影。可以见到，调整多相机位置进行拍摄可以得到有一定视角重合的图像，仅对这部分图像进行特征点检测配准，相较于全图配准，工作量和复杂度都将大大降低。重叠区域预算具体步骤如下：1）由相机参数获取单个相机在水平方向的拍摄角度大小为a。2）测量相邻相机在同一水平方向的夹角为b（根据相机组安装结构要求，相机组安装在半径为r的圆上）。3）基于上述操作，可得到粗略的水平方向相机重叠范围。图4为在同一水平面2架相邻相机的几何关系示意图。借助上述结构图和几何关系对重叠区域在整幅图像上的占比进行计算，具体如式（1）所示：（a）相机安装三维示意图（b）相机安装水平示意图图4相邻相机几何关系示意图=a-ba100%（1）其中，表示的是重叠区域和整张图像的比例关系。同时需要对待处理图像重叠区域的边界进行计算，重叠区域如图5中白色区域所示。待配准原始图像预处理待配准原始图像区域优化1区域优化2待配准原始参考图像预处理待配准原始参考图像ORBORB特征点匹配（基于ORB+GMS算法进行图像的精匹配）ABCD相机A，相机B区域B区域A重叠区域相机1相机2braa杨旭朝，等：基于局部重叠区域的无显著特征图像配准算法25计算机与现代化2023年第1期图5待配准图像重叠区域的示意图图5中，d为2幅待配准图像水平长度，b1和b2为其重叠区域和非重叠区域的边界，待配准图像1重叠区域范围可表示为（b2，d），待配准图像2重叠区域范围可表示为（0，b2），b1、b2计算如下：b1=Img1col（1-）b2=Img2col其中，img1col和img2col为2个待配准图像的水平像素宽度。为了降低误匹配的概率，仅对图像重叠区域进行特征点检测，因此需要对图像进行掩膜处理。其原理是利用选中的图像或物件挡住待处理的图像（全局遮挡或局部遮挡），以此来控制图像的处理区域。3改进的ORB+GMS融合算法传统的全局特征配准是针对整幅图像进行处理，这种方法在对一些特征不显著图像进行配准时22，往往会出现对某些区域检验过度稀少或聚集的情况23，在图像特征信息的一致性上产生偏差24。因此，本文参考图像分块的思想，采用ORB+GMS融合算