基于改进SIFT算法的地形测绘图像拼接方法_李晶晶.pdf

图像拼接方法是当前数字图像处理领域的研究热点，已经被广泛应用于计算机视觉领域目标识别、图像处理、测绘图像分析之中1.随着图像拼接技术的不断进步，常见光图像已经无法满足实际应用的需求，采用红外成像技术虽然会受到强干扰的影响，但因依然能连续探测，得到了大众的广泛认可，并且被广泛应用于地形测绘等工作中.只是这些图像由于拍摄范围较广，在使用时需要进行拼接2.文献3提出基于稀疏矩阵的空间分辨率影像快速拼接方法，对空间高分辨率影像进行特征选取与匹配，引入稀疏矩阵进行相邻位置特征信息的判断，提高拼接质量.但是该拼接方法所耗费的时间较长，且拼接后图像的信噪比较低，测绘图像的质量较差.文献4提出基于CUDA的图像拼接方法，对现有的SURF算法进行改进，并采用改进后的SURF算法进行拼接特征点提取，获取拼接特征点后采用CUDA二叉树进行递归拼接.虽然该方法的鲁棒性较强，但单特征点的提取相对误差较高，容易出现匹配错误的问题，拼接后的图像可用性较差.为减少图像拼接时长，提高拼接效率，本文提出基于改进尺度不变特征变换(scale-invariant feature transform，SIFT)算法的地形测绘图像拼接方法，并通过实验验证该算法的合理性.1改进SIFT的地形测绘图像拼接方法地形测绘图像拼接，需先定位地形测绘图像关键点，然后进行特征提取，剔除错误匹配点，进行图像配准，进而完成地形测绘图像的拼接.1.1地形测绘图像关键点定位地形测绘图像关键点定位，需通过同一组相邻两层之间的图像进行对比分析才可完成.通过比较地形测绘图像中的特征点与相邻特征点，可确定图像关键点的极大值或极小值，采用拟合技术能够精准获得关键点的位置坐标5-6.SIFT描述子生成过程具体如图1所示.1.2地形测绘图像特征点提取依据特征点检测模板（图）提取地形测绘图像特征点.基于改进SIFT算法的地形测绘图像拼接方法李晶晶1,2（1.安徽矿业职业技术学院教务处，安徽淮北235000；2.安徽淮北煤电技师学院教务处，安徽淮北235000）摘要：为解决传统方法拼接地形测绘图像容易出现匹配错误的问题，以改进SIFT算法为基础研究一种新的地形测绘图像拼接方法.该方法通过对尺度不变特征变换（SIFT）描述子生成过程的分析改进，得到关键点的位置坐标；根据特征点检测模板中心点像素灰度的差值，提取地形测绘图像的特征点；计算目标匹配点的方向误差，通过构建直方图剔除错误的匹配点；使用高斯加权窗口对特征梯度值进行加权处理，获取特征描述子，对SIFT算法中的特征描述子进行降维处理，提高计算速度，以完成SIFT算法改进.并通过双向匹配配准测绘图像，根据待拼接地形测绘图像的线性过渡因子，计算重叠区域灰度值，实现图像重叠区域的无缝拼接.实验结果表明，与传统的拼接方法相比，改进后的方法能够准确提取待拼接地形测绘图像的特征点，拼接效果更优，耗时约为0.57 min，信噪比达到了32.61 dB.关键词：地形测绘；图像拼接；改进SIFT算法；特征提取；检测模板中图分类号：P232；TP391文献标识码：A文章编号：2095-2481（2023）02-0164-07收稿日期：2021-02-04作者简介：李晶晶（1985-），女，讲师.E-mail:第 35 卷第 2 期2023 年 6 月宁德师范学院学报(自然科学版)Journal of Ningde Normal University（Natural Science)Vol.35 No.2Jun.2023DOI:10.15911/ki.35-1311/n.2023.02.004第2期李晶晶：基于改进SIFT算法的地形测绘图像拼接方法图1SIFT描述子生成过程图2特征点检测模板图2中，每个表格表示像素梯度值.利用改进SIFT算法提取地形测绘图像特征.1)计算中心点像素值，并为像素点灰度差值进行编号.如果两个差值之间的绝对值大于设定的阈值，则说明该像素点为待选择特征点，以此进行下一步计算7-9.2)计算图像中心像素值与编号像素点图像灰度的差值.如果计算结果都大于设定的阈值，则说明该像素点为待选择特征点10.3）根据上述步骤与判断准则，反复执行，直到获取全部像素点为止11-13.1.3剔除错误匹配点传统方法在特征点较多的情况下，会出现较多误匹配问题，因此，应先判断特征点运动方向是否一致，以此提高拼接精准度14.求取精准匹配点的具体步骤如下：1）计算所有目标匹配点的方向误差，在平面内构建1个直方图，分成36个区域，保证每个区域均为平均分配，统计落入各个区域的特征点数目，以最大区域点作为候选区域15.2）从获取图像匹配对中随机选取4对匹配点，以此估计线性变化矩阵W，即有|xy1=W|xy1=|147258361|xiyi1.（1）式（1）中，()xi，yi和()x，y表示一对匹配特征点，通过矩阵变换，得到()xi，yi的对应特征点坐标，如果变换矩阵正确，则会有xi=x和yi=y.3）计算匹配点到估计线性变化矩阵的垂直距离，依据距离小于设定阈值的原则，判断所有匹配点对是否为错误点对，获取最佳匹配点集合16-17.4）依次重复上述步骤，直到获取最大内点对集合为止.错误匹配点剔除流程如图3所示.1.4基于改进SIFT算法的图像配准当地形测绘图像发生变化时，周围特征点也会随之改变，故应充分考虑图像的良好旋转不变特性，因此，本文将圆形区域用于地形测绘图像特征的描述.如此，在特征点邻域范围内含有足够多的信息，不会出现计算量大的问题.以某个特征点为中心，选取1个同心圆环区域，当圆环旋转时，会出现一部分游-165宁德师范学院学报(自然科学版)2023年6月离的像素点.为了降低图像旋转所出现的误差，采用递减函数描述特征点邻域.统计不同圆环上的累计梯度值，使用高斯加权窗口对梯度值进行加权处理，并依次排列，最终获取地形测绘图像的特征描述子.一张地形测绘图像，如果其特征向量维数过高，会导致配准的精度与速度下降，影响方法的实际应用性能，为了提高SIFT算法的运算效率，本研究缩短运行耗时，对获得的特征描述子进行降维处理，完成SIFT算法的改进.1.4.1对特征描述子进行降维处理.当描述子的维度较高时，需要进行降维处理，以使图像处理和识别更容易.常用的1种降维方法是主成分分析法（principal component analysis,PCA）.PCA的主要思想是将高维空间中的所有点投影到低维空间中，使得在低维空间中投影点的方差尽量大，选择方差最大的方向作为第一主成分，之后每次选择与前面的主成分方向垂直、在所有方向中方差最大的方向作为下一个主成分，直到选取k个主成分为止.那么，对于1组128维的描述子矩阵X，假设其为m n的矩阵，其中每一行代表着一个样本的n维特征向量，那么该过程可描述为：1）对矩阵X进行中心化处理.即对每一列做零均值化，计算公式为Xij=Xij-1mi=1mXij.（2）式（2）中，X表示中心化后的矩阵.2）对中心化后的矩阵X进行奇异值分解，得到矩阵X=|USV.（3）式（3）中：U表示左奇异矩阵；S表示奇异值对角矩阵；V表示右奇异矩阵.3）计算特征值和特征向量.将特征值从大到小排序，并选择前k个特征向量组成矩阵P.其计算公式为P=nk（4）4）用矩阵P对原矩阵X进行投影，得到投影矩阵Y，其公式为Y=XP.（5）式（5）中，Y为mk的矩阵，每一行表示一个样本在28维的低维空间中的k个特征值.1.4.2采用改进后的SIFT算法进行地形测绘图像的配准处理.采用最近邻域和次邻域进行特征匹配，并逐一消除误差.针对重复的匹配特征，可以通过比较匹配点提取像素坐标和其对应的索引值，保证匹配点的独一性.针对其他部分出现的误差匹配，应根据地形测绘图像相关信息，剔除对应点坐标明显过大或过小的特征点对.由于存在相邻点对，其对应的匹配点在地形图像上是相邻的，如果某一对匹配点对坐标之差与其相邻匹配点之差不一致，则说明出现匹配误差.利用双向匹配思路，针对第一次匹配结开始通过方向判断匹配点对随机选取4对匹配点求取变换矩阵变换矩阵小于设定阈值？记为外点数记为内点数内点数大于设定的点数？迭代结束剔除错误匹配点结束NYYN图3错误匹配点剔除流程-166第2期李晶晶：基于改进SIFT算法的地形测绘图像拼接方法果，寻找第二个特征集中点的匹配结果，将二者进行对比，如果寻找结果相同表示其为同一点，则需保留，否则剔除.地形测绘图像配准流程如图4所示.1.5地形测绘图像拼接图像融合是图像拼接的最后一步，当待拼接图像受到噪声干扰后，拼接图像容易出现弧线裂缝.图像故障强度不连续性是造成图像拼接出现裂缝的主要原因.采用平均值融合方法很难消除裂缝.因此，为了得到无缝隙的地形测绘图像，需保证图像灰度的连接性.另外，如果权值选用不当，也会对图像拼接效果造成一定影响.为此，本文利用改进SIFT算法剔除重叠区域部分进行图像拼接.设两幅图像重叠部分的长度为l；图像线性过度因子为.该因子是0与1之间的常数；两幅图像重叠区域水平方向的最大值与最小值分别为xmax、xmin.图像线性过度因子计算公式为=xmax-xxmax-xmin.（6）设两个拼接图像的灰度值依次为m1()x,y、m2()x,y，融合后图像的灰度值为m3()x,y，则重叠区域灰度值计算式为m3()x,y=m1()x,y+()1-m2()x,y.（7）由于图像线性过度因子不断变化，因此，依据公式（7）可实现两幅图像在重叠区域的平滑连接，实现地形测绘图像的无缝拼接.2实验结果与分析为了验证基于改进SIFT算法的地形测绘图像拼接方法的可行性，进行对比实验.实验参数为：IntelPentium CPU处理器，该处理器内存为4 GB，主要频率为2.5 GHz，实验平台为Matlab2010b.实验选取的素材是遥感测绘拍摄的一系列建筑及地形图像，从中选取两幅连续的原始地形测绘图像进行拼接.原始图像如图5所示.由图5可知，地形图像1与地形图像2、建筑图像1与建筑图像2之间存在重叠部分，因此提取特征点，具体如图6所示.根据特征点提取结果，分别采用文献3拼接方法与基于改进SIFT算法的拼接方法对图像进行拼接，结果如图7所示.由图7可知：采用文献3拼接方法对地形测绘图像进行拼接后，仍然存在冗余特征点的问题，导致图像拼接结果存在严重误差；而采用基于改进SIFT算法的拼接方法可以完美剔除冗余特征点，图像拼接效果较好.（a）地形图像1（b）地形图像2开始领域初始匹配剔除重复匹配点去除地形图像坐标系误匹配点双向匹配最终匹配点对图像配准结束图4地形测绘图像配准流程-167宁德师范学院学报(自然科学版)2023年6月（c）建筑图像1（d）建筑图像2图5原始图像（a）地形图像特征点（b）建筑图像特征点图6图像特征点提取（a）文献3方法拼接图（b）基于改进SIFT算法的拼接方法图7两种方法的拼接结果为进一步验证方法的拼接性能，对比两种方法的拼接用时，结果如表1所示.由表1可知，基于改进SIFT算法的图像拼接方法耗时较短，表明该算法可行且效果较好.为了进一步证明基于改进SIFT算法的测绘图像拼接质量，以信噪比为实验对比指标，验证文献3方法与基于改进SIFT算法的方法的拼接质量.两种方法的测绘图像拼接信噪比对比结果如图8所示.-168第2期李晶晶：基于改进SIFT算法的地形测绘图像拼接方法实验次数12345拼接耗时/min文献3方法1.221.131.251.881.93改进SIFT算法0.530.620.510.590.60表1两种方法图像拼接时间对比结果202224262830323436信噪比/dB实验次数/次123456789100基于改进SIFT算法的方法文献3方法202224262830323436信噪比/dB实验次数/次123456789100基于改进SIFT算法的方法文献3方法图8测绘图像拼接信噪比对比结果从图8可以看出，基于改进SIFT算法的拼接方法信噪比高于文献3拼接方法，信噪比越高说明拼接后测绘图像的质量越高，因此说明所提出方法的拼接质量得到有效提升.3结论针对传统方法在地形测绘图像拼接应