基于改进SIFT算法的无人机遥感影像快速拼接_王超.pdf

第5 7卷第2期华中师范大学学报(自然科学版)V o l.5 7 N o.22 0 2 3年4月J OUR NA LO FC E N T R A LCH I NANO RMA LUN I V E R S I T Y(N a t.S c i.)A p r.2 0 2 3收稿日期:2 0 2 2-0 1-1 1.基金项目:河南省重点研发与推广专项项目(2 1 2 1 0 2 3 1 0 4 2 4);河南省科学院重大科研聚焦项目(2 1 0 1 0 1 0 0 7).*通信联系人.E-m a i l:l t j 3 4 81 2 6.c o m.D O I:1 0.1 9 6 0 3/j.c n k i.1 0 0 0-1 1 9 0.2 0 2 3.0 2.0 1 5文章编号:1 0 0 0-1 1 9 0(2 0 2 3)0 2-0 3 0 2-0 8基于改进S I F T算法的无人机遥感影像快速拼接王 超1,2,雷添杰3*,张保山4,徐瑞瑞3,陈东攀5(1.河南省科学院地理研究所,郑州4 5 0 0 5 2;2.智慧中原地理信息技术协同创新中心,郑州4 5 0 0 5 2;3.中国农业科学院农业环境与可持续发展研究所,北京1 0 0 0 8 1;4.河南省民权县水利局,河南 商丘4 7 6 8 0 0;5.北京工业大学人工智能与自动化学院,北京1 0 0 1 2 4)摘 要:近几十年来,无人机遥感在地球观测领域发展十分迅速,然而,无人机影像快速拼接是阻碍其应用的难题.针对无人机遥感影像的特点与S I F T(s c a l e i n v a r i a n t f e a t u r et r a n s f o r m)拼接算法的缺点,该文提出了一种基于随机抽样一致性算法R AN S A C(r a n d o ms a m p l ec o n s e n s u s)和最小二乘匹配改进的S I F T影像拼接算法.首先采用随机采样法R AN S A C进行粗略匹配数据的提纯,剔除伪特征点对,以减少特征点数量,降低时耗;然后再以最小二乘匹配进行更加精确的匹配,最终实现了无人机影像的自动拼接.实验结果表明:基于R AN S A C和最小二乘匹配改进的S I F T拼接算法的平均正确匹配率为9 2.8%,拼接精度由1个像元提高到0.1个像元,同时拼接运算效率也得到了较大的提升.经改进的S I F T拼接算法在海量特征数据库中可以进行快速、准确的匹配、甚至可以达到实时的要求,具有更强的鲁棒性,可以满足低空遥感影像的相对定向高度自动化的需要,应用前景广阔.关键词:无人机;遥感影像;S I F T;R AN S A C;最小二乘匹配;快速拼接中图分类号:P 4 0 7.8文献标志码:A开放科学(资源服务)标志码(O S I D):无人机遥感,是指在无人机作为平台的基础上,采用先进的无人驾驶飞行器技术、遥感传感器技术、遥测遥控技术、通讯技术、G P S差分定位技术和遥感应用技术等来完成遥感数据处理、建模和应用分析,具有自动化、智能化、专业化快速获取地物空间遥感信息等特点1-4.无人机低空遥感技术广泛应用于空间数据采集领域,具有分辨率高、灵活性强、高续航、实时传输等优点.能够全天时地完成高危地区探测、云下低空飞行等任务,是卫星遥感与载人航空遥感的有力补充.无人机遥感可与星基、地基结合构建立体化监测平台,在国内外已得到广泛应用,如国土资源生态调查、环境监测、灾害应急救援等多个领域5-8.利用无人机遥感系统进行航拍时,由于无人机体积小、载重量轻,搭载专业的航空相机、姿态记录仪,以及稳定平台等辅助设备较为困难,从而导致相关参数少,拍摄姿态不稳且影像畸变较大,因此影像后期处理挑战较大.同时存在像幅小、影像数量多等问题,无法按照传统摄影测量空中三角加密测量的方法进行快速处理9-1 0.为了满足整个遥感系统实时、快速的技术需求,需要实现对飞行质量和影像质量的快速检测,以及对影像数据的快速处理,此外,还要避免出现漏拍现象.因此,有必要根据无人机遥感影像的特点,进一步研究遥感影像快速拼接算法1 1-1 2.影像拼接技术是数字图像处理领域的一个研究热点,它是指将同一场景下,在空间上相互之间存在重叠部分的影像序列进行拼接,经重采样融合后形成一幅包含各影像序列信息、全局视角、完整高清晰的新影像1 3.目前,影像拼接技术可分为手动拼接和自动拼接两种.自动拼接是一种在整个拼接过程中无需人工干预的拼接技术,是影像拼接技术的最终发展目标.本文采用目前拼接算法中流行的S I F T算法进行无人机遥感影像的特征向量预匹配1 4-1 5,针对无人机遥感影像的特点,和传统基于S I F T的影像 拼 接 算 法 的 不 足,本 文 提 出 了 一 种 基 于R AN S A C和最小二乘匹配的改进的S I F T算法实现遥感影像的自动拼接.从以下三个方面进行改进,极大地提高了S I F T算法的运算速度和精度:第2期王 超等:基于改进S I F T算法的无人机遥感影像快速拼接3 0 3 1)精简特征点的数量;2)改进极值点的搜索策略;3)使用两阶段特征点匹配策略.1研究方法与思路1.1 S I F T算法S I F T算法是由L o w e于1 9 9 9年提出.该算法是基于不变量技术的特征检测方法,用于提取局部特征.是一种图像局部特征描述符,能够在尺度空间中捕 获 极 值 点,提 取 位 置、尺 度 和 旋 转 不 变量1 6.S I F T算法具有良好的独特性、高速性、可扩展性,且信息量丰富,能够在海量特征数据集中进行快速、准确 的 匹 配1 7.相 关 实 验 和 文 献 表 明,S I F T特征描述符具有很强的匹配能力,具有计算量小,速度快的特点,对图像畸变、噪声、遮挡等具有一定的鲁棒性,并且成功应用于目标识别、图像复原、图像拼接等领域.S I F T算法主要由三个步骤实现.首先在生成的尺度空间中检测特征并提取关键点,也即图像在尺度空间中的位置.其次定位关键点,并基于图像局部的梯度方向确定关键点的特征方向.最后通过多个图像各关键点的特征向量进行匹配,建立对应关系.其基本流程如图1所示.图1 S I F T算法流程图F i g.1 F l o wc h a r to f t h eS I F Ta l g o r i t h m1.2 R ANA S A C算法采用S I F T算法进行无人机遥感影像快速拼接的过程中,由于S I F T算法存在一定缺陷和影像本身因素的影响,导致出现许多匹配错误.为了提高正确匹配率和运算效率,论文采用计算机视觉的随机抽样一致性算法R AN S A C(R a n d o mS a m p l eC o n s e n s u s)对粗略匹配数据进行提纯1 8-1 9.R AN S A C是一种通过使用观测到的数据点来估计模型参数的迭代方法2 0:在进行参数估计时,区分对待所有可用的输入数据,首先针对具体问题设计目标函数,然后迭代估计该函数的参数值.使用初始参数值,所有数据被分为满足估计参数的“内点”和不满足估计参数的“外点”,也即噪声点.最后,所有的“内点”都用于重新计算和估计函数的参数,具体流程如图2所示.图2 R AN S A C算法流程图F i g.2 F l o wc h a r to fR AN S A Ca l g o r i t h m2基于改进S I F T的无人机影像拼接本文采用传统S I F T算法实现无人机遥感影像的初步自动拼接.然而,S I F T算法也存在一些缺陷,比如阈值过多且难以确定,而且特征描述符维度过高,这样就使得计算过于复杂等.此外,特征提取的质量很大程度决定了其匹配性能,无法完全满足无人机遥感影像自动拼接的要求.因此,针对S I F T算法的不足和无人机遥感影像的特点,本文采用最小二乘匹配算法进行二次精确匹配.第一个阶段,本文使用S I F T算法获取影像初始特征点对.在此过程中使用了R AN S A C算法进行粗略匹配数据的提纯.第二个阶段,基于提纯后的特征点数据,自动拼接算法使用最小二乘匹配获得了高精度的影像相对位置.通过这两个阶段的自动拼接,最终获得了满意的拼接结果.详见无人机遥感影像自动拼接流程图3.用X和Y表示一幅影像中任意一个特征点的位置坐标,用x和y表示另一幅影像中任意一个特征点的位置坐标,这两幅影像之间的尺度变换用D表示,旋转变换用表示,平移变换用A和B表示.那么,可 以 用 相 似 变 换 计 算 全 局 运 动 参 数,公式为2 1:3 0 4 华中师范大学学报(自然科学版)第5 7卷图3 基于改进的S I F T的无人机影像拼接流程F i g.3 S t i t c h i n gf l o wo fu n m a n n e dA e r i a lV e h i c l er e m o t es e n s i n g i m a g e sb a s e do nt h e i m p r o v e dS I F Ta l g o r i t h mxy=Dc o s-s i ns i n c o sxy+AB.(1)从两幅影像中选出8对粗匹配点,利用它们的坐标信息,组成一个方程组,计算出运动参数D、A、B,利用这四个参数把第二幅影像中所有的点都变换到第一幅影像上,反变换后的点坐标用X,Y 表示,即:x y=D c o s -s i n s i n c o s xy+A B.(2)在此基础上,本文采用最小二乘法对无人机遥感影像进行二次精匹配.经过S I F T特征匹配初步处理后,少量的连接点被用来建立相邻图像对.利用公式(1)、(2)变换确定的所有对应点,即内点,通过最小二乘法重新求解运动参数,至此匹配点检验结束,不再向下计算.如果对应点的比例满足不了要求,就需要重新选择一组点,然后重新计算这组点所对应的运动参数.对于每一组求出的运动参数,如过对应点的比例都满足不了理想设定的阈值,就认为这两幅遥感影像之间没有匹配关系.最小二乘匹配是一种有效的高精度匹配算法,按照平方和最小的思想构建影像匹配的数字模型,同时引入系统变形参数并求解,通过迭代运算实现影像的精确匹配,具有高效、可靠、灵活等优点.无人机遥感影像分辨率统一,影像大小相同,重叠度高,比较好地满足了最小二乘匹配的使用条件.3试验结果与分析3.1试验结果实验使用一台配备高清数码相机的小型无人机拍摄了三条航带,航向重叠度和旁向重叠率分别设置为6 0%和3 0%.如图4所示,每条航带采集3 9幅影像,每幅分辨率为3 6 4 82 7 3 6像素,共1 1 7幅.采 用 英 特 尔(I n t e l(R)C o r e(TM)i 9-1 0 9 0 0 XC P U3.7 0 GH z,1 2 5 GR AM)W i n d o w s1 0实验环境.实验中,采用算法集成的方法,实现了相邻图像间的自动图像对定位,耗时4m i n.在提取S I F T特征点时,采用R AN S A C算法去除伪特征点对,减少计算量和匹配误差.最后采用最小二乘算法进行高精度匹配,实现影像最终拼接,无需人工干预.经过两次匹配,去掉了第一次粗匹配中的错配点和由于局部运动造成的有误差的匹配点,实验得到了完全正确的拼接结果,如图5所示.第2期王 超等:基于改进S I F T算法的无人机遥感影像快速拼接3 0 5 图4 无人机原始遥感影像F i g.4 O r i g i n a l i m a g e so fu n m a n n e dA e r i a lV e h i c l er e m o t es e n s i n g图5 无人机遥感影像拼接图F i g.5 S t i t c h i n g i m a g eo fu n m a n n e dA e r i a lV e h i c l er e m o t es e n s i n g i m a g e s在V C+6.0环境中调用S I F T算法的