基于SURF算法的实时拼接研究_冯向东.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第6期No.62023年3月Mar.2023收稿日期：2022-04-03稿件编号：202204017基金项目：四川省科技厅-中央引导地方项目（2021ZYD0021）；乐山市科技局科技计划项目（21GZD015）；数学地质四川省重点实验室开放基金资助课题（scsxdz2019by01）作者简介：冯向东（1980），男，四川宜宾人，硕士，讲师。研究方向：数学模型、算法设计及其应用。伴随着信息时代的飞速发展，人们能从相机和手机等设备中获得大量的图像及视频等信息。但单一设备所能获得的场景是十分窄小的，完全不足以满足实际工作的需要1。为此，想要拥有更高的分辨率、更大视野的景像，就需要使用多个设备来获取图像，并对视频影像进行拼接，以便扩大视野范围。视频拼接技术完全可以降低人工成本，同时增强人们对周边环境的识别与感知能力，在多个领域有着及其广泛的应用，其重要性也越来越高2-4。现阶段，图像拼接作为视频拼接的基础，国内外有着大量细致的研究。2004 年时，Lowe5提出尺度不变的特征变换(Scale-Invariant Feature Transform，SIFT)算法，在图像缩放、旋转以及比例变换等方面，其鲁棒性都很好，因而建立在特征点的匹配算法成为了研究的热点，但是其计算复杂，无法满足工程实践中的实时性要求。针对 SIFT的不足，后续大量的研究6-10对其进行了补充。由于视频拼接有比图像拼接更加复杂的问题，因此视频拼接的研究相对较少，主要集中在如何降低计算复杂程度，及提高运行基于SURF算法的实时拼接研究冯向东（成都理工大学 工程技术学院，四川 乐山 614000）摘要：视频拼接有助于人们获得更高分辨率、大视野的场景。文中主要对视频拼接过程中的图像配准及图像融合的SURF(Speeded Up Robust Features)算法进行研究，详细地阐述了基于SURF特征实现图像拼接的每一个步骤，从而快速提高特征点的提取速度，提高了图像配准过程中的精度与准确率，加快了图像配准的速度，并提升图像融合的效果。实验结果表明，该算法能够有效地抑制视差伪影，其拼接图像无明显接缝，并且可以实现实时拼接，拼接的图像更加自然，拼接的视觉效果较好。关键词：SURF算法；视频拼接；特征点提取；图像融合；图像配准中图分类号：TN957.52文献标识码：A文章编号：1674-6236（2023）06-0010-05DOI：10.14022/j.issn1674-6236.2023.06.003Research on realtime splicing based on the SURF algorithmFENG Xiangdong（The Engineering and Technical College，Chengdu University of Technology，Leshan 614000，China）Abstract:Video splicing can help people to obtain scenes with higher resolution and wide field of vision.This paper mainly studies the surf algorithm of video image registration and video image fusion in videosplicing.Each step of image mosaic based on surf feature is described in detail，by trying to quicklyimprove the extraction speed of feature points，and improve the accuracy and precision of registration，and further accelerate the speed of registration and the effect of image fusion.Experimental results showthat the algorithm can effectively suppress parallax artifacts，and the stitched images have not obviousseams.And it can realize realtime splicing，the spliced image is more natural，and the visual effect ofsplicing is better.Keywords:SURF algorithm；video splicing；feature point extraction；image fusion；image registration-10的实时性方面11-15。文中在 SURF算法的基础上对图像特征点加以检测，并运用网格运动统计算法16快速剔除误匹配点，以增加图像拼接结果的配准精度和正确率，同时提升实时性。通过实验可知，该拼接方法不但能够获得很好的拼接效果，也能实时地完成视频的拼接。1算法原理及步骤人所共知，人眼若想看到一段流畅画面，其视频的播放速度必须要超过每秒 24 帧。故在进行视频拼接时，应保证每秒完成超过 24帧图像的处理。在这个过程中，特征点的提取与匹配会消耗大量的时间。然而，在实际的生活中，多数摄像头的位置都比较固定，如广场、火车站、商场等地的监控设备。为了减少拼接时间，采用固定的、且有一定重叠区域的摄像头来采集视频数据，无需对每帧图像都采取一次特征点的提取及匹配，仅处理第一帧图像即可。在得到第一帧图像匹配的变换 Hessian 矩阵H之后，利用该矩阵进行图像融合即可。考虑到某些设备使用过程中可能会发生移动，只需要每隔一定时间重新提取及匹配一次特征点，通过修正矩阵H来进行图像融合，从而持续、准确地获得连续拼接为全景的图像。1.1特征点检测SURF算法使用的是积分图像，这样可以显著减少计算时间。设(x,y)是图像中的某一个像素点，则该点的积分图像便可以定义为图像原点与该点所围的矩形区域中所有像素点的值之和，即：I(x,y)=-x-yI(x,y)dxdy=ixjyI(i,j)（1）若想计算图 1 中灰色区域内的像素和，便可以使用式（2）来提高计算速度。I=I(D)-I(C)-I(B)+I(A)（2）图1积分图像尺度空间理论是 SURF算法中特征点的检测方法，它将 Hessian 矩阵的行列式作为一个判别式，用来寻找局部最大值。构建Hessian矩阵，是为了生成图像中稳定的突变点。经过高斯滤波后，图像中像素点的Hessian矩阵可定义为：H=|Lxx(x,y,)Lxy(x,y,)Lxy(x,y,)Lyy(x,y,)（3）式中，(x,y)为像素点的位置，为图像的高斯尺度，Lxx(x,y,)表示二阶高斯微分g2()x2在像素点(x,y)处，与图像 I的一个卷积，另外Lxy(x,y,)=g2()xy与Lyy(x,y,)=g2()y2意义相似。为提高整个过程的计算速度，SURF算法采用了盒子滤波器17对高斯滤波板近似替代，进行卷积运算。首先需要将复杂的二阶高斯微分简化，仅用几个较为简单的值来表示之后的模板。比如二阶高斯微分的滤波器中=1.2，则模板能设置为99大小，在对斑点检测及图像滤波时，其可作为最小的尺度空间值。用Dxx、Dxy以及Dyy表示模板和图像卷积，则Hessian矩阵简化为：det(H)=LxxLyy-LxyLxy=DxxLxxDxxDyyLyyDyy-DxyLxyDxyDxyLxyDxy=DxxDyy-(Dxy)2（4）其中，是为了平衡 Hessian 矩阵，使高斯核与近似的高斯核能够保持一致。如果的取值不同，且对应的模板尺寸也不同，则的取值也不同。为了简化式（4），通常将定义为同一个常数，文中实验取=0.9。SURF 使用不同大小盒子滤波的模板，来获取Hessian矩阵行列式的反应图，使得该策略能够在最初的图像中，使用大小不同的滤波器都有完全相同的速度。99的滤波器的输出通常会被当作最初的标度层。由于滤波器所具有的特定结构与积分图像存在有离散性，滤波器尺寸可以逐渐变大（如1515、2121、2727），进而构建金字塔形状的图像。在建立尺度空间以后，假设使用33的滤波模板，每组都选取相邻的三层相应图像，共计 27 点。其模板中心位置的点大于设定阈值即作为取样原点，并对它周围的 26 个点进行取样，若该原点的Hessian矩阵判别式的值大于其余26个点的值，则该点将被看成特征点。冯向东基于SURF算法的实时拼接研究-11电子设计工程 2023年第6期1.2确定特征点的方向SURF 算法考虑的是检测点在半径为6、像素边长为4的 Haar小波响应，并且响应值通过高斯函数对特征点与像素点间的距离进行加权，进而保持其旋转不变性。这个过程就需要以特征点作为中心，构造一个半径为6的区域，这里的指特征点的尺度大小；再通过这个特征点旋转覆盖60扇形区域内所有特征点在 x 和 y 方向上边长为4的 Haar小波。为了区别各点的贡献，需要赋与不同的权值系数，使离特征点越近的点，具有越大的作用，最后把60扇形区域内的所有值相加。如此，获得整个圆形区域内新的向量(mw,w)，最后将其中最长的向量作为该特征点的主方向。其数学计算公式为：mw=Whx+Whyw=arctan|WhxWhy（5）1.3特征点的描述SURF会在特征点旁边选择一个正方形，这个正方形的方向是上文确定的主方向。将该正方形分为16个部分，每个部分都有25个像素，对于x和y方向的Haar小波，x和y方向都以主方向为参考。Haar小波包括水平值之和、垂直值之和、水平绝对值之和、垂直绝对值之和。由于该研究是建立在视频拼接上的，因此实时性尤其重要，可以通过降低维数来加快特征提取的速度。将原本 SURF算法所用的2020窗口，改为1010窗口，并把窗口划分为22个子窗口，这样特征向量的维数就变成224=16，即从 64维降低到 16 维。虽然降低维数会降低特征描述符的独特性，但可以显著提高运算速度。1.4图像融合视频图像的融合是为了消除伪影现象和拼接缝，使拼接所得的视频图像能够符合人们的感官视觉要求。融合效果对视频拼接的质量有着直接的影响，与此同时，为保证视频的流畅度，对融合效率也有着较高要求。文中采用加权平均融合算法，其不仅易于实现，具备很快的运算速度，融合图像存在的信噪比也得以提高。虽然加权平均法易于实现，而且还能够抑制噪声，但也会抑制图像中的显著部分，这将大大降低拼接图像的对比度。为克服这个不足，通过选取不同的权值，使其从第一幅图像能够逐步过渡到另一幅，其加权因子也将会随着两幅图像中叠加区域宽度的不断变化而改变。令加权因子分别为w1和w2，其计算公式为：w1=x-xminxmax-xmin,w2=1-w1xminxxmax（6）其中，xmin、xmax分别是两幅图像中叠加区域的横坐标对应的起始位置与结束位置。两幅图像的像素值加权融合的计算方式如下：f(x,y)=|f1,(x,y)f1w1f1+w2f2,(x,y)(f1f2)f2,(x,y)f2（2）显然，当 x 逐渐增大时，w1逐渐从 0 变到 1，w2逐渐从 1变到 0，通过式（7）能够实现从f2到f1的过渡，这个过渡转换过程是较为平缓的，故可以较好地对合成缝隙进行铲除。2实验结果与分析2.1图像融合实验为验证文中视频图像SURF算法的效果，首先利用同一型号相机采集同帧的两幅图像。拍摄时，选择有大量树木作为干扰的区域拍摄图像，以增加算法的拼接难度，采集图像如图 2所示。传统 SIFT 算法的图像拼接效果图如图 3 所示。SURF 算法的图像拼接效果图如图 4所示。图像拼接的有效区域如图5所示。图2采集图像-12图3传统SIFT算法的图像