基于最佳缝合线和改进加权平均融合的图像拼接.pdf

技术广角 52基于最佳缝合线和改进加权平均融合的图像拼接摘要 为了解决图像拼接中出现的拼接缝和伪影问题，文章提出一种基于动态规划思想的寻求最佳拼接缝算法，采用改进的加权平均融合算法解决拼接缝问题。在图像配准方面，通过SIFT算法对图像进行特征匹配，并利用RANSAC算法去除误匹配点。在图像融合方面，给定一对对齐的图像重叠区域，利用动态规划思想来搜索最佳缝合线；然后结合改进的加权平均融合算法实现无缝拼接。实验结果表明，本文提出的算法有效消除伪影和拼接缝，实现两幅图像重叠区域之间的光滑过渡，符合人类的视觉感知效果。关键词 动态规划；SIFT算法；最佳接缝；改进的加权平均融合王金良1 闫 素21 江西科技学院 南昌 3300982 潍坊工程职业学院 潍坊 262501引言图像拼接是把具有一定重叠区域的图像序列通过配准和融合等过程，合成一个无拼接缝的宽视角成像技术1。对于最先进的技术来说，不完美的图像序列拼接生成一幅高质量的缝合图像仍然是一个及其具有挑战性的问题。由于拍摄环境、相机运动、照明变化和光学色差等原因，当输入图像存在宽视角问题时很难实现完美的对齐，就会造成伪影和拼接缝问题。图像拼接已经广泛应用于无人机拍摄、虚拟现实和车载全景环视系统等领域2-3。一般来说，图像拼接主要包括图像预处理、图像配准和图像融合等步骤4。图像配准算法可以分为基于区域和基于特征的方法5。基于区域的方法是对像素值做处理，从数学上来讲是计算待配准图像和参考图像在同一区域的亮度差。一般来说，这种方法计算量大，配准精低。基于特征的方法不直接利用像素值，而是提取图像中的特征，并利用提取的特征的匹配重叠区域，这种方法具有鲁棒性和精确性。常用的基于特征的配准算法主要包括SIFT(ScaleInvariantFeatureTransform)、SURF、Harris等，其中SIFT6算法可以提取大量的特征，它可以稳健地调节透视变换和照明变化，并且对平移、旋转和缩放具有不变性，对噪声也有很强的鲁棒性。根据上述优点，本文采用的是SIFT算法进行特征匹配。图像特征匹配之后，需要对两幅图像的重叠区域进行对齐，常用的方法是使用全局扭曲对齐重叠区域的图像，可以分为相似性变换、仿射变化和单应性变换。当获取的图像中存在运动物体时，图像配准会导致一定的误差，此时重叠区域会出现伪影问题。为了消除重叠区域未对齐造成的伪影问题，本文采用动态规划思想来搜索重叠区域的最佳拼接缝，然后结合改进的加权平均融合算法实现无缝拼接。基 金 项 目：江 西 省 自 然 科 学 基 金 青 年 基 金 项 目 资 助(20192BAB211005);国家自然科学基金项目资助(61971234,61865012);江西省研究生创新专项资金项目(YC2021-S821)。技术广角 53图像融合技术作为图像拼接的一项关键技术，越来越受到人们的重视。所谓的图像拼接是将从摄像机不同角度拍摄的图像拼接成一幅全景图像，或者两个或多个重叠区域的图像拼接成一个无缝的宽视角图像。然而，由于灰度差异等原因，合成图像的重叠区域容易出现拼间隙和亮度差等。图像融合的目的就是解决这个问题，实现合成图像的无缝拼接和重叠区域的平滑过渡。近年来，常用的图像融合技术可以分为像素级融合、特征级融合和决策级融合。1)像素级融合：直接对两幅图像的像素点进行融合信息综合的过程。像素级融合算法复杂性低，耗时短，但因为是基于像素计算，像素信息很容易受到噪声的干扰。2)特征级图像融合：对图像进行特征提取，将边缘、轮廓、局部特征等信息进行综合处理的过程。3)决策级图像融合：根据一定的规则对提取特征和识别后的源图像决策综合，获得图像融合。目前常用的融合算法是像素级融合，可以分为加权平均法、多分辨率融合算法、泊松图像融合算法、最佳缝合线算法等。目前加权平均法7应用比较广泛，该方法可以有效消除拼接缝，但是该方法无法消除伪影问题。泊松图像融合算法能够有效消除拼接缝问题8，且可以使得重叠区域自然过渡，但是该算法复杂度高，算法耗时长。多分辨率图像融合算法同样能够有效消除拼接缝，但是无法处理非常严格的图像融合问题。最佳缝合线算法9对于配准误差较小的区域，可以很好地消除伪影问题。近年来，谷雨等人10对最佳缝合线的搜索进行改进，马东岭等人11提出了在最佳缝合线的基础上结合加权平均融合，张翔等人12将局部信息权重引入最佳缝合线搜索规则中，然而却未能很好解决重叠区域拼接线附近存在部分错位的问题。对于上述问题，可以有两种方法解决：第一种是专注于解决重叠区域的对齐问题，使一幅图像与另一幅图像对齐，减小误差，提高对齐精度，本质是全局最小化对齐误差；第二种方法是寻求最佳接缝，致力于寻找无缝缝合的局部重叠像素，最终的结果由接缝的质量来进行判断。针对上述问题，本文提出了一种基于动态规划思想搜索最佳拼接缝算法，有效地消除了图像拼接中存在的伪影问题。然后结合改进的加权平均融合算法使得重叠区域光滑过渡，有效消除了拼接缝，提高了缝合图像的整体质量，使缝合图像中的信息更加准确。实验证明，本文方法可以有效的去除拼接缝和伪影。1 基于最佳缝合线和改进加权平均融合的算法流程图本文提出的基于最佳缝合线和改进加权平均融合的图像拼接算法如图1所示。具体流程如下：首先确定目标图像和参考图像，利用SIFT算法进行特征匹配；其次通过动态规划思想搜索最佳重叠区域的最佳缝合线；最后结合改进的加权平均融合算法对重叠区域实现平滑过渡。?SIFT?图1 基于最佳缝合线和改进加权平均融合的拼接算法流程图2 图像配准本文通过SIFT算法进行特征匹配，采用RANSAC算法13对误匹配点进行去除，进而得到误差较小的匹配对。SIFT算法提出主要包括尺度空间极值检测、特征点定位、特征方向赋值以及特征点描述四大步骤。本文采用SIFT算法对具有重叠区域的目标图像和参考图像进行特征点提取并匹配，如图2所示。通过这些匹配点对，我们可以得到两幅图像之间的坐标变换关系，进而求出单应矩阵H如式(1)所示：(1)技术广角 54图2(a)目标图像图2(c)特征点匹配图2(b)参考图像图2 SIFT算法特征点匹配结果假设两幅图像的特征点对为：，。对应关系如式(2)所示：(2)单应矩阵至少由4对匹配点来计算，通过式(2)求得正确的单应矩阵。3 图像融合本节中，我们分成两个步骤：1)对于配准后的结果，利用动态规划思想搜索最佳缝合线；2)利用改进的加权平均融合算法去除拼接缝和伪影。3.1 动态规划思想寻搜索最佳缝合线式(2)给出了两幅图像之间的坐标变换关系，在此基础上寻求最佳缝合线，进而实现图像之间的精准对齐。在两幅图像重叠区域内，如果有一条使得像素的颜色、结构强度相差最小，这条线称为最佳缝合线。求解准则如式(3)所示：(3)式中，表示的是两幅图像重叠区域像素点的颜色差值，表示其结构之差。是算子实现的，在求解 和 方向的梯度时，分别采用模板：可以通过下式得到：(4)通过上式(3)和(4)颜色、结构差值最小来寻求最优接缝的步骤如下所示：1)若强度E的每一列都是一条最佳缝合线，首先从第一行开始，累加下一行的强度值；2)每一行的强度值向下一行的左、中、右三个方向进行延伸，获取最小的强度累计值；3)最佳缝合线即是强度值最小的一条线；4)根据最佳缝合线进行图像融合。图3给出了利用动态规划思想求最佳缝合线的结果，图3(a)我们给出了它的二值图，图3(b)给出了最佳缝合线结果图。图3(a)最佳缝合线二值图图3(b)最佳缝合线结果图图3 动态规划思想求解最佳接缝3.2 加权平均融合加权平均法可以使得图像的拼接结果更加光滑，可以有效去除图像中的拼接缝。该方法已得到广泛应用。融合算法如式(5)所示：(5)其中，是融合后的图像，和是待拼接的图像，和分别是和中重叠区域对应像素的权重，且，。和的计算公式如式(6)所示：(6)技术广角 55其中，表示重叠部分任意点的坐标值，表示重叠部分左边界的坐标值，表示重叠部分右边界的坐标值。由(6)得权重示意图如图4所示。I1?I2XlXr X图4 权重变换示意图3.3 改进的加权平均融合从上图4可以知道，重叠区域的像素不是连续的，不可避免的会造成两幅图像无法实现重叠区域之间的平滑过渡。因此，我们对加权平均融合算法的权值进行改进。改进后可得改进权重示意图如图5所示。I1?I2XlXr X图5 改进后权重变化示意图对于改进后的权重如式(7)所示：(7)其中，表示重叠部分左边界的坐标值，表示重叠部分右边界的坐标值，表示重叠区域任一点的距离。分析图5可知，在两幅图像的重叠区域之间，对比图4可以看出，权值变化由直线变为光滑的曲线，使得重叠区域之间的像素变的连续，进而实现两幅图像重叠区域之间的平滑过渡。4 实验结果分析4.1 实验结果比较为了验证本文算法的有效性，我们的实验中，使用了不同场景下的图像进行测试。给定一对输入图像，关键点的检测由VLFeat库中的SIFT算法进行检测。所有的实验结果与比较所用的图像大小均一致，并于文献14和文献15进行比较。我们给出了两组不同场景下的图像，通过实验进行验证本文方法的有效性。图6显示了一个例子。输入图像具有视差，我们图6(a)和图6(b)中可以看出，重叠区域具有良好的对齐结果，但是重叠区域的缝合效果太差。从红色矩形框中局部细节可以看出，人明显出现了伪影。相比于图6(c)的实验结果，无论是在视觉感知上的效果，还是重叠区域的局部效果，我们的方法都在一定程度上去除了伪影。图6(a)文献14拼接结果图6(b)文献15拼接结果图6(c)本文方法拼接结果图6 寺庙拼接结果图比较技术广角 56图7展示了一个例子。从红色矩形区域可以明显看出伪影问题。而本文方法可以有效的去除伪影和拼接缝。图7(a)文献14拼接结果图7(b)文献15拼接结果图7(c)本文方法拼接结果图7 建筑拼接结果图比较4.2 定量指标事实上，很难定义一个简单的质量指标来精确评估缝合接缝，因为在接缝引导的策略中，对于人类的感知方面都具有一定的说服力，尽管它们的成本不同。这给我们提示寻求一条接缝估计的方法，在给定对齐假设的情况下找到最佳的接缝。因此，对缝合后的图像进行评价，对改进的缝合算法，判断缝合的结果是否符合人眼视觉感知具有至关重要的作用。图像质量评估的方法可以分为两类方法，分别是主观方法和客观方法。在主观的评价中，我们需要通过实验来进行评估，在客观评价中，算法用于评估图像的质量。本文质量评估算法是评估缝合结果，使用的是结构相似性指数(SSIM)并与文献15进行比较。表1给出了上述实验结果中的四组图片的结构相似性指数与文献15的对比，另外我们又增加了两组实验结果，每一组图片的大小都是相同的。图片数据学校楼栋寺庙建筑水广场办公室公园文献150.13010.41080.80920.61390.97060.3029本文0.45680.79140.95990.61740.96860.4095表1 结构相似性指数测试结果结果相似性指数的值在0，1之间，值越大说明图像的质量越好。从表1中可以看出，本文的方法得到图像的结构相似性指数大部分是优于文献15方法的，这说明本文的方法具有一定的适用性。5 结论本文在寻求最佳拼接缝算法的基础上，采用改进的加权平均融合算法解决图像拼接过程中出现的问题。首先对图像进行配准，然后利用动态规划思想搜索最佳缝合线，最后根据改进的加权平均融合去除伪影和拼接缝。实验结果表明，本文所提出的图像拼接方法可以有效地抑制输入图像序列中存在运动物体时造成的伪影和拼接缝问题，使得最终的结果看起来更加自然，进而得到一幅高质量的全景图像。通过多组实验比较分析，本文的方法对于不同场景下的图像序列有一定的适应性。参考文献1 桂振文.一种融合多传感器信息的移动图像识别方法J.自动化学报,2015,41(8):1395-14042 LID,HEQ,LIUC,etal.MedicalimagestitchingusingparallelSIFTdetectionandtransformationfittingbyparticleswarmoptimizationJ.JournalofMedicalImagingandHealthInformatics,2017,7(6):1139-11483 王丹丹,陈康.基于虚拟现实的柱面全景图像拼接方法研究技术广角 57J.科技通报,2017,33(10):113-1164 邹超样.基于多摄像头全景图像拼接的实现视频监控技术研究D.广州:华南理工大学,20145 王娟,师军,吴宪祥.图像拼接技术综述J.计算机应用研究,2008,25(7):1940-19436 LOWED.DistincyiveImageFeaturesfromScale-InvariantKeypointsJ.InternationalJournalofComputerVision,2004,20:91-1107 CHENKL,WANGML.ImagestitchingalogrithmresearchbasedonOpenCVC.ProceedingsofThe33rdChineseControlConference.Nanjing:IEEE,2014:7292-72978 YANWQ,HOUCP,LEIJJ,etal.StereoscopicimagestitchingbasedonahybridwarpingmodelJ.IEEE,TransactionsonCircuitsandSystemsforVideoTechnology,2017,27(9):1934-19469 ZENGL,ZHANGSP,ZAHNGJ,etal.DynamicimagemosaicviaSIFTanddynamicprogrammingJ.MachineVisionandApplication,2014,25(5):1271-128210 谷雨,周阳,任刚,等.结合最佳缝合线和多分辨率融合的图像拼接J.中国图象图形学报,2017,22(6):842-85111 马东岭,吴鼎辉,毛力波,等.基于最优接缝线的加权融合影像拼接算法J.测绘工程,2020,29(6):1-712 张翔,王伟,肖迪.基于改进最佳缝合线的图像拼接方法J.计算机工程与设计,2018,39(7):1964-197013 FISCHLERMA,BOLLESRC.Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartographyJ.CommunicationsoftheACM,1981,24(6):381-39514 LINCC,PANKANTISU,ARAVKINAY.Adaptiveas-natural-as-possibleimagestitching.IEEEConf.Comput.PatternRecognit,2015:1155-116315 LIAOTIANLI,LINAN.Single-perspectivewarpsinnaturalimagestitching.IEEETransactionsonImageProcessing,2019(29):724735作者简介王金良南昌工程学院硕士研究生，研究方向为人工智能、图像拼接等。闫 素南昌工程学院硕士研究生，研究方向为人工智能、图像拼接等。Abstract Inordertosolvetheproblemofseamsandartifactsinimagestitching,thispaperproposesanalgorithmforfindingthebestseambasedontheideaofdynamicprogramming,andusesanimprovedweightedaveragefusionalgorithmtosolvetheseamproblem.Intheaspectofimageregistration,theSIFTalgorithmisusedtomatchtheimagefeatures,andtheRANSACalgorithmisusedtoremovethemismatchedpoints.Intermsofimagefusion,giventheoverlappingregionsofapairofalignedimages,dynamicprogrammingisusedtosearchforthebestseamline;thencombinedwithanimprovedweightedaveragefusionalgorithmtoachieveseamlessstitching.Theexperimentalresultsshowthatthealgorithmproposedinthispapereffectivelyeliminatesartifactsandseams,andachievesasmoothtransitionbetweentheoverlappingregionsoftwoimages,whichisinlinewithhumanvisualperception.Keywords DynamicProgramming;SIFTAlgorithm;BestSeams;ImprovedWeightedAverageFusionImage Stitching Based on Optimal Seam Line and Improved Weighted Average FusionWang Jinliang1Yan Su21 JiangxiUniversityofTechnology,Nanchang330098,China2 WeifangEngineeringVocationalCollege,Weifang262501,China