基于三元采样图卷积网络的半监督遥感图像检索_冯孝鑫.pdf

基于三元采样图卷积网络的半监督遥感图像检索冯孝鑫王子健吴奇*(上海交通大学电子信息与电气工程学院上海200240)(香港大学化学系香港999077)摘要：该文提出了一种基于三元采样图卷积网络的度量学习方法，以实现遥感图像的半监督检索。所提方法由三元图卷积网络(TGCN)和基于图的三元组采样(GTS)两部分组成。TGCN由3个具有共享权重的并行卷积神经网络和图卷积网络组成，用以提取图像的初始特征以及学习图像的图嵌入。通过同时学习图像特征以及图嵌入，TGCN能够得到用于半监督图像检索的有效图结构。接着，通过提出的GTS算法对图结构内隐含的图像相似性信息进行评价，以选择合适的困难三元组(HardTriplet)，并利用困难三元组组成的样本集合对模型进行有效快速的模型训练。通过TGCN和GTS的组合，提出的度量学习方法在两个遥感数据集上进行了测试。实验结果表明，TGCN-GTS具有以下两方面的优越性：TGCN能够根据图像及图结构学习到有效的图嵌入特征及度量空间；GTS有效评估图结构内隐含的图像相似性信息选择合适的困难三元组，显著提升了半监督遥感图像检索效果。关键词：遥感图像检索；度量学习；图神经网络；半监督学习中图分类号：TN911.73;TP181文献标识码：A文章编号：1009-5896(2023)02-0644-10DOI:10.11999/JEIT211478Semi-supervised Learning Remote Sensing Image Retrieval MethodBased on Triplet Sampling Graph Convolutional NetworkFENGXiaoxinWANGZijianWUQi(School of Electronic,Information and Electrical Engineering,Shanghai Jiao Tong University,Shanghai 200240,China)(Department of Chemistry,The University of Hong Kong,Hong Kong 999077,China)Abstract:Inthispaper,anovelmetriclearningmethodbasedonthetripletsamplinggraphconvolutionalnetworkisproposedtorealizesemi-supervisedContent-BasedImageRetrieval(CBIR)forremotesensingimages.Theproposedmethodconsistsoftwoparts:TripletGraphConvolutionalNetwork(TGCN)andGraph-basedTripletSampling(GTS).TGCNiscomposedofthreeparallelconvolutionalneuralnetworksandgraphconvolutionalnetworkswithsharedweightstoextracttheinitialfeaturesoftheimageandlearnthegraphembeddingoftheimage.Bylearningsimultaneouslyimagefeaturesandgraphembedding,TGCNcanobtainaneffectivegraphstructureforsemi-supervisedimageretrieval.Besides,theimagesimilarityinformationimplicitinthegraphstructureisevaluatedbytheproposedGTSalgorithmtoselecttheappropriateHardtriplet,andthesamplesetcomposedoftheHardtripletthencanbeusedtotraineffectivelyandquicklythemodel.ThroughthecombinationofTGCNandGTS,theproposedmetriclearningmethodistestedontworemotesensingdatasets.ExperimentalresultsshowthatTGCN-GTShasthefollowingtwoadvantages:TGCNcanlearneffectivegraphembeddingfeaturesandmetricspaceaccordingtotheimageandgraphstructure;GTSevaluateseffectivelytheimagesimilarityinformationimplicitintheimagestructureandthenselectstheappropriateHardtriplet,whichimprovessignificantlytheretrievalperformanceofsemi-supervisedremotesensingimages.Key words:Remotesensingimageretrieval;Metriclearning;Graphneuralnetwork;Semi-supervisedlearning收稿日期：2019-11-20；改回日期：2022-04-28；网络出版：2022-06-28*通信作者：吴奇基金项目：国家自然科学基金(U1933125)FoundationItem:TheNationalNaturalScienceFoundationofChina(U1933125)第45卷第2期电子与信息学报Vol.45No.22023年2月JournalofElectronics&InformationTechnologyFeb.20231 引言近年来由于遥感卫星数量的增多，导致遥感图像的数据量正在以指数级增长，这对遥感数据库的设计提出了新的挑战。图像检索是遥感数据库的基本功能，如何在遥感图像数据库中准确地对给定查询图像的相关图进行检索是当下遥感图像数据库一个重要的研究内容。基于内容的图像检索(Con-tent-BasedImageRetrieval,CBIR)正在成为具有海量图像的大型遥感数据库值得深入探索的技术问题。为了实现准确的CBIR，国内外相关研究提出了多种基于深度学习的图像检索方法，特别是基于卷积神经网络(ConvolutionalNeuralNetworks,CNN)的图像检索方法以其强大特征提取能力受到了广泛的关注1。例如，Ye等人2提出了一个两阶段模型，首先通过CNN提取图像特征，再根据特征空间中的加权距离计算图像的相似度来评估数据库图像与给定查询图像的相似性。为了实现可扩展和高精度的图像检索，Roy等人3提出了一种基于度量学习的深度哈希网络以学习遥感图像的哈希码。该网络将图像的三元组作为输入，驱动度量学习并得到嵌入空间。目前，将三元组与三元组损失函数4结合使用是训练深度度量学习模型的常用方法。三元组即由一个锚点样本、一个与锚点样本同类别的正样本以及一个来自其余类别的负样本组成的一组训练样本。由三元组损失驱动的深度模型旨在减小同类图像样本在度量空间中的距离并增大不同类图像的距离。学习得到的嵌入空间的有效性在一定程度上取决于所选择的三元组。因此，选择合适的三元组有助于提高度量学习模型最终的图像检索性能。XpXnXa目前一些研究表明5，基于度量空间(空间中语义相似的图像彼此接近)的深度度量学习方法在遥感图像检索任务中具有显著效果，尤其是基于三元组的度量学习方法。其优化目标是在最小化锚点与其正样本之间的特征距离的同时最大化锚点与负样本之间的特征距离，最终使得正样本比负样本更接近锚点样本。如果三元组中的锚点样本与正样本之间的距离小于锚点样本与负样本之间的距离，则该三元组被视为困难三元组(HardTriplet)。反之，如果三元组中的锚点样本与正样本之间的距离大于锚点样本与负样本之间的距离，则该三元组被视为简单三元组(EasyTriplet)。图1展示了三元组的度量学习和度量空间更新过程。其中，图像和分别作为正样本和负样本图像，与锚点图像共同构成困难三元组。图像样本之间的距离表XpXaXpXnXaXn征了图像样本之间的相似度。在三元组损失的驱动下，该三元组更新度量空间后，被拉近得到，而则被疏远得到。随机三元组采样算法(RandomTripletSampling,RTS)指在训练样本中采用随机选择的方式根据样本类别标签构建三元组的方法，由于数据的类内相似性和类间相似性差异，通过此种方法构建的三元组有很大比例为简单三元组。在训练中，如果使用简单三元组组成的样本集合，将导致计算损失时梯度值小，收敛速度慢。因此，选择利用构建困难三元组组成的样本集合进行训练能够获得更高损失值与梯度值，从而有效地加速模型参数的更新。三元组深度度量学习算法的研究主要包含三元组损失函数改进和三元组采样算法优化两个方面。针对三元组损失函数的研究中，Zhang等人6基于focalloss对现有的三元组损失函数进行了改进，赋予困难三元组更高的权重。Kim等人7提出了新的用于姿态估计的三元组损失，其保留了嵌入空间中与标签空间的距离比。部分研究同样聚焦于提出具有加权策略的三元组8,9，增强困难样本在训练中的效果。Wang等人9提出了多类别N对损失函数的三元组损失函数。Zhang等人10引入了Dual-an-chor三元组损失函数，除了三元组损失的目标之外，该损失函数同时增加了给定锚点与正样本和负样本之间的距离。Wu等人11证明当使用相同的采样算法时，使用不同改进损失函数的深度学习模型能够得到相似的精度水平。目前遥感图像领域的大多数方法在选择三元组中样本图像中并未考虑到所选择三元组中样本图像的性质，主要利用上文中提到的随机三元组采样算法11。而在计算机视觉领域的研究中，三元组选择的重要性则被更广泛的研究12。例如，Xuan等人13提出了一种三元组选择算法，为每个锚点样本选择最接近的简单正样本(Easypositive)和最接图1三元组与度量学习第2期冯孝鑫等：基于三元采样图卷积网络的半监督遥感图像检索645近的困难负样本(Hardnegative)。Yuan等人14提出HDC(Hard-awareDeeplyCascaded)嵌入方法。对于每个锚点和一个选定的正样本，HDC选择多个难度级别的负样本来构建不同的三元组。其中，难度级别根据嵌入空间中的距离定义。上述两种算法无法有效学习正类中的难样本。而Yang等人15则通过将正样本图像与该批次中的所有负类图像对组合对困难正样本进行了研究。Ge等人16同样提出了一种困难三元组选择方法，该方法为整个数据集构建图像特征的类级层次树，并递归合并视觉上相似的类，基于锚点图像和不同图像类对之间通过分层树计算的距离来选择三元组。然而，这类算法往往需要在整个数据集或大批量样本中采样困难三元组，效率较低且网络泛化性差，易陷入局部最优。可以发现，现有主流三元组算法在困难三元组采样上仍存在不足，因此，本文聚焦于提出一种更合理有效的困难三元组采样算法。目前，大多数基于三元组的方法根据图像类别选择样本从而构建三元组。然而，此类有监督的学习方式意味着需要大量有标注图像17。在实际的遥感图像应用中，获取大量的有标注遥感图像是一件耗时、耗力、标注难度极大的工作。近期的部分研究已经证明，通过基于图结构的半监督方式学习图像表征以及学习不同图像之间的关系有着显著效果18。基于图结构的半监督学习的主要思想是通过将训练图像的标签借助图结构(其中节点表示图像，边描述图像之间的关系)传播到未标注的图像节点上。近年来已出现一系列通过深度神经网络来提取和利用图结构特征的方法，其中，图卷积网络(GraphConvolutionalNetw