基于回归CNN特征融合的遥感图像检索方法_叶发茂.pdf

第 卷第期 年月测绘科学 作者简介：叶发茂（），男，江西抚州人，副教授，主要研究方向为遥感图像处理、计算机图形学、机器学习。：收稿日期：基金项目：国家自然科学基金项目（，）；江西省自然科学基金项目（）；自然资源部环鄱阳湖区域矿山环境监测与治理重点实验室开放基金项目（）通信作者：陈淑秀 硕士研究生 ：引文格式：叶发茂，陈淑秀，孟祥龙 基于回归 特征融合的遥感图像检索方法 测绘科学，（）：（，（）：）：基于回归 特征融合的遥感图像检索方法叶发茂，陈淑秀，孟祥龙（东华理工大学 测绘工程学院，南昌 ；自然资源部 环鄱阳湖区域矿山环境监测与治理重点实验室，南昌 ）摘要：针对单一图像特征不能够全面反映图像信息，导致不同图像检索性能差异性较大的问题，该文提出了一种基于回归卷积神经网络（）自适应融合多特征的遥感图像检索方法。该方法利用回归 模型对各特征的初始检索结果进行评价和估计权重，然后根据权重融合特征，以弥补单一特征对于图像描述能力的不足，提升检索精度。此外还利用图像到查询类的距离来进一步提高检索性能。在 和 两个公开遥感检索数据集上进行了算法的测试和验证，较其他方法分别提升了 和 。结果表明，该方法能够提高遥感图像检索的性能。关键词：遥感图像检索；自适应特征融合；回归模型；图像到查询类的距离【中图分类号】【文献标志码】【文章编号】（），（，；，）：，（），：；引言随着卫星和遥感技术的快速发展，遥感图像的数量也在快速增长。如何快速、准确地从大型遥感数据集中检索出具有特定内容的图像，是一个具有挑战性的任务。因此，遥感图像检索已第期叶发茂，等 基于回归 特征融合的遥感图像检索方法经成为遥感应用研究热点之一，其中，基于内容的遥感 图 像 检 索（，）是 最 常 用 的 方 法。传 统 的 是利用不同算法提取图像的颜色、纹理或形状等可视特征，并以高维向量形式保存特征表征图像，检索时通过计算向量间距离作为相似性度量，根据图像的相似度返回检索结果。例如：颜色直方图特征是利用图像的色调、饱和度和亮度等描述不同色彩在整幅图像中所占的比例，但没有颜色所处空间位置的信息。尺度不变特征变换是一种检测局部特征的算法，该算法通过寻找图像的特征点，并提取其位置、尺度、旋转不变量获得描述子，具有良好的尺度不变性。词袋（，）特征是将局部特征映射为视觉单词，图像则可看作是若干单词的集合，却忽略单词间的语序等要素。传统方法所获取的信息都是图像的低级和中级语义特征，而遥感图像通常代表大的物理地理场景，具有丰富而复杂的视觉内容，浅层的低、中级特征不能够充分表达图片所含的信息，从而影响检索效果。近 年 来，深 度 卷 积 神 经 网 络（，）在图像分类和检索方面被广泛运用。也被广泛应用于遥感图像检索特征提取。文献 对常见的 模型提取特征的检索性能进行了分析，并与传统的特征进行比较，实验结果证明基于 的特征检索性能要优于传统的特征。文献 则对常见的 特征通过 聚合方法进行聚合的性能进行了分析。文献 以端到端方式提取局部卷积特征并通过聚合深度卷积特征来提高检索效率。文献 通过提取高层特征以及池化聚合中间层输出来提高检索精度。这些研究都表明 特征的检索性能要优于传统的检索特征。虽然 特征在遥感图像检索中能够取得较好的检索性能，但由于遥感图像地物种类多，具有复杂的背景，单一的特征难以全面地表征遥感图像，同一检索特征对于不同图像可以得到性能差异很大的检索结果，因此需要融合多个图像的特征以提升检索性能。文献 通过枚举方式寻找多特征的最佳权重，通过最佳权重对特征进行融合。该方法对所有的图像采用同一组权重，不能为不同的图像分配不同的特征权重。文献，提出了根据特征初始检索结果的图像相似度曲线进行估计特征的权重，自适应融合多个特征。虽然该方法能够自适应地为不同的图像分配不同的特征权重，但该方法在估计权重时只利用了检索结果中图像与查询图像之间的相似度信息，不能较为准确地估计特征权重。文献 提出了一种基于回归 的检索结果评价模型，能够较为准确地评价检索结果。因此，本文根据该思想建立基于回归 特征的评价模型，实现自适应融合的遥感图像检索方法。同时，本文将排名靠前的检索结果与查询图像作为查询类，利用图像与查询类之间的距离（，）对检索结果进行重排序，以期获得更好的检索结果。方法 自适应查询原理给定一个查询图像，利用不同图像特征对同一图像库进行检索，可以得到不同的检索结果，是一个排序的图像列表。如果该特征较适合查询图像，将得到较好的检索结果，反之，则可能得到较差的检索结果。通过对检索结果的评价，则可以判断特征是否适合查询图像。本文将查询图像与检索结果中前个结果，构建成新的图像集合，通过构建图像集合图像之间的相似矩阵，其中，是图像集合，（），中第幅图像和第幅图像之间的相似度。然后，通过构建一个 相 关 矩 阵，其 中 每 一 个 元 素，（），是和的相关系数，以利用整个相似性矩阵中的上下文信息。最后通过构建回归 模型学习相关矩阵与特征是否适合查询图像之间的映射，实现利用回归 模型预测特征的权重。利用回归 模型根据特征对查询图像的适应性，为不同的查询图像分配不同的特征权重，再根据权重融合特征，实现查询自适应遥感图像检索。特征权重估计 模型）模型输入构建。为了构建预测特征权重的回归 模型的输入，需要先提取遥感图像的特征，再利用图像特征根据欧氏距离进行检索，得到查询图像的检索结果，；接着将查询图像与检索结果中前个结果构建成新的图像集合，然后根据图像集合中任意两幅图像特征之间的欧氏距离，生成相似矩阵；最后根据式（）计算任意之间的皮尔逊（）相关系数构建相关矩阵测绘科学第 卷。（，）（）（）（）槡（）槡（）因为相关矩阵是对称的，为了减少冗余，将矩阵左下角的冗余元素丢弃，将右下角的元素折叠到左上角。折叠的操作见式（）。（，）（，），（）因为不同的特征擅长于描述遥感图像中不同类型的信息，融合不同特征信息有利于得到更为准确和稳健的表征检索结果。对于每个检索结果，个图像特征可以得到个折叠的相关矩阵，将两个相关矩阵 跨接，形成一个三维数据结构 ，并将其作为特征权重预测的回归 模型的输入。）回归 模型结构设计。检索结果利用三维数据结构进行描述，其对应的权重则通过 折 损 累 积 增 益（，）表示，并通过建立一个回归 模型构建三维数据结构与 之间的映射关系。计算见式（）。（）（）（）式中：（，）表示查询图像与检索结果中第个位置图像的相关度，如果与是同一类别 ，否则 。回归 模型结构如图所示，包括个卷积层、个最大池化层和两个全连接层。在每个最大池化层（）和第一个全连接层之后，连接一个负斜率为 的激活层（）和一个失活层（）。卷积核的大小同都是个，通道的数量分别是、。最大池化层内核的大小为，步幅（）设置为。全连接层的输出为 和。最后一个全连接层的输出是检索结果的一维预测值 。模型采用均方误差（，）作为损失函数。利用带标签的训练样本建立回归 模型的训练样本步骤如下：利用 特征根据欧氏距离进行排序；选择初始结果的前 幅图像，随机打乱顺序，并选择前 幅构建检索结果列表，通过这种方式可以生成大量的图像序列，保证样本的多样性；利用图像标签计算每个检索结果列表的 值；根据 值选择训练样本，使训练样本分布均匀。利用建立的训练样本对回归 特征权重预测模型进行训练，建立特征自适应预测模型。图回归 模型 查询自适应特征融合给定一个查询图像，可以通过使用图像特征 得到一个检索结果列表，见式（）。，（）使用查询图像和检索结果列表靠前 （）的图像来计算一个 数据结构。然后将数据结构输入到回归 模型中，得到查询列表的预测值 。用同样的方法，可以为每个特征获取一个 值，根据式（）计算第个特征的权重进行归一化。（）式中：为第 个图像特征的预测值 。为了减少特征维数对图像距离的影响，本方法采用式（）对特征维数的影响进行调整。槡（）式中：为第个特征维度调整系数；为图像的第个特征。根据图像特征权重和特征维度调整系数，可以将多个特征拼接成维特征量，见式（）。，（）式中：是 的第个加权特征。利用融合后的特征计算查询图像与待检索图像之间的融合距离（，），计算见式（）。（，）（）槡（）式中：表示查询图像的第维特征值；表示待检索图像的第维特征值；是特征的长度。图像查询类相似度遥感图像检索的目的是从检索数据集中检索出来自相同类别或场景的图像。为了提高检索性能，文献 提出了一种计算图像到查询类距离的方法，将待检索图像集中与查询图像类别相第期叶发茂，等 基于回归 特征融合的遥感图像检索方法同的图像作为查询类图像，待检索图像不但要与查询图像距离相近，还需与查询图像类中图像距离相近，通过构建查询类提升检索精度。但由于查询图像和待检索图像都没有标签，不能直接获取查询类，因此，通过在待检索图像集中寻找查询图像的最为邻近的图像集作为查询类。给定一张查询图像，通过查询自适应特征融合方法得到查询图像的邻域集 （，）。见式（）。（，），（，（）：（，）（，）（）式中：是查询图像的邻域集中的元素集合；是检索数据库；为邻域集的大小，设置为。然后，查询图像及其邻域（，）视为图像的 查 询 类。对 于 一 张 待 检 索 图 像，根 据式（）计算待检索图像和查询图像之间的图像类距离（）。（，）（，）（，）（，）（）最后，根据图像类距离进行重新排序以获取待检索图像得到最终的检索结果。算法流程文献 和 文 献 表 明 中 的 层和 中的 特征具有较好的检索性能，并有一定的互补性，因此，本文选取 模型中的 维度的 特征和 模型中的 维 特征进行检索结果的描述。本文方法的框架如图所示。首先，利用微调的 和 模型提取查询图像的图像特征，并根据欧氏距离进行排序，得到初始排序结果。其次，利用初始排序结果，提取查询图像与初始结果中排名前（）张图像生成相似矩阵，并进一步构建相关系数矩阵，形成回归 模型的输入。然后，将构建的输入传入训练后的回归 模型预测各特征的权重。接着，利用预测的权重自适应融合初始检索结果，得到融合后的检索结果。最后，利用图像与查询类之间的距离对检索结果进行重排序，计算图像相似度得到最终检索结果。图提出方法的框架 实验结果 实验设置和评测指标）遥感图像数据库。本文使用 数据集（）和 数据集作为遥感图像数据库进行对比实验。首先，选择 预训练的 和 网络。然后，随机选择每类图像的 作为训练图像集，对 测绘科学第 卷和 网络进行微调，训练 回归模型。其余的 图像用作查询数据集，最后剩余 的 图像作为检索数据集。）参数设置。回归模型的权值由自适应矩估计（）优 化 算 法 更 新，初 始 学 习 率 为 。其中将三维数据结构中的参数设为，及邻域大小设为。）评价指标。为了对本文方法的精度进行评定，采用平均归一化修正检索等级（，）和平均精度均值（，）对算法性能进行定量分析。指标参考了查询图像在检索数据库中相关图像的真实数量和检索结果中相关图像的排序等级，取值位于，区间，相关图像排名越靠前的 值越小，代表检索结果越好。表示平均精度（，）的均值，取值范围，该值越大说明检索效果越好。分步性能比较本文提出的检索框架可以分为以下个步骤：利用欧氏距离获取每种特征的检索结果列表；自适应融合多种特征；利用图像类别相似度进行重排序得到最终检索结果。以下从个方面分析每一步对检索性能的影响。可视化比较为了分析算法的每一步骤对算法性能的影响，首先在 中取出两张查询图像进行可视化分析。图和图中分别展示了这两幅图像通过微调的 （）与 （）提取的特征直接进行检索、特征自适应特征融合检索（）和通过图像到查询类的距离进行检索（）这种方法的检索结果的前 幅图像和 值。红色外框和绿色外框分别标注检索结果中不相关和相关的图像。图（）中 特征利用欧式距离进行相似性匹配的结果，检索性能指标 为图算法分步检索结果可视化比较 第期叶发茂，等 基于回归 特征融合的遥感图像检索方法图算法分步检索结果可视化比较 ，前 张检索结果均为不相关的 图像；图（）是同一张查询图像利用 特征检索，其 值为 ，检索结果具有张不相关图像。针对第一幅查询图像 特征的检索结果要优于 特征。