基于局部自相似结构特征的多模态影像匹配_樊建伟.pdf

：文章编号：（）基于局部自相似结构特征的多模态影像匹配樊建伟，袁喜悦，李博文，祁传达，李艳灵，路通（信阳师范学院 计算机与信息技术学院，河南 信阳 ；信阳市气象灾害防御技术中心，河南 信阳 ）摘要：针对多模态遥感影像间存在显著的非线性灰度和几何差异等问题导致的匹配难题，提出了一种基于局部自相似结构特征的多模态影像匹配方法。首先，利用非线性扩散对影像进行滤波，计算影像的相位一致性，并采用 算子在相位一致性图上提取特征点；然后，对相位一致性模型进行扩展，生成相位一致性方向图，并结合自相似理论，构建一种局部自相似结构特征描述符；最后，利用欧式距离作为相似性测度识别正确匹配点，实现多模态影像间的精确匹配。多组实测多模态影像的实验结果表明，与现有方法相比，本文方法可以获得更多的匹配点和更高的匹配精度。关键词：多模态影像；影像匹配；自相似特征；相位一致性中图分类号：文献标识码：开放科学（资源服务）标识码（）：o o o o ，o ，o （，；，）：，（），o ：；引言随着多源传感器技术的快速发展，不同的对地观测卫星为同一场景提供了不同模态遥感影像数据。与单模态遥感数据相比，多模态遥感数据可提供互补的地物信息，能提升遥感数据的完整性及地表观测能力。作为多模态影像处理的关键步骤，多模态图像匹配是将不同时间、不同视角或不同传感器下获取的同一场景的两幅或者多幅图像进行几何对齐的过程，被广泛应用于图像融合、变化检测等领域。然而，由于成像机理的不同，多模态影像间通常存在显著的几何形变和非线性灰度差异，导致图像匹配难度增大。因此，多模态影像匹配仍然是目前研究的难点与热点。过去几十年里，专家学者们提出了众多多模态遥感影像匹配算法，大体上可分为两类：基于灰度的方法和基于特征的方法。其中，基于灰度的方法通常采用某种相似性测度在待配准图像上进行模板匹配，以建立影像间的匹配点。常用的相似性测度包括互信息、归一化互相关等。这类方法对多收稿日期：；修订日期：；通信联系人，：基金项目：国家自然科学基金项目（）；信阳师范学院大学生科研基金项目（）作者简介：樊建伟（），男，河南信阳人，讲师，博士，主要从事图像特征提取、图像匹配等研究。信阳师范学院学报（自然科学版）第 卷第期 年月 模态遥感影像间的几何差异和非线性灰度变化的敏感性较强，且计算复杂度较高。与基于灰度的方法不同，基于特征的方法对影像进行特征的提取、描述与匹配，通过计算影像间的几何变换模型实现匹配。常用的特征包括点特征、线特征和面特征。其中，基于点特征的方法已得到广泛的应用，最流行的是尺度不变特征变换（，）方法。然而，由于多模态影像间存在显著的灰度差异，导致 算法直接用于多模态影像匹配时通常会失效。针对这一问题，学者陆续提出了多种改进型 算法，如位置尺度定向不变特征变换、光学与 图像尺度不变特征变换（，）等方法。这类方法本质上都是基于影像梯度信息的，虽然对多模态影像具有较好的匹配效果，但它们对影像的梯度信息依赖性较大。然而，梯度特征对多模态影像的灰度变化和图像噪声较为敏感，会导致匹配性能降低甚至失效。最新的研究发现多模态影像间的结构特征在模态间能较好地保存，且不易受灰度变化的影响，已被广泛应用于多模态影像匹配。基于影像的相位一致性，等提出了一种相位一致性方向直方图（，）局部特征描述符。等构建一种鲁棒的相位一致性结构描述符，用于多模态遥感影像匹配。等基 于自 相似理 论（，）提出了一种秩自相似性描述子，用于光学与 图像匹配。这类研究对多模态影像间的非线性灰度差异具有较好的鲁棒性，取得了良好的匹配效果。尽管如此，这类方法未能充分考虑影像间的几何差异，在配准存在尺度和旋转差异的多模态影像时，其性能有限。鉴于此，本文从多模态影像稳健特征描述的角度出发，提出一种基于局部自相似结构特征的图像匹配方法，用于改善多模态影像的匹配性能。首先，在相位一致性图中，采用 算子提取特征点；然后，扩展相位一致性模型，生成相位一致性方向图，并在此基础上，构建一种局部自相似结构特征描述符；最后，采用欧式距离相似性测度进行特征匹配，实现多模态影像间的配准。多模态影像匹配方法本文提出的匹配方法主要包括个关键步骤：）特征点提取：采用非线性扩散对输入影像进行滤波，计算滤波图像的相位一致性。采用 算子在相位一致性图上提取特征点。）结构特征描述符构建：采用 奇对称滤波器计算相位一致性方向特征，并结合自相似理论，计算局部自相似结构特征向量。）特征匹配：采用欧式距离作为相似性测度建立正确匹配点，并采用快速采样一致性算法 进行误匹配滤除。本文方法的整体流程如图所示。图本文方法流程图 o o o o o 结合相位一致性的特征点提取由于成像机理不同，多模态影像（如光学、红外、图像）间存在严重的非线性灰度差异和几何形变，采用传统特征点检测算法提取多模态影像共有特征，难度较大，容易造成特征重复率低，间接增加了特征匹配的难度。考虑到多模态影像灰度差异较大，图像结构特征相似性较高的特性，本文提出了结合相位一致性的特征点提取方法。尽管相位一致性能较好地反映图像的边缘特征，但其易受图像噪声的影响。因此，将多模态影像采用非线性扩散进行滤波，再计算影像相位一致性图用于提取特征点。作为一种各向异性滤波器，非线性扩散滤波在抑制图像噪声的同时，能缩小模态间的差异，可以更好地保留图像边缘和细节信息，有利于结构特征的提取，能显著增加特征点的数量。采用文献 列出的扩散方程，生成多模态影像的滤波图像，该扩散方程表示如下：（，），（）其中：表示输入影像，表示尺度参数，表示散度算子，（，）表示扩散系数，表示梯度算子。在完成输入影像的非线性扩散滤波后，根据如第 卷第期信阳师范学院学报（自然科学版）：年月下公式计算影像的相位一致性：（，）（，）（，）（，）（，），（，）（，）（，）（，）（，），（）其中：（，）表 示 像 素 点 的 相 位 一 致 性 值，（，）表示权重系数，（，）和（，）分别表示为滤波器响应的幅值和相位，表示噪声门限，是一个很小的常量。鉴于角点具有较强的重复性，在相位一致性图上进行 特征点检测，选取 响应较大的角点作为特征点。将非线性扩散和相位一致性融入 算子中，不仅能增加特征点的数量，而且增强了特征点对影像灰度变化的不变性。为了验证本文方法的有效性，图展示了一幅光学影像采用本文方法的特征点提取结果。由图可知，与传统 方法相比，本文结合相位一致性的特征提取算法能显著增加特征点的数量。图本文方法的特征提取结果 o o o o 局部自相似结构特征描述尽管多模态影像灰度差异较大，但影像间具有较相似的几何结构特征。针对这一特性，提出一种局部自相似结构特征描述符，用于充分挖掘影像的局部结构信息，减轻多模态影像间的模态差异。根据自相似特征的定义，图像自相似特征是通过计算中心像素与其相邻像素之间的自相似性获得的，能有效描述局部特征支撑区域内的结构信息。通常，像素间的相似性采用以该像素为中心的图像块与其邻域内所有像素点为中心的图像块的差平方和（，）衡量。然而，作为一种较为简单的相似性度量准则，直接计算两幅图像之间的灰度差来检测匹配点，计算复杂度较低，但对影像的非线性灰度变化非常敏感。这一缺点限制了其在多模态影像匹配中的应用。针对上述问题，将相位一致性理论引入到传统自相似特征中，在相位一致性图中提取自相似特征，以充分利用二者的优势，增强特征描述符对灰度变化的鲁棒性。此外，相位一致性模型只能计算相位特征的幅值，缺少相位方向信息，不能实现对特征点的稳健匹配。为了增强特征描述符对影像几何差异（如尺度变化、旋转变换等）的不变性，基于扩展型相位一致性模型，采用 函数的奇对称滤波器构建相位一致性的方向特征，生成相位一致性方向直方图，计算如下：（，）（）（），（，）（）（），（，）（，），（，），（）其中：（，）和（，）表示奇对称滤波器的卷积结果投影到水平方向和垂直方向上的分量，（，）表示相位一致性方向，（）表示在方向上的奇对称滤波器卷积结果。给定影像特征点，提出的局部自相似结构特征描述符的构建流程如下：）以该特征点为中心，选取大小为 的特征邻域，计算其相位一致性幅值和方向特征，并生成相位一致性方向梯度直方图；选取该直方图的峰值方向作为特征点的主方向，并将该特征邻域旋转，使其与主方向一致。）计算上述特征邻域内中心图像块（通常为像素）与所有相邻图像块之间相位一致性幅值的 ，并生成相关曲面（，），计算如下：（，）（，）（，（）（），（）其中：（，）表示距离曲面；是一个常数，表示可接受的最小灰度差异；（）表示所有小区域图像块与中心图像块的最大 值。）采用对数极坐标结构，将相关曲面进行网格化，形成 个子区域（个方向区间，个径向区间）的对数极坐标网格，并选取每个子区域中的最大相关值，构成局部自相似结构特征矢量。与传统自相似特征相比，本文提出的局部自相似结构特征描述符具有以下优势：）传统方法是基于影像的灰度信息生成的，而本文方法是基于影像相位一致性信息构建的，对多模态影像灰度差异的樊建伟，袁喜悦，李博文，等 基于局部自相似结构特征的多模态影像匹配鲁棒性更强。）本文方法利用相位一致性方向特征生成特征点主方向，使描述符具有旋转不变性，而传统方法未考虑描述符对影像几何差异的不变性。特征匹配采用欧式距离度量准则对影像特征点进行匹配，以建立多模态影像间的正确匹配点。考虑到多模态影像间的灰度和几何差异，初始匹配点中存在误匹配的情况。为了提高特征匹配质量，利用快速采样一致性算法对初始匹配点进行筛选，滤除错误匹配，提高匹配点的精确性。实验结果与分析为了评估本文方法的有效性，采用组实测多模态 影 像进 行配 准 实验，并与 当 前 比较流 行的 、两种算法进行对比。在定量评价配准性能时，采用均方根误差（，）和正确匹配点数（，）作为评价指标。实验数据选取组具有灰度差异、旋转差异、尺度差异、时相差异的多模态影像作为数据源，如图所示。其中，第一组图像（图像对）主要包含建筑特征，没有明显的几何差异。第二组图像（图像对）主要包括机场场景，存在明显的旋转差异。第三组（图像对）是复杂的城区场景，主要包括建筑、河流、森林等，没有明显的几何变化，但存在近 个月的时相差异。第四组（图像对）主要是郊区场景，存在明显的旋转和尺度差异，时相差异近年，且 图像受斑点噪声污染严重。图像的先验信息如表所示。图组影像本文方法的特征匹配结果 o o o o o 表实验数据先验信息 o o o o 编号传感器大小分辨率时间地点 城区 机场 城区 郊区实验结果为了验证本文方法在多模态影像匹配中的性能，表列出了种方法在组多模态影像配准实验中的 和 两个评价指标。由表可以看出，方法的匹配性能最差，与其他两种方法相比，该方法正确匹配点的数量较少，且配准精度较低，平均 是 像素。这是因为 方法对影像间的灰度变化具有不变性，当影像间几何差异较大时，如较大的旋转差异，方法通常不能 取 得 较 好 的 性 能。与 方 法 相 比，方法在匹配点数量和配准精度两个方面，表现更好。该方法的平均 约是 方法的倍，平均 是 像素。尽管 方法处理几何差异时效果较好，但对于灰度差异较大的影像而言，其匹配性能较差，难以满足实际匹配需求。这是由于 方法本质上属于基于梯度的方法，而梯度计算易受影像灰度变化和噪声的影响，进而导致该方法匹配性能降低。表实验评价结果对比 o o o o 编号方法 像素 本文方法 本文方法 本文方法 本文方法 相比于 和 两种方法，本文方法在组实测多模态影像中的匹配性能更佳。在匹配点 数 量 方 面，本 文 方 法 明 显 多 于 和 方法，平均匹配点数为 ，约是 方法的倍，方法的倍。在配准精度第 卷第期信阳师范学院学报（自然科学版）：年月方法，本文方法的平均 是 像素，低于 和 方法的平均。组实测数据的配准结果如图所示。图本文方法对组影像的匹配结果 o o o o o o 从图中可以看出，配准后的输入影像与参考影像吻合效果很好，这表明了本文方法能够用于处理多模态影像匹配问题。本文方法取得较好匹配性能的原因包括：）通过采用 算子在相位一致性图中提取特征点，增加了特征点数量