多尺度引导滤波加权聚合的立体匹配算法_向玺蒙.pdf

第 卷第期 年月测绘科学 作者简介：向玺蒙（），男，四川达州人，硕士研究生，主要研究方向为双目视觉立体匹配。：收稿日期：基金项目：国家自然科学基金面上项目（）；辽宁省兴辽英才计划项目（）；辽宁省应用基础研究计划项目（）通信作者：王竞雪 教授 ：引文格式：向玺蒙，王竞雪 多尺度引导滤波加权聚合的 立 体 匹 配 算 法 测绘科学，（）：（，（）：）：多尺度引导滤波加权聚合的立体匹配算法向玺蒙，王竞雪（辽宁工程技术大学 测绘与地理科学学院，辽宁 阜新 ）摘要：针对多尺度局部匹配中出现边缘信息被过度平滑导致误匹配的现象，该文利用图像多尺度信息，提出多尺度引导滤波加权聚合的立体匹配算法以提高匹配精度。在代价计算阶段，改进了 方法，并结合图像多尺度特征信息，融合绝对差值算子和零均值归一化算子，获取稳定的初始匹配代价。在代价聚合阶段，根据图像多尺度信息构建多尺度模型，在多尺度模型中引入邻域方差，提高多尺度模型的边缘保持能力，提高视差图质量。实验结果表明，该文利用图像的多尺度信息可以更好地对图像特征进行匹配，相比单尺度引导滤波算法以及传统多尺度算法整体匹配精度有明显提高，且在非边缘区域视差过渡更加平滑，验证该文提出的多尺度立体匹配算法的可行性。关键词：立体匹配；多尺度加权聚合；引导滤波；边缘保持【中图分类号】【文献标志码】【文章编号】（），（，）：，：；测绘科学第 卷引言立体匹配是直接应用于虚拟现实、机器人导航等领域的基本视觉处理方法。立体匹配以同一摄影基线上不同角度拍摄的两张影像作为输入，估计输入图像之间的像素位移图。在核线约束下，每个像素的位移被限制在对应的水平核线上，这种像素位移图被称为视差图。通过立体匹配估计出的视差图可以与相机标定参数一起用于恢复深度、建立三维点云以及其他三维重建工作。立体匹配算法根据是否需要代价聚合分为局部匹配算法和全局匹配算法。局部匹配算法在以待匹配点为中心的邻域窗口内加权聚合匹配代价值，当匹配代价最小时对应的估计视差值为最佳视差值。全局匹配算法在整幅图像范围内建立全局最小能量函数，当能量函数值最小时对应的估计视差值即为最佳视差值。典型的全局算法有动态规划算法（，）、图割算法（，）、置信度传播算法（，）等。全局匹配算法通常精度较高但计算复杂，而局部立体匹配算法结构简单，在计算速度上有一定优势，比全局匹配算法更适合实际应用。常用局部匹配算法代价算子包括对应像素灰度差的绝对值之和（，）、像素绝对差（，）、零均值归一化互相关系数（，）、像素灰度变化梯度，以及基于非参数变换的 变换和 普查变换等。文献 在代价计算中将梯度算法和 算法结合，构建新的引导滤波聚合模型。其匹配代价结合了梯度和灰度信息，在纹理丰富区域匹配效果较好，但在光照不 均 和 受 到 噪 声 影 响 时 鲁 棒 性 较 差；文献 利用积分图计算 系数作为匹配代价，使得其计算时间与窗口大小无关，提高计算效率的同时也提高了算法在不均匀光照环境下的鲁棒性，但在弱纹理和重复纹理区域匹配精度有待提升；文献 提 出 变 换 算 法，提出基于 算子和 算子的新匹配代价，改善了单一变换在弱纹理区域精度不足的情况，但在重复纹理 区域 匹 配效 果仍 待 提 高。上 述 算法提高了局部 匹配 的 精度，但都是 在 原 始 图 像最细尺度上进 行匹 配，在 以固 定窗 口 遍 历 图 像时，某些超出窗 口范 围 的图 像 结构 特 征 不 能 被检测到。根据人眼视觉的习惯，轮廓信息和细节信息在不同尺度观察下不同。当观察分辨率低的图像时更加关注图像整体轮廓信息，观察分辨率高的图像时有更多细节信息被关注。如图所示，在窗口固定时尺度的大小决定了在有限视野内能接受到的信息范围，信息范围越大为识别和匹配提供更多匹配像素点，可以获取整体边缘结构信息。但信息范围越大同时也会导致固定尺寸窗口中的细节纹理特征变弱，更难被察觉。图不同尺度下相同大小窗口包含信息量不同 单一尺度下的匹配算法受限与邻域窗口尺寸与形状影响，文献 自适应地构建了一个直立的交叉局部支撑骨架，其中个臂长度由颜色相似性和连接约束分别决定。可以在任何形状的窗口区域中执行匹配代价聚合。文献 提出多尺度代价聚 合 算法（，），对多个尺度分别滤波聚合再加权整合获得完整的代价空间，避免了固定尺寸窗口无法检测到大尺度纹理结构，但多次滤波导致部分图像纹理被过度平滑，在尖锐的边缘存在光晕效应。文献 的多尺度引导滤波算法中将文献 的十字交叉域方法应用到了视差计算中，在代价聚合后对估计视差又进行了一次聚合，提高了匹配精度，但计算复杂。综上，本文针对多尺度立体匹配中边缘信息被过度平滑的问题，提出了一种多尺度引导滤波加权 聚 合 算 法（，）。本文算法使用 第期向玺蒙，等 多尺度引导滤波加权聚合的立体匹配算法算子检测像素点是否为图像边缘，并根据窗口内边缘像素点占比对引导滤波进行改进，自适应地控制引导滤波正则化参数，提高边缘保持性。为了减少多次滤波对边缘过度的平滑，本文算法使用邻域方差衡量各尺度窗口内信息复杂程度，由于尺度一致化前经过引导滤波去除了大部分噪声干扰，邻域方差主要受窗口内边缘像素影响。在多尺度模型尺度一致化约束时将邻域方差引入控制各尺度信息权重，提高了多尺度模型一致性约束时的边缘保留效果。算法原理 算法流程图本文的 算 法 流 程 如 图所 示，采 用 米 德 伯里（）标准数据集中的立体影像进行实验：根据影像金字塔理论，将经过核线校正的立体像对进行降采样获得多尺度立体影像对；对各尺度影像分别进行边缘算子加权的引导滤波代价聚合，生成 各 尺 度 对 应 视 差 图 像 空 间（，）的代价矩阵；根据多尺度模型将各尺度代价空间约束到同一尺度范围；经过赢家通吃策略（，）即所有视差中对应最小匹配代价的视差为最佳估计视差，通过子像素拟合、左右一致性检测以及视差填充等步骤，获得最终视差结果图。图算法流程图 影像金字塔目前获取图像多尺度信息主要有两种方式：可以用在固定尺度图像上用不同大小的滤波窗口遍历图像得到，文献 受到人眼识别物体时须遵循先找大轮廓再找小细节的启发，采用从粗至细（，）策略进行立体匹配。在局部匹配中该算法首先分配一个粗分辨率的视差，利用粗视差缩小搜索空间，在缩小后的视差范围内计算更细视差。等算法选择利用自适应滤波窗口大小改变候选视差范围的大小。图像像素点估计视差范围不固定；可以建立影像金字塔形成多尺度影像集。本文首先将原图像作为最底层图像（高斯金字塔的第层），利用高斯核对其进行卷积，然后对卷积后的图像进行下采样（去除偶数行和列）得到上一层图像，将此图像作为输入，重复卷积和下采样操作得到更上一层图像，反复迭代多次，形成一个金字塔形的图像数据结构，即高斯影像金字塔。影像金字塔中不同尺度图像的特征无法直接进行叠加综合，如图所示，特征尺度不同则像素个数不同。为此，后续还需要建立尺度间的一致性约束，即多尺度聚合模型。图影像金字塔结构 构建匹配代价 变换属于非参数图像变换，它并不修改原始图像信息，并且能够较好地检测出图像中的局部结构特征，如边缘、角点特征等。根据像素邻域内各点与中心点的灰度差异，将图像窗口像素灰度信息转换为比特串。将像素邻域窗口内的像素灰度值与窗口中心像素的灰度值进行比较，用和表示比较结果，邻域内所有比较结果连接成一个二进制码，最后用二进制码的值作为中心像素的 变换值，见式（）、式（）。（），（）（）（），（），（）（），（）（烅烄烆）（）式中：是 以为 中心的邻域中的 像 素 点；（）和（）分别表示和对应的灰度值；表测绘科学第 卷示依次连接比较结果。左右视图经过 变换后，再将一对待匹配点的 值逐位进行异或运算，比较左右 字符串的差异。变换精度受到中心像素准确性影响，但是在实际应用时中心像素往往受到光照和噪声影响，因此，本研究对变换窗口进行了中心反距离加权求和，取代原中心像素值参与 变换，以降 低 光 照变化 和噪声的影响，计 算 见 式（）、式（）。（）（）（）（）（）式中：表示点到 变换窗口中心的欧式距 离；（）表 示 加 权 求 和 后 的 中 心 像 素 值；（）和（）分别表示像素点权重与窗口内对应位置像素值。为检验改进算法是否有效，本文以圆锥图（）为例进行对比分析。分别利用两种 算法计算 的匹配代价并通过方法提取视差图，如图所示。图两种 算子视差图对比 通过对比可以看出，反距离加权 算法图中的噪 声 明 显 减 少，改 进 算 法 起 到 了 预 期 的作用。变换能够提高结构特征匹配的光照鲁棒性，但仅利用了图像梯度信息，原始灰度信息没有被利用，为了提高算法在纹理丰富区域的匹配精度，本文算法在 基础上将 算子和 互相关系数相结合，增加图像的多角度特征，提高初始代价值的稳定性。由于 算子表示左右图像对应窗口的两个 字符串间不相同的位数个数，其取值范围为，为窗口内像素总数，数值越大窗口差异越大。算子表示像素灰度值差异，取值范围为，数值越大窗口差异越大。系数是窗口间的相似系数，其结果范围在，之间，数值越大表示相似程度越高，窗口差异越小。通过自然指数函数将种算子结果归一化到，范围内，归一化函数如式（）所示。（，）（）（）新的匹配代价计算如式（）所示。（，）（）（）（）（）（）式中：（，）是像素点在视差为时的匹配代价；改变、和 可调整对应算子代价权重；、和 分别表示 、和 对应的匹配代价。其中，系数表示窗口相似度，计算结果范围为，系数越大表示相似程度越高，匹配时的代价值越低。文中、分别为、。引导滤波代价聚合局部立体匹配是像素级匹配，对噪声十分敏感。因此一般通过代价聚合将像素点邻域信息加权求和替代中心点参与匹配，但纹理边缘信息可能在加权过程中被平滑。引导滤波代价聚合根据图像的结构信息对待滤波图像进行自适应滤波，在平滑噪声的同时具有较好的边缘保持特性。相比双边联合滤波，引导滤波算法复杂度与窗口大小无关，同时能避免双边联合滤波可能出现的梯度翻转现象，具有一定优势。当要获取以左图像为基准的视差图时，引导滤波器将左视图视为引导图像模板，代价聚合引导滤波时根据引导模板的结构信息对各个视差值所在代价空间层进行自适应滤波。引导滤波（，）算法假设引导图与输入图像素之间存在局部线性关系，并且局部线性关系如式（）所示。（）（），（）式中：为记引导图；为待滤波 层；为输出图像；（）和（）分别是像素点在输出图像和引导图像上的对应值；和是窗口行滤波时第期向玺蒙，等 多尺度引导滤波加权聚合的立体匹配算法的线性系数。滤波窗口线性系数计算如式（）、式（）所示。（）（）珚（）珚（）式中：和分别是引导图在窗口中的均值和方差；珚表示待滤波 层在窗口中的均值；是正则化参数。为了起到边缘保持效果，选择的引导图与待滤波 层相同。分析公式可知，如果，此时输出图与引导图相同，滤波器没有滤波的效果。而在变化强度小的无纹理区域，而近似于（或等于），即进行了加权均值滤波，达到最大的平滑效果。引导滤波时窗口内根据邻域内像素的方差、协方差衡量引导图像结构信息并进行自适应权重赋值，边缘特征越明显，窗口内变化越复杂的点赋予的权重越大，平滑程度小。反之权重越小，线性系数越大，滤波输出结果越平滑，这样就能达到平滑滤波同时保留边缘信息的目的。因滤波过程中任意一个像素均存在于好几个滤波窗口中，且在不同窗口中对应的线性系数不同，本文通过加权平均的方式得到每个像素的滤波系数，如式（）所示。珔珔烍烌烎（）式中：大小受正则化参数的取值影响；表示反距离加权权重。为在引导滤波时自适应选择正则化参数 平 衡 算 法 效 率 和 精 度，本 文 通 过 引 入 边缘检测算子 判断窗口内是否存在边缘以对进行改进。新的正则化参数和线性系数定义分别如式（）、式（）所示。（）（）（）珚（）式中：是窗口内被检测为边缘的像素点数量在窗口内总像素点占比，当窗口内不存在边缘像素时，令 。当窗口遍历到视差不连续区域或遮挡区时，窗口内边缘像素点较多，正则化参数减小，线性变换系数趋近于，滤波平滑效果弱，边缘或者不连续区域信息不会被过度平滑。在遍历所有窗口时，新正则化参数能够自适应控制滤波时平滑系数，改善边缘信息被过度平滑的情况。