模态不变性特征学习和一致性...信息挖掘的跨模态行人重识别_石林波.pdf

模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别石林波 李华锋 张亚飞 谢明鸿摘 要 跨模态行人重识别方法主要通过对齐不同模态的像素分布或特征分布以缓解模态差异，却忽略具有判别性的行人细粒度信息 为了获取不受模态差异影响且更具判别性的行人特征，文中提出模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别方法 方法主要包括模态不变性特征学习模块和语义一致的细粒度信息挖掘模块，联合两个模块，使特征提取网络获取具有判别性的特征 具体地，首先利用模态不变性特征学习模块去除特征图中的模态信息，缓解模态差异 然后，使用语义一致的细粒度信息挖掘模块，对特征图分别进行通道分组和水平分块，在充分挖掘具有判别性的细粒度信息的同时实现语义对齐 实验表明，文中方法性能较优关键词 跨模态行人重识别，模态差异，细粒度信息，语义一致性引用格式 石林波，李华锋，张亚飞，谢明鸿 模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别模式识别与人工智能，（）：中图法分类号 o，o oo o o o，o o o o o o，oo o o oo o o o o，o o oo oo o o o oooo o oo o o o，o o oo o o o o oo o o ，o o o o o oo o o o o oo o o o o o oo o o，oo o o o oo o o o o oo oo o oo o o，o，oo，o收稿日期：；录用日期：，；o，国家自然科学基金项目（o，）资助o o oo o（o，）本文责任编委 徐 勇o o o o 昆明理工大学 信息工程与自动化学院 昆明 o oo oo，o oo，第 卷 第 期模式识别与人工智能o o 年 月 oo ，o o oo oo o ooo ，（）：行人重识别是判断跨相机视角拍摄的行人图像是否为同一人的技术 受视角、姿态、光照、背景变化影响，行人重识别是一个具有挑战性的任务 目前大多数研究针对可见光相机捕捉的行人图像进行匹配，这是一个单模态行人重识别问题 然而，在智能监控系统中，只有可见光摄像机是不够的 因为当光线不足（如晚上）时，很难从可见光图像（，）中提取具有判别性的行人信息先进的监控系统能在光照不足时自动从可见光模式切换到红外模式以捕获行人的红外图像（，），获取行人有效的外观信息由于成像原理不同，可见光图像和红外图像存在严重的模态差异 因此，相比单模态行人重识别，红外可见光跨模态行人重识别是一个极具挑战性的问题跨模态行人重识别的目的是将来自一个模态的查询图像（）与来自另一个模态的图像库（）进行匹配，在现实场景的视频监控中较重要 相比单模态行人重识别，跨模态行人重识别面临的挑战是巨大的模态差异 因此，如何较好地缓解模态差异是跨模态行人重识别研究的一个难点目前，跨模态行人重识别中缓解模态差异的方法大致分为 类：基于模态互转的方法、基于度量学习的方法和基于特征对齐的方法基于模态互转的方法旨在通过一种合理的方式生成当前图像在另一个模态下的图像，将跨模态行人重识别问题转化为单模态行人重识别问题，在一定程度上缓解模态间的差异 为了进行模态互转，等提出变分自编码器的模态互转方法，利用变分自编码器将红外图像转换为可见光图像，将可见光图像转换为红外图像 等提出基于生成对抗的模态互转方法，将行人可见光图像和红外图像 通 过 （o）转为对应的红外图像和可见光图像，把图像统一在相同的模态下 等构建频谱感知特征增强网络，将 图像转换为灰度光谱图像，利用灰度光谱图像代替 图像同 图像进行相互检 索 等提 出 （），引入 模态的方法，将 图像经过一个轻量型生成器转换得到 模态图像，这是一个介于 模态和 模态的中间模态，可用于缩小模态差异 等提出 （o o），使用模态编码器和属性编码器生成图像的模态编码和属性编码，再交换编码生成与原始图像模态不同的图像基于度量学习的方法关键在于如何设计合理的度量方法或损失函数，使同一行人的相同模态和不同模态图像间的距离尽可能小，不同行人的相同模态和不同模态图像间的距离尽可能大 o 等设计（）损失和（oo o o）损失，损失限制不同嵌入特征之间的内角，获得角度可分离的公共特征空间，损失用于在特定的特征提取阶段结束时缩小不同模态特征之间的距离，提升跨模态行人重识别任务的有效性 等提出 o（o o oo o o），建立行人特征图的局部特征之间的空间依赖关系，增强网路的特征提取能力，同时，还提出跨模态双约束损失，为嵌入空间中的每个类分布添加中心和边界约束，促进类内的紧凑性，增强类间的可分离性 等提出（o oo），求解光谱依赖信息，优化身份信息，进一步探索跨模态行人潜在的光谱不变但具有判别性的身份表示基于特征对齐的方法主要思想是如何约束特征提取网络提取不同模态下图像的共有特征 为了提取共有特征，o 等设计双对齐（空间对齐和模态对齐）特征嵌入方法，利用行人局部特征辅助特征网络提取细粒度相机的不变信息，再引入分布损失函数和相关性损失函数，对齐 模态和 模态的嵌入特征 等提出，互换局部的 图像特征和 图像特征，约束互换后的特征在其行人类别的判断上无差别，通过这种互换思想约束网络提取两个模态的共有特征 等研究神经特征搜索方法，在身份损失和三元组约束下，自动在空间和通道两个维度上选择两个模态的行人共有特征 等提出双流特征提取网络（模态流和 模态流），先使用双流结构分别提取 图像特征和 图像特征，再将两个模态流的特征通过共享参数的网络获取共有特征综上所述，基于模态互转的方法、基于度量学习第 期 石林波等：模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别的方法和基于特征对齐的方法旨在像素级或特征级上对齐不同模态的特征 尽管这些方法取得不错效果，但主要关注如何缓解模态差异，未充分考虑行人的细粒度信息，因此，提取的行人特征判别性不强，效果还有待进一步改善为了获取更有判别性的行人信息，一些行人重识方法开始关注行人局部特征的提取 姿态信息是定位人体不同局部部位的一个重要线索，因此近年来涌现一些基于姿态信息的行人重识别方法，利用姿态信息将输入的行人图像划分成不同部分 等提出（o ooo o），精准使用人体局部信息，并将整个人体和局部身体部分转换为标准化和同源状态，更好地实现特征嵌入 等通过姿态估计生成一个 oo 结构，再通过仿射变换将行人与标准姿态对齐，通过oo 融合卷积神经网络（ooo o，）架构，减少姿态估计误差和信息丢失的影响 此外，等提出属性注意网络，将衣服颜色、头发、背包等基于物理外观的属性融入基于分类的人员重识别的框架中，增强行人特征表示 等使用关节点模型提取人体 个局部语义特征，再利用这些局部语义特征建立关节点高阶关系信息和高阶人类拓扑关系信息，让网络学习具有鲁棒性的特征上述方法虽然在一定程度上挖掘行人局部信息，但存在两个主要的问题：）需要引入外部网络或属性信息，不是端到端的学习过程，不利于在现实环境中进行部署）未考虑不同模态细粒度信息语义不一致的问题，导致其无法直接应用到跨模态行人重识别任务中 基于上述分析，在缓解模态差异的同时挖掘行人的细粒度信息，有助于网络获取更有判别性的行人特征，提升跨模态行人重识别方法的性能为此，本文提出模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别方法，可在挖掘细粒度信息的同时缓解模态差异 方法的总体框架主要由模态不变性特征学习（o ，）模块和语义一致的细粒度信息挖掘（o oo，）模块组成 模块利用视觉 o 网络提取模态信息 同时，提出模态混淆损失，利用该损失训练模态混淆分类器 该分类器混淆模态信息和身份信息，约束特征提取网络在特征提取阶段只提取行人模态不变性特征而忽略模态信息 模块对特征图进行通道分组和水平分块，充分挖掘行人细粒度信息 同时，引入语义一致性损失，约束网络提取到的不同模态同一行人的细粒度信息是语义一致的 语义一致的行人细粒度信息更具有判别性，有助于提升网络的行人重识别性能 在两个具有挑战性的红外可见光跨模态行人重识别数据集（、）上的实验验证本文方法的有效性和优越性模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别方法 网络架构在跨模态行人重识别数据集上，使用 表示可见光行人图像集，表示红外行人图像集，表示可见光图像数量，表示红外图像数量 Y 表示身份标签，表示行人身份数量在一个批次训练数据（）中，（，）表示第 个行人的第 个训练样本，表示在一个批次训练数据中行人身份的个数，表示在一个批次训练数据中每个行人身份抽取的样本个数为了缓解红外可见光两个模态之间的差异并提取丰富的语义一致的细粒度行人特征，本文提出模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别方法，整体网络结构如图 所示本文方法主要包括模态不变性特征学习模块（）和 语 义 一 致 的 细 粒 度 信 息 挖 掘 模 块（）模 块 采 用 层 数 为 的 视 觉o网络（）提取模态信息，并利用模态信息训练一个模态混淆分类器 该分类器在模态混淆损失的约束下，迫使模型学习模态不变性特征 模块采用 作为骨干网络，并将骨干网络（前 个块（）参数不共享，后 个块（）参数共享）提取的特征复制一份，一份经过广义平均池化（，）后输入 模块，学习模态不变性特征，另一份经过通道分组和水平分块两个操作挖掘细粒度信息此外，引入语义对齐损失，约束网络提取到的不同模态同一行人的细粒度信息是语义一致的 两个模块联合后训练特征提取网络，使网络提取不受模态影响、包含丰富细粒度信息、语义一致的行人特征模式识别与人工智能（）第 卷.图像VIIR图像.参数不共享.特征图SS.参数共享特征图.ELERETLm模态信息身份信息MIFL模块LCSVI流IR流损失流损失函数矩阵形状变换模态混淆分类器通道分组.水平分块Gem池化.VIIRVIIR细粒度信息挖掘Gem池化1 1卷积层+BN层ReLU层SCFIM模块LidLtri语义一致性约束Transformern 层网络图 本文方法的总体框架 o o oo o 模态不变性特征学习模块为了缓解模态差异，本文设计模态不变性特征学习模块（）假设输入图像为（，），分别表示 和 经过 得到的 特征图和 特征图，其中，、表示特征图的高、宽，表示特征图的通道 将特征图在 维度上进行矩阵形状变换操作后得到特征（），（）将 和送入学习，得到 个模态的模态信息 和 ，获得模态信息的过程可表示为（），（）其中，表示卷积块（共享参数的 个块），表示层数为 的视觉 o 网络，（）表示矩阵形状变换操作，表示输入图像，表示模态信息，表示 模态或 模态 训练时，最小化如下损失函数：（），），（）约束提取的模态信息 最小化式（）可优化 提取模态信息，其中，（）表示模态分类器，表示模态标签，表示 模态或 模态 具体地，模态图像的标签 ，模态图像的标签 ，（）表示交叉熵损失函数得到模态信息后，利用模态信息训练模态混淆分类器，约束 和 在特征提取阶段只提取模态不变性特征，达到将模态信息从特征图中去除的目的 具体地，图像 经过 和 得到模态信息，经过和得到的特征图再经过 池化得到身份信息 将模态信息 和身份信息 送入模态混淆分类器，模态混淆分类器把 分到 模态类或 模态类，把 分到既不是 模态也不是 模态的第 个类 在损失的约束下，和 在特征提取阶段忽略对模态信息的提取，因此 和 最终提取的是不包含模态信息的模态不变性特征 训练时，使用如下损失函数：c（c（），）（c（），），（）约束整个过程，其中，c（）表示模态混淆分类器，表示模态标签，表示 模态或 模态 不同于式（）的模态标签，由于式（）引入第 个类，标签信息增加一个维度 具体地，模态图像的标签形式为 ，模态图像的标签形式为 ，表示既不属于 模态类也不属于 模态类的第 个分类标签，标签形式为 语义一致的细粒度信息挖掘模块 细粒度信息挖掘行人拥有的细粒度信息越丰富，就越具有判别性 为了挖掘行人的细粒度信息，本文构建图 所示的细粒度信息挖掘（oo 第 期 石林波等：模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别，）将经