基于背景自适应学习的行人重识别算法研究_何儒汉.pdf

Computer Engineering and Applications计算机工程与应用2023，59（7）行人重识别1作为安防领域中一种新的视频分析手段，其主要目的是基于给定的一个监控设备下的行人图像，检索出跨设备下的该行人图像，近年来，随着智慧城市和智慧安防等概念的提出，行人重识别作为一种有潜力的技术手段，得到了国内外研究者的广泛探讨。并且作为构建智能监控系统需要解决的关键技术，其在包括行人的交通统计、街道事件检测和行人的行为分析等诸多实际场景中起到了关键性作用。在一个行人重识别任务当中，重识别系统需要对出现在某个特定摄像头下的行人进行一个全网的络追踪与检索。当给定一个待基于背景自适应学习的行人重识别算法研究何儒汉1，2，3，熊捷繁1，2，3，熊明福1，2，31.湖北省服装信息化工程技术研究中心，武汉 4302002.纺织服装智能化湖北省工程研究中心，武汉 4302003.武汉纺织大学 计算机与人工智能学院，武汉 430200摘要：现有的基于语义分割的行人重识别研究大多还是停留在人体语义信息的提取本身，忽视了人体自身语义信息之间以及人体与环境语义信息之间的相互关系，为了解决这一问题，此项研究提出了基于背景自适应学习的人体语义空间关系模型。该模型主要分为语义分离，特征粗提取以及空间关系学习三部分，语义分离主要用于区分人体语义信息和环境语义信息，特征粗提取则是用于提取不同语义信息的浅层特征，空间关系学习主要是对上述的浅层特征进行空间关系维度的特征关联。通过广泛的实验证明，该方法在两组公开数据集中（DukeMTMC-reID、CUHK-03）均取得了较好的效果。关键词：行人重识别；语义分割；空间关系文献标志码：A中图分类号：TP37doi：10.3778/j.issn.1002-8331.2110-0376Research on Person Re-Identification Based on Background Adaptive LearningHE Ruhan1，2，3,XIONG Jiefan1，2，3,XIONG Mingfu1，2，31.Engineering Research Center of Hubei Province for Clothing Information,Wuhan 430200,China2.Hubei Provincial Engineering Research Center for Intelligent Textile and Fashion,Wuhan 430200,China3.School of Computer Science and Artificial Intelligence,Wuhan Textile University,Wuhan 430200,ChinaAbstract：The research of person re-identification based on human semantic information has become one of the mostprevalent research highlights in recent years.However,most of the existing research based on this still stay in how toextract more accurate semantic information,ignoring the relationship between the semantic information of human bodyitself and the semantic information of human body and environment.In order to solve the problem,this research proposesa human semantic spatial relationship model based on background adaptive learning.The model can be mainly dividedinto three parts：semantic separation,rough feature extraction and spatial relation learning.Semantic separation is mainlyused to distinguish human semantic information from environmental semantic information,rough feature extraction ismainly used to extract shallow features of different semantic information,and spatial relation learning is mainly used toenhance the above shallow features at the spatial relation level.Extensive experiments show that the method has achievedgood results in two groups of public data sets（DukeMTMC-reID,CUHK-03）.Key words：person re-identification;semantic segmentation;spatial relationship基金项目：湖北省自然科学基金面上项目（2021CFB568）；湖北省教育厅科学技术研究计划重点资助项目（D20141603）；国家自然科学基金（61170093）。作者简介：何儒汉（1974），男，博士，教授，CCF会员，研究方向为机器学习、多媒体检索等，E-mail：；熊捷繁（1997），男，硕士，CCF会员，研究方向为计算机视觉；熊明福（1984），男，博士后，讲师，CCF会员，研究方向人工智能、图像处理、目标检测等。收稿日期：2021-10-25修回日期：2021-12-01文章编号：1002-8331（2023）07-0126-081262023，59（7）检索对象后，行人重新识别系统则会从由多摄像机系统收集的图库中检索出其他图像或视频序列，找到与待检索对象属于同一行人的数据，从而确定待检索人身份和行走路径。其流程具体如图1所示。在传统的学习过程中，一个行人重识别任务的整体流程可概括为特征提取、度量学习、精细优化三个阶段。特征提取即主要研究如何提取到更加鲁棒的外观特征，从而保障检索的准确率。度量学习2的主要关注点为如何衡量不同图像特征间的距离，通过学习一个有判别力的距离度量函数，使得同一行人不同图像间的距离小于不同行人图像间的距离，从而准确检索出同一行人目标。精细搜索即为利用上述获取到的度量距离衡量不同图片中行人的相似度，根据距离大小的排序筛选出最有可能的图片。特征提取作为计算机视觉任务中的通用流程，近年来取得了许多突破性的进展，目前行人重识别领域常见的特征提取方法主要有基于切片的特征提取方法3-4、基于人体关键点5-6识别的方法、基于网格的方法、基于人体语义分割7-8的方法等，相比前三种方法，由于语义分割能够获取到更加细粒度的行人特征，因此基于语义分割的重识别模型在许多情景下可以取得更加优异的效果，然而就目前而言，大多数基于语义分割的方法研究更多的仍是停留在如何获取更加精准的语义区间之上，忽视了人体区间中不同位置间的空间关系，并且由于实际生活中人体与背景信息可能会存在着某种空间关联，单纯的剔除背景信息可能会使模型遗失掉部分高维的空间信息，从而会降低模型的鲁棒性，基于这些可能本研究提出了基于背景自适应学习的人体语义空间关系模型，不同于其他语义分割方法，该模型会自适应地学习有益于增强行人特征的背景信息，并且结合行人自身的局部空间结构信息对模型进行优化。该模型主要分为三个模块，分别为语义分离模块、特征粗提取模块、空间关系学习模块，语义分离模块此处选择使用Unet9模型分别对图像中的行人信息和背景信息进行提取，为了加快模型的收敛速度，本实验会将 Unet 模型首先在LIP10数据集中进行预训练；特征粗提取模块主要是通过一系列卷积以及池化操作获取不同语义信息的浅层特征，其中行人语义信息在进行特征提取后会对其进行切片操作将其分为多个局部区间并输入到下一模块；空间关系学习模块则是通过构建的空间关系模型使每一个局部特征能够学习到整体的空间关系信息。综上所述，此次研究的主要贡献如下：（1）采用分支思想分别处理行人语义信息和背景语义信息，并让模型自适应地学习背景语义信息中有益于增强行人特征的部分。（2）提供了一种空间关系学习的模型架构，从而利用了局部特征间存在的潜在关系对最终行人特征进行了增强。（3）通过在较为广泛的数据集上（DukeMTMC-reID、CUHK-03）的验证证明了该算法模型的有效性。1相关研究1.1基于局部特征与空间关系的重识别研究2018年，Sun等人3提出了一种基于局部的特征学习网络PCB，首先将主干网络中输出的特征图进行水平切分获取到6个局部特征，随后将6个局部特征分别作为6个分支用于表述行人特征进行度量计算，该网络在取得较好结果的同时也逐渐成为了行人重识别领域的一个流行基准。基于PCB网络，Fan等人11于2018年提出了SCPNet网络结构模型，该模型通过利用空间区域特征监督通道层面特征的思想，将局部特征传递给全局特征从而加强模型的特征表达能力，证明了局部特征结合全局特征对于提高特征表达能力的有效性。2020年，Wang等人6提出了一种解决人体遮挡以及姿态不对齐问题的基于高维拓扑信息的模型架构，该模型首先通过关键点定位获取到包含不同关键点区域的热度图，将每个热度图作为一个局部特征，然后基于图卷积的方式构建出不同局部特征间的邻接矩阵，并且基于该矩阵协助局部特征自适应地学习到邻居节点的特征信息，从而构建出不同局部之间的空间关联，增强局部的特征表达能力。2021年，Liu等人12提出了一种新的全局指导的互惠学习框架（GRL），该框架首先通过全局指导的相关估计（GCE）来生成局部特征和全局特征的特征相关图，然后基于其所提出的时间互惠学习机制（TRL）来进一步区分高相关特征以及低相关特征，进而增强特征的表达能力。1.2基于语义分割的行人重识别研究语义分割作为计算机视觉的一个重要研究领域，近年来得到了许多突破性进展，包括 FCN13、PSPNet14、DeepLab15、Mask RCNN16在内的一系列语义分割算法在各项分割任务中都取得了优秀的表现。相比于传统检索摄像头网络特定摄像头检索库待检索行人图1行人重识别过程Fig.1Process of person re-identification何儒汉，等：基于背景自适应学习的行人重识别算法研究127Computer Engineering and Applications计算机工程与应用2023，59（7）的水平切片或直接加入注意力机制等方法，语义分割能够辅助重识别网络捕捉到更加准确的兴趣空间。2018年，Kalayeh等人7将原始的重识别模型分为两个分支，即重识别分支和语义分割分支来对重识别任务进行训练，并且使用语义分割支路的输出作为mask，然后对人体的各部件进行局部特征提取，从而获取到更加精准且具有代表性的行人特征，该方法在取得优秀评价指标的同时给重识别任务引入了一种优秀的研究思想。2019年，Cai等人17设计出一种多尺度身体局部语义掩模引导的注意力网络（MMGA），该网络可以联合全身和局部的注意力，帮助提取到更准确的全局和局部的特征从而使模型具有更强的鲁棒性以及泛化能力。但是目前被广泛应用于重识别的语义分割方法大多都只是单纯的提取人体语义特征，这种方法的结果好坏很大程度上取