基于摄像头域内域间合并的无监督行人重识别方法_陈利文_.pdf

基于摄像头域内域间合并的无监督行人重识别方法陈利文叶锋黄添强黄丽清翁彬徐超胡杰（福建师范大学计算机与网络安全学院福州350117）（福建省公共服务大数据挖掘与应用工程技术研究中心（福建师范大学）福州350117）（数字福建大数据安全技术研究所（福建师范大学）福州350117）（）An Unsupervised Person Re-Identification Method Based on Intra-/Inter-CameraMergerChenLiwen,YeFeng,HuangTianqiang,HuangLiqing,WengBin,XuChao,andHuJie（College of Computer and Cyber Security,Fujian Normal University,Fuzhou 350117）（Fujian Provincial Engineering Research Center of Big Data Analysis and Application(Fujian Normal University),Fuzhou 350117）（Digital Fujian Institute of Big Data Security Technology(Fujian Normal University),Fuzhou 350117）AbstractIncriminalinvestigation,intelligentmonitoring,imageretrievalandotherfields,personre-identificationhasalwaysbeenahotandsignificantresearchtopic.Sincemostoftheexistingmethodsrelyonlabeleddatasets,thelackoflabelsmakesunsupervisedpersonre-identificationtechnologymorechallenging.Inordertoovercometheproblem of the lack of labels,a new framework to generate reliable pseudo labels is proposed as supervisioninformationforexistingsupervisedpersonre-identificationmodels.Assumingthatimagestakenbythesamecameramainlyvaryinpedestriansphysicalappearancesratherthanbackgrounds,thenimagestakenbydifferentcamerasvaryinbackgrounds.Toeliminateeffectsbroughtbythedifferencesinimagebackground,imagesaredividedintoseveraldomainsbycameraSerialnumbersasthefirststep.ThenweconstructundirectedgraphsforeachcamerawithEuclideandistanceofimagepairs,andtherewillbeanedgeonlywhentwoimagesarecloseenough.Theimagesinonemaximumanalogoussetareregardedasthesameperson.Thenwemergemaximumcliquesfromdifferentcamerassimplywiththeircosinedistanceandassignpseudolabels.Theproposedframeworkrunsinanunsupervisedmanner,andtheproposedmethodcanobtainhigheraccuracythantheotherrelatedmethodsonMarket1501andDukeMTMC-ReIDdatasets,whichfurthershowstheeffectivenessoftheproposedmethod.Key wordspersonre-identification；unsupervisedlearning；maxcliquealgorithm；pseudolabels；clustering摘要在刑事侦查、智能监控、图像检索等领域，行人重识别一直是研究的热点.由于现有的大部分方法依赖有标注数据集，因此标签的缺乏使得无监督的行人重识别技术变得更具挑战性.为了克服这一问题，提出了一个用于生成可靠伪标签的框架，这些生成标签可以为现有监督行人重识别模型提供监督信号.假设数据集内的大部分图片都满足同一个摄像头拍摄的图片差异主要在于前景（行人）、同一个行人被不同摄像头拍摄到的图片差异主要在于背景.为了消除图片背景带来的差异，首先把数据集中的图片依据摄收稿日期：20210706；修回日期：20220223基金项目：国家自然科学基金项目（62072106，61070062）；福建省自然科学基金项目（2020J01168）；福建省科技厅创新战略研究项目（2020R0178）；福建省教育厅项目（JT180078）ThisworkwassupportedbytheNationalNaturalScienceFoundationofChina(62072106,61070062),theNaturalScienceFoundationinFujianProvince(2020J01168),theInnovationStrategyResearchProjectofScienceandTechnologyDepartmentofFujianProvince(2020R0178),andtheProjectofFujianProvincialEducationDepartment(JT180078).计 算 机 研 究 与 发 展DOI：10.7544/issn1000-1239.202110732JournalofComputerResearchandDevelopment60（2）：415425，2023像头编号分成若干个域，通过计算每个域内的图片间的欧式距离，建立图模型，执行最大团算法寻找最相似的若干个图片并认为它们属于同一个行人；紧接着计算不同摄像头域间的团的相似度，据此进行合并；最终给出全局伪标签.所提的框架无需人为标注数据，以一种无监督的方式运行，并在 Market1501 和DukeMTMC-ReID 数据集上进行实验，实验发现所提方法比其他相关方法具有更高的精度，从而进一步证明了所提方法的有效性.关键词行人重识别；无监督学习；最大团算法；伪标签；聚类中图法分类号TP391行人重识别研究的目标是如何从多个摄像机视角下匹配同一个行人，该技术的研究对智能视频监控和图像检索、刑事侦查等公共安全方面有着重大意义.但是光照条件、行人姿势、背景环境等因素都会导致同一个行人在不同视角下可能有较大的差异，同时还存在行人被遮挡或者图片模糊的情况，所以目前行人重识别仍然是一个具有挑战性且热门的研究课题.近几年有诸多研究者尝试使用深度学习的方法1-4来解决此问题，并取得了极大的进展.但是这些方法的性能通常受限于 2 个方面：一是依赖大量的数据标注，比如研究者们常用的 Market1501 数据集5包括了 1501 个行人的 32668 张图片，对这些图片进行标注是费时费力的；二是泛化能力有限，当把训练好的模型应用到另一个数据集上进行测试时性能急剧下降，比如文献 6 提出的 BoT（bagoftricks）模型在 Market1501 数据集上训练之后测试的 Rank-1 是94.5%，如果在 DuekMTMC-ReID7数据集上进行测试，Rank-1 下降到 41.4%.这些方法需要有标签数据集作为监督信息来优化模型，所以也称为有监督行人重识别方法.而无监督行人重识别无需数据集标注行人的编号信息，能以较低的成本对新场景进行数据采集和训练，能有效避免泛化能力有限的问题，因此研究基于无监督模式的重识别算法是有重大意义的.本文提出了一个新的框架为无标注的行人重识别数据集构造可靠的伪标签，再结合有监督方法进行训练，最终得到一个鲁棒的行人重识别模型，并在 Market-1501 和 DukeMTMC-reID 数据集上测试，同时与相关方法进行比较，实验结果验证了本文算法的有效性和优越性.本文的主要贡献包括 3 个方面:1）提出了一个鲁棒的伪标签生成框架，首先依据图片样本的摄像头编号把数据集分成若干个域，依次构造摄像头域内的局部伪标签和域间的全局伪标签.2）使用最大团算法作为强约束对摄像头域内的样本进行聚类，相比于常用的聚类方法不仅聚类时间更短，而且有更优的聚类结果.3）将本文方法在 2 个大规模公开数据集 Market-1501 和 DukeMTMC-ReID 上进行了实验，同时与现有的无监督行人重识别方法进行比较，实验结果表明，本文提出的方法性能是最佳的.1相关工作基于大量标注数据和深度学习的有监督行人重识别方法已经取得了极大的进展，比如 MGN1，PCB2，AignedReID3等方法，它们通过结合行人图片的全局特征和局部特征，或者使用特征对齐的方式重组特征描述向量，使用三元组损失和交叉熵损失优化网络参数，最终 MGN 在 Market1501 数据集上的 Rank-1 达到了 95.7%.文献 6 研究了行人重识别模型构建和训练过程中的一些技巧，比如随机擦除、标签平滑、预热学习率和损失函数等，并提出了一个仅使用全局特征且网络结构简单的模型 BoT，该模型在 Market1501数据集上的 Rank-1 是 94.5%，仅比结构复杂的 MGN低 1.2%.因此本文使用 BoT 作为基础模型，用于提取无标签数据集的特征和训练伪标签数据集.传统的无监督行人重识别方法尝试设计手工特征8、发掘显著性信息9等方式利用无标签数据集.这些算法可能在特定的数据集上表现良好，但并不适合处理复杂的真实场景，不具备通用性.还有一些基于深度学习的方法，比如 BUC10设计了一个通过发掘行人之间相似性的聚类合并方法来产生伪标签，但是数据集中的样本数目较大，聚类过程十分耗时，而且难以确定聚类中心个数.文献 11 提出把样本之间的相似性作为软限制构造软伪标签，起始阶段把每个样本当成一个类别，最终训练软伪标签数据集.显而易见，构造的伪标签越接近真实标签，训练出来的模型效果也就越好.与 BUC 构造硬标签类似，本文通过使用更强的约束范式来生成更可靠的伪标签，416计算机研究与发展2023，60（2）从而取得了更好的结果.无监督域自适应算法是无监督算法的一种，和BUC 等算法相比，无监督域自适应算法要求有一个已知标签的数据集作为辅助域，通过迁移学习或者缩小辅助域和目标域之间的差异，从而在无标签的目标域上获得较好的结果.文献 12 通过把辅助域和目标域的特征映射到同一个特征空间中来解决辅助域和目标域的特征差异；CORAL13尝试对齐 2 个域的特征分布的均值和方差；SSG14提出一个挖掘无标签样本潜在相似性的自相似分组方法，进而构造伪标签.在辅助域的帮助下，文献 1214 方法的表现优于没有辅助域的无监督方法，但是其性能会受到辅助域和目标域的差异程度的影响.摄像头内监督（intra-camerasupervision，ICS）假设已知每个摄像头拍摄的行人图片的标签是已知的，但这些标签是独立的，即各个摄像头之间的图片标签没有关联，ICS 场景下的行人重识别是半监督学习问题.这样的标签在真实场景中能以较低的代价获取，比如使用目标跟踪方法来获取一个摄像头拍摄到的行人图片，并认为相邻帧内的行