基于行踪标识量的跨监控探头轨迹预测方法_袁首.pdf

第 44 卷第 4 期兵 器 装 备 工 程 学 报2023 年 4月收稿日期:2022 05 28;修回日期:2022 06 17基金项目:山东省自然科学基金面上项目(Z2017MF036);军队“十三五”模拟仿真体系建设项目(2021-HCX-MN-050014)作者简介:袁首，男，硕士研究生，E-mail:1151190542 qq com。通信作者:乔勇军，男，博士，副教授，E-mail:qyjdatabase163 com。doi:1011809/bqzbgcxb202304013基于行踪标识量的跨监控探头轨迹预测方法袁首，乔勇军，王丽媛，陈青华(海军航空大学，山东 烟台264001)摘要:解决了跨监控探头轨迹预测任务，即目标将出现在哪个监控探头、何时出现以及出现在视图中何处的问题。由于已有的研究集中于单监控探头或是目标跟踪，导致成果在本问题的预测性研究中受限。首先根据问题任务构建了行踪标识量，之后提出了 AMVS+模型，继而在跨监控探头轨迹预测数据集 AMVTP 上进行实验验证，在精确度等方面取得了明显优于基线的结果。因此表明:使用行踪标识量的预测模型可以有效解决问题，满足了跨监控探头轨迹预测的问题需求。关键词:跨监控探头;轨迹预测;行踪标识量;模型;数据集本文引用格式:袁首，乔勇军，王丽媛，等 基于行踪标识量的跨监控探头轨迹预测方法J 兵器装备工程学报，2023，44(4):87 95Citation format:YUAN Shou，QIAO Yongjun，WANG Liyuan，et al esearch on the cross-monitoring vidicon trajectoryprediction method based on track identifiers J Journal of Ordnance Equipment Engineering，2023，44(4):87 95中图分类号:TP391文献标识码:A文章编号:2096 2304(2023)04 0087 09esearch on the cross-monitoring vidicon trajectoryprediction method based on track identifiersYUAN Shou，QIAO Yongjun，WANG Liyuan，CHEN Qinghua(Naval Aviation University，Yantai 264001，China)Abstract:This paper studies the cross-monitoring vidicon trajectory prediction，involving in whichvidicon，when and where the target will appear in the view Due to the focus on single monitoring vidiconsor target tracking for the existing studies，the results are limited in the predictive research of this problemFirstly，a track identifier is constructed according to the task Then，the AMVS+model is proposed，through which experimental verification is carried out on the cross-monitoring vidicon trajectory predictiondataset AMVTP to achieve significantly better results in indicators like accuracy than those on the baselineTherefore，the results show that the prediction model using track identifiers can effectively solve theproblem，which meets the needs of cross-monitoring vidicon trajectory predictionKey words:cross-monitoring vidicon;trajectory prediction;track identifier;model;dataset0引言在智能监控、自动驾驶、航班飞行1 等应用领域中，对监控探头中的轨迹进行预测是一个热点且具有挑战性的问题。但目前该领域的工作集中于单监控探头轨迹预测，即在同一监控探头视图下的未来预测，使得模型无法预测目标如何进入到新场景2，并且限制在 1 5 s 的短期轨迹预测3。为了解决这个问题，首次提出了跨监控探头轨迹预测问题，即利用轨迹来预测目标接下来将在哪个监控探头中出现，何时出现以及在视图中的何处出现，这和以往的工作不同，之前使用轨迹信息进行行人重识别或是跟踪是后置性的，而这次是先验性的，便于监视人员提前做出预警和判断。首次考虑在跨监控探头设置下的轨迹预测，其关联到数据集使用、行人重识别、监控探头轨迹预测等内容，而当前最新相关领域研究并不一定完全适用。在数据集方面，使用鸟瞰角度收集的行人轨迹预测的数据集如 UCY4、ETH5、Stanford Drone 等6，只在单监控探头下适用;其他诸如Duck-MTMC 等7 多监控探头的数据集无法公开提供。因此对于本问题的应用场景，使用一个专门应对于跨监控探头轨迹预测数据集(across-monitoring vidicon trajectory predictiondataset，AMVTP)8。在行人重识别方面，绝大多数工作集中在图像级匹配上，只使用了视觉线索5，9;在 Market-150110 数据集上，rank 1 的行人重识别表现从 2015 年的 47 3%10 提升到 2019 年的 96 8%11，但在匹配之前，必须首先对人进行检测和跟踪，需要在一个大型监控探头网络上同时运行，会造成计算成本的高昂;Wang 等12 证明，通过回溯性地利用轨迹信息和视觉特征，可以在流行的 Duke-MTMC 数据集上获得最有效的结果;但注意，以上的行人重识别均是后置性的，即在目标出现之后进行识别抓取，而非本文提出问题中先验预测性的考量。在单监控探头轨迹预测方面，Social lstm13、Social gan 等14 方式在结合池化层的影响时被提出;关注于通过提取社会交往特征的 Sophie15 则用来避免在群体运动中与他人的碰撞;从非最低点视点提取人体姿态16 以及利用光流17 也考虑到了将环境约束应用于轨迹预测。在多监控探头方面，考虑到包含检测、跟踪和行人重识别的大计算需求，将其应用在跨监控探头轨迹预测网络中是一个挑战。Jain 等18 研究了缩放监控探头跟踪对大型网络的影响，并表明将搜索空间过滤到高流量区域可以以很小的召回成本来减少搜索空间;Alahi 等19 设置密集的监控探头组来预测目标的出发地和目的地，其使用最低点视点和深度传感器在坐标空间来绘制轨道;乔少杰等20 使用序列频繁扩展的方式来把阈值以上的连续轨迹作为轨迹值从而实现轨迹的预测匹配;Hsu 等21 反应性地利用了轨迹信息，使得跨监控探头视图匹配对象的次信息来源用于补充现有基于外观的模型。基于此，以跨监控探头轨迹预测的新问题为背景，引入了行踪标识量的思想，提出了相应系统模型将问题予以解决。该问题包括目标接下来将在哪个监控探头中出现，何时出现，在视图中何处出现 3 个任务。解决问题的模型使用到了本文构建的用来代替坐标的行踪标识量，其可以将跨监控探头的视点划分为不同的网格单元，直观地为不同未来位置建模，且易于表示任意数量视点中的目标位置。最后通过搭建的模型，先验性的在物体进入下一个监控探头视图之前预测其未来一系列信息。实验验证表明，该方法可以很好地解决相关问题，并且对该领域的前期研究做出了一定贡献。1问题描述作为一个典型的跨监控探头系统(across monitoring vidi-con system plus，AMVS+)，本文介绍该问题的公式模型。其包含 k 个监控探头，C=ciki=1，用于监视目标对象。对于其中监控到的对象，定义其运动 n 个 timestep 到当前时刻的Bounding Box，B(s n:s)=B(s n)，B(s 1)，B(s)。1 1目标接下来将在哪个监控探头中出现在给定的 B(s n:s)中，寻找 C 的一个子集，目标可以出现在将来任意的 timestep 中(最多为 m)，同时也可以在 C 中任意数量的监控探头中出现。这是一个分类问题，需要得到每个监控探头中出现目标的概率，P(ci|B(s n:s)，ciC，每个预测的概率值均在 0 1。更确切的说，输出的是一个长度为k 的向量，P(c1|B(s n:s)，P(ck|B(s n:s)。1 2目标将何时出现通过上一步知道了目标将在哪个探头中出现，这一步要解决该探头中接下来 m 个 timestep 内目标何时重新出现。这也是分类问题，计算在每个监控探头 ciC 中的任意 time-step sj(其中 j=1，m)的联合出现概率 P(ci，sj|B(s n:s)。因 而，本 问 题 输 出 的 是 一 个km的 矩阵P(c1，s1|B(s n:s)P(ck，sm|B(s n:s)()。1 3 目标将在视图中何处出现在上述两步的基础上，需要对目标进行空间定位。将每个监控探头的视图划分成长 宽为 l w 的网格，并定义每个单元网格 rxy中出现目标的概率为 P(ci，sj，rxy|B(s n:s)，其中 x=1，l 以及 y=1，w。因而，本问题输出的是一个k m l w 的四维张量 Z，包含概率 P(ci，sj，rxy|B(s n:s)，其中 ciC，j=1，m，x=1，l 以及 y=1，w。2模型构建将首先阐述行踪标识量的构建，再以此为基础针对问题提出相应的解决模型。2 1行踪标识量的构建当下主流的轨迹表示是通过坐标来标记13 15，如(x，y，l，w)s，表示在 timestep 为 s 时目标的位置以及长宽。但是这种标记方法有一定的缺陷，例如该方法不定义零轨迹，即当目标被遮挡导致检测算法失效时，坐标就不可用;同时坐标轨迹的方法只能表示从一个监控探头观察到的轨迹，除非所有对象均在所有监控探头中可见，也需要精确测量监控探头的位置以及内在的参数，但并不总是可以实现的;最后由于轨迹预测任务具有的确定性，导致无法应对目标在某一点可以有多个移动方向概率的多模态情形。由于上述的不足，本研究中提出了一种跨监控探头的行踪标识量构建方式，来弥补缺陷，更好地服务于问题的解决，88兵 器 装 备 工 程 学 报http:/bzxb cqut edu cn/构建方式如下。1)在跨监控探头组 C=ciki=1中，目标可以在其中一个或者多个监控探头中同时出现。如图 1 所示。图 1目标出现示意图Fig 1 Target appearance diagram2)对于每个监控探头 ci的视图，把其中检测到的目标用 Bounding Box 框出，并用 Bi代表。如图 2 所示。图 2各探头检测目标示意图Fig 2 Schematic diagram of each vidicon detecting targets3)针对每一个 Bi，将其转化成大小为 l w 的矩阵热图Hi，其中每个单元格都是一个二进制的值，用 0 和 1 表示其中是否存在该目标。目标可以依据其大小占有任意数量的网格单元，如图 3 所示。4)将得到的 k 个监控探头矩阵热图按照监控探头尺寸堆叠，并沿 m 个 timestep 长度展开，使用高斯核平滑热值，使得