基于开集类增量学习的人类活动识别研究_郇战.pdf

实 验 技 术 与 管 理 第 40 卷 第 2 期 2023 年 2 月 Experimental Technology and Management Vol.40 No.2 Feb.2023 收稿日期:2022-08-05 作者简介:郇战（1969），男，陕西咸阳，硕士，教授，主要研究方向为物联网及智能控制技术，。引文格式:郇战，周帮文，王澄，等.基于开集类增量学习的人类活动识别研究J.实验技术与管理,2023,40(2):40-47.Cite this article:HUAN Z,ZHOU B W,WANG C,et al.Research on open set based class-incremental learning for human activity recognitionJ.Experimental Technology and Management,2023,40(2):40-47.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.02.007 基于开集类增量学习的人类活动识别研究 郇 战1，周帮文2，王 澄2，董晨辉1，刘 艳2，王佳晖1（1.常州大学 微电子与控制工程学院，江苏 常州 213000；2.常州大学 计算机与人工智能学院，阿里云大数据学院，江苏 常州 213000）摘 要：通过可穿戴传感器采集的时间序列信号进行人类活动识别（HAR）需基于训练样本的已知类别进行，然而现实中可能面临不断增加的新类别数据，将新类别数据与已知类别有效区分是现阶段人类活动识别的研究热点。类增量学习旨在目标数据不断增加时用新的知识更新已有模型，同时开集识别算法可以为分类器提供拒绝选项，以便识别出模型未见过的目标类型。该文设计了一种基于类增量学习的开集动作识别框架，该框架能够连续识别和学习新的未知类，将极值模型（EVM）与增量学习相结合，对于特征进行 PCA 降维，分别计算特征之间的余弦、欧式和曼哈顿距离，对新数据进行学习和识别。仿真实验结果表明，对比现有的模拟开集工作，该文所提出的模型在 UCI 和 PAMAP2 数据集上具有良好的表现，其中经过 PCA 降维和计算余弦距离取得了更高的精度。在类增量学习实验中，该模型既能够保持良好的精度，同时也能有效地辨别新类。关键词：增量学习；开集识别；人类活动识别；极值模型；PCA 降维 中图分类号：TP183 文献标识码：A 文章编号：1002-4956(2023)02-0040-08 Research on open set based class-incremental learning for human activity recognition HUAN Zhan1,ZHOU Bangwen2,WANG Cheng2,DONG Chenhui1,LIU Yan2,WANG Jiahui1(1.School of Microelectronics and Control Engineering,Changzhou University,Changzhou 213000,China;2.School of Computer Science and Artificial Intelligence,Changzhou University,Changzhou 213000,China)Abstract:Through time series signals collected by wearable sensors,human activity recognition(HAR)needs to be carried out based on the given categories of training samples.However,there always exist new classes of data in real environment.These days how to effectively distinguish these new categories of data from the given classes become an important issue for HAR.Class-incremental learning aims to update the existing model using new knowledge when the target data is increasing.Also,the open set based recognition algorithm can provide the rejection option for the classifier to identify the target class that the model didnt learn before.In this paper,an open set based class-incremental learning HAR framework is designed,which can continuously identify and learn new unknown classes.The framework combines extreme value model(EVM)with incremental learning to learn and recognizes new data.Here,PCA dimensionality reduction for features is applied to calculates the cosine,Euclidean and Manhattan distances between features,respectively.The simulation result reveals that the proposed model performs well on the UCI and PAMAP2 datasets compared with the existing open set based schemes.Higher accuracy can be achieved through PCA reduction with cosine distance calculation.Also,in the class incremental learning experiment,the proposed model can maintain high accuracy while new classes can be effectively identified.Key words:class-incremental learning;open set recognition;human activity recognition;EVM;PCA reduction 郇 战，等：基于开集类增量学习的人类活动识别研究 41 在人类活动识别（human activity recognition，HAR）中，通过已有类别样本建立了一个识别模型，在实际应用中，后续传感器可能会逐步捕获出新的类别样本，由于传统的闭集分类器依赖于一个假设，测试样本的类别都由训练样本的类别决定，因此分类器无法检测到训练时未见的新类，并且常常将其错误地归类为训练样本中的某个类别，因此需要不断更新现有的训练模型以适应新的数据1。通常利用所有已有的和新的样本对训练模型进行再训练，由于计算时间、数据隐私或存储有限等因素，旧数据可能无法使用，定期再训练是不现实的，因此增量学习的引入将使得识别系统更加有效和实用2。增量学习只利用新的样本信息更新已有的模型，避免了对已有样本的重复训练和存储，在实际应用中可能会遇到以前没有见过的新类，需要将它们添加到识别任务中，这就形成了类增量学习（class incremental learning，CIL）的问题。CIL在不遗忘旧类别的基础上学习新类别，进而构建一个统一的分类器，旨在学习新类别时不利用旧类别的信息，但这可能会出现灾难性遗忘的问题。为此，文献3提出了使用知识蒸馏的方法提供旧类的“软监督”信息来缓解灾难性遗忘的问题。开集识别（open set recognition，OSR）指一个在训练集上训练好的模型，当利用一个测试集（该测试集中包含训练集中没有的类别）进行测试时，如果输入的是已知类别数据，则输出具体的类别，如果输入的是未知类别的数据，则进行合适的处理，将其识别为 unknown。文献1中提出了分层自注意力编码器的方法，对原始传感器信号的空间和时间信息进行建模，在 OSR 问题中，通过使用自动编码器网络的解码器部分来检测看不见的活动类别。文献4中提出了 EVM模型，是基于 EVT 的 OSR 方法，广泛应用于人脸识别中。针对开集增量学习场景本文考虑运用 EVM 模型，相较于其他模型，EVM 更适用于增量学习中。当训练未知类时，就可以直接进行一次对该类的最小表征点选择过程。而当需要对已知类增加训练样本时，可以直接利用新加入的点和此前的极值向量进行一次最小表征点选择过程，避免了对已有样本的重复训练和存储。针对测试样本中出现的未知类，相对于常见模型将其识别成已知的某个类别，EVM 模型能很好地将其与已知类别区分开来。针对上述问题，本文提出了开集增量模型，主要贡献如下：（1）将 EVM 模型应用于 HAR 中，为了验证 OSR的有效性，模拟了开集实验，对于 EVM 做了改进，对提取的时域、频域特征采用 PCA 降维的方法，将高维数据转化为低维数据，有效解决特征冗余的问题，分别采用余弦、欧式、曼哈顿距离来计算样本间的距离。（2）将改进后的 PCA+EVM 模型与增量学习相结合，既有效地解决 CIL 问题，也能很好地识别出新的类别。1 基于 EVM 的开集增量模型 1.1 模型整体框架图 开集增量模型的框架如图 1 所示。图 1(a)是对EVM 模型的改进，对提取的原始时频域特征进行 PCA主成分分析，将原始特征集降维映射到低维空间，接着计算特征间的距离，分别采用余弦、欧式和曼哈顿距离，进行 Weibull 拟合，得到对应的模型。图 1(b)分别做留一类、部分类置未知的模拟开集实验和开集增量实验，并对比了实验结果，其中开集增量的实验步骤为训练样本（初始部分类别）生成一个初始模型Model，分类识别测试样本，虚线部分表示进行类增量学习，每次学习一些新类数据更新已知 Model，进行分类识别，具体学习场景如图 2 所示。图 1 模型整体框架图 42 实 验 技 术 与 管 理 图 2 开集增量学习场景。EVM4是基于极值理论提出来的。对于中心极限定理来说，无论一个随机变量 X 服从什么分布，每次取样一批随机变量的均值都服从正态分布。而类似地，极限理论是指，无论一个随机变量 X 服从什么分布，每次取样一批随机变量的最大值都服从极值分布 F。设ijm是类iA的样本点到类jA的所有样本点最近距离的一半，这个边界距离服从最小值分布，ijzm=-则是最大值分布类似极值理论，因此认为这个最小半距离服从韦伯分布。其中属于样本 ei类别的 x 的概率密度函数可以基于韦伯分布推导，如式(1)所示。1|(,;,)expkiiiikexiiiiiiikexf e x k-|-=|（1）其中|iex-是 x 与样本 ei的距离，ki和 i分别是Weibull 形状和尺度参数，它们是通过拟合到最小距离获得的。得到所有样本的参数后，x 不超过 margin 的概率可以表示为 i1(|;,)iiiFxek=-（2）其中 F 是 f 的分布函数，测试样本 x 与类 Cl相关联的概率为 :(|)max(,;,)iliiii ylp Cxx e k=（3）其中，yi为样本 ei的标签。因此，定义用于对 k 个已