基于深度学习的多模态生物特征融合模型_李卓容.pdf

Computer Engineering and Applications计算机工程与应用2023，59（7）近年来，生物特征逐渐成为案件破获的关键所在。随着指纹、人脸、DNA、声纹等部级数据库的建立，生物特征以其唯一性和特定性的独特优势，成为破解犯罪活动的新密码1。然而，随着数据库规模的扩增，只依靠单一模态的生物特征识别算法精度逐渐无法满足安全性需求。同时，单一模态的识别对数据质量依赖性较高，低质量的离群样本会产生较大干扰，因此单模态算法常在数据预处理阶段剔除低质量生物特征样本。然而公安实战应用与其他应用场景不同，与案件有关生物特征数据大多为低质量数据。因此，传统的单模态生物特征识别技术无法满足公安机关实战应用需求。融合多种特征的多模态融合识别算法可以同时提高识别性能与安全性2，克服低质量数据识别精度过低问题，因此研究多模态融合识别技术对生物特征的实战应用具有重要意义。多模态生物特征识别一般采用融合算法将多个模基于深度学习的多模态生物特征融合模型李卓容，唐云祁中国人民公安大学 侦查学院，北京 100038摘要：面对公安实战中获取的低质量生物特征数据，单模态生物特征识别技术的精度并不理想，现有的多模态融合算法存在融合层次单一、泛化性不强等问题，深度神经网络的发展为其提供了有效的解决途径。构建基于深度神经网络的多模态生物特征融合模型，将像素层、特征层、分数层等不同层次的融合方法统一到融合模型中，在像素层采用空间、通道和强度融合三种策略；在特征层通过反向传播整体优化模态专用分支与联合表示层，构建模态之间一阶依赖关系；在分数层使用基于Rank1评价和基于模态评价两种方法完成匹配分数融合。模拟实战数据构建虚拟同源多模态数据集进行模型验证。实验结果表明，多模态像素层融合方法提升效果有限，难以增强数据的区分度；多模态特征层融合方法相比单模态算法提升2.2个百分点；分数层融合方法相比单模态算法提升3.5个百分点，最佳检索精度可达99.6%。基于深度学习方法提出的多模态生物特征融合模型极大地提高了模型的泛化性和检索精度。关键词：图像处理；卷积神经网络；多模态；生物特征检索文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2205-0498Multimodal Biometric Fusion Model Based on Deep LearningLI Zhuorong,TANG YunqiSchool of Criminal Investigation,People s Public Security University of China,Beijing 100038,ChinaAbstract：This paper constructs a multimodal biometric fusion model based on deep neural networks and combines severalfusion strategies at different levels,such as pixel,feature,and score.The pixel level employs the three fusion strategies ofspatial,channel,and intensity.The feature level builds first-order dependencies between modes by back-propagating theoverall optimized modal specific branch and joint representation,and the score level completes the matching score fusionusing both Rank1-based evaluation and modal-based evaluation methods.Besides,virtual homogeneous multimodal datasetsare constructed by simulating real-world data.The experimental results show that the pixel level fusion method has limitedimprovement and it is difficult to improve data differentiation.The feature level fusion method combines image featureswith semantic features,which improves 2.2 percentage points when compared to the unimodal algorithm.The score levelfusion method offers 3.5 percentage points improvement over the unimodal algorithm,with the optimal accuracy up to99.6%.The generalizability and accuracy of the proposed multimodal biometric fusion model are significantly increased.Key words：image processing;convolution neural network;multimodal;biometric retrieval基金项目：中央高校基本科研业务费（2021JKF203）；上海市现场物证重点实验室开放课题基金（2021XCWZK04）。作者简介：李卓容（1998），女，硕士，研究方向为刑事智能技术；唐云祁（1983），通信作者，男，博士，副教授，研究方向为模式识别、生物特征识别，E-mail：。收稿日期：2022-05-25修回日期：2022-11-15文章编号：1002-8331（2023）07-0180-101802023，59（7）态生物特征数据组合进而识别。按照融合层次不同可以分为像素层融合、特征层融合和分数层融合3-13。像素层融合面向原始数据进行融合3-6，文献5利用传感器融合算法实现图像配准，消除图像缝隙后完成三维图像融合，文献6验证了像素层融合的有效性；特征层融合面向从多个生物特征中提取的特征7-8，文献9使用双层特征进行融合，该方法较单层特征融合更稳定；分数层融合主要研究对象是特定比对算法给出的匹配分数，并将其合并产生最终匹配分数10-11，文献12通过分数融合方法将步态的静态特征和动态特征进行融合，有效提升了步态识别的准确率。然而，现有的多模态算法存在如下问题：第一，算法的泛化性不足。常见的融合算法只针对某一特定融合层次，例如只针对像素层融合或特征层融合，同时只考虑有限的模态，缺乏灵活性及通用性，难以对融合层次及融合模态进行迁移。第二，算法的测试规模不足。目前已有的算法受限于生物特征数据获取难度，常使用小规模的虚拟同源数据集进行测试，测试规模仅百人，难以说明融合算法的有效性。第三，算法的落地价值不清晰。现有融合算法未解决低质量数据识别问题，无法满足公安机关实战应用需求。因此，为解决现有算法存在的问题，针对公安机关实战应用需求，本文面向人类多模态特征，以人脸、指纹和虹膜三种生物特征数据为主要研究对象，提出基于深度学习的多模态生物特征融合模型。提出的模型分别从像素层融合、特征层融合和分数层融合等多层次、多角度进行探究多模态生物特征检索方法，具有良好的拓展性和泛化性，适用于不同层次的融合选择。同时，该模型可以减轻低质量、错误数据对识别性能影响，避免单一模态离群点对识别效果的影响。为了评估模型有效性，本文构建了一个千人以上的虚拟同源多模态数据集。实验结果表明，本文所提出的模型采用统一结构实现了多层次生物特征融合，贴合实际应用场景需求，有利于不同层次方法的选择；同时，在不同层级的融合上均实现了性能的提升，验证了多模态融合相较于单一模态的优越性，具有良好的泛化性。综上所述，本文的主要贡献如下：（1）提出了适应公安实战需求的多模态多层次生物特征融合模型。该模型集成像素层、特征层、分数层融合方法，对于低质量生物特征数据表现良好。通过生物特征多模态融合方法矫正单一模态识别误差，可解决单模态算法对低质量离群样本表现不佳的核心问题，满足公安实战应用场景。（2）提出了具有可选择性和泛化性的融合模型。本文提出的融合模型不依赖于特定模态和具体神经网络性能，同时可以选择不同层次进行融合。实际应用场景中，可根据具体需求对融合模态、骨干网络和融合层次进行选择或替换，具有更强的灵活性和泛化性。（3）构建了包含2 712人、40 482张图片的虚拟同源多模态数据集。该数据集以人脸、指纹、虹膜三个模态的公开数据集为基础，模拟真实案件数据进行低质量处理，在规模及识别难度上超过现有研究成果。1相关工作现有的多模态融合验证及检索方法按照融合层次不同主要分为像素层融合、特征层融合、分数层融合。像素层融合是最低层次的融合，主要研究对象是原始数据层。文献3将多幅指纹图像拼接成完整图像，实现指纹融合识别。文献4将同时采集的可见光人脸图像和红外人脸图像进行加权平均，从而完成人脸像素层融合。文献6研究了像素层融合的不同融合策略。像素层融合保留了最多的原始信息，但需要大量算力且融合图像可解释性不足，因此基于像素层融合的研究存在局限性并且融合效果不佳。特征层融合保留了足够多的原始生物特征数据信息，使得分类器区分性更强，在该层次的融合有望提供更好的识别结果14-15。尽管特征层融合比分数层融合、决策层融合等抽象级融合能够保留更多的原始信息，但受限于单模态特征提取算法，特征融合方面研究较少。其中，串行特征融合16、并行特征融合17-18、基于 CCA（canonical correlation analysis）的特征融合18和 DCA/MDCA（discriminant correlation analysis/multiset dis-criminant correlation analysis）19是经典的特征融合算法。特征层融合首先提取各个模态的独立特征，然后将多个特征向量融合处理，形成新的组合特征后进行匹配。融合特征显然比单一特征包含更多融合信息15，20-25，具有更强的表达能力。但不同来源特征也可能存在不相容问题，同时特征维度增大可能导致维数灾难15，21-22。分数层融合研究的对象是各个单模态算法给出的匹配分数。由于分数层融合能够较好平衡原始信息和数据处理难易程度，是多模态融合中研究较多、效果较为理想的融合算法。目前，分数融合方法可以分为三类：（1）基于变换的分数融合方法，将不同模态分数归一化至相同区间后合成为最终融合分数26-27；（2）基于分类器的分数融合方法，将来自不同分类器的匹配分数视为一个特征向量，拼接形成新的分数空间，其中每个候选者匹配分数被视为特征向量的一个元素28-29；（3）基于概率密度的分数融合方法，主要基于似然比检验和乘法原则，通过将分数转化为类别概率并进行融合计算30。分数层融合方法依赖单一模态的算法，但缺乏对低层次的像素特征和语义特征的构建，缺乏多模态的信息低层次交互。像素层、特征层和分数层融合保留的原始信息逐渐减少，数据处理难易程度逐渐减低，对像素特征和语义特征的利用方式不同，因此各有优劣。现有算法和模型李卓容，等：基于深度学习的多模态生物特征融合模型181Computer Engineering and Applications计算机工程与应用2023，59（7）都只针对单一层次进行融合，难以迁移到其他层次，可迁移性不足。针对公安机关实战需求，面向低质量生物特征数据，本文提出多模态生物特征融合模型，集成三个融合层次方法，不受限于特定