ComputerEngineeringandApplications计算机工程与应用2023，59（7）近年来，生物特征逐渐成为案件破获的关键所在。随着指纹、人脸、DNA、声纹等部级数据库的建立，生物特征以其唯一性和特定性的独特优势，成为破解犯罪活动的新密码[1]。然而，随着数据库规模的扩增，只依靠单一模态的生物特征识别算法精度逐渐无法满足安全性需求。同时，单一模态的识别对数据质量依赖性较高，低质量的离群样本会产生较大干扰，因此单模态算法常在数据预处理阶段剔除低质量生物特征样本。然而公安实战应用与其他应用场景不同，与案件有关生物特征数据大多为低质量数据。因此，传统的单模态生物特征识别技术无法满足公安机关实战应用需求。融合多种特征的多模态融合识别算法可以同时提高识别性能与安全性[2]，克服低质量数据识别精度过低问题，因此研究多模态融合识别技术对生物特征的实战应用具有重要意义。多模态生物特征识别一般采用融合算法将多个模基于深度学习的多模态生物特征融合模型李卓容，唐云祁中国人民公安大学侦查学院，北京100038摘要：面对公安实战中获取的低质量生物特征数据，单模态生物特征识别技术的精度并不理想，现有的多模态融合算法存在融合层次单一、泛化性不强等问题，深度神经网络的发展为其提供了有效的解决途径。构建基于深度神经网络的多模态生物特征融合模型，将像素层、特征层、分数层等不同层次的融合方法统一到融合模型中，在像素层采用空间、通道和强度融合三种策略；在特征层通过反向传播整体优化模态专用分支与联合表示层，构建模态之间一阶依赖关系；在分数层使用基于Rank1评价和基于模态评价两种方法完成匹配分数融合。模拟实战数据构建虚拟同源多模态数据集进行模型验证。实验结果表明，多模态像素层融合方法提升效果有限，难以增强数据的区分度；多模态特征层融合方法相比单模态算法提升2.2个百分点；分数层融合方法相比单模态算法提升3.5个百分点，最佳检索精度可达99.6%。基于深度学习方法提出的多模态生物特征融合模型极大地提高了模型的泛化性和检索精度。关键词：图像处理；卷积神经网络；多模态；生物特征检索文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2205-0498MultimodalBiometricFusionModelBasedonDeepLearningLIZhuorong,TANGYunqiSchoolofCriminalInvestigation,People’sPublicSecurityUniversityofChina,Beijing100038,ChinaAbstract：Thispaperconstructsamultimodalbiometricfusionmo...
