基于注意力机制的人脸虹膜双特征融合识别_杨岗.pdf

年月第 卷第期计算机工程与设计 基于注意力机制的人脸虹膜双特征融合识别杨岗，周奥，张东兴（西南交通大学 机械工程学院，四川 成都 ）摘要：针对单一生物识别方法存在的固有局限性，利用人脸和虹膜双生物模态信息，提出一种基于注意力机制和低秩多模态融合的身份识别模型（，）。在模型的人脸和虹膜特征提取网络中均嵌入改进的混合注意力机制（），增强有用特征的提取。利用模态特定低秩因子完成低秩多模态特征级融合（，），解决传统特征拼接方式无法充分实现各模态特征的互补、容易造成冗余信息和维度灾难等问题。使用简单高效的余弦距离完成特征模板的比对实现身份识别。实验结果表明，模型相比单一生物特征识别和传统融合识别算法具有更强的鲁棒性和准确率。关键词：单一生物识别；注意力机制；人脸虹膜双特征融合；模态特定低秩因子；特征级融合；特征比对；生物身份识别中图法分类号：文献标识号：文章编号：（）：收稿日期：；修订日期：基金项目：国家重点研发计划基金项目（）；成都市重点研发支撑计划基金项目（）作者简介：杨岗（），男，四川成都人，博士，讲师，硕士生导师，研究方向为交通设备故障诊断与控制工程、人工智能与大数据分析；周奥（），男，湖北荆州人，硕士研究生，研究方向为人工智能与智能信息处理；张东兴（），男，河北沧州人，硕士研究生，研究方向为轨道交通设备故障诊断及健康预测。：，（，）：，（）（）（），：；引言单一生物特征识别在实际应用中识别精度容易受到环境、噪声、欺骗攻击等不利因素的影响，。为弥补单一生物特征识别存在的缺陷，多生物特征融合识别技术被大量研究。多生物特征识别根据融合层次的不同主要分为图像层、特征层、分数层和决策层融合。其中特征层融合存在大量的可用信息，可以有效提升识别性能，但因特征融合难度较大，相关的研究甚少。等提出了一种基于改进的混沌二叉粒子群优化算法的人脸和虹膜多生物特征识别系统，该算法降低了人脸和虹膜特征级融合的复杂度，减少运行时间，进一步提高识别率。肖珂等通过卷积神经网络（）提取人脸和虹膜特征进行串联融合，利用参数化 和支持向量机（）进行特征降维和分类识别。等提出了一种结合特征级融合多模态卷积神经网络，其中虹膜、人脸和指纹特征在网络中的不同计算机工程与设计 年层次上采用了多抽象网络融合和加权特征融合两种方法。总体上看，这些特征级融合均采用简单的特征级联方式，容易造成冗余信息和特征维度灾难等问题，不利于充分实现各模态特征互补。为解决上述问题，本文提出了一种面向人脸和虹膜双生物模态特征，基于注意力机制和低秩多模态特征级融合的身份识别算法（）。模型主要由特征提取层和特征融合层组成。特征提取层设计了人脸和虹膜两个特征提取网络，并在其中引入改进的 混合注意力机制，弱化无关信息，捕捉各模态的关键特征信息，生成具有深度语义的人脸和虹膜特征向量。考虑到模态间的特征相关性，融合层中利用模态低秩因子进行人脸和虹膜特征融合，获取表达能力更强的联合特征。并使用 数据集进行对比实验，验证 算法的准确性和鲁棒性。数据预处理 人脸图像预处理由于采集设备性能、光照强度等因素的影响，实际采集到的人脸图像存在噪声、对比度不够等缺点，严重的情况会导致图像质量不能满足后续精确识别的要求。因此对人脸图像进行预处理进而提高图像质量十分有必要。采集人脸图像一般是彩色图像，但颜色特征对识别结果没有贡献，为减少计算量将图像进行灰度化处理。由于光照条件的影响，灰度化后的图像灰度值分布并不均匀。通过应用直方图均衡化改变图像灰度值，使人脸图像中含有的像素点在各个灰度级上分布均匀，增加图像的全局对比度，为后续特征提取提供更多信息特征。直方图均衡化后处理结果如图所示。图直方图均衡化 虹膜图像预处理在进行虹膜特征提取之前，首先需要对虹膜图像进行预处理，从而找到有效的虹膜区域，图为虹膜预处理流程。首先将原始图像利用 角点检测算子定位和分割出人眼区域，然后利用 微积分算子定位出虹膜内外圆边界，从而分割出有效的虹膜区域。图虹膜图像预处理过程由于光照条件的不同、图像采集距离的变化和瞳孔缩张等情况，容易引起虹膜有效区域尺寸大小不一致。为确保有效区域尺寸一致，方便后续虹膜特征提取，对环形虹膜区域进行了归一化处理。采用经典的 模型将环形虹膜区域转为矩形虹膜图像，其主要思想是将虹膜有效区域内的点从笛卡尔坐标转化为极坐标，如式（）所示（，），（，）（，）（，）（）（）（）（，）（）（）（）（）其中，（，），（，）分别是沿着方向上瞳孔和边缘边界坐标，。多模态身份识别算法模型为了同时利用人脸和虹膜生物特征来实现更加精确的身份识别，提出了一种 身份识别模型，模型网络架构如图所示。为了充分提取不同模态特征及提高模态特征间的互补性，模型特征提取层采用了两个子网络分别提取人脸和虹膜特征。人脸特征提取子网络以 为基础结合注意力机制构成，虹膜特征提取子网络以 为基础结合注意力机制构成，融合层采用了一种低秩多模态融合网络（）来充分学习两个模态特征的相关性信息和非冗余信息。下面章节详细描述提 出的 算法和模型。改进混合注意力机制 注意力模块 是 等 提出的一种混合域注意力模块，通过同时在通道和空间两个维度对特征采取注意力操作，能够获取表现力更强的特征，因此被广泛应用于计算机视觉领域。模块由通道注意力 和空间注意力 两第 卷第期杨岗，周奥，张东兴：基于注意力机制的人脸虹膜双特征融合识别图 模型结构个子模块通过“串联”的方式构成。输入特征首先输入通道注意模块，根据各通道间重要程度学习得到通道权重值，然后将其添加到输入特征中得到通道加权特征，最后通过空间注意力模块，根据像素点位置的感兴趣程度获得特征图各区域的权重值，进而得到输出特征。具体计算如式（）所示（）（）（）式中：（）是特征经过通道注意力模块得到的各通道的权重，（）是特征经过空间注意力模块得到的空间注意权重，表示加权乘法运算。尽管 在图像分类方面取得了一些成就，但是这种将通道注意力和空间注意力模块“串联连接”的方式存在缺点。因为不管是将特征图先进行通道注意力再进行空间注意力（），还是将特征图先进行空间注意力再进行通道注意力（），在后面的注意力模块的结果都会受到前面注意力模块结果的影响。这个过程可以认为前面的注意力模块学习权重值来“修饰”原始输入特征图，而后面的注意力模块是在被“修饰”的特征图上学习权重值分配，这会在一定程度上干扰到学习的特征。对于一些细粒度图像分类或环境噪声干扰较大的图像分类问题这种设计方式并不会保证准确率的上升。改进的 注意力模块为了着重关注人脸和虹膜关键区域，抑制图像中的噪声和背景信息，在卷积神经网络中嵌入了注意力机制，以获得表征能力更强的模态特征，提高模型的整体识别水平。受 注意力模块的启发，提出了一种改进的 注意力模块（），其整体结构如图所示。该结构将原先 中的“串行连接”改为了“并行连接”，让通道注意力和空间注意力模块能同时学习到原始输入特征图的注意力权重，解决了两者顺序使用造成的干扰问题。输入特征图经过该模块会并行的通过两个模块分别学习到通道位置权重值和空间位置权重值，然后与输入特征图相乘得到输出特征，其具体计算公式如下（）（）（）（）（）（）；（）（）（）（）（）式中：表示输入特征图，为 函数，为多层感知器，为的卷积运算，（）表示通道注意力模块 输 出 的 权 值，（）表 示 空 间 注 意 力 模 块 输 出的权值。图改进的 结构整体 主干特征提取网络 人脸特征提取网络由于人脸特 征 相 对 虹 膜 特 征 更 易 提 取，本 文 采 用 了 轻量化网络来降低模型复杂度，避免过拟合、计算资源需求高等问题。同时在该模型的基础上嵌入改进后的注意力机制（）来减少噪声等信息的干扰，使得网络能够更加关注人脸图像中关键点信息（如嘴角、鼻子和眼睛等），增强网络的特征提取能力，使得提取的人脸特征更具区分性。整体网络结构如图所示。为简化基础模型，该模型除了第一层采用一个的全卷积，后面均采用深度可分离卷积完成特征。网络主体由个 模块组成，每个模块都是由两个串联的深度可分离卷积构成，前一个深度可分离卷积对输入特征尺寸进行压缩并且提升特征维度，后一个深度可分离卷积用来加强学习特征表达。输入特征图经过每个 块后，特征维度提升一倍，尺寸压缩一倍，每个 块输出特征通道数分别为 、和 。将注意力模块嵌入在第一层全卷积后面和最后一个 块后面，在添加极少参数量的前提下，让网络通过自主学习机制自动关注有效的信息，使得改进后的模型增强对人脸特征的表达能力。为了方便后续多模态特征融合，将提取的特征图采用全局平均池化的方式将图像特征压缩至长度为 的特征向量，然后通过一个全连接层将其映射至一个 维的人 脸 特征向量。虹膜特征提取网络针对虹膜图像容易受睫毛、眼睑等遮挡导致特征提取难的问题，设计了一种将注意力机制嵌入到 的模型结构，该注意力残差模型结构如图所示。为了让模型着重关注虹膜图像关键纹理信息，在模型中的每个残差计算机工程与设计 年图人脸特征提取模型图虹膜特征提取模型结构中均加入了注意力机制，因此每个残差结构由两次卷积、一个注意力模块及残差边组成。为了让网络提取的虹膜特征具有强区分性，网络主体采用个残差块组成，这样不仅提升了模型的拟合能力，同时残差边也降低了过拟合风险。其中每个残差块包含两个残差结构，残差块、中第一个残差结构均进行了下采样操作，残差边采用的卷积进行尺寸调整。网络中保留了原模型中第一层的卷积层以及后面的全局池化层。为了方便后续特征输入融合模型，添加了一个全连接层，将模型输出映射为一个长度为 的虹膜特征向量。低秩多模态融合网络研究结果表明，双线性融合方法在捕捉多模态相互第 卷第期杨岗，周奥，张东兴：基于注意力机制的人脸虹膜双特征融合识别作用方面比传统简单的特征拼接或池化操作更加有效。等 提出的张量融合网络（）是典型的双线性融合方法，它既考虑了模态间的特征相关性又有效保留了各特定模态的信息特征。该方式将多个单一模态特征向量通过向量外积（笛卡尔积）的形式获得一个高维张量，然后将高维张量输入到一个线性层降维得到一个输出向量，具体计算公式如下，（）（；，）（）式中：表示向量外积操作，表示模态数量，表示各模态输入特征向量，表示融合特征张量，、分别为线性层的权值和偏差，表示融合张量降维后得到的输出特征向量。模态融合的过程中必须显式创建高维张量，而模态数量增加会导致融合张量的维数呈指数增长，同时线性层权值参数量也会成倍增长，这不仅会导致模型计算量、内存 消 耗 增 加，而 且 可 能 会 造 成 过 拟 合 现 象。等 基于 存在的问题，提出了将融合表达的参数权重进行低秩分解得到低秩多模态融合网络模型（）。其核心思想是将高维张量与权重参数并行分解，利用模态低秩因子来执行多模态融合，进而降低参数量，提升运算速度。从结构上可以把看成个阶张量?，堆叠而成，每个?能精确的分解为式（）所示?（），（），（）其中，使式（）分解成立的最小为张量的秩，即向量集合 （），为张量?的秩分解因子。实际模型构建 过 程 中 会 指 定?的 秩 为，使 用 秩分 解 因 子（），来重新构建低秩版本的?，其中选取不同的秩，会得到不同拟合能力的参数?。可以将这些向量重新组合并连接为个模态的低秩因子。使（）（），（），（），对于模态对应的低秩因子为（），那么低秩的权重张量可以通过式（）重建得到（）（）方法通过将权重参数分解为个模态的低秩因子，可以无需显示地计算出高维的融合张量，得到线性投影特征向量。它通过将多模态输入特征向量与模态特定的低秩因子并行计算得到。具体推导如式（）所示（）（）（）（）（）（）（）（）式中：表示各模态输入特征向量，表示个张量的逐点元素乘积。方法在情感分析 和病理分析 方面开展了前瞻性研究和应用，本文将其移植到基于人脸和虹膜双特征融合身份识别领域。通过 节所述卷积神经网络的联合学习得到人脸特征 和虹膜特征 后，采用模态特定低秩因子进行多模态特征融合，具体如式（）所示，该方法模型结构如图所示（）（）（）其中，为融合特征表达，（）、（）分别为人脸和虹膜特征对应的低秩因子，为逐元素相乘。图多模态融合模型结构实验结