融合注意力机制与残差网络的人耳识别方法_曹淑欣.pdf

：融合注意力机制与残差网络的人耳识别方法曹淑欣，许学斌，路龙宾，刘晨光（西安邮电大学 计算机学院，陕西 西安 ；西安邮电大学 陕西省网络数据分析与智能处理重点实验室，陕西 西安 ）摘要：人耳特征具有良好的唯一性与稳定性等特 点，近 年 来 被 广 泛 应 用 于 身 份 识 别 领 域。针 对 人耳采集易受头发、耳饰等物品遮挡问题，本文提出了一种基于 的人耳识 别 方 法。该 方 法 在 网络的基础上，引入改进的 模 块，通 过 融 合 最 大 池 化 与 均 值 池 化 的 统 计 特 性，增 强 身份相关特征的表示，抑制非相关特征的影响，以此解 决 在 非 受 控 环 境 下 由 于 遮 挡 原 因 造 成 的 识 别困难问题。大量实验结果表明，相比较于原网络，改 进 后 的 方 法 识 别 性 能 提 高 较 为 明 显。在 同 等遮挡条件下，本文所提出的模型具有较好的鲁棒性能。关键词：图像融合；注意力机制；卷积神经网络（）；深度残差网络；人耳识别中图分类号：；文献标识码：文章编号：（），（，；，）：，：；（）；引言人耳识别技术 是一 种 于 世纪末开始兴 起的生物特征识别技术。美国学者 曾开展相关实验，从美国加州随机抽取了一万张人耳样本图像进行比较，样 本 图像包含了双胞胎。最光 电 子 激 光第 卷 第期 年月 ：收稿日期：修订日期：基金项目：国家自然科学基金（）、陕西省教育厅项目（）、陕西省重点研发计划项目（）、陕西省技术创新引导项目（）、咸阳市科技计划项目（）和西安邮电大学研究生创新基金（）资助项目后研究结果发现，每一个耳朵都是唯一的，加之人耳识别有特殊的观测角度，使得人耳识别技术 与生物特征识别技术相比有天然优势。目前较为成熟的生物特征识别有人脸识别、指纹识别、虹膜识别等，而人耳识别技术与上述所提到 的 技 术相 比有以下优势：）相对于 人脸识 别方 法 而 言，人耳识别方法受可变因素影响较小；）相对于指纹识别方法而言，人耳图像获 取信息 的 方 式更 加容易被 人 所 接 受；）相 对 于 虹 膜 识 别方 法 而言，人耳图像的采集则更为方便快捷，可以应用于更加快节奏的应用场景。目 前，在 国内外与人 耳识别相关的研究并没有很多，仅仅处于刚刚起 步的阶段，技术尚不成熟，距离在实际生活中的应用还有很长一段路要走。但是该项技术的深入研究依然积极地推动并完善了非打扰式无接触的远距离身份识别。目前人耳识别技术中，在受控环境条件下，王育坚等提到经典人耳识别方法的 识别率为 。为了解决传统算法识别率 不 高的 问题，等用一种改进的非负矩阵分解算法进行人耳 识 别，经过实 验得 出 其最 高识别 率达，但其识别率波动略大，稳定 性 不佳。为 了 提高 人耳识别率，等提 出 一 种 深 度 卷 积 神 经 网络的人耳识别算法，经实验得出该算 法 识 别率 稳定在 左右。在非受控环境条件下，等提到的方法 在 遮挡情 况下 可 以达到 的 准确率。张保庆提出基于非负稀疏表示的方法解决人耳识别遮挡问题，经实验得出在 遮 挡 比达 到 时准确率为、时准确率为，随着遮挡比的增大，识别率明显降低，说明网络的鲁棒性一般。近年来，随着深度学习的发展，等提出了 ，给深度学习行业带来了新的突破。后来 等 提出了，相比较于 ，将卷积核全部替换成了，有 利 于 更 好 地 保 持 图 像 的 性 质。再 后 来 等 提出了 ，引入了 模块，相 比 较降 低 了 网 路 的 参 数 运 算量。随着网络层数的加深 出现 了 梯度消失问 题，于是 等 提出了 ，引入残差模块解决了梯度消失的问题。为了提高了网络准确性和学习收敛性，等 提出了 。具有代表性的通道注意力机制主要有：空间注意力机制、通道注意力机 制等。本文使用了 通道注意力机制，其主要思想是在通道 域 中 生成 注意力掩码，并使用它选择重要通道。在 的基础上引入最大池化，极大程度上 保 留 了感 兴趣的人耳特征，提高了识别性能。为了解决人耳图像识别遮挡问题，本 文所提出的 经实验得出，基于此算法进行人耳识别可有效提高识别率，对人耳图像部分遮挡也有一定的效果，有较好的鲁棒性，这让人耳识别在身份识别上有了更广阔的应用前景。基本原理 人耳识别的过程人耳识别是指通过自动地对人耳内部及外部特征的测量以达到识别所有者身份。人耳识别主要由个基本步骤组成：人耳图像获取、图像特征提取、特征分类。如图所示为人耳识别过程。图人耳识别过程 人耳图像获取：一般采用 从不同角度获取。例如，本文实验数据采用的是北京科技大学人耳数据库 。图像特征提取：提取图像的某种特征，如形状、颜色、纹理等，特征的提取主要采用数学方法，依靠计算机技术对图像数据进行复杂的计算，以去除图像噪声，使某些特征更加敏感，便于进行特征分类。利用 大 量 的 神 经 元 对 图 像 特 征 进 行 联 想 存 储 和记忆。特征分类：根据提取好的图像特征对人耳数据集进行分类。相关工作 基于卷积神经网络（，）的优化提出了残差网络（）。在 中，让网络拟合残差映射。假设原始训练函数为（），为了解决网络退化的情况有了以下残差学习解决方法：（）（），（）（）（）。（）式（）是 残差，式（）为残差学习后以（）的形式输出。通过在两个卷积层之间添加短路的方式，防止了梯度消失问题。为了更加优化网络效果，在 网络基础上提出了 。主要做了以下改进：）如图所示，在每组的最后一个 的主干上加一第期曹淑欣等：融合注意力机制与残差网络的人耳识别方法个 和，增强了学习的能力。）在下采样中加入了 。可以视为软下采样，可以视为硬下采样，两种方式优势可以互补。硬下采样有助于选择激活最高元素，软下采样有助于不丢失所有的空间信息，有利于更好的定位。）的核心是卷积，卷积可操作的通道数目太少会削弱网络的学习能力。因此，网络在 中先利用卷积增加通道，后再进行减少以增强网络的学习能力。图残差块结构图 改进的通道注意力机制如图所示，模块 分成个部分：挤压、（式（）、激励（式（）以及注意（式（）。（）（，），（）（，）（，）（），（）?（，）。（）图 模块 本文所使用的模块结构是在 模块上进行了改进。如图所示，是 模块嵌入神经网络的结构，图为本文使用的模块结构。在 注意力模块 上将原本的全局平均池化改进为全局平均池化和最大平均池化同时对特征图进行采样，如式（）所示，更好地保留了局部特征，以解决一些遮挡问题。图通道注意力机制 图改进后的通道注意力机制 光 电 子 激 光 年第 卷全局平均池化很好地学习了图像的全局特征，最大池化保留了图像最显著的特征。在原本的 模块上引入了最大池化很好地保留了重要信息，帮助网络提高识别效率。本文改进后的通道注意力是将两个一维矢量放入一个由一个隐层和多层感知机（，）组成的共享网络中，如式（）和式（）所示：（），（）式中，为输入的特征图谱，表示逐元素乘法，为在通道维度上做注意力提取的操作。（）（）（）（）（），（）式中，。基于 的人耳识别方法本文提出了 的人耳识别方法。该方法在 网络的基础上，引入改进的 模块，通过融合最大池化与均值池化的统计特性，增强身份相关特征的表示，抑制非相关特征的影响，解决部分遮挡问题，具体网络架构如图所示。在 网络的第层模块之前与第层模块之后引入通道注意力机制。通道注意力机制在原本的 模块中引入了最大池化层，降低了重要特征的丢失率，使得更多的特征得以保存，图片的局部特征更加明显，增强了网络的识别率以及鲁棒性。本文基于 进行人耳识别，优化了识别率，增强 了 网 络 的 鲁 棒 性。本 次 实 验 识 别 算 法 具 体如下：）将图片信息送入一个卷积层，对数据进行处理；）进入通道注意力（，）模块，如式（）；）进残差模块，如式（）；）再送入一个 模块，如式（）；）使用 优化算法 更新参数；）交叉熵函数为损失函数，如式（）所示：（，）（）（）。（）重复步骤），直至训练结束。图 的人耳识别方法 第期曹淑欣等：融合注意力机制与残差网络的人耳识别方法实验及结果分析 人耳数据集以及实验环境介绍本文对人耳样本集进行对比实验，所用数据集为北京科技大学穆志纯教授课题组提供的 人耳图像数据库以及 人耳数据库。数据集中样本集中含有 位志愿者的共 张右耳图像，每名志愿者提供张右耳图像。的图像仅包含感兴趣的耳朵区域，不需要进行人耳提取。该数据集是在不同的照明条件下稍作旋转收集而得。实验数据集是在 数据集基础上做了亮度增强以及翻转的数据增强，如图所示。图（）是数据集中某一个人的某一张照片；图（）是在图（）的基础上进行数据亮度增强、图片翻转，一张照片变为张照片；图（）是在（）的基础上进行直方图均衡化（，）。图人耳数据集：（）原始图像；（）数据增强后的图像；（）直方均衡化后的图像 ：（）；（）；（）实验所用的遮挡数据集如图 所示，图（）、（）、（）分别为在图（）的基础上添加、的遮挡，图（）、（）、（）分别为在图（）的基础上添加、的遮挡。本次实验还使用了 数据集，有 位志愿者的 张图像，如图所示，有不同程度如头发、耳饰等因素的遮挡。的图像是在自然环境下采集而得，数据集包含不同的光线的样本，因此，是一个十分有挑战的数据集，可更好地验证本文所提出的方法应用到实际问题之中的效果。图遮挡人耳数据集：（）原始图像上 的遮挡；（）原始图像上 的遮挡；（）原始图像上 的遮挡；（）预处理后的图像上 的遮挡；（）预处理后的图像上 的遮挡；（）预处理后的图像上 的遮挡 ：（）；（）；（）；（）；（）；（）图人耳数据集 本文研究在 深度学习超级计算机平 台 上 进 行。超 级 计 算 机 配 置 为 两块，内存 ，安装有 块。深度学习能力超过 ，实验代码采用 编写。数据预处理本次实验采用了 对数据进行了预处理。首先，归一化后的直方图表达式为式（）：（），（）式中，是灰度级范围为，的数字图像第级灰度值的频率，表示图像像素的总数。其次，将式（）代入式（）离散化得到式（），得到最终的均衡化直方图。（）（）（），（）（）（），（）如图 所示，图（）、（）为所用数据集的原始光 电 子 激 光 年第 卷人耳图像以及经过 后的人耳图像，图（）、（）为原始直方图以及经过均衡化计算后的直方图。在 数据集上使用 网络，由表可知，经 过的 预 处 理 比 无 预 处 理 的 识 别 率 高 个百分点。由此可见，对数据集进行的预处理对识别率有很大的帮助。图 人耳图像直方均衡化 表 有无预处理效果对比 模块与本文提出的注意力模块的对比实验本小节对比了原本的 通道注意力模块以及改进后的 模块，在 注意力模块中引入了最大池化，很好地保留了重要特征的信息。如表所示的实验结果证明，改进后的注意力机制模块有较好的效果。表 与 模块的对比实验 基于机器学习的人耳识别方法实验结果对比人耳识别机器学习识别方法包括 、等，表为机器学习人耳识别方法的识别率。可以看出有一定的识别效果，这些机器学习的方法中最高的识别率只能达到，而基于深度 学 习 中 的 的 人 耳 识 别 方 法 识 别 率 为 ，相比于最好的机器学习方法提高了 个百分点，说明深度学习相比较于机器学习在人耳识别方面表现更好，但对于应用于身份安全还是远远不够的。为了更高地提升识别率以及让人耳识别应用于更多的场景，本文选择了深度神经网络并在网络上进行改进，达到较高的识别率和较强的鲁棒性。表 机器学习人耳识别方法实验结果对比 （，）（，）受控环境下的人耳识别方法受控环境是人耳数据采集在受控的环境下进行，获取人耳数据集时无遮挡物的影响。本文提出了一种在 网络改进的 的人耳识别第期曹淑欣等：融合注意力机制与残差网络的人耳识别方法方法。该方法是在 网络的基础上，引入了以及上文所提到的改进后的 模块。使得数据集的特征值更加的明显，模块是增强 的学习。神经网络检测耳朵的各个部分，提取多层特征，通过引入通道注意力的方式，增强特征。全局平均池化与最大池化相加，通过神经网络提取的特征图与通道注意力图谱重新分配权重，降低了遮挡部分对图像的影响，专注于目标区域。该方法不仅对无外界因素的影响下的人耳图像有很