基于人脸关键特征提取的表情识别_冉瑞生.pdf

第 49卷 第 2期2023年 2月Computer Engineering 计算机工程基于人脸关键特征提取的表情识别冉瑞生，翁稳稳，王宁，彭顺顺（重庆师范大学 计算机与信息科学学院，重庆 401331）摘要：自然场景下人脸表情由于受遮挡、光照等因素影响，以及表情局部变化细微，导致现有人脸表情识别方法准确率较低。提出一种人脸表情识别的新方法，以 ResNet18为主干网络，利用残差连接模块加深网络结构，以提取更多深层次的表情特征。通过引入裁剪掩码模块，在训练集图像上的某个区域进行掩码，向训练模型中增加遮挡等非线性因素，提升模型在遮挡情形下的鲁棒性。分别从特征图的通道和空间两个维度提取表情的关键特征，并分配更多的权重给表情变化明显的特征图，同时抑制非表情特征。在特征图输出前加入 Dropout正则化策略，通过在训练中随机失活部分神经元，达到集成多个网络模型的训练效果，提升模型泛化能力。实验结果表明，与L2-SVMs、IcRL、DLP-CNN 等方法相比，该方法有效提高了表情识别准确率，在 2 个公开表情数据集 Fer2013 和RAF-DB上的识别准确率分别为 74.366%和 86.115%。关键词：注意力机制；残差网络；人脸表情识别；裁剪掩码；Dropout正则化开放科学（资源服务）标志码（OSID）：中文引用格式：冉瑞生，翁稳稳，王宁，等.基于人脸关键特征提取的表情识别 J.计算机工程，2023，49（2）：254-262.英文引用格式：RAN R S，WENG W W，WANG N，et al.Expression recognition based on the extraction of key facial features J.Computer Engineering，2023，49（2）：254-262.Expression Recognition Based on the Extraction of Key Facial FeaturesRAN Ruisheng，WENG Wenwen，WANG Ning，PENG Shunshun（School of Computer and Information Science，Chongqing Normal University，Chongqing 401331，China）【Abstract】The accuracy of existing facial expression recognition methods is typically low owing to the influence of occlusion，illumination，and other factors and to subtle local variations in facial expressions in natural scenes.This study presents a new method for facial expression recognition.A ResNet18 model is adopted as the backbone network，and a residual connection module is employed for a deeper network structure to extract deeper expression features.First，a cutout module is introduced.By masking a certain area of each image in the training set，the model learns to consider several nonlinear factors，such as occlusion，thus improving its robustness to these conditions.The key features of expressions are extracted from the channel and space of the graph，and more weights are assigned to feature maps with obvious expression changes to suppress non-expression features.Finally，prior to the output of the feature map，a Dropout regularization strategy is implemented to randomly deactivate some neurons and integrate multiple network models to improve the generalization ability of the model.The experimental results show that the proposed method exhibits improved accuracy in expression recognition tasks compared with L2-SVMs，IcRL，DLP-CNN，and other methods.Recognition accuracy values of 74.366%and 86.115%are achieved on two public expression datasets，Fer2013 and RAF-DB，respectively.【Key words】attention mechanism；residual network；facial expression recognition；cropping mask；Dropout regularizationDOI：10.19678/j.issn.1000-3428.00637150概述 面部表情是人体语言的一部分，是对心理情感的一种表露形式，是情感传递的重要方式。美国传播学家 MEHRABIAN通过实验提出，在情绪的表达中，面部表情所占比重高达55%1。由此可见，人脸表情识别（Facial Expression Recognition，FER）是非常具有研究价值的课题。1971年，心理学家 EKMAN把基本表情划分为 6种，分别为开心、伤心、惊讶、害怕、生气和厌恶2，尽管不同人之间有所差异，但这些表达情感的方基金项目：重庆市技术创新与应用发展专项面上项目（cstc2020jscx-msxmX0190）；重庆市教委科学技术研究计划项目（KJZD-K202100505，KJQN202100515）。作者简介：冉瑞生（1976），男，教授、博士，主研方向为机器学习、计算机视觉；翁稳稳、王 宁，硕士研究生；彭顺顺（通信作者），讲师、博士。收稿日期：2022-02-07 修回日期：2022-03-09 Email：开发研究与工程应用文章编号：1000-3428（2023）02-0254-09 文献标志码：A 中图分类号：TP391第 49卷 第 2期冉瑞生，翁稳稳，王宁，等：基于人脸关键特征提取的表情识别式是人类共有的。传统的表情识别方法主要是通过人工设计特征并结合分类模型达到表情识别的目的。局部二值模式（Local Binary Pattern，LBP）3、Gabor 小波变换4以 及 尺 度 不 变 特 征 变 换（Scale-Invariant Feature Transform，SIFT）5等常被用来提取特征，再结合支持向量机（Support Vector Machine，SVM）6等分类模型来识别表情。在早期，这些经典的特征提取算法在一些表情数据集上取得了不错的效果7-8，但也有很多缺点，主要表现为人工设计特征非常复杂、耗时和性能较低，对于实验室环境下的表情数据集，表情变化单一且不受自然环境干扰，不同表情之间的差异明显，因此基于人工设计特征的方法可以取得不错的效果。但自然场景下的人脸表情受到光照、遮挡、不同种族、年龄、性别等因素的影响，表情特征复杂，传统的表情识别方法效果很差。随着深度学习的崛起，卷积神经网络（Convolutional Neural Network，CNN）凭借自身强大的特征提取能力被广泛应用在计算机视觉领域，执行图像分类、目标检测等任务。人脸表情识别也属于图像分类任务的一种，因此许多经典的卷积神经网络模型，如LeNet9、VGG10、ResNet11等常被作为基础网络用在人脸表情识别任务上，并在此基础上进行改进优化，从而达到提升模型识别准确率的目的。例如，文献 12 通过深度学习网络来提取特征，并采用L2正则化和支持向量机相结合的方式替代Softmax函数，提升了模型人脸表情识别准确率。文献 13 提出一种新的学习方法IcRL，通过提取独立的表情特征来学习不同类别表情之间的相互关系，并扩大类间距离与类内距离之比。文献 14 基于残差网络 ResNet18，将过滤器响应正则化、批量正则化、实例正则化和组正则化进行组合，并分别嵌入网络之中，平衡和改善特征数据分布，提升模型性能。文献 15提出一种新的深度位置保持卷积神经网络DLP-CNN，目的是通过增强保留局部性来提高深层特征的判别能力，同时最大化类间离散度。文献 16 提出一种基于注意力机制的卷积神经网络（ACNN），可以感知人脸的遮挡区域，并关注最具鉴别性的未遮挡区域，针对不同的关注区域，提出基于局部的ACNN（PACNN）和基于全局人脸区域的 ACNN（GACNN）。文献 17 提出一种新颖的深度嵌入方法，该方法的目的是设计学习判别性表情特征同时表示大量类内变化的表情特征，通过最小化样本与其最近的子类中心之间的距离来形成局部紧凑的表示空间结构，最终提升模型性能。也有针对人脸面部遮挡等因素设计的表情识别方法，如文献 18 提出一种新颖的生成对抗网络用于遮挡表情识别，在加权重建损失、三元组损失和对抗损失的三重约束下，生成器自然地补充了表情图像中的遮挡，再利用 2 个判别器来区分图像真假以及完成表情分类。文献 19 通过结合残差网络和VGG16 网络，提出基于改进 VGG16 的 20 层卷积神经网络，并采用混合特征融合策略将 Gabor 滤波器与改进网络并行化，通过实验验证了方法的优势。由此可见，为了让表情识别模型在自然场景下具有良好的鲁棒性以及较高的识别率，必须让模型具有提取复杂特征的能力（如表情局部变化细微的特征以及面部表情遮挡的区域），以及能够提取反映表情变化的关键特征，抑制非表情特征。本文以残差网络作为主要的特征提取网络，在网络输入端通过引入裁剪掩码模块（Cutout）20，扩充训练数据的复杂性。在残差单元的最前端引入关键 特 征 表 征 模 块，即 使 用 卷 积 块 注 意 力 模 块（Convolutional Block Attention Module，CBAM）21，在空间和通道维度上提取表情的关键特征。最后在网络输出端引入 Dropout正则化技术22，提升模型的泛 化 能 力。将 本 文 方 法 在 两 个 公 开 数 据 集Fer201323和 RAF-DB15上进行实验，以验证该方法的有效性。1相关技术 本文提出的人脸表情识别方法使用残差网络ResNet18作为基础网络，由裁剪掩码、关键特征表征以及 Dropout正则化这 3部分构成，本文方法的流程如图 1所示。由图 1 可知，裁剪掩码单元能够模拟遮挡数据，将输入图像中一部分保持原样，另外一部分随机擦除一个矩形区域，从而增强数据集。在使用残差网络粗略提取特征后，将其送入残差单元之前在模型中加入关键特征表征模块，关键特征表征模块主要由通道注意力和空间注意力构成，用于提取人脸的关键特征，图 1本文方法的流程Fig.1Procedure of method in this pap