第２５卷第３期重庆科技学院学报(自然科学版)２０２３年６月基于多尺度融合特征网络的表情识别研究郭帅龙杨波张家旗杨鑫马海娟(重庆科技学院电气工程学院ꎬ重庆４０１３３１)收稿日期:２０２２－１０－３１基金项目:重庆市科技局自然科学基金项目“基于注意力机制和深度学习模型的手指静脉活体检测研究”(ＣＳＴＣ２０２０ＪＣＹＪ－ＭＳＸＭ０７７４)作者简介:郭帅龙(１９９８—)ꎬ男ꎬ在读硕士研究生ꎬ研究方向为图像处理、深度学习ꎮ通信作者:杨波(１９７３—)ꎬ男ꎬ博士ꎬ教授ꎬ研究方向为模式识别与智能系统、光谱分析技术与ＬＥＤ色彩测量、机器视觉与图像处理ꎮ摘要:在人脸表情识别任务中场景和表情数据丰富且复杂的情况下ꎬ卷积神经网络难以提取具有代表性的表情特征ꎬ因此提出一种多尺度融合特征网络ꎮ首先ꎬ在卷积神经网络前端引入具有不同大小卷积块的ＩｎｃｅｐｔｉｏｎＶ２结构ꎬ既增强了网络模型提取表情图片局部特征的能力ꎬ又减少了网络模型的训练参数量ꎻ然后ꎬ利用Ｇｒａｄ－ＣＡＭ热力权重可视化技术绘制热力权重分布图ꎬ通过１×１卷积块构建融合特征ꎬ使其同时兼具浅层局部特征和深层语义特征ꎻ最后ꎬ将ＢＮ结构和Ｄｒｏｐｏｕｔ结构引入改进网络结构中ꎬ以防止模型出现过拟合或欠拟合问题ꎮ在公开数据集ＦＥＲ２０１３和融合数据集(ＣＫ＋、ＪＡＦＦＥ和ＲａＦＤ)上进行实验ꎬ结果表明该方法的识别准确率更高、泛化能力更强ꎮ关键词:融合特征ꎻ卷积神经网络ꎻ表情识别中图分类号:ＴＰ３９１.４文献标识码:Ａ文章编号:１６７３－１９８０(２０２３)０３－００８６－０８０前言无论在人类交流还是人机交互的过程中ꎬ情感信息往往需通过面部表情来体现ꎮ有研究证明ꎬ日常交流中只有７％的信息通过语言传递ꎬ而高达５５％的信息通过表情传递[１]ꎮ生气、讨厌、开心、伤心、害怕、惊讶和中立是人类最常见的７种表情ꎮ随着计算机技术的高速发展ꎬ人脸表情识别技术在公共安全、教育心理学和卫生医疗等领域有着广阔的应用前景[２－５]ꎮ人脸表情识别技术是目前的研究热点之一ꎮ由于人脸表情存在较多的特征信息ꎬ且人为定义的表情特征缺乏解释性ꎬ因此选取卷积神经网络进行表情识别ꎮＹｕ等人构建了一个包含９层网络的ＣＮＮｓꎬ并在最后一层连接层采用Ｓｏｆｔｍａｘ分类器将表情分为７类ꎬ使模型在ＳＦＥＷ２.０数据集上的识别率达到了６１２９％[６]ꎮＬｏｐｅｓ等人在ＣＮＮ训练之前对数据进行预处理ꎬ使模型在ＣＫ＋数据集上的...
