２０２３年７月第４４卷第７期计算机工程与设计ＣＯＭＰＵＴＥＲＥＮＧＩＮＥＥＲＩＮＧＡＮＤＤＥＳＩＧＮＪｕｌｙ２０２３Ｖｏｌ．４４■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■Ｎｏ．７基于残差网络和粗细粒度的音视频情感识别于明，刘子微，师硕＋，吕华（河北工业大学人工智能与数据科学学院，天津３００４０１）摘要：针对情感特征表征性不足以及离散型和连续型情感描述间关联缺失的问题，提出一种基于残差网络和粗细粒度的音视频情感识别方法。基于残差网络构建双子网络提取特征，视频子网设计恒定残差网络和细节关注分支，弥补深层特征的细节信息；音频子网利用分段注意力机制提升特征判别力。使用比例决策融合策略得到最终情感分类结果。设计粗细粒度损失函数，优化整个网络的性能。实验结果表明，所提方法有效提升了识别精度，验证了不同情感描述间的关联对情感识别的辅助作用。关键词：音视频模态；情感识别；残差网络；比例决策融合；细节信息；分段注意力机制；粗细粒度损失中图法分类号：ＴＰ１８３；ＴＮ９１２．３４文献标识号：Ａ文章编号：１０００－７０２４（２０２３）０７－２１９２－０８ｄｏｉ：１０．１６２０８／ｊ．ｉｓｓｎ１０００－７０２４．２０２３．０７．０３６收稿日期：２０２２－０１－１９；修订日期：２０２３－０７－０５基金项目：国家自然科学青年基金项目（６１８０６０７１）；河北省自然科学基金面上基金项目（Ｆ２０１９２０２４６４、Ｆ２０１９２０２３８１）；河北省高等学校科学技术研究基金项目（ＱＮ２０１９２０７）；中国科学院自动化研究所模式识别国家重点实验室开放课题基金项目（２０１９０００４３）；天津科技发展战略研究计划基金项目（１８ＺＬＺＸＺＦ００６６０）作者简介：于明（１９６４），男，河北秦皇岛人，博士，教授，ＣＣＦ会员，研究方向为图像处理与模式识别、智能感知与优化算法；刘子微（１９９５），女，河北邢台人，硕士研究生，研究方向为情感计算；＋通讯作者：师硕（１９８１），女，河北保定人，博士，副教授，ＣＣＦ会员，研究方向为情感计算、人脸表情识别、行人再识别；吕华（１９８０），女，河北沧州人，硕士，讲师，研究方向为智能信息处理。Ｅ－ｍａｉｌ：ｓｈｉｓｈｕｏ＠ｓｃｓｅ．ｈｅｂｕｔ．ｅｄｕ．ｃｎＡｕｄｉｏ－ｖｉｄｅｏｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏ...
