结合LBP圆形算子的CNN面部表情识别研究_郭玲玲.pdf

书书书 ，基金项目微型电脑应用 年第 卷第期基金项目：国家自然科学基金项目（）；黑龙江省高等教育教学改革研究项目（）；黑龙江省省属本科高校基本科研业务费东北石油大学性创新基金项目（）；黑龙江省教育科学“十三五”规划 年度重点课题（）作者简介：郭玲玲（），女，博士，副教授，研究方向为教育大数据应用技术、人工智能；苏冬娜（），女，硕士，讲师，研究方向为人工智能、移动计算；胡绍彬（），男，博士，教授，研究方向为教育大数据应用技术。文章编号：（）结合 圆形算子的 面部表情识别研究郭玲玲，苏冬娜，胡绍彬（东北石油大学，计算机与信息技术学院，石油工程学院，黑龙江，大庆 ）摘要：利用机器学习中卷积神经网络（）擅长处理图像的优势，结合改进的局部二值模式（）圆形算子，实现了人脸面部表情的识别。提取的人脸表情特征纹理信息得到增强，抑制了图像中光照、背景等干扰因素，并达到了灰度和旋转不变性的要求。在 数据库上的实验结果表明，相比于原始图像的输入，结合 圆形算子的 结构能够有效提高面部表情识别的准确率。关键词：机器学习；卷积神经网络；局部二值模式；面部表情中图分类号：；文献标志码：，（，）：（）（），：；引言人脸的面部表情是人类传达内心情绪的一种基本方式。人类通过观察对方的面部表情变化来了解对方的内心感受，同时也通过面部表情直观准确地表述自己的内心情感。在现实生活中采用面部表情识别系统具有广泛的应用前景，它可以简单快捷地获取顾客对于服务态度以及服务质量的认可程度。比如，餐饮业可以根据用户的表情情绪来度量菜品的可口程度。医疗机构可以通过病人的面部表情情绪来分析病人的状态，以此提供更细致的医疗陪护。近年来，随着人脸识别技术的迅猛发展，人脸的面部表情识别问题已经成为计算机视觉领域和人工智能领域相关学术专家们研究的主要方向之一，研究内容遍及各个学科，包括心理学、生物神经学、信息科学等，是一个极具挑战性和极高研究价值的复合型课题。面部表情识别技术包括六个部分，涉及人脸面部表情图像的输入、人脸面部的检测、面部表情图像的预处理、面部表情特征的提取、面部表情图像的分类及表情特征识别。随着研究面部表情识别技术的深入，带动了人工智能、计算机视觉、生物识别特征以及心理学领域的发展，并且促进新方法以及理论的提出。研究背景 世纪末期，著名生物学家达尔文在著作 人类和动物的表情 中从面部表情表现的情绪方面论证了人类与动物之间的区别与联系。十年之后，和 等人从眉毛、眼睛、面颊和嘴唇的变化将种表情进行了细致的划分，并建立了一套关于人脸面部表情特征的图像库。随后，欧洲的发达国家和亚洲的部分国家相继开启了面部表情识别领域的研究并且成立有关面部表情识别的研究小组。目前，国内高校的研究机构以及企业都纷纷致力于面部表情识别的研究，虽然起步较晚，但是发展迅速，在面部表情识别技术上都已经取得了较好的成绩。，基金项目微型电脑应用 年第 卷第期目前，深度学习算法广泛地应用于计算机视觉领域，尤其是卷积神经网络结构可以很好地提取图像的特征，减少人为定义特征所产生的误差。利用深度学习算法，识别面部表情准确度相比传统面部表情识别技术有很大改进，成了研究面部表情识别的重要手段之一。构建更好的深度学习框架来训练模型也是目前表情识别领域在研究的方向。基于卷积神经网络面部表情识别 识别流程人脸面部表情识别是机器学习中的模式识别问题，采用优化算法不断更新参数权重和偏置，并利用各种复杂的机器学习算法对分类器进行训练，采用训练好的分类器自动获取特征，从 而 给 出 相 应 的 识 别 结 果。基 于 卷 积 神 经 网 络（）面部表情识别主要分为个步骤，如图所示。图基于 面部表情识别流程 网络结构设计采用 （）网络结构中的卷积核，在增加模型的深度和宽度时并没有明显地增加计算成本，设计了包含四层卷积层、两层全连接层的浅层网络结构，在面部表情识别中能达到良好的识别效果。本文设计的卷积神经网络结构，如图所示。图网络结构示意图结合 圆形算子的面部表情识别 卷积神经网络表情识别的缺陷采用卷积神经网络识别面部表情特征，主要通过深度学习的方式，不断调整卷积神经网络中的权值和偏置参数，从而可以较准确地识别面部表情特征。由于卷积神经网络模型的复杂程度提升，所需要的训练数据也变得更加庞大，训练模型也会变得更困难，过多的参数造成巨大的计算量，在后期训练模型也容易造成过度拟合的问题。针对现有研究，需要在较浅的 结构下和较短的时间内训练出较好的模型，提高面部表情特征的识别准确度，并结合相应的算法来解决传统 结构在面部表情识别中存在的问题是研究的主要目的。局部二值模式 算法局部二值模式 只提取图像的局部纹理信息，降低了由于光照影响或者人脸面部肤色的影响造成图像边缘信息模糊，难以进行较准确的面部表情识别。在保留原有的卷积神经网络结构下，本文采用 算法提取面部表情特征，将提取的面部表情特征图像传送到输入层，再利用 自主学习的特性，不断地调整卷积神经网络参数，从而提取到更具有表现力的面部表情特征信息。圆形算子计算过程如下。对于给定的像素中心点（，），其邻域像素点的位置为（，），其采样的像素点用式（）和式（）进行计算，（）（）（）（）式中，代表邻域采集的像素点数量，代表采样点所需的半径。由于经过计算所得的值可能不在图像上，所以我们使用插值点来避免这个问题，本文采用双线性差值的方式近似计算其插值，如式（）所示：（，）（，）（，）（，）（，）（）融合 圆形算子的卷积神经网络融合 圆形算子的卷积神经网络识别面部表情的过程如图所示，主要包括表情图像预处理、面部表情特征提取以及面部表情分类与识别三个方面。图融合了 圆形算子的表情识别过程图将训练集中的表情图片输入进行人脸检测，通过图像预处理将图片进行灰度归一化以及尺寸归一化，采用 圆形算子进行图像特征提取，如图所示。图部分 圆形算子特征图从图可以看出，通过 特征提取可以有效避免由于肤色不同产生的干扰因素，并且 特征具有较好的鲁棒 ，基金项目微型电脑应用 年第 卷第期性，不会由于光照的明暗，造成边缘信息难以提取的问题。融合了 圆形算子的卷积神经网络，通过对表情图片局部纹理特征进行提取，消除了许多干扰因素，同时也加强了边缘信息的描述。将经过 圆形算子处理后的图像传入到卷 积神经 网络，再 进行深 层 次 的 特 征 提 取，如 图 所示。由图可见，经过多次卷积特征提取之后，融合 圆形算子的 表情识别可以提取到更加丰富的面部表情特征，图像的边缘信息和轮廓信息也得到了加强。采用 圆形算子进行特征提取并不会延长卷积神经网络的训练时间，还能够提取到更丰富的面部表情特征，对面部表情识别具有重要意义。实验结果分析及应用实验研究采用 数据集训练模型，其中训练集图片 张，验证集图片 张，测试集图片 张，每张图片由大小固定为 的灰度图像组成，共有开心、难过、惊讶、厌恶、生气、恐惧、中性类表情，如图所示。（）第一层卷积后图像特征图（）第二层卷积后图像特征（）第三层卷积后图像特征（）第四层卷积后图像特征图融合 圆形算子的卷积神经网络特征提取图图 数据库中部分图片 融合 圆形算子的 面部表情分析卷积神经网络结构可以很好地应用于面部表情识别研究，但由于加深卷积神经网络层数会花费较长的时间，因此采用 圆形算子进行面部表情图像特征提取再转到输入层，部分 特征图像如图所示。图部分 特征图像本文的 结构以层卷积层和层全连接层为基础，在具有相同的 结构下验证结合采用 特征提取的图像作为输入数据与原始图像作为输入数据两者在识别准确率的差异，其实验结果如表所示。由表可见，利用原始图像作为 结构的输入数据，面部表情识别率为 ，对训练集和测试集中的数据进行改进，添加了 特征图像，识别的准确度可以进一步提升到 。融合 圆形算子的 面部表情识别在训练过程以及测试过程中准确率变化图像如图所示。表不同测试方案表情识别准确率测试方案训练集测试集识别准确率原始图像原始图像 图像 图像 图（）、图（）分别代表利用原始图像和 提取的表情特征作为训练数据和测试数据，浅色曲线代表训练数据的准确率变化趋势，深色曲线代表测试数据准确率变化趋势。通过对比分析，改进后的 模型收敛速度更快，曲线振荡现象较为平稳，尤其是迭代到 个 以后趋于平缓，体现出结合 圆形算子的 可以很好地提升面部表情识别的准确度。面部表情识别应用采用融合了 圆形算子的 面部表情识别模型，设计了动态识别人脸面部表情识别应用，实现的主要流程如图所示。设计的 面部表情识别简单应用，其运行结果如图、图 所示。由图 可知，通过摄像头动态扫描人脸，将检测到的人脸部分用矩形框出，利用已经训练好的训练模型预测面部表 ，基金项目微型电脑应用 年第 卷第期（）（）图准确率变化曲线图应用实现流程示意图情并自动为其打好标签，总共可以识别出七类表情，分别为自然、生气、害怕、厌恶、开心、惊讶以及伤心的表情。图 面部表情识别应用主界面图 动态面部表情识别应用主界面总结在保留原有卷积神经网络结构不变的前提下，结合 圆形算子提取了面部表情特征，有效地解决了由于光照不同和人脸肤色不同造成的图像模糊、难以提取到图像边缘信息的问题。通过 实 验 对 比，可 以 看 出 结 合 圆 形 算 子 的 面部表情识别能够有效地提高面部表情识别的准确度。最后利用训练好的模型实现了面部表情识别的简单应用，即通过抓拍人脸的面部，自动判断表情类型并匹配相应的表情。研究中最终达到的识别准确率为 ，距离目前较好的表情识别准确率还有些距离，还需不断地调整参数以达到最优网络模型。参考文献陈玲霞 基于标记分布学习法的面部表情识别 南京：东南大学，：胡 超 人 脸 表 情 识 别 研 究 南 昌：华 东 交 通 大学，陈航，邱晓晖基于卷积神经网络和池化算法的表情识别研 究 计 算 机 技 术 与 发 展，（）：姜锐人脸表情识别系统的研究与实现杭州：浙江理工大学，蒋斌，贾克斌，杨国胜人脸表情识别的研究进展计算机科学，（）：，（）：，：施徐敢基于深度学习的人脸表情识别杭州：浙江理工大学，：，：李皓基于局部二值模式的人脸表情识别算法研究西安：西安科技大学，（收稿日期：）