基于LBP特征匹配算法的红外人脸图像表情识别技术_徐武.pdf

第 44 卷第 3 期2023 年 3 月激光杂志LASE JOUNALVol.44，No.3March，2023http /www laserjournal cn收稿日期:20220911基金项目:国家自然科学基金(No U1802271)、少数民族优秀文化保护传承工程项目(No 2021YNMW005)。作者简介:徐武(1971)，男，教授，硕士研究生导师，研究领域:虚拟现实技术、图像识别;高寒(1996)，女，硕士研究生，研究领域:图像识别、图像分割。基于 LBP 特征匹配算法的红外人脸图像表情识别技术徐武，高寒，王欣达，张强云南民族大学电气信息工程学院，昆明650031摘要:红外人脸图像表识别过程中易受到光照不均匀、角度多变、亮度差异大等问题的影响，导致红外人脸图像表情识别效率较差，为解决上述问题，提出基于 LBP 特征匹配算法的红外人脸图像表情识别方法。首先通过局部优化保留摄影法对红外人脸图像实行降维处理，获取优化后的图像，然后采用多角度分水岭法分割图像，保留图像的细节信息。并采用 LBP 算子提取预处理后的图像纹理特征，将提取的纹理特征输入支持向量机中，计算出特征的类内比重，完成红外人脸图像表情的识别。实验结果表明，所提方法的平均识别准确率为92%，识别 100 张人脸图像表情耗时 129 s 识别效率高、识别效果好、稳定性强。关键词:降维处理;投影矩阵;局部特征提取;支持向量机;类内比重中图分类号:TN911.73文献标识码:Adoi:10.14016/j cnki jgzz.2023.03.158Infrared facial image expression recognition technologybased on LBP feature matching algorithmXU Wu，GAO Han，WANG Xinda，ZHANG QiangCollege of Communication and Electronic Engineering，Yunnan Minzu University，Kunming 650031，ChinaAbstract:In the process of infrared face image table recognition，it is easily affected by problems such as unevenillumination，variable angle，large brightness difference，etc，which leads to the poor efficiency of infrared face imageexpression recognition Face image expression recognition method Firstly，the infrared face image is dimensionally re-duced by the local optimization and preservation photography method to obtain the optimized image，and then the multiangle watershed method is used to segment the image to preserve the detailed information of the image The LBP op-erator is used to extract the preprocessed image texture features，and the extracted texture features are input into thesupport vector machine to calculate the intraclass proportion of the features，and complete the recognition of infraredfacial expressions The experimental results show that the average recognition accuracy of the proposed method is 92%，and it takes 129 s to recognize 100 face images，with high recognition efficiency，good recognition effect and strong sta-bilityKey words:dimensionality reduction;projection matrix;local feature extraction;support vector machines;intra-class specific gravity1引言日常生活中，面部表情作为人类最丰富的情感表达方式，表情识别逐渐成为热门的研究方向。随着计算机处理图像技术的蓬勃发展，红外人脸图像表情识别被广泛应用于医疗健康、教育教学、无人机检测等领域1。通过识别表情探知人们的心理需求，从而完成更好的人机交互体验过程2。由上述理论依据可知，研究红外人脸图像表情识别方法具有重要意义。胡麟苗等人3 将短波红外人脸图像与可见光人脸图像相结合，在 Cycle 框架的基础上引入损失函数，通过损失函数不断调整实验参数建立表情数据库。然后改进模型在红外人脸图像表情上的翻译效果，将http /www laserjournal cn翻译效果输入到表情数据库中完成识别。该方法没有对红外人脸图像表情实行分割处理，导致识别效率低。黄俊等人4 运用红外摄像仪镜头构建人脸图像表情数据集，通过全局池化法在数据集中构建 LeNet网络模型。然后在 LeNet 网络模型中创建卷积神经网络，通过扩大卷积核数量将人脸表情图像输入到模型中训练学习，完成红外人脸图像表情识别。该方法没有对红外人脸图像实行降维处理，导致识别效果差。褚晶辉5 等人提出利用注意力模型完成红外人脸图像表情识别，首先建立一个轻量级的卷积神经网络，为了避免通道拟合，对注意力模块中的特征图信息实行加强操作。然后利用残缺学习单元格使注意力模型获得表达更丰富的梯度流，将梯度流输入到卷积神经网络中完成红外人脸图像表情识别。该方法没有提取图像表情特征，导致识别稳定性弱。为了解决上述方法中存在的问题，提出基于 LBP特征匹配算法的红外人脸图像表情识别方法。2人脸图像预处理2.1图像降维处理为获取红外人脸图像中的有效信息，利用图像局部优化保留摄影法将图像结构信息重建后融入到图像局部目标函数中6，在降维过程中通过权值的更新完成图像优化处理7。具体步骤如下所示:(1)将红外人脸图像看作一个集合，用集合 A 表示。局部优化保留投影方法的目标函数公式如下所示:G=ni，j=1(YA1 Y)2Qni=1(YA1)2ni=1F(Q)A=A1，A2，An(1)式中，G 描述的是目标函数;Y 代表的是投影矩阵;Q表示权值矩阵;i、j 代表图像表情像素点;n 表示图像个数;代表权值系数;F 表示图像熵。(2)确定最优投影矩阵。对局部优化保留投影的目标函数实行等效系数变换8。变换公式如下所示:minK(Y，Q)=(YA)1YA(TQ)+(2)式中，K 描述的是等效系数变换;T 描述的是对角矩阵。(3)将公式(2)转化为标准特征值问题，计算出式中最小的正特征值以及正特征值对应的特征向量，将特征向量构成新的矩阵。公式如下:A(TQ)YB=YBB=B1，B2Bn(3)其中，参数 B 代表优化后的投影矩阵，表示的是标准特征值系数;n 表示矩阵个数。(4)利用如下公式更新权值矩阵，用 P 表示。P=exp(YA Y)2nj=1exp(YA Y)2(4)(5)通过优化后的投影矩阵和更新后的权值矩阵，将红外人脸图像的结构信息投入到局部优化保留投影目标函数中，获取具有代表性的人脸图像表情信息，完成图像降维处理。2.2图像分割处理为了防止降维后的红外人脸图像丢失细节信息，引入多角度分水岭分割法对图像实行分割处理，不仅可以保留图像的原始信息，还可以保证分割后的图像区域完整一致9，具体步骤如下所示:(1)多角度分水岭分割法中的多角度梯度值算子又叫多角度形态算子10，其性能由图像的结构元素决定，计算公式如下:(g C)(gC)=H(g)(5)式中，g 代表的是多角度梯度值算子;C 代表的是结构元素。H(g)表示多角度梯度值;表示膨胀运算;表示收缩运算。(2)为了防止出现过度分割的情况，引入全方位形态梯度值算子，它通过对结构元素实行峰值增强和谷值标定处理，使分割过程中的过度分割现象得到控制。不仅预防图像细节板块过于紧凑，还提高了图像分割效率11。全方位形态梯度值算子公式如下所示:DH(g)=Oi=1(g C)(gC)CO(6)式中，D 代表多角度梯度值算子;O 代表分割板块;i表示像素点。(3)分割后的红外人脸图像中表情的像素点位置、特征值都相近，将分割得到的区域块合集设为 Q，则 Q=Q i=1，2，3Z，其中 Z 为区域块个数。将每个区域块抽象成一个超像素合集，建立区域块连接图，完成图像分割处理。3图像表情识别3.1基于 LBP 的局部特征提取LBP 是用来形容图像表情局部纹理特征的算子，951徐武，等:基于 LBP 特征匹配算法的红外人脸图像表情识别技术http /www laserjournal cn如图 1 所示。它具有固定性和颜色值稳定等特点，利用 LBP 对分割后的红外人脸图像实行特征提取时，具体过程如下:(1)设置像素领域面积为 33，针对不同位置和大小的红外人脸图像表情纹理特征，假设 hi为像素领域的像素中心点;hj是正方形领域上均匀分布的像素值点;Q 为正方形边长。像素中心点的 LBP 值可以用如下公式表示:LBP=Q1Q=0(hi hj)2Q(7)(2)一般情况下，通过 LBP 算子的分布直方图可以描述出人脸图像表情的特征信息，但 LBP 算子会生成无数种模式，导致分布直方图维数较高，并且直方图间的位置过于疏远12。为了加密分布直方图间的距离，在 LBP 算子中引入均匀匹配模型13。当其中一个 LBP 算子的二进制从 1 到 0 的变化少于两次时，就可以称这个 LBP 算子属于均匀匹配模型。公式如下所示:V=(hi hj)(h0 hj)+(hj hi)V 2(8)式中，V 表示均匀匹配模型;h0代表领域中任意的像素值点。(3)与传统的 LBP 模式相比，均匀匹配模型下的算子种类降低，大程度地减少了区域空间维度14，也很好地保留了红外人脸图像表情中的重要信息，使提取的特征更加准确。图 1LBP 算子示意图3.2支持向量机完成图像识别将提取的特征输入到支持向量机中，完成红外人脸图像表情的识别15，设置模型运算的第一层负责特征交叉实验;第二层负责投票表决;第三层负责自适应决策16。具体如下:(1)第一层。对于输入的红外人脸图像表情特征，将每个特征分别传输到基础分类器中实行交叉实验，得到粗略分类结果矩阵，矩阵中每一行的平均值都可以作为分类器的识别标准，每一种特征都对应一个粗略分类结果矩阵17，如下所示:T=A1，1A1，2A1，3B1A2，1A2，2A2，3B2An，1An，2An，3Bn (9)式中，A、B 表示矩阵内的点;T 代表矩阵结果;n 表示图像像素点个数。(2)任何一个分类器对所有的特征都是不抗拒的，所以选择出最佳的分类器组合是第一层的核心功能。分类结果的准确性和各分类器之间的差异性是影响识别结果的重要因素。可选择的分类器组合需要满足以下公式:(T)=B(1)1 L(Di Dj)(10)式中，(T)代表分类器集合;B 为分类器的准确率;为一般系数;L 表示特征;Di、Dj为单独分类器。(3)第二层。负责对第一层得到的粗略分类结果实行投票表决。如果粗略分类结果相同，输出图像的分类结果，完成识别。如果粗