基于高阶门控卷积的面部识别算法在电站身份识别中的应用.pdf

2023 年 8 月 25 日第 7 卷 第 16 期现代信息科技Modern Information TechnologyAug.2023 Vol.7 No.161341342023.082023.08收稿日期：2023-03-03基于高阶门控卷积的面部识别算法在电站身份识别中的应用高森（南京南瑞继保电气有限公司，江苏 南京 211102）摘 要：电站安全与国家安全和人民生产生活息息相关，因此对电站的出入人员进行准确的身份识别尤为重要。针对电站出入人员携带安全帽导致的面部特征采集不完全等问题，文章提出了融合高阶门控卷积模块对 MTCNN 和FaceNet 网络模型进行改进增强，通过显式建模人脸面部特征向量之间的高阶关联，使得模型可以学习到更加准确的特征映射函数，从而提高面部识别的准确率。在 LFW 数据集上，提出的改进方法相比于原 Facenet 模型的 99.63%的准确率提高到了 99.68%的准确率。最后，在电站的实际应用场景中，出入识别的准确率分别为 99.12%和 98.93%。关键词：电站；面部识别；高阶门控卷积中图分类号：TP391.4 文献标识码：A 文章编号：2096-4706（2023）16-0134-05Application of Facial Recognition Algorithm Based on High-order Gated Convolution for Power Station IdentificationGAO Sen(Nanjing NanruiJibao Electric Co.,Ltd.,Nanjing 211102,China)Abstract:The security of the power station is closely related to national security and peoples production and life,so it is particularly important to accurately identify the access personnel of the power station.Aiming at the problems such as incomplete collection of facial features caused by helmets carried by power station access personnel,this paper proposes to improve and enhance the MTCNN and FaceNet network models by integrating high-order gated convolution modules.By explicitly modeling the high-order correlation between facial feature vectors,the model can learn more accurate feature mapping functions to improve the accuracy of facial identification.On the LFW dataset,the improved method proposed in this paper improves the accuracy of the original FaceNet model by 99.63%to 99.68%.Finally,in the actual application scenario of the power station,the accuracy of the access identification is 99.12%and 98.93%respectively.Keywords:power station;facial identification;high-order gated convolution0 引 言电网和电站在国家安全、社会稳定以及人们的生产生活中承担着十分重要的角色，因此电网和电站的安全一直受到国家和人民的重视和关注。运用精确和稳定的识别系统对电网和电站出入人员进行准确的身份识别对电网和电站的安全有着重要保障。由于出入电站和电网的工作人员大部分人会携带绝缘手套和佩戴安全帽等，所以传统的基于指纹识别的方法不易于使用，且由于佩戴安全帽的原因会给面部识别带来巨大挑战。除此之外，利用虹膜特征对员工身份进行检测和识别的方式虽然准确度高，但是代价高昂。综合考虑，人脸识别更适用于电站和电网出入人员的身份识别。人脸识别的发展历经手工提取特征到深度学习，在深度学习崛起之前，人脸检测主要通过手工DOI:10.19850/ki.2096-4706.2023.16.029设计提取特征获取面部信息，此类方法具有速度快，实现简单等特点，但是检测精度较低。例如早期的人脸识别技术1，2主要是建立在子空间特征向量学习和特征模式统计学习上。例如利用 SIFT 特征进行空间学习，首先选取固定数量的矩形区域进行预处理，之后根据特征映射的空间统计以及预先设定的先验阈值来提升面部识别的鲁棒性。随着深度学习技术的进一步发展，通过设计合理的神经网络模型在大量数据上进行训练来获得面部和非面部的分类器使得人脸识别的可靠性和鲁棒性跨越式增强。Hinton 等人提出了在当年 ImageNet大赛上的冠军方法 AlexNet3，该模型是深度学习在计算机视觉任务上应用的里程碑。深度学习的巨大成功促进了深度学习算法和人脸识别的结合，例如张等人4提出的 MTCNN，通过分级训练并使用三个子卷积神经网络来提升人脸识别的准确率。Sun 等人5提出的 DeepID 将人脸图像分割成多个图块输入给深度网络进行训练来提升网络对特征的学习和表示能力。现代信息科技8月下16期.indd 134现代信息科技8月下16期.indd 1342023/8/15 17:38:232023/8/15 17:38:231351352023.082023.08第 16 期再有，谷歌提出的 FaceNet6模型通过学习获得一个特征映射函数将输入映射为特征空间的身份向量，在利用相似度函数来比较特征向量的相似度来进行面部识别，该模型在 LFW 人脸识别数据集上获得了99.63%的识别准确率。由此可见，深度学习相比于传统的特征提取方法能够学习到更加有用和更具表示能力的特征。本文针对电站门禁场景的特殊需求，利用高阶门控卷积对 MTCNN 和 FaceNet 进行改进来提升模型的特征学习和表示能力进而提升人脸识别的准确率。最后，深度学习在人脸识别上的应用进一步推动了人脸识别技术在各种实际场景的落地和应用，例如视频监控、身份识别、游戏娱乐等诸多领域。1 本文方法作为计算机视觉领域的热点研究问题，人脸识别算法已经取得了较好的结果7-12，但是距离实际应用的要求还尚有不足，例如实际场景中捕获的人脸图片可能会受到光照、遮挡、面部快速移动等各种因素的影响，进行特征向量相似度计算时会产生较大的偏差导致无法正确识别。为有效缓解上述难点，本文提出了融合高阶门控卷积进一步增强模型的特征学习和表示能力。实验结果表明，改进之后的 i-FaceNet 相比于原 FaceNet 网络人脸识别的准确率和运行速度显著提升。人脸识别主要包含检测和识别，其中前者是后者的基础，本文使用 i-MTCNN 网络作为面部检测算法并使用 i-FaceNet 网络对面部特征进行识别，最后通过特征向量的相似度比较，对输入面部图片进行识别进而对进出员工的身份进行判定，如图 1 所示。1.1 高阶门控卷积高阶门控卷积主要是通过门控卷积和递归操作来建模特征向量之间的高阶关联，具有推理效率高、扩展性强以及平移不变性等特点。一般的卷积运算（互相关运算）没有显式地对特征空间中任意两个特征向量的关联进行建模，而引入这种特征信息交互可以显著提升模型的特征学习和表达能力。如图2 所示，该结构主要是通过 11 卷积、基于深度的卷积以及基于元素相加等操作来实现。11卷积11卷积11卷积11卷积输入特征特征i邻域特征 j0邻域特征 j1邻域特征 j2基于元素相加基于元素相加基于元素相加输出特征基于深度的卷积图 2 高阶（3 阶）门控卷积示意图假定输入特征向量为，H 表示特征向量的高，W 表示特征向量的宽，C 表示特征向量的通道数，1 阶门控卷积操作可以被表示为：其中，为 11 卷积，用于通道之间的特征信息交互，为基于深度的卷积，j0为 i的邻域特征，Y 表示特征向量 i 与其邻域特征 j0的一阶特征交互输出。在上述操作的基础上，再对门控卷积结构应用递归方法来实现更高阶的门控卷积结构从而来显式地考虑特征向量之间的高阶依赖关系。1.2 GC-MTCNN 模型为应对复杂场景下的人脸检测，多任务级联人脸检测方法 MTCNN 于 2016 年被张等人提出。如图 3 所示（自上而下分别为 P-Net 网络、R-Net 网络、O-Net 网络），该框架是一种适用于多任务的人脸检测模型，主要包含三个卷积神经网络级联模型，可以同时对输入图像进行面部区域检测和面部特征点检测。该模型具备结构简单、精度高、易于集成?(GC-MTCNN)?(GC-MTCNN)?(GC-FaceNet)?(GC-FaceNet)?图 1 本文方法 i-FaceNet 结构示意图高森：基于高阶门控卷积的面部识别算法在电站身份识别中的应用现代信息科技8月下16期.indd 135现代信息科技8月下16期.indd 1352023/8/15 17:38:232023/8/15 17:38:23136136第 16 期现代信息科技2023.082023.08使用等特点。具体来说，为了得到更加精细化和更加准确的模型，利用多个子网络（P-Net、R-Net、O-Net）的输出不断修正检测结果，最终得到一个最优的模型用于人脸检测。其中 P-Net 为面部区域提议模型，该模型会首先对输入进行处理，输出经过处理和校准的人脸图像，R-Net 对这些区域进行进一步精细化处理，对其中置信度较低和错误的提议区域进行舍弃，输出置信度较高的面部提议区域，最后 O-Net 对这些提议区域再进一步处理输出最终的面部区域和面部关键点坐标。image33卷积22池化33卷积33卷积11卷积分类回归11211411323316551012123image33卷积22池化22卷积分类回归1121143364442811112824243image33卷积33池化分类回归112112564464101064232332484831112833卷积33池化22卷积33128关键点检测114111033卷积33池化33卷积33池化图 3 MTCNN 网络结构图本文对其中 33 卷积使用高阶（3 阶）门控卷积进行替换获得了新的网络结构模型 GC-MTCNN。与MTCNN的训练过程类似，如图3所示，本文对三个子网络分别逐次训练，首先对 P-Net 进行训练，得到可能的面部建议区域，再输入给 R-Net网络，进一步对这些建议区域进行校准和筛选，最后输入给 O-Net 网络进行训练。1.3 GC-FaceNet 模型FaceNet 模型最初由谷歌团队于 2015 年提出，主要用于人脸识别、人脸聚类以及人脸验证，如图4 所示。CNNCNNCNN?图 4 FaceNet 模型结构其中，输入图片分为三类，即锚样本、正样本、负样本，CNN 为 Inception-ResNet-v1 用于深度特征提取，嵌入空间指的是 CNN 输出的特征向量经过正则化处理之后的特征向量，三元组损失函数可以表示为同一类的嵌入空间的空间距离越近越好，反之，不同类的嵌入空间的空间距离越远越好，即该函数鼓励同一类特征空间样本距离不断接近，对不同类的特征向量样本惩罚接近使其不断远离。与传统的人脸识别方法不同的是，该模型通过在大量人脸数据上进行训练并学习获得一个最优的特征映射函数，在推理阶段，只需要对输入的人脸图片进行特征映射获得特征向量，利用相似度函数在身份特征空间中对输入特征向量进行比对，输出相似度最高的人脸身份结果。本文利用高阶门控卷积对 Inception-ResNet-v1 网络中的 33 卷积进行替换获得新的网络模型 GC-FaceNet，再利用大量人脸图像进行训练学习使得锚样本与正样本之间的距离逐渐缩小，与负样本之间的距离逐渐增大，使得三元组损失函数降到最低值，最后获得表现最好的特征映射函数。2 实验及结果分析2.1 数据集LFW 数据集作为人脸识别研究的经典数据集为人脸识别的研究和发展做出了突出贡献，它于 2007年被马萨诸塞大学视觉研究实验室提出。该数据集包含了 13 323 张来自于全球范围内有一定影响力的人在各种场景下的自然人脸图片，人脸身份数量为5 000 个左右，其中约 4 000 人仅采集了 1 张自然人脸图像，约1 000人采集了2张以上的自然人脸图像，现代信息科技8月下16期.indd 136现代信息科技8月下16期.indd 1362023/8/15 17:38:232023/8/15 17:38:231371372023.082023.08第 16 期分别对每一张人脸图片标注不同的序号。为了增强算法特定场景下的识别能力，对我司内部人脸数据库加以利用，处理形成增强数据集，该数据集共包含 286 个不同的身份在不同场景下共计2 860张图片，其中大部分图片均包含遮挡、光照、角度偏转等挑战性场景。2.2 训练和验证固定增强数据集不变，从 LFW 数据集中依照两倍于增强数据集的比例随机选取数据对和增强数据集组成训练集。模型的训练采用三元组的数据输入，因此需要对上述数据进行循环处理生成三元组输入格式，再从中随机选取 6 000 组数据对组成训练的输入。在第 8 个批次的训练后，模型的损失函数降到最低点，识别的精度最高，再利用随机选取的数据对对其进行训练，模型的精度没有增长反而有细微的降低，因此设定训练批次数为8，学习率为0.001。模型在该参数下会最快收敛并达到最好的识别效果。为了验证本文提出的模型的有效性，本文方法i-FaceNet 与原 FaceNet 在 LFW 数据集上的识别准确率对比如表 1 所示，相比于原模型，本文方法获得了0.05个百分点的提升。部分检测识别结果如图5所示，由实验结果可知，本文模型相比于改进之前的模型，对于面部特征的学习和表示能力明显增强，例如对于第二行第三列中左上角模糊化的人脸，改进之前的模型没有进行检测和识别，本文模型成功的检测到了该部位的人脸；再有第三行第二列中被大面积遮挡的人脸，改进之前的模型发生了漏检，本文模型相对正确的检测出了该部分的人脸。这表明在整合了高阶门控卷积之后，模型在面临遮挡、模糊等挑战性的检测识别场景时，依然具备较高的鲁棒性。表 1 本文方法与 FaceNet 模型在 LFW 数据集上的结果模型准确率/%FaceNet99.63i-FaceNet99.68图 5 本文模型和原 FaceNet 模型在 LFW 数据集上的部分实验结果（深色为本文模型，浅色为原 FaceNet 模型）3 本文模型在电站身份识别系统中的应用为了满足现代化智能电站安全防护的需求，以面部识别、多种生物识别技术为基础的智能身份识别系统使得电站能够更加稳定和安全的运行和维护。其中面部识别算法是构成身份识别系统的最重要的一环，优秀的面部识别算法能够提高身份识别的准确率和系统的运行效率。通过在电站出入口设置摄像头对出入人员进行面部数据采集，并输入给身份识别系统，身份识别系统根据采集到的图像进行分析和比对确定进出入人员的身份信息。与正常情况下的面部识别不同的是，电网中心工作人员出入电站时，面部可能会被安全帽等遮挡从而对特征检测和识别造成挑战，如图 6 所示。本文采用高阶门控卷积来替换普通卷积结构，使其可以学习到更加复杂的空间特征关联从而提升模型的特征表示能力，在包含遮挡等多种挑战性场景的识别任务中，本文模型获得了令人满意的结果。因此，将本文算法与电网中心门禁系统相结合，在经过了 6 个月总计 1 800 个小时的有效系统在线时间实际测试后得到了如表 2 所示的识别准确率结果。由表 2 可以看出，系统在进入电站的识别准确率为98.93%，离开电站的准确率为 99.12%，造成这种识别差异的主要原因为我司大多数员工会在进入电站时佩戴安全帽，离开电站时解除安全帽。图 6 增强数据集中的部分检测识别结果（深色为本文模型，浅色为原 FaceNet 模型）表 2 i-FaceNet 模型在电站人脸识别系统中应用的结果和对应的最佳阈值检测项准确率/%准确率/%进入电站98.930.89离开电站99.121.134 结 论电网和变电站的安全与人们生产生活的方方面面关系密切甚至关系到国家安全，因此对电网和变电站的身份识别系统的安全性和鲁棒性要求更高。为了进一步提高面部识别的准确度和（下转142页）高森：基于高阶门控卷积的面部识别算法在电站身份识别中的应用现代信息科技8月下16期.indd 137现代信息科技8月下16期.indd 1372023/8/15 17:38:232023/8/15 17:38:23142142第 16 期现代信息科技2023.082023.08程度的损伤，所以红枣分拣是很重要的一步，是红枣进入流通区域的重要环节，是实现红枣标准化的基础，直接关系到红枣的生产效益。本文设计的红枣外观品质的分选装置集上料、监测、分拣于一体，可通过对红枣图像的采集处理与分析完成红枣品质的分拣，可以更为便捷地代替人工，减少成本，提高效率。文中所研究的基于树莓派和 OpenCV 的红枣外观品质智能化分选技术，具有极高的精确度、迅速性，以及更加广泛的市场应用潜力，可以为消费者带来更多的便利。现阶段的红枣产业也不应局限于人工分拣，于此，在一些以红枣产业为主的地区，红枣外观品质的分选装置将会被大量投入使用，并进行下一步的创新。以期在分拣研究上做出贡献，为我国红枣行业的发展做出贡献，助推我国工业发展。参考文献：1 王铁伟，赵瑶，孙宇馨，等.基于数据平衡深度学习的不同成熟度冬枣识别 J.农业机械学报，2020，51（S1）：457-463+492.2 白依凡，贺晓光，何建国，等.红枣自动分级机的研究进展 J.宁夏工程技术，2016，15（1）：88-92.3 窦文卿，柴春祥，鲁晓翔.无损检测技术在水果品质评价中应用的研究进展 J.食品工业科技，2020，41（24）：354-359.4 邓立苗，杜宏伟，徐艳，等.基于机器视觉的马铃薯智能分选方法与实现 J.中国农机化学报，2015，36（5）：145-150.5 田有文，吴伟，卢时铅，等.深度学习在水果品质检测与分级分类中的应用 J.食品科学，2021，42（19）：260-270.6 高辉，马国峰，刘伟杰.基于机器视觉的苹果缺陷快速检测方法研究 J.食品与机械，2020，36（10）：125-129+148.7 赵小霞，李志强.基于 PLC 和机器视觉的水果自动分级系统研究 J.农机化研究，2021，43（8）：75-79.8 刘艳丽，杜鸿运，王世璞.红枣高速在线分级检测系统研发 J.中国农机化学报，2015（5）：142-144.9 詹映.基于机器视觉南疆红枣颜色分级方法研究 D.阿拉尔：塔里木大学，2015.作者简介：徐晶晶（2003.10），女，汉族，山东菏泽人，本科在读，研究方向：机器人工程；周旭（1980.03），男，汉族，河北唐山人，副教授，本科，研究方向：电气自动化；孔耀（2000.04），男，汉族，山东枣庄人，本科在读，研究方向：电气工程及其自动化。系统的鲁棒性，本文提出了融合高阶门控卷积的 FaceNet 模型的改进版本 i-FaceNet，该方法在 LFW 数据集上的准确率相比于原 FaceNet 模型 99.63%提升到了 99.68%，且在实际电站使用场景中出入电站的人脸识别的准确率分别达到 99.12%和 98.93%。虽然本文的研究已经取得了不错的结果，但是人脸检测和识别依然具有很多挑战和难点，如图 6 第一行第一列中，由于主体携带安全帽和口罩造成的大面积面部特征遮挡导致本文算法并没有能够成功检测和识别。尽管如此，本文提出的算法依旧具有很高的检测和识别精度，相信本文提出的模型会为电站的安全出入和稳定运行做出一定的贡献，并能够为同领域的研究提供一定的参考价值。参考文献：1 ZHAO W，CHELLAPPA R，PHILLIPS P J，et al.Face recognition：A literature survey J.ACM Computing Survey，2003，35（4）：399-458.2 MOGHADDAM B，JEBARA T，PENTLAND A.Bayesian face recognition J.Pattern recognition，2000，33（11）：1771-1782.3 KRIZHIVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks J.Communications of the ACM，2017，60（6）：84-90.4 ZHANG K，ZHANG Z，LI Z，et al.Joint face detection and alignment using multitask cascaded convolutional networks J.IEEE Signal Processing Letters，2016，23（10）：1499-1503.5 SUN Y，WANG X，TANG X.Deep Learing Face Representation from Predicting 10，000 Classes C/2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：1891-1898.6 SCHROFF F，KALENICHENKO D，PHILBIN J.FaceNet：A unified embedding for face recognition and clustering C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Boston：IEEE，2015：815-823.7 祝永志，苏晓云.基于多任务卷积神经网络的人脸识别技术研究 J.通信技术，2020，53（3）：718-723.8 任艳，张蕾，徐春，等.基于图像处理的人脸识别技术研究 J.电子元器件与信息技术，2020，4（7）：81-82.9 蒋晓，高玮玮，杨亦乐，等.基于 Prewitt 算子的卷积神经网络人脸识别方法 J.软件，2019，40（10）：16-19.10 黄良辉，康祖超，张昌凡，等.基于轻量级卷积神经网络的人脸识别方法 J.湖南工业大学学报，2019，33（2）：43-47.11 鲁磊.基于卷积神经网络的人脸识别方法研究 D.西安：西安科技大学，2019.12 杨玉涟，官钰翔，沈毅，等.基于卷积神经网络的人脸识别 J.电子测试，2020（21）：60-61+99.作者简介：高森（1990），男，汉族，江苏南京人，自动化工程师，本科，研究方向：计算机视觉、电气工程及其自动化、信息安全。（上接137页）现代信息科技8月下16期.indd 142现代信息科技8月下16期.indd 1422023/8/15 17:38:242023/8/15 17:38:24