结合反射图像的双流多层次融合人脸活体检测_王鑫.pdf

Computer Engineering and Applications计算机工程与应用2023，59（13）人脸自动识别系统具有准确、便捷、非接触的特点，已广泛应用于门禁、安检、金融支付和电子设备终端等场景。但是，随着社交媒体的发展，不法分子可以很轻易地获得合法用户的人脸图像或者视频，以此来欺骗人脸识别系统，造成很大的安全隐患。因此，有必要通过人脸活体检测算法来判别输入图像是来自真实人脸还是攻击者伪造的人脸，从而保障人脸识别系统的安全性。目前的人脸活体检测算法大致可以分为两类：基于手工设计特征的算法和基于深度特征的算法。早期的算法大多从人脸图像中提取手工设计的特征，如局部二值模式（local binary patterns，LBP）纹理特征1-2、尺度不变特征变换3（scale-invariant feature transform，SIFT）、加速稳健特征4（speed-up robust feature，SURF）和梯度直方图5（histogram of oriented gradients，HOG）等，接着结合传统的机器学习分类器实现二分类任务。此外，Li等人6认为真实人脸比攻击人脸图像拥有更多的高频分量，因此利用两者在频域中的差异作为真伪照片判别的依据。由于打印照片攻击和视频重放攻击的图像往往是二次翻拍或者多次翻拍真实照片形成的，翻拍过程中结合反射图像的双流多层次融合人脸活体检测王鑫，黄睿上海大学 通信与信息工程学院，上海 200444摘要：针对从RGB图像提取到的特征对光照敏感，导致人脸活体检测模型泛化性能较差的问题，提出一种结合反射图像的双流多层次融合检测（face anti-spoofing using dual-stream multi-level fusion and reflection images，DMF-RI）算法。对RGB图像进行带色彩恢复的多尺度Retinex增强，获得反射图，并分别提取原图和反射图的低、中、高多层次深度特征；通过双流多层次特征融合模块（dual multi-level feature fusion，DMFF）实现不同层次不同特征的有效融合；联合基于二值掩码的像素级监督和基于二值标签的二分类监督训练网络模型。在CASIA-FASD、Replay-Attack、MSU-MFSD、OULU-NPU和SiW这5个人脸活体检测数据集上的多组实验表明，所提算法通过多层次融合RGB图像和MSRCR图像的深度特征，能提取人脸中更为本质的特征信息，在复杂背景条件下表现出较强的鲁棒性和泛化能力。关键词：人脸活体检测；光照鲁棒性；多层次特征；特征融合文献标志码：A中图分类号：TP391.41doi：10.3778/j.issn.1002-8331.2204-0035Face Anti-Spoofing Using Dual-Stream Multi-Level Fusion and Reflection ImagesWANG Xin,HUANG RuiSchool of Communication and Information Engineering,Shanghai University,Shanghai 200444,ChinaAbstract：The features extracted from RGB images are sensitive to illumination and lead to poor model generalizationperformance of face anti-spoofing algorithms.To deal with the problem,a face anti-spoofing method using dual-streammulti-level fusion and reflection images is proposed.Firstly,the RGB images are enhanced through multi-scale retinexwith color restoration（MSRCR）,and the low,medium and high-level deep features of the RGB and resulting reflectedimages are extracted.Then,an effective fusion of different features at different levels is achieved through the dual multi-level feature fusion（DMFF）module.Finally,the network model is trained by joint pixel-wise binary supervision andbinary supervision based binary label.Extensive experiments on five benchmark datasets,including CASIA-FASD,Replay-Attack,MSU-MFSD,OULU-NPU and SiW,show the better robustness and generalization capability of the proposedmethod which can fuse the multi-level features of RGB and MSRCR images and extract more intrinsic features of faces inthe complex environments.Key words：face anti-spoofing;illumination robustness;multi-level features;feature fusion作者简介：王鑫（1997），男，硕士研究生，研究方向为计算机视觉，E-mail：；黄睿（1976），通信作者，女，博士，副教授，研究方向为模式识别与智能信息处理。收稿日期：2022-04-06修回日期：2022-07-07文章编号：1002-8331（2023）13-0238-092382023，59（13）会造成一定程度图像质量的下降。Galbally等人7提出了一种基于图像质量评估的人脸活体检测算法。以上算法基于单个人脸图像进行检测，不需要用户配合，具有便捷无感的优点。Pan等人8引入眨眼信息来区分真伪人脸，使用条件随机场对眨眼行为进行建模，根据眨眼动作的不同状态区分真伪人脸，该方法虽然在打印照片攻击方面有所见效，但是并不能抵抗视频回放的攻击。基于传统手工设计特征的算法简单、易于实现，但提取到的特征比较简单、表达能力有限，导致模型的泛化能力较弱。近年来，基于深度学习的人脸活体检测受到研究者关注。与传统特征相比，神经网络学习到的深度特征具有更强大的表征能力，训练出的模型准确率也大大提高。Yang 等人9首次将卷积神经网络（convolutionalneural network，CNN）应用在人脸活体检测领域，使用AlexNet网络模型作为特征提取器提取原始图像的特征，通过SVM分类器进行分类。Li等人10采用了迁移学习的方法，对预先训练好的VGG人脸模型进行微调后提取特征，一定程度上减少了模型的过拟合。王宏飞等人11利用图像纹理和帧间光流场的变化，提出了一种光流与纹理特征融合的人脸活体检测算法。早期基于深度学习的检测算法通过softmax损失函数实现人脸真伪的二分类，虽然在单个数据库内检测性能有所提升，但在遇到跨数据集测试时泛化能力一般。与之前二分类的方法不同的是，Liu等人12提出使用多种辅助信息训练网络。该方法结合人脸面部深度信息和 rPPG（remote photo plethysmography）作为辅助监督引导模型学习到更为本质的特征信息，取得了较好的检测效果。Kim等人13在深度图监督的基础上，同时引入了基于反射图的监督，进一步提升了网络的检测性能。此外，文献14和15分别提出了新的卷积算子和损失函数用于人脸活体检测。为了更好地抵抗多种多样的未知攻击，提高深度模型跨数据集的泛化能力，研究者还采用零次学习16、域适应和域泛化17-18等算法解决模型的泛化能力问题。但是，在复杂场景下面对未知攻击类型时，模型的精度及其泛化能力仍是目前的研究难点。现有的深度学习算法大多基于 RGB 图像提取特征。RGB 图像能提供细致的纹理特征，但易受光照的影响，从而制约算法的泛化能力。带色彩恢复的多尺度Retinex（multi-scale retinex with color restoration，MSRCR）算法可获取原图像的反射图像。该反射图像不受光照影响，而且能体现图像的高频信息，与RGB空间提取到的纹理特征形成互补，有利于真伪人脸的识别。因此，本文提出一种结合反射图像的双流多层次融合人脸活体检测算法（face anti-spoofing using dual-stream multi-level fusion and reflection images，DMF-RI）。算法首先对RGB图像进行MSRCR增强，分别提取原图和反射图的低、中、高多层次深度特征；通过双流多层次特征融合模块（dual multi-level feature fusion，DMFF）实现不同层次不同特征的有效融合；最后联合基于二值掩码的像素级监督和基于二值标签的二分类监督训练网络模型。1本文方法针对从RGB图像提取到的特征对光照敏感，导致模型泛化性能较差的问题，本文提出一种结合RGB和MSRCR图像空间多层次特征提取和融合的双流人脸活体检测算法。算法的大致流程如下：首先通过 MSRCR 算法对RGB图像进行增强，形成具有两种图像的双流输入，并分别通过预训练ResNet网络提取原始深度特征信息；接着，在原始特征的基础上，分别通过3个不同层次的卷积模块，提取具有丰富上下文信息的低、中、高多层次特征；然后，通过双流多层次特征融合模块（dual multi-level feature fusion，DMFF）将两种多层次特征进行融合，生成互补的掩码图用于后续的监督训练；最后，联合基于二值掩码的像素级监督和基于二值标签的二分类监督训练网络模型。算法的框架如图1所示。图1本文算法总体框架Fig.1Overall framework of proposed algorithmFCDMFF掩码图像素级监督二分类监督ResNet34ResNet34真/假？王鑫，等：结合反射图像的双流多层次融合人脸活体检测239Computer Engineering and Applications计算机工程与应用2023，59（13）1.1MSRCR图像增强受人类视觉系统的启发，Land等人19提出了一种色彩恒常理论，即Retinex理论。该理论认为物体的颜色是由不同波长的光的反射能力决定的，物体的颜色不受非均匀性光照的影响。研究者可以通过去除光照影响，达到图像增强的目的20。将它应用到人脸活体检测领域，通过去除原图像的光照因素得到反射图像，提取不受光照影响的特征。Retinex理论可由下式表示：S(x,y)=R(x,y)L(x,y)（1）其中，S(x,y)和R(x,y)分别为原图像和反射性质图像；L(x,y)为光照性质图像，它由光源决定。将式转换到对数域，有：logS(x,y)=logR(x,y)+logL(x,y)（2）为了方便，用s(x,y)、r(x,y)和I(x,y)分别代表logS(x,y)、logR(x,y)和logL(x,y)。Retinex理论实际上就是要尽可能去除光照图像信号I(x,y)的影响，最大限度地保留表现物体本质属性的图像信号r(x,y)，这跟人脸活体检测算法的要求一致。单尺度 Retinex（single-scale Retinex，