改进加权投票的PCA-Net多特征融合SSFR_赵淑欢.pdf

基金项目:国家自然科学基金项目(61572063,61401308);河北省自然 科 学 基 金 项 目(F2019201151,F2019201362,F2018210148,F2020201025);河北省高等学校科学技术研究项目(QN2016085,QN2017306,BJ2020030);河北大学校长基金(XZJJ201909);河北省创新技术中心开放课题(2018HBMV01,2018HBMV02);河北大学高层次人才科研启动经费项目(2014-303,8012605);广东省数字信号与图象处理技术重点实验室开放基金资助(2020GDDSIPL-04)收稿日期:2021-06-29 修回日期:2021-07-18 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0223-08改进加权投票的 PCA-Net 多特征融合 SSFR赵淑欢1,葛佳琦1,梁晓林1,2,刘帅奇1,2(1.河北大学电子信息工程学院,河北 保定 071000;2.河北省机器视觉技术创新中心,河北 保定 071000)摘要:单样本人脸识别是人脸识别在实际应用中面临的挑战性问题之一,虽然深度学习在人脸识别方面取得突破性进展但其性能依赖海量标注性数据,故其在单样本上性能有限。而传统浅层特征对有标注的数据量需求不高,但因单样本数据缺少类内变化其性能有限,提出一种改进加权投票的 PCA-Net 多特征融合算法。在数据集方面,利用 LU 分解生成虚拟样本扩展数据集;根据 PCA-Net 特征下样本的相关性细化数据集,实现对数据集初步特征提取和筛选;在细化数据集上提取多LBP 特征并与 PCA-Net 特征进行加权投票。在 AR、Extended Yale B、CMU-PIE 三个数据库上的实验结果表明,所提方法提高了单样本人脸识别性能。关键词:单样本人脸识别;局部二值模式;虚拟样本;特征融合;加权投票中图分类号:TP391.4 文献标识码:BA Fusion method of PCA-Net and Multi-Features withImproved Weighted Voting for Single-Sample Face RecognitionZHAO Shu-huan1,GE Jia-qi1,LIANG Xiao-lin1,2,LIU Shuai-qi1,2(1.College of Electronic Information Engineering,Hebei University,Baoding Hebei 071000,China;2.Hebei Machine Vision Technology Innovation Center,Baoding Hebei 071000,China)ABSTRACT:Single-sample face recognition is one of the challenging problems for face recognition in practical ap-plications.Although deep learning methods have made breakthroughs in face recognition,its performance relies onmassive labeled data,so its performance on single-sample is limited.However,traditional shallow features do nothave a high demand for labeled data,but their performance is limited due to the lack of intra-class variation for sin-gle-sample training set.For this reason,this paper proposes a PCA-Net multi-feature fusion algorithm withimproved weighted voting.First,in terms of data sets,LU decomposition was used to generate virtual samples;Sec-ondly,the data set was refined according to the correlation values between training samples and testing sample in thePCA-Net features space to achieve preliminary feature extraction;Finally,in the refined dataset,multiple LBP fea-tures and perform weighted voting with PCA-Net features were extracted.Experimental results on AR,Extended YaleB,and CMU-PIE databases show that our method improves the performance of single-sample face recognition.KEYWORDS:Single-sample face recognition(SSFR);Local binary patterns;Virtual sample;Feature fusion;Weighted voting3221 引言人脸识别1-4技术广泛应用于监控、人机交互、犯罪调查和边境控制等场景,成为近年来模式识别领域研究的热点,随着科技的发展,人们对这项技术的需求越来越大。经过多年的研究和发展,其识别的精度已经很高,尤其在将深度学习5-8方法引入到人脸识别之后,其性能更是有了突破性进展,但深度学习方法需要大量训练样本、运算量大、模型训练时间长。很多实际应用中,系统只能获取每人一张图像作为训练样本,并需要快速得到结果,因此深度学习方法在单样本9-12人脸识别中不再适用。单样本人脸识别面临诸多挑战,和常规人脸识别同样存在的光照、姿态、表情、年龄变化带来的影响,单样本人脸识别最大的难题是每个人只有一张图像作训练,包含的信息太少导致无法预测各种人脸变化,更加剧了上述因素带来的负面影响,从而无法训练出有效的模型。由于在单样本情况下无法计算类内散度矩阵,线性判别分析13(LDA)无法应用;同样的原理,类内分布无法被估计,基于概率14的方法识别效果也很差;主成分分析15(PCA)方法也很难在单样本情况下提取出具有判别性的特征向量,导致识别效果不理想。由于经典算法在单样本人脸识别中的性能很差,近年来很多研究人员提出一些改进算法来解决单样本人脸识别准确率低的问题。这些方法大致可以分为三个类别:直接在单样本上提取鲁棒性特征的方法;基于迁移学习,使用辅助数据集进行特征学习的方法;生成虚拟样本的方法。对于第一类,文献16提出了子模式下的 LBP 与 HOG 特征融合的方法;文献17提出了 SPCA 与 HOG 特征融合的方法;文献18提出中心对称梯度幅值相位模式的方法。这类算法直接使用单一样本提取鲁棒特征,并在经典算法的基础上做了改进,在性能上有了一定的提升,但都属于无监督学习,一些判别性信息没有被利用,还具有很大的提升空间。文献19提出了从辅助数据集中的中性图像和变化图像中提取二值加权插值图来分析类内变化的方法;文献20提出了判别迁移学习方法,先对多样本通用训练集进行判别分析,然后将判别分析迁移到单样本数据库的方法。这类方法采用一个额外的通用数据集进行特征学习,假设每个人的类内变化都是相似的,并通过类内变化训练出模型,估计出实验所使用的数据集的散点矩阵,然而这类方法也有一个明显的缺陷,即大多忽略了辅助数据集和测试数据集的分布差异所导致的准确率下降。文献21提出 QR 分解重构生成虚拟样本的单样本人脸识别方法;文献22提出利用 LU 分解生成虚拟样本并结合 LDA 的方法;文献23提出改进虚拟样本的方法。这类方法先生成虚拟样本,再进行特征学习,既保留了较多的判别性信息,也不会因为不同数据集之间的差异造成识别性能下降,所以本文的方法也属于这一类。上述文献在经典算法的基础上做了改动,识别性能有了一定的提升,但是和深度学习的方法相比,还有差距。因此,研究传统方法的单样本人脸识别是一项势在必行的工作。本文针对单样本情况下识别率低的问题,提出了一种以PCA-Net24-26为主体,多种特征融合的单样本人脸识别算法PMFF(PCA-Net Multi-Feature Fusion)。首先,将每个人的单样本利用 LU 分解生成 2 张虚拟样本,与单样本构成新的训练集;然后,分别提取测试样本和训练样本的 PCA-Net 特征并计算皮尔逊相关系数27,并将其初步分类为最大相关系数对应的类,同时保留相关系数最大的 3 张图像作为细化训练集;其次,分别提取测试样本和细化训练集的 LBP、CS-LBP28、BGCSBP29、IMLBP30特征,并记录基于皮尔逊相关系数的分类结果;最后,将所有特征的识别结果加权投票,得到最终的识别结果。2 PCA-NetPCA-Net 是基于卷积神经网络(CNN)的简化浅层网络模型,CNN 训练时间长,且需要大量的训练样本,这些因素限制了 CNN 在某些方面的应用,因此,一种新型的浅层网络模型应运而生,这个模型训练过程更简单,运算量更小,即 PCA-Net 模型。对于给定的图像集 X=x1,x2,xN,其中 xiRmn,N表示样本数,PCA-Net 特征的提取共有三个阶段。步骤 1:将每幅图像用 k1k2的滑动窗口提取,得到(m-k1+1)(n-k2+1)个窗口特征,再做去平均处理,将这些窗口特征进行级联,对所有 N 张图像做同样的处理,得到一个矩阵 XPRk1k2(m-k1+1)(n-k2+1),对这个矩阵做 PCA 处理,取前 L1个主成分即矩阵 XPXPT的 L1个最大的特征值所对应的特征向量作为滤波器 W1l,其中 l1,L1然后用这些滤波器分别对 N 张图像进行卷积,得到 L1N 个特征图xiW1l。步骤 2:将步骤 1 中得到的特征图作为输入重复上面的滑动窗口提取、去平均、提取主成分操作,取 L2个最大的特征向量作为滤波器 W2ll,其中 ll1,L2,再利用这些滤波器对输入特征图进行卷积,得到 L1L2N 个特征图xiW1lW2ll。步骤 3:将步骤 2 得到的每个特征图进行二值处理,再进行二值化哈希编码,再进行级联,就完成了 PCA-Net 特征提取。PCA-Net 特征提取过程的原理图如图 1 所示。图 1 PCA-Net 原理图214223 本文方法本文将 PCA-Net 与多种 LBP 算法融合构成改进加权投票的 PCA-Net 多特征融合单样本人脸识别算法,记为PMFF,流程图如图 2 所示,具体步骤如下:算法 1:PMFF输入:训练集 X=x1,x2,xN,其中 xRmn,N 为类别数;测试集 Y=y1,y2,yM,其中 yRmn,M 为测试样本总数,图像的尺寸为 mn。输出:测试图像的预测结果 Rp=r1,r2,rM步骤:1)虚拟样本的生成;2)提取 PCA-Net 特征进行粗识别并形成细化训练集;3)提取 LBP 及其改进特征,进行细识别;4)多特征识别结果投票得到最终识别结果。图 2 算法流程图3.1 虚拟样本的生成本文采用生成虚拟样本的方法,增加训练样本数量,扩展类内变化。生成方法中比较有代表性的有奇异值扰动、镜像脸、图像分解、线性对象类别模型等方法。因 LU 分解具有计算量较小、对重要信息的保留程度较高的优点,本文采用LU 分解重构的方法生成虚拟样本。图像矩阵