基于掩码损失的人脸图像生成方法.pdf

信息与电脑2023年第10 期Information&Computer基于掩码损失的人脸图像生成方法人工智能与识别技术潘超林（江西工业职业技术学院电子与信息工程学院，江西南昌摘要：当前主流的基于生成对抗网络（GenerativeAdversarial Network，G A N）的图像生成方法，在生成真实度较高的人脸图像方面取得了显著进展，但在生成人脸图像的头发、牙齿等细节区域时易出现失真现象。针对存在的问题，提出掩码损失，并将其整合到StyleGAN2中。该损失函数通过人脸分割网络生成人脸掩码，基于掩码调整生成图像在细节和非细节区域的贡献程度，以提高细节区域的合成质量。实验结果表明，所提方法显著改善了头发、牙齿等细节区域的合成质量，提高了生成图像的真实度。关键词：生成对抗网络；人脸图像；细节区域；掩码损失中图分类号：TP391.41A Maksed Loss Function for Facial Image Generation330096)文献标识码：A文章编号：10 0 3-9 7 6 7（2 0 2 3）10-19 1-0 4PAN Chaolin(School of Electronic and Information Engineering,Jiangxi Industry Polytechnic College,Nanchang Jiangxi 330096,China)Abstract:Current mainstream image generation methods based on Generative Adversarial Network(GAN)have madesignificant progress in generating high-fidelity facial images.However,when generating detailed areas such as hair and teethin facial images,distortion issue arises.To solve this issue,we propose a masked loss and integrate it into StyleGAN2.Themasked loss generates facial mask using a facial segmentation network and adjusts the weight of the generated image in thedetail and non-detail areas based on this mask,aiming to improve the quality in the detailed areas.Experimental resultsdemonstrate that the proposed method significantly improves the quality of detailed areas such as hair and teeth,therebyenhancing the realism of the generated images.Keywords:generative adversarial networks;facial images;detailed areas;masked loss function0引言图像生成是计算机视觉领域的重点研究方向，广泛应用于数据增强、超分辨率重建 2 及图像编辑 3 等领域。深人研究图像生成有助于理解图像的生成过程，提升对图像内容和语义的理解，对于推动深度学习算法的发展具有重大意义。近年来，以生成对抗网络（GenerativeAdversarialNetwork，G A N）为代表的图像生成方法取得较好的效果 4-5。这类方法由生成器和判别器组成，借鉴博奔思想，通过生成器学习已有数据的先验信息生成新的相似图像，利用判别器评估给定图像的真实度。由于生成器难以生成高分辨率图像，KARRAS等人提出StyleGAN2，通过AdaIN模块提高生成质量。此外，改进后的生成器还可生成高分辨率图像。WANG等人将扩散模型与StyleGAN2结合提出Diffusion StyleGAN2，虽然在生成图像的真实度方面取得了进展，但头发等细节区域的合成效果有待提高 7。尽管上述方法能合成较真实的图像，但是由于监督信息较弱，当生成细节丰富的图像时仍面临一些挑战。尤其在生成头发、牙齿等细节区域时常出现失真，影响收稿日期：2 0 2 3-0 4-2 9作者简介：潘超林（19 9 8 一），男，江西九江人，硕士研究生，助教。研究方向：深度学习、计算机视觉。191信息与电脑人工智能与识别技术Information&Computer了生成图像的真实度。为解决上述问题，提出掩码损失，并融入StyleGAN2，改善头发和牙齿等细节区域的质量。该损失利用人脸分割网络生成的人脸掩码，调整生成图像在不同区域的权重，以提高生成图像的质量。1本文方法生成对抗网络在人脸图像生成方面表现出色，但在头发、牙齿等细节区域易出现失真现象。为解决该问题，本文提出掩码损失，并集成至基线模型，具体流程如图1所示。首先从Z空间中随机采样得到潜码z，将其输人生成器得到生成图像。其次，基于人脸分割模型得到人脸掩码计算损失。最后，利用判别器鉴别输入图像的真假，指导生成器学习。1.1方法详情生成器和判别器用于生成高分辨辩率和逼真的图像。生成器的结构包括乙空间采样、归一化操作、映射网络、仿射变换、常量输入、噪声注入、若干风格化卷积和上采样，如图1所示。在生成过程中，先从乙空间随机采样潜码z，得到归一化后的潜码z，具体计算公式为x,yi-0式中：为常量；防止除0 运算；下标x、y 为潜码中的不同像素坐标。利用映射网络将z转换至W空间，然后经过仿射变换转换至S空间。同时，从高斯分布采样得到噪声B和常量输入，将三者输入风格化卷积得到当前分辨率特征。通过堆叠风格化卷积和上采样，逐步生成器N空间噪声仿射B变换上采祥风格化卷积44882023年第10 期生成8 8、16 16 等不同分辨率特征，直至10 2 41024的图像。风格化卷积可控制生成图像的风格，包括权重调制、权重解调、卷积运算和噪声注入4个过程。权重调制用于融合图像信息与单个卷积核w IR*kx的权重，过程如下：(2）式中：s为S空间中卷积核权重的第x个通道的比例放缩系数；xyz为卷积核权重的坐标；w是卷积核调制后(x,y,z)坐标的值。共有cout个卷积核，对于每个卷积核权重，都使用s.进行比例缩放。该过程可将图像各区域融人卷积核权重，具有解耦特性。在权重解调时，计算调制后权重的平方和完成解调过程，具体计算公式为WxyzWxyz式中：w为卷积核解调后(xy,z)坐标的值。该方式可降低调制后卷积核权重值大小，保证数值稳定性。通过解调后的权重得到输出特征F后，融合F和噪声(1)B，具体计算公式为+F=F+aB,F,Be RNxxIxw式中：a为加权系数；N为批量大小；C、H、W 分别为特征的通道数、高、宽。1.2掩码损失引入噪声B可能影响头发等细节信息，然而在生成图像的过程中，由于缺少监督信息，该影响过程不可控，映射网络风格化卷积全连接全连接层归化（3）W+8xyzx,z全连接层仿射变换权重解调工8卷积W空间噪声B噪声仿射B变换上采祥风格化卷积1616（4)判别器生成图像权重调制权重w逐元素相加生成图像掩码损失函数人脸分割掩码损失1024 1024图1整体流程图真实图像卷积残差块残差块卷积全连接层全连接层真或假192信息与电脑2023年第10 期Information&Computer人工智能与识别技术导致合成头发等细节信息时出现失真现象。为解决该问题，本文提出掩码损失，旨在通过掩码调节生成图像和真实图像的差异，以提高细节区域的合成质量，从而改善生成图像的真实度。在训练过程中，生成器生成图像后，计算生成图像Ifake和真实图像Ireal的差异，具体计算公式为=I real-I ake利用人脸分割网络获取眼晴、嘴巴、牙齿、耳朵及头发等区域的掩码。针对不同区域，将掩码中头发、牙齿等细节区域的值设为1.5，将其他区域的值设为1.0。通过该方式得到权重掩码M后，计算掩码损失Lm，表达式为1h-l w-1 c-lLm=22ZMikxAkhxwxci0=0k=0掩码损失可增加头发、牙齿等细节区域的损失权重，使模型更加关注细节区域的特征，从而更好地生成头发、牙齿等区域的信息。当生成其他区域时，设置较低的损失权重，模型将减少这些区域的生成偏差，从而避免引人不必要的变化。2实验结果在了解数据集和实现细节的基础上，通过定量实验和定性实验全面评估所提方法。2.1数据集与实现细节高质量人脸图像（Flickr-Faces-Hight-Quality，FFHQ）数据集包含7 0 0 0 0 张10 2 410 2 4的可移植网络图形格式（Portable Network Graphic Format，PNG），拥有不同年龄、性别、肤色、表情及发型等信息，涵盖普通眼睛、太阳镜及发饰等多种配件。常用评价指标是图像质量评估指标。图像质量评估指标值越小，真实图像和生成图像的相似程度越高，算法效果越好。文章基于PyTorch1.10在4卡A100上实现所提方法，总迭代次数为8 0 万次，总批量大小（batchsize）为6 4，学习率为0.0 0 2，其余超参数和基线模型保持一致。2.2定量实验为验证本文方法的有效性，利用FFHQ数据集与6 种算法进行定量比较，包括SWAGAN-Bi4、StyleNAT5、St y l e G A N2 6 、D i f f u s i o n St y l e G A N2 7 StyleGAN3-R8、St y l e Sw i n 。从表1可以得出，本文方法在图像质量评估指标上取得了最佳性能。相较于StyleGAN2，文章通过引人掩码损失，将图像质量评估指标提升13%。可见，掩码损失有效提高了生成图像质量。表1与主流方法在FFHQ数据集的定量实验结果主流方法名称Diffusion StyleGAN2SWAGAN-BiStyleNATStyleGAN3-RStyleSwin(5)StyleGAN2本文方法究其原因，它的有效性主要体现在以下几个方面。首先，在训练过程中，通过计算生成图像和真实图像的差异，掩码损失能量提高了生成图像的合成质量，尤其是细节区域。通过量化差异有效优化生成器，使生成图像更接近真实图像。其次，通过人脸分割模型获取生成(6)图像的特定区域掩码，如牙齿、嘴巴和头发等。掩码损失能区分不同区域的贡献，通过设置经验性权重，可强调头发、牙齿等细节区域的重要性，使生成器更注重这些区域的合成质量。相反，对于其他区域，将权重设为较小的值，降低它们对合成质量的影响。最后，在生成对抗损失中引入损失函数，可有效增强模型的监督信息。这种有针对性的监督使得生成器能够更准确地合成细节区域，提高生成图像的质量和真实度。同时，掩码损失的引人并未削弱生成对抗损失函数的作用，而是在其基础上增加了针对细节区域的额外监督，使得模型在整体和细节两个方面都得到了优化和提升。综上所述，通过对比多种算法，本文方法在FFHQ数据集对比实验中优势显著，充分验证了掩码损失在提高生成图像质量方面的有效性，可为进一步研究图像生成任务提供参考。2.3定性实验为进一步验证有效性，利用FFHQ数据集与基线模型进行定性比较，结果如图2 所示。由图2 可见，基线模型生成的图像存在明显失真。在第1行中，前2 列角色头发与背景混合较大，难以辨认头发轮廓；第3列角色顶部头发与背景发生混合，导致细节模糊；第4列角色头发合成效果较好，但是出现人脸缺失。这些问题主要归因于基线模型的监督信息较弱。当应用本文方法后，所有生成图像的头发更加真实和合理。在第2 行中，第1列和第4列的角色头发、牙齿等细节区域都能够被良好生成，且头发的细节更丰富；第2 列和第3列的角色头发、牙齿等细节区域也能较好地合成。这得益于掩码损失提供的监督信息，增强了模型学习图像细节区域的（下转第2 2 4页）图像质量评估指标值2.834.064.173.075.072.842.71排名2564731193信息与电脑信息安全与管理Information&Computer4SHAN J,CAO J,WU H,et al.BlocHIE:a BLOCkchain-based platform for healthcare informationexchangeC/4th IEEE International Conference onSmart Computing,2018:49-56.5JYANG C T,SHIH W C,CHEN L T,et al.Accessingmedical image file with co-allocation HDFS in cloudEB/OL.(2014-09-28)2023-01-11.https:/doi.0rg/10.1016/j.future.2014.08.008.6ALI A,PASHA M F,FANG O H,et al.An efficientblockchain-based healthcare system usingartificial intelligenceJ.Computers,Materials andContinua,2021,5(3):12.2023年第10 期7田林，基于区块链的电子病历存证系统的设计与实现 D.济南：山东师范大学,2 0 19:2 7.8孙成浩，刘芬，赵峰.基于区块链技术的电子病历系统研究 J.医学信息学杂志,2 0 2 1,42(5):7 5-7 8.9刘芬，朱壮友，许勇.基于区块链的电子病历数据共享模型研究 .安徽师范大学学报（自然科学版),2 0 2 1,44(6):536-544.10伍贵富，何葵，王益新.基于HDFS的分布式区域电子病历存储策略 .软件导刊,2 0 15,14(6):30-32.11何丹红.基于云存储数据的医院病案数据分类存储应用研究 J.现代科学仪器,2 0 18(5):146-149.（上接第19 3页）能力。这些定性实验进一步证明了掩码损失的有效性。可见，通过与基线模型的定性比较可以看出，本文方法在合成图像的细节和真实度方面有明显改进。StyleGAN2本文方法图2 与基线模型在FFHQ数据集的定性实验结果3结语文章提出掩码损失，并集成至StyleGAN2，改善生成图像中头发、牙齿等细节区域的合成效果。该损失通过人脸分割网络得到人脸掩码，并基于该掩码调整生成图像不同区域的贡献程度。实验结果表明，该损失显著改善了头发、牙齿等细节区域的合成质量，减少了失真，提高了生成图像的真实度。与当前主流方法相比，在图像生成方面具有明显的优势。参考文献1翁鹏涛，杜玉军，张道奥，等.基于改进PGGAN的口腔图像数据增强算法 .计算机工程与设计,2 0 2 2,43(11):3225-3234.2么天舜，马晓轩.基于改进生成对抗网络的单图超分辨率重建 J.计算机应用与软件,2 0 2 2,39(12):2 2 7-2 33.3陈佛计，朱枫，吴清潇，等.生成对抗网络及其在图像生成中的应用研究综述 .计算机学报,2 0 2 1,44(2):347-369.4GAL R,HOCHBERG D C,BERMANO A,et al.Swagan:astyle-based wavelet-driven generative modelJ.ACMTransactions on Graphics(TOG),2021,40(4):1-11.5JWALTON S,HASSANI A,XU X,et al.StyleNAT:givingeach head a new perspectiveEB/OL.(2022-07-03)2023-03-29.https:/arxiv.org/list/cs/pastweek.6KARRAS T,LAINE S,AITTALA M,et al.Analyzing andimproving the image quality of styleganC/Proceedingsof the IEEE conference on CVPR,2020:8110-8119.7WANG Z,ZHENG H,HE P,et al.Diffusion-GAN:Traininggans with diffusionEB/OL.(2022-06-05)2023-03-29.https:/arxiv.org/abs/2206.02262.8JKARRAS T,AITTALA M,LAINE S,et al.Alias-freegenerative adversarial networksJJ.Advances in NeuralInformation Processing Systems,2021,34:852-863.9ZHANG B,GU S,ZHANG B,et al.Styleswin:transformer-based gan for high-resolution image generationC/Proceedings of the IEEE Conference on CVPR,2022:11304-11314.224