基于改进SRGAN模型的人脸图像超分辨率重建_李培育.pdf

第 49卷 第 4期2023年 4月Computer Engineering 计算机工程基于改进 SRGAN模型的人脸图像超分辨率重建李培育，张雅丽（中国人民公安大学 信息网络安全学院，北京 100038）摘要：传统生成对抗网络模型重建人脸图像时出现过多失真，难以在减少失真的情况下有效提高人脸图像真实感。针对该问题，在生成对抗网络SRGAN模型的基础上，提出一种改进的人脸图像超分辨率重建方法。为提高重建像素点与周围像素点的相关性，将双注意力机制模块嵌入到SRGAN模型的生成器和判别器中，在空间域和通道域中获取更精准的特征依赖关系。同时应用自适应激活函数 ACON取代原 SRGAN网络中的激活函数，通过动态学习 ACON激活函数参数为每个神经元设计不同激活形式，从而提高网络特征表达能力。使用改进 SRGAN的人脸图像超分辨率重建算法在 CelebA测试集上进行重建实验，结果表明：该算法较原算法 PSNR值提高 0.675 dB，SSIM值提高 0.016，LPIPS值优化 0.036，有效减少了重建人脸图像中眼睛等重点部位的失真情况；与其他非生成对抗网络的主流算法相比，LPIPS值最低优化 0.107，最高优化 0.205，有效提高了重建人脸图像的真实感。关键词：超分辨率重建；生成对抗网络；注意力机制；自适应激活函数；特征提取开放科学（资源服务）标志码（OSID）：中文引用格式：李培育，张雅丽.基于改进SRGAN模型的人脸图像超分辨率重建 J.计算机工程，2023，49（4）：199-205.英文引用格式：LI P Y，ZHANG Y L.Face image super-resolution reconstruction based on improved SRGAN model J.Computer Engineering，2023，49（4）：199-205.Face Image Super-Resolution Reconstruction Based on Improved SRGAN ModelLI Peiyu，ZHANG Yali（College of Information and Cyber Security，Peoples Public Security University of China，Beijing 100038，China）【Abstract】Because the traditional generation countermeasure network model exhibits excessive distortion when reconstructing the face image，it is difficult to effectively improve the realism of the face image.Under the condition of reducing the distortion，an improved super-resolution reconstruction method of face images based on SRGAN model is proposed.To increase the correlation between the reconstructed and surrounding pixels，the Dual Attention（DA）mechanism module is embedded in the generator and discriminator of the SRGAN model to obtain more accurate feature dependency in the spatial and channel domains.An adaptive activation function，termed ACON，is used to replace the original activation function in an SRGAN network，and different activation forms are designed for each neuron by dynamically learning the parameters of the ACON activation function，to improve the ability of network feature expression.The reconstruction experiment is performed on the CelebA using the improved SRGAN face image reconstruction algorithm.The results show that compared with the original algorithm，the PSNR value increases by 0.675 dB，the SSIM value increases by 0.016，and the LPIPS value is optimized by 0.036，effectively reducing the distortion of key parts，such as the eyes，in the reconstructed face image.Compared with other mainstream algorithms that do not generate countermeasure networks，the LPIPS value is optimized by 0.107 at the lowest and 0.205 at the highest，effectively improving the realism of the reconstructed face image.【Key words】super-resolution reconstruction；generative adversarial network；attention mechanism；adaptive activation function；feature extractionDOI：10.19678/j.issn.1000-3428.00641740概述 随着公安信息化的建设发展，各地的视频监控系统不断完善，与人脸识别相关的技术有助于公安机关对案件的侦破。然而，无论是通过人眼直接识别还是通过人脸识别软件来确定嫌疑人的身份，都需要一张较为清晰的人脸图片。由于各种条件的制约，仍有很多低清晰度的摄像机在各地使用，并且受到人员与摄基金项目：中国人民公安大学 2021年度基本科研业务费重点项目“基于多特征融合的跨镜视频目标追踪技术研究”（2021JKF205）。作者简介：李培育（1998），男，硕士研究生，主研方向为图像超分辨率重建、安全防范工程；张雅丽（通信作者），副教授、硕士。收稿日期：2022-03-14 修回日期：2022-06-02 Email：图形图像处理文章编号：1000-3428（2023）04-0199-07 文献标志码：A 中图分类号：TP3912023年 4月 15日Computer Engineering 计算机工程像机的距离、环境等因素的影响，公安机关得到的人脸图片并不理想，很难直接用来辨别嫌疑人的身份。在不更换现有监控技术设备的前提下，利用人脸图像超分辨率重建技术可以提升人脸图像的质量，为公安机关鉴别人员身份提供辅助支撑。当前的主流图像超分辨率重建算法都采用了深度学习技术。DONG等1提出使用卷积结构实现重建的方法，通过三层卷积来实现特征提取、特征映射、图像重建，峰值信噪比（PSNR）普遍高于基于插值的传统算法。此后的研究大多将重点放在了提高重建速度、提高重建图像的PSNR和结构相似度（SSIM）指标上。SHI等2和DONG等3都将没有经过插值放大的图像作为输入，这种图像的分辨率较低，尾端分别通过子像素卷积和反卷积重建图像，从而提高了分辨率和重建速度。KIM等4通过20个卷积层扩大感受野，引入残差学习又极大地降低了计算复杂度，提高了重建精度。TONG等5采用密集连接的网络结构，将每一个密集块的输出都融合到一起，充分利用了中间层的特征，有效提升了重建图像的质量。ZHANG等6将通道注意力模块加入到每个残差模块中，从而学习到了更重要的通道特征。近年来对超分辨率重建算法的研究主要通过改进残差结构7、优化特征提取方法8等来提高重建图像的质量。SHA等9通过改变残差网络结构构建并行残差网络，增强了网络特征提取能力并加快了网络训练速度。SHANG等10通过在网络中引入小核卷积，有效降低了网络的噪声输入。XIAO等11改进重建时的上采样方式，从多角度捕捉图像特征信息。为了降低网络的复杂度，提高图像重建的速度，LUO 等12采用轻量级网络，在保持网络性能的同时提高了速度。胡德敏13等提出一种渐进式生成对抗网络的人脸超分辨率重建方法，采用渐进式生成方法，通过分阶段拆分训练的方式来保证训练过程的稳定。SUN等14采用多尺度残差网络，使得重建的图像不局限于某一固定的尺度，从而高效地训练出针对任意倍数重建的网络模型。这些模型在训练时都使用了逐像素均方误差（MSE）损失函数，重建图像在PSNR和SSIM评价指标上都有明显的提升，但是缺乏感官上的真实感。SRGAN15模型在生成对抗网络的基础上构造复杂损失函数，可使重建的图像更符合人眼感知，具有真实感。但该模型的人脸图像重建结果存在过多失真，对眼睛等部位的重建效果不理想。本文通过对 SRGAN模型网络结构进行改进，以期更大程度地提升重建图像的感知质量，减少失真。LIM 等16证明了去除残差块中批归一化（BN）层对于提高网络精度的有效性。本文将已经去除生成器部分 BN 层的 SRGAN 模型作为基础网络架构，融入双重注意力模块，该模块在空间维度和通道维度中分别应用自注意力机制，能够获得特征图特征点之间以及不同通道特征图之间的特征依赖关系，并将2 个注意力分支进行融合来加强特征表示。同时本文应用自适应激活函数 ACON 代替原激活函数，该激活函数能够通过学习来选择是否激活神经元，提高网络模型精度，提升重建人脸图像质量关键指标，实现重建算法的优化。最后，将本文改进 SRGAN的算法在 CelebA 测试集上进行重建实验，对重建的人脸图像进行质量评价。1基本原理 1.1SRGAN超分辨率重建算法SRGAN 算法增强了图像感官上的真实感，有效地解决了以往算法重建存在的图像过于平滑的问题。SRGAN模型的网络结构如图 1、图 2所示。图 2SRGAN判别器网络模型Fig.2SRGAN discriminator network model图 1SRGAN生成器网络模型Fig.1SRGAN generator network model200第 49卷 第 4期李培育，张雅丽：基于改进 SRGAN模型的人脸图像超分辨率重建生成器网络结构使用深度残差模块提取图像信息，在网络末端使用子像素卷积来放大图像尺寸。SRGAN 应用全局和局部残差学习相结合的策略构造了深度残差模块，其中每个单元由卷积层和批量归一化层构成，模型使用一个特征融合层构建残差结构，能够高效地挖掘图像特征。子像素卷积层先将输入特征图进行通道扩展再按一定格式进行排列，进行尺寸扩大，相比于其他掺杂过多人为因素的放大方式，能够通过学习参数得到更精确的放大结果。判别器网络通过多层卷积层对输入图像进行特征提取，判断是原始高分辨率（HR）图像还是重建高分辨率（SR）图像并反馈判别结果。不同于以往仅使用基于 MSE 损失的网络模型，SRGAN 模型额外融合了 VGG 损失与对抗损失。总体损失函数表示为：lSR=lSRMSE+perc lSRVGG+gen lSRgen（1）其中