1相关工作人脸素描照片合成是指将人脸素描图像转换为人脸照片图像。异质图像变换是指将不同域中的图像进行相互转换,例如人脸素描和照片图像之间的转换[1]、高低分辨率人脸图像之间的转换[2]等。人脸素描照片合成是异质图像变换的重要分支,近年来受到广泛关注。在执法和刑事案件中,嫌疑人的照片在实际中通常很难获得,最好的替代方法是根据目击者回忆画一幅素描。直接将素描图与疑犯照片数据库进行匹配是一项困难的工作,因为两者之间存在着巨大的纹理差异。因此一种能从素描草图中生成照片的人脸照片合成方法是非常必要的。目前人脸素描照片合成方法主要分为三大类:基于范例的人脸素描照片合成方法,基于回归的人脸素描照片合成方法和基于范例与回归结合的人脸素描照片合成方法。1.1基于范例的人脸素描照片合成方法该方法主要是通过近邻选择和权重计算,利用训练集中的样本图像或图像补丁块直接重建目标图像。根据求解组合权重的方法不同可以将它分为三类:子空间学习框架、基于稀疏表示的方法和贝叶斯推理框架。文献[3]通过假设人脸照片和人脸素描图像之间的线性变换,开创了基于范例的人脸素描合成;文献[4]通过使用稀疏编码构建一个包含人脸照片和素描图像块的耦合字典,将稀疏表示应用于人脸素描合成。1.2基于回归的人脸素描照片合成方法该方法是通过学习训练源图像域图像与目标图像域图像之间的映射关系,将源图像域和目标图像域之间的映射定义为一个回归问题。根据映射关系可以将它分为两类:线性回归框架和深度学习框架。全卷积神经网络(FCN,FullyConvolutionalNetworks)应用于人脸素描照片合成等跨域图像合成任务,文献[5]基于FCN提出了一种端到端的素描生成模型。1.3基于范例与回归结合的人脸素描照片合成方法有部分研究者结合了上述两种方法的优势,将基于范例的方法与基于回归的方法相结合,从而进一步提高合成图像的质量。文献[6]提出一种反向投影法对生成对抗网络生成的人脸素描图像进行后处理;文献[7]提出了一种从两阶段的素描人脸合成方法。2研究方法2.1网络整体结构本文提出了一种融合多尺度梯度特征的人脸素描照片合成网络框架,如图1所示。该网络框架总共由四个模块组成:生成器模块、伪人脸照片特征生成器模块、多尺度梯度模块以及判别器模块。生成器模块用于为每个输入人脸素描图像x生成一张人脸照片y∧。由于在深度卷积神经网络训练过程中会导致某些信息和特征细节的丢失,因此生成器模块采用带有跳跃...