古铜镜X光生成对抗融合中的优化策略_吴萌.pdf

0234001-1第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展研究论文古铜镜 X光生成对抗融合中的优化策略吴萌1*，王姣1，相建凯21西安建筑科技大学信息与控制工程学院，陕西 西安 710055；2陕西省文物保护研究院，陕西 西安 710075摘要 锈蚀覆盖的古铜镜在非接触探伤检测中，因镜缘与镜心厚度各异，X 光成像无法呈现完整的病害信息。以古铜镜X 光信号为输入，搭建生成对抗融合网络。针对L2损失和梯度算子所导致的重构模糊、纹饰和裂痕等多尺度特征细节表达等问题，设计了能够增强古铜镜 X 光信息融合效果的优化策略。通过添加L2，12损失正则化生成器的特征学习过程，改善L2损失生成信息平滑的现象；定义拉普拉斯Ltex纹饰损失，加强训练网络对纹饰和病害的抽取效果；在训练网络中加入多尺度特征融合模块，提高细节信息生成质量。通过与 7种融合方法进行实验对比，所提算法在 5组对照数据中仅 2组的交叉熵值略差，其余信息熵、平均梯度、空间频率、联合熵和非参考特征互信息值均取得最优，可有效呈现古铜镜 X 光探伤检测信息。关键词 X光图像；生成对抗网络；多尺度融合；L2，12稀疏；拉普拉斯算子中图分类号 TP391 文献标志码 A DOI：10.3788/LOP212843Optimization Strategy for X-Ray Generation and Countermeasure Fusion of Bronze MirrorWu Meng1*,Wang Jiao1,Xiang Jiankai21College of Information and Control Engineering,Xian University of Architecture and Technology,Xian 710055,Shaanxi,China;2Shaanxi Institute for the Preservation of Cultural Heritage,Xian 710075,Shaanxi,ChinaAbstract During the non-contact flaw detection of a rust-covered bronze mirror,X-ray imaging typically fails to reveal the extent of damage due to the thickness difference between the mirror edge and core.In this study,the X-ray signal from a bronze mirror was used as an input to construct a generative confrontation fusion network.An optimization strategy that enhances the bronze mirror X-ray information fusion was designed to address the reconstruction blur caused by the L2 loss and gradient operator,and the expression of multiscale feature details,such as textures and cracks.By utilizing the feature learning process of the L2,12 loss regularization generator,the smoothing of the data that was generated using the L2 loss was improved;moreover,the Laplacian Ltex pattern loss was defined to strengthen the effect of training network on the extraction of decorations and diseases.Furthermore,a multiscale feature fusion module was added to the training network to improve the quality of the generated information.Thus,considering the experimental comparison involving seven fusion methods,the cross entropy value of the proposed algorithm in two of the five groups is poor.However,the values are optimal in the control data,including entropy,average gradient,spatial frequency,joint entropy,and non-reference feature mutual information.This can effectively reveal the detection information of the bronze mirror during X-ray flaw detection.Key words X-ray image;generative adversarial network;multiscale fusion;L2,12-norm sparsity;Laplacian operator1引言铜质文物出土时大多都带有非常严重的病害锈蚀与泥垢遮盖，在进行妥善地修复清理之前可通过 X 射线透射成像等无损检测技术手段1来检测其现存状态。但 X 光相机是面光源，没有焦距，会产生半影模收稿日期：2021-11-01；修回日期：2021-11-24；录用日期：2021-12-13；网络首发日期：2021-12-23基金项目：国家自然科学基金（61701388）、陕西省自然科学基础研究计划（2018JM6080）、西安市科技局项目（GXYD10.1）通信作者：*0234001-2研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展糊，加之康普顿散射的影响2，在采集铜镜镜心与镜缘等厚度差异较大的非均匀对象时，X 光成像会因透射率不均衡导致无法观测到完整的铜镜病害信息。为了清晰地呈现古代铜镜的全部纹饰与病害信息，文保专家会以不同能量进行多次成像3，导致铜镜纹饰和病害信息无法清晰呈现在同一张 X 光图像上，这对于后续病害观测与病害分析造成一定的困难。为了能够同时观测到古铜镜所有的病害信息，可通过图像融合技术来抽取不同能量成像信息中的有效成分，增强铜镜纹饰信息表达，凸显铜镜的病害区域。信息融合的关键过程包括：特征提取、融合策略、重构方法。通过优化方案可提高融合效果。Bavirisetti等4通过多尺度分解，设计图像引导滤波器提取结构特性，将源图像的结构引入到另一张图像中。田帅等5结合滤波算子与双尺度分解融合多聚焦图像，提高了对聚焦区域的识别能力。李威等6利用非下采样剪切波变换（NSST）将红外和可见光图像分解为高频和低频分量，分别采用参数自适应脉冲耦合神经网络与多种滤波器融合信息，提高了融合图像的视觉感知效果。此类方法用到了多尺度滤波器，多尺度滤波器虽可以保证融合效果但同时牺牲了部分细节信息。而在古铜镜 X光图像融合对纹饰细节与病害特征表达的过程中，不允许降低原有信息量，应避免使用滤波器。Goodfellow 等7用生成对抗网络（GAN）建立端对端的智能特征抽取网络。之后陆续出现以 GAN 为框架的融合技术。如 Zhan 等8设计了 SF-GAN 框架，生成器采用L1损失实现图像融合。Joo 等9对损失函数进行改进，综合采用L2和L1损失，设定身份损失和形状损失来提取图像特征。Ma 等10设计了 Fusion-GAN 框架，采用L2损失和梯度算子组合改进融合策略。上述方法的优化策略依照选取的L1或L2损失构造生成器损失函数，采用梯度算子对融合所需信息进行抽取，能够端对端地进行信息融合，避免了传统融合方法中特征抽取权值设定的问题，在细节重构效果上也有改善。为了进一步提升 X 光古铜镜的融合效果，尽可能保留古铜镜纹饰细节和裂痕等病害特征，本文以端对端的生成对抗融合为基本方案，在该框架下研究提升融合效果的优化策略。通过改进细节特征抽取稀疏范数、设计纹饰损失与结构损失、定义新的内容损失函数、调整训练网络构架、增加多尺度融合模块，提高融合效果质量。搭建生成对抗网络对古铜镜 X光图像进行融合，输入不同能量铜镜 X光图像，输出融合后的铜镜 X光图像，并通过多尺度融合、损失函数优化来提高铜镜融合清晰度和细节丰富度。2基本原理2.1生成对抗融合网络GAN 是 Goodfellow 等7受双人零和博弈思想启发设计的一种网络模型。GAN 中包括两个对抗模型：博弈的一方生成器（Generative，G）和另一方鉴别器（Discriminator，D）。生成器根据输入的目标图像来捕捉需要的符合特征生成要求的生成图像，鉴别器用来区分输入的生成图像是否为真实图像。整个网络框架中 G 和 D 长期处于互相博弈状态，两个模型不断得到增强优化，直至达到纳什平衡，即pr()r(r)=pdata()z(z)。（1）极大极小互相博弈过程中，GAN模型的优化函数为minGmaxDV(G，D)=minGmaxDEpdata()zln D(z)+Epr()rln1-DG(r)。（2）因古铜镜镜缘与镜心厚度不均，不同 X 光透射能量所得到的非接触无损检测结果如图 1所示。图 1（a）为高能量拍摄时得到的结果，镜心纹饰区域清晰，镜缘区域高亮，周边病害侵袭细节无法观测，如实线框区域所示；图 1（b）为低能量拍摄时得到的结果，镜缘区域侵蚀和裂隙都比较清晰，但镜心纹饰区域暗淡不清，如虚线框区域所示。文保专家无法通过一次采集的 X光铜镜图像同时观测到纹饰和病害分布情况。铜镜 X光信号透射成像包含纹饰和多种病害特征信息。GAN 因端到端的特性，可以避免传统融合方法不断调整融合权重的过程，成为融合领域的一大研究热点。通过鉴别器和生成器的博弈过程，层层抽取特征，对古铜镜细节特征的呈现与表达有很好作用。2.2L2，12稀疏正则化生成对抗融合网络采用范数作为正则化去约束参数向量。不同范数对参数的约束效果不同，对于参数矩阵 W，采用L0、L1、L2范数可实现不同的效果。生成器损失函数中通过添加L1或L2稀疏正则化，最小化生成器损失函数。添加L2和L1后分别对应的正则化公式为RL2(w)W22，（3）RL1(w)W1。（4）本文通过生成器拟合训练过程中产生的数据，经图 1不同能量铜镜 X光成像效果图。（a）高能量拍摄；（b）低能量拍摄Fig.1X-ray imaging effect diagrams of copper mirror at different shooting energy.(a)High-energy shooting;(b)low-energy shooting0234001-3研究论文第 60 卷 第 2 期/2023 年 1 月/激光与光电子学进展稀疏正则化防止模型过拟合，通过最小化生成器实现最小误差。稀疏正则化利用少量的参数来有效地表示大量元素或者向量。通过向量中 0元素的个数来判定向量稀疏强度，0元素越多则越稀疏。L2，111为简化运算而被广泛采用。当 P 为1 2，即L2，1 2范数，具有更佳的稀疏性12。对W使用L2，1 2稀疏正则化：RL2，1 2(w)(W1 22)2。（5）L2，1 2稀疏约束的生成器损失函数为LG=1Qq=1QD(Ifusion)-c2+1