基于对比层级相关性传播的由粗到细的类激活映射算法研究_孙辉.pdf

基于对比层级相关性传播的由粗到细的类激活映射算法研究孙 辉 史玉龙 王 蕊*(中国民航大学电子信息与自动化学院 天津 300300)摘 要：以卷积神经网络为代表的深度学习算法高度依赖于模型的非线性和调试技术，在实际应用过程中普遍存在黑箱属性，严重限制了其在安全敏感领域的进一步发展。为此，该文提出一种由粗到细的类激活映射算法(CF-CAM)，用于对深度神经网络的决策行为进行诊断。该算法重新建立了特征图和模型决策之间的关系，利用对比层级相关性传播理论获取特征图中每个位置对网络决策的贡献生成空间级的相关性掩码，找到影响模型决策的重要性区域，再与经过模糊化操作的输入图像进行线性加权重新输入到网络中得到特征图的目标分数，从空间域和通道域实现对深度神经网络进行由粗到细的解释。实验结果表明，相较于其他方法该文提出的CF-CAM在忠实度和定位性能上具有显著提升。此外，该文将CF-CAM作为一种数据增强策略应用于鸟类细粒度分类任务，对困难样本进行学习，可以有效提高网络识别的准确率，进一步验证了CF-CAM算法的有效性和优越性。关键词：卷积神经网络；类激活映射；对比层级相关性传播；鸟类细粒度分类；数据增强中图分类号：TP183文献标识码：A文章编号：1009-5896(2023)04-1454-10DOI:10.11999/JEIT220113Study of Coarse-to-Fine Class Activation Mapping AlgorithmsBased on Contrastive Layer-wise Relevance PropagationSUN Hui SHI Yulong WANG Rui(College of Electronic Information and Automation,Civil Aviation University of China,Tianjin 300300,China)Abstract:Deep learning algorithms represented by Convolutional Neural Networks(CNN)are highly dependenton the nonlinearity of the model and debugging techniques,which have generally black-box properties duringpractical applications,limiting severely their further development in security-sensitive fields.To this end,aCoarse-to-Fine Class Activation Mapping(CF-CAM)algorithm is proposed for diagnosing the decision-makingbehaviors of deep neural networks.The algorithm re-establishes the relationship between the feature map andthe model decision,uses the contrastive layer-wise relevance propagation theory to obtain the contribution ofeach position in the feature map to the network decision,generates a spatial-level correlation mask and findsthe important area that affects the model decision.After that,the mask is linearly weighted with the fuzzedinput image and re-input into the network to obtain the target score of the feature map,and the deep neuralnetwork is explained from the coarse stage to the fine stage in the spatial domain and the channel domain.Theexperimental results show that the CF-CAM proposed in this paper has obvious advantages in terms offaithfulness and localization performance compared to other methods.In addition,this paper applies CF-CAMas a data enhancement strategy for the task of fine-grained classification of birds,which can effectively improvethe accuracy of network recognition by learning difficult samples,further verify the effectiveness and superiorityof this method.Key words:Convolutional Neural Network(CNN);Class Activation Mapping(CAM);Contrastive layer-wiserelevance propagation;Birds image classification;Data enhancement 收稿日期：2022-01-27；改回日期：2022-06-10；网络出版：2022-06-20*通信作者：王蕊基金项目：天津市自然科学基金(18JCYBJC42300)Foundation Item:The Natural Science Foundation of Tianjin(18JCYBJC42300)第45卷第4期电 子 与 信 息 学 报Vol.45No.42023年4月Journal of Electronics&Information TechnologyApr.20231 引言随着深度学习技术的发展，复杂的神经网络系统在图像、声音和自然语言处理等领域取得了卓越成就，并广泛应用于公共安全1、医学辅助诊断2、环境保护3和农业监控4等现实任务，具有巨大的潜在应用空间。然而，深度神经网络模型由若干个非线性函数嵌套而成，在具有出色学习能力和泛化性能的同时，普遍存在黑箱属性，导致研究人员难以理解网络的内部知识表示，严重制约了其在安全性要求较高领域的进一步应用和发展。当前主流的卷积神经网络可解释性研究方法借助图像数据的天然优势，通过可视化技术突出显示影响模型决策的重要特征和区域。这些方法从广义的定义来看，可以分为基于扰动的方法、基于反向传播的方法和基于类激活映射的方法。基于扰动的方法可以看作归因过程，通过修改输入探测表征向量对系统输出的重要性。典型的基于扰动的方法可以分为简单扰动57、有意义的扰动8和生成式扰动9,103种方式。Zeiler等人5使用固定尺寸的像素块，按照从左到右、从上到下的顺序依次遮挡输入图像的各区域，从而获得被遮挡区域对模型决策的重要性。Fong等人8使用优化方式生成扰动掩码，可以有效遮挡重要像素，使得目标类别分数达到局部最低。文献9,10使用生成式扰动方法，在视觉上得到更加自然的扰动图像。虽然这些方法可以获得较好的视觉解释，但需要对模型进行多次迭代，所需时间长，计算成本高。基于反向传播的方法主要分为基于梯度传播的方法和基于层级相关性传播的方法。文献11,12分别提出了普通梯度传播方法和导向梯度传播方法，但这两种方法在深层网络传播过程中存在梯度消失和难以完全反映输入特征的重要性等问题。Bach等人13认为基于梯度方法利用输入空间所有像素的梯度之和表示输入层的相关性分数总和，属于深度泰勒分解(Deep Taylor De-composition,DTD)的一种特殊情形，并提出层级相关性传播理论(Layer-wise Relevance Propaga-tion,LRP)，该理论对于破碎梯度问题具有鲁棒性。基于类激活映射的方法1418通过对最后特征图进行加权调整，可以生成与指定类别最相关的显著图，对卷积神经网络关注的区域进行可视化。其中，Wang等人18摆脱了对梯度的依赖，通过网络的前向传递获取每个特征图的目标分数作为通道级权重，虽然在一定程度上增加了算法的执行时间，但相比于文献1417等基于梯度的类激活映射方法，产生的类激活图具有更加出色的忠实度和目标定位性能。为实现对深度卷积神经网络进行可靠的解释，找到影响网络决策的重要区域，受Wang等人18和对比层级相关性传播理论(Contrastive Layer-wiseRelevance Propagation,CLRP)19的启发，本文重新思考了特征图和模型决策之间的关系，提出了一种新颖的由粗到细的类激活映射算法(Coarse toFine grained Class Activation Mapping,CF-CAM)。该算法的计算过程分为两个阶段，在第1个阶段中，本文利用对比层级相关性传播理论获取特征图中每个位置对网络决策的贡献生成空间级的相关性掩码，从细节上对模型的决策进行解释。然而，该阶段产生的相关性掩码粗糙且包含了大量的背景噪声。为此，在第2个阶段中，本研究将获取的相关性掩码进行上采样，并与输入图像进行加权，经过有意义的扰动后重新输入到网络中，以网络预测的目标分数作为通道级权重，最终将产生的空间级相关性掩码与通道级权重进行加权求和，突出显示指定目标类别的信息，降低背景噪声的影响，实现从空间域和通道域对深度神经网络进行由粗到细的解释。基于上述讨论，本文的主要贡献总结如下：(1)针对卷积神经网络可解释性问题，本文提出了一种新颖有效的类激活映射算法CF-CAM，该算法利用对比层级相关性传播理论和网络预测的目标分数从空间域和通道域实现对深度神经网络进行由粗到细的解释。(2)CF-CAM视觉解释算法推导直观易懂，并且相比于其他方法，CF-CAM在平均下降、平均增长和基于能量的指向游戏3个评价指标上具有显著提升，能够生成更加忠实可靠的类激活图。(3)本文将CF-CAM作为一种数据增强策略，应用于鸟类细粒度分类任务，对困难样本进行学习，指导模型的训练过程，可以有效提高模型的检测性能。本文其余部分安排如下：第2节从对比层级相关性传播理论和类激活映射算法两个方面对本文相关工作进行介绍。第3节从理论上对本文所提出的CF-CAM卷积神经网络解释算法进行介绍。第4节对本文所提出的方法进行实验分析，并给出实验结果。第5节总结全文。2 相关工作 2.1 对比层级相关性传播理论Bach等人13提出LRP算法重新定义了新的反向传播规则，使用相关性函数R来衡量某个输入变量对函数值的贡献，该方法对于破碎梯度问题具有鲁棒性，但在初始情况下仅考虑了与目标类别相关第4期孙 辉等：基于对比层级相关性传播的由粗到细的类激活映射算法研究1455的神经元，忽略了其他神经元的作用，导致LRP对特定目标类别的特征不敏感，可视化结果不具有区分性。为此，Gu等人19提出CLRP算法，该方法区分了初始相关性分数中目标类别神经元和非目标类别神经元的比例，即R(l)n=|z(l)i,n=iz(l)iN 1,其他(1)z(l)iw(l)ib(l)i其中，表示Softmax操作之前第l层中第i个神经元对应的分值，N表示第l层中神经元的总个数。CLRP的计算过程分为网络前向计算和相关性分数反向传递两个阶段，在第