黑盒攻击智能识别对抗算法研究现状_魏健.pdf

2023，59（13）人工智能技术正加速应用于军事领域，各型具备自主检测、识别能力的无人作战平台相继问世，深刻改变了传统战争模式。在深度学习技术支持下，无人作战平台采用智能识别算法，能够自主地提取目标图像的代表特征，自动判断其类别，可以代替战士完成目标识别和定位任务。针对目标智能识别算法精度不断提高，着眼打赢未来智能化战争，围绕争夺战场“制智权”，开展针对性的智能识别对抗算法研究迫在眉睫。有研究表明，因微小扰动而产生的对抗样本1-5，会引发智能识别算法性能下降，导致其输出错误判断结果。同时，对抗样本经过喷涂6、打印7-8、照射9、投影10处理后，仍具备较强的干扰性和攻击性。智能识别对抗算法即利用智能识别算法的脆弱性，采用生成对抗样本的方式，干扰和压制11智能算法性能，降低其识别精度，达成“反智”效果。另一方面，通过设计指定干扰模式的对抗样本，测试神经网络模型内部运行机理，可以精准定位智能算法薄弱环节5，12，为提高智能识别对抗算法攻击准确性提供支撑。当前，部分学者对智能识别对抗算法的发展现状进行了梳理和总结，如文献13和14将相关算法划分为7个类别，并介绍代表算法的基本原理；文献15和16采用二级分类的方式，从扰动添加范围和攻击模式两个方黑盒攻击智能识别对抗算法研究现状魏健，宋小庆，王钦钊陆军装甲兵学院 兵器与控制系，北京 100071摘要：智能识别对抗算法是深度学习领域一个全新的研究方向，获得越来越多的关注。介绍针对目标识别技术的黑盒攻击智能识别对抗算法的工作流程和主要环节，从算法原理、代价函数、攻击性能和应用场景等方面进行综述：分析开展黑盒攻击对训练数据和模型的条件需求及运用策略，归纳基于数据和基于代理模型开展智能识别对抗算法的原理及优缺点；从提高攻击有效性、增强攻击泛化性、降低模型迭代次数和拓展对抗样本应用场景角度，剖析基于代理模型的智能识别对抗算法研究进展，即多样化代价函数、集成训练模型、优化参数更新空间、改进参数更新策略等手段在对抗样本生成过程中的作用；以攻击人脸识别系统、自动驾驶系统和追踪系统为典型应用场景，梳理算法现实应用情况；以军事应用为背景，探讨开展黑盒攻击智能识别对抗算法研究面临的困难挑战及解决方案。关键词：黑盒攻击；对抗样本；生成对抗网络；代理模型文献标志码：A中图分类号：TP18doi：10.3778/j.issn.1002-8331.2210-0470Research Status of Black-Box Intelligent Adversarial Attack AlgorithmsWEI Jian,SONG Xiaoqing,WANG QinzhaoDepartment of Weaponry and Control,Army Academy of Armored Forces,Beijing 100071,ChinaAbstract：The adversarial examples are used to attack the intellectual algorithm and become more and more attractive inthe field of deep learning.The workflow and main contacts of adversarial attack are introduced,and the present algo-rithms are summarized in terms of algorithm principle,loss function,attack ability,and application scenario.The require-ments and strategies are analyzed,and the strengths and weaknesses of algorithms based on data and surrogate models arestudied.The status is elaborated in terms of enhancing attack efficiency,improving attack generation,deducing iteration,and enlarging application scenarios,that is,the function of diversifying loss function,integrating model,optimizing theparameter update space,and designing proper update strategy is further analyzed.The typical application scenarios,thatis,attacking the face recognition system,auto driving system and tracking system are introduced briefly.Finally,thepotential challenges and corresponding solutions are explored in terms of military application.Key words：black-box attack；adversarial example；generative adversarial network；surrogate mode基金项目：学院自主立项项目（2021CJ45）。作者简介：魏健（1990），男，博士研究生，研究方向为计算机视觉，E-mail：airy_；宋小庆（1971），女，博士，教授，研究方向为计算机视觉、智能控制；王钦钊（1973），男，博士，教授，研究方向为计算机视觉、智能控制。收稿日期：2022-10-28修回日期：2023-01-03文章编号：1002-8331（2023）13-0061-13Computer Engineering and Applications计算机工程与应用61Computer Engineering and Applications计算机工程与应用2023，59（13）面，介绍相关算法；文献17总结了生成对抗网络模型在生成对抗样本任务中的应用成果；文献18以攻击图像分类模型为背景，按攻击条件和攻击目标梳理智能识别对抗算法。现有智能识别对抗算法分类方法中，多数以应用条件为分类依据，将现有算法分为两类：白盒攻击和黑盒攻击智能识别对抗算法，其中前者是在全面掌握神经网络模型结构和参数权重的条件下生成对抗样本，后者是针对完全未知的智能算法生成对抗样本2。不同于现有文献的分类策略，本文考虑未来军事应用场景，开展黑盒攻击场景下的智能识别对抗算法研究更加具有现实意义。通过分析总结当前黑盒攻击智能识别对抗算法内容和特点，为开展军事领域“反智”技术研究提供技术借鉴和理论参考。对照训练黑盒攻击智能识别对抗算法的主要流程，剖析不同黑盒攻击智能识别对抗算法的特点，归纳为两类：面向训练数据和面向代理模型的黑盒攻击智能识别对抗算法，详细分析各类典型算法的基本原理，从结构特征、代价函数、攻击性能、泛化能力等方面，总结对比算法的性能表现，最后结合军事领域应用需求，探索智能识别对抗算法面临的困难挑战及应对策略。本文总体结构如图1所示。1起源智能识别对抗算法的核心是生成具备导致智能模型功能失效的对抗样本。随着应用场景的不断扩展，特别是出于干扰、欺骗、压制智能识别模型的攻击需求，关于黑盒攻击的智能识别对抗算法的研究逐渐增多。文献19首次提出基于雅可比矩阵的黑盒攻击智能识别对抗算法（Jacobian saliency map attack，JSMA），其训练流程如图2所示。图1本文结构图Fig.1Structure diagram of this paper起源基本概念黑盒攻击智能对抗算法发展应用挑战基本原理面向训练数据面向代理模型攻击人脸识别系统攻击自动驾驶系统攻击追踪系统算力不足数据不足攻击不足真实数据合成数据迭代训练迁移训练数据投毒后门攻击训练代理模型训练代理模型窃取对象参数降低迭代次数提高泛化性全局扰动局部扰动图像扩充技术对抗补丁纹理扰动纹理扰动立体补丁模型轻量化技术特征迁移技术图2JSMA流程图Fig.2Flow diagram of JSMASubsitute training dataset collection1Subsitute DNN architecture selection2Subsitute dataset labeling3Subsitute DNN F training4Jacobian-based dataset augmentation5Oracle DNN OSpFppp+1Sp+1=x+p+1sign(JF|O?(x)|):xSpSpSpO?(Sp)S0F622023，59（13）开展攻击前，首先采样小规模初始训练数据集S0，而后根据攻击对象的功能表现，构建初始代理神经网络模型F。开展迭代攻击时，以Sp中样本攻击对象模型O，而后以O的类别判断结果O?(Sp)为当前样本的“伪”标签，以交叉熵损失引导代理模型F更新参数，同时，结合F的判别输出Fp，采用基于雅克比矩阵的梯度更新策略改进对抗样本Sp+1，同时，以O?(Sp)与Fp的一致性为标准，引导代理模型F拟合攻击对象O的决策边界，迭代循环这一过程直至代理模型取得与攻击对象一致的功能表现。通过这种基于训练数据构建代模型的方式，将智能识别对抗算法的攻击方式，由黑盒攻击转换为白盒攻击，降低了直接进行黑盒攻击的难度。Sp+1=x+sign(JFO?(x):xSpSp（1）上述公式描述了数据集Sp迭代增强过程，式中sign为符号分段函数，为雅克比矩阵权重系数，x为对抗样本。雅克比矩阵是一阶偏导矩阵，用于引导对抗样本在最大梯度方向上进行快速更新，其定义如下：JF=F(x)x=|O?(x)x（2）JSMA作为开发黑盒攻击智能识别对抗算法的基本策略，已经成为最受欢迎的研究范式。遵循这一流程的主要环节，在军事领域开展黑盒攻击，先要考虑算法应用的具体方法，即：攻击对象、数据类型、攻击方式等。具体来说如图3所示。如图3是开展黑盒攻击的智能识别对抗算法的核心流程。其中，攻击对象直接决定了对训练数据的需求，根据训练数据的类型，进一步总结为真实数据和合成数据两个方向，在此基础上，基于深度神经网络搭建、训练智能代理模型，在多种训练策略引导下，生成具有攻击效力的图像对抗样本，实现对攻击对象的对抗和攻击。从中可以看出，数据和代理模型是影响算法开发的核心要素，决定了算法开发和模型训练的效果。在这一结论基础上，本文进一步深入梳理、总结、分析，对比现有算法的异同。2发展从生成对抗样本的流程可以看出，数据和代理模型是黑盒攻击智能识别对抗算法的两个核心内容，其中，数据的多少和质量直接决定对抗样本生成方式，代理模型的优劣影响对抗样本干扰能力的强弱表现。2.1立足训练数据的智能识别对抗算法训练数据是研究智能算法的基础，在黑盒攻击智能识别对抗算法研究中，根据训练数据是否与攻击对象训练阶段所用数据一致，将算法分为两类：基于真实数据和基于合成数据的对抗样本生成算法。2.1.1基于真实数据的黑盒攻击智能识别对抗算法掌握攻击对象真实训练数据，结合攻击需求，通过设计相应功能结构的智能模型，可更直观地复现攻击对象的功能表现，提高对抗样本攻击性20-21。黑盒攻击场景中，借助真实数据，可以开展多种类型的对抗手段，如：“窃取”对象模型权重参数22、超参数20、模型结构23等。文献24以无标注的真实数据为基础，训练出与攻击对象功能表现一致的代理模型，并通过集成多个数据集训练的方式，提高代理模型的泛化能力，并指出结构不同的模型，仍可较好复现攻击对象的功能，其约束条件如下：LKD=1LCE(ytrue,ys)+2LCE(ys,yT)（3）上式