一种基于几何探测的快速黑盒边界攻击算法_刘昊.pdf

一种基于几何探测的快速黑盒边界攻击算法刘昊张泽辉夏晓帆高铁杠（南开大学软件学院天津300350）（）A Fast Black Box Boundary Attack Algorithm Based on Geometric DetectionLiuHao,ZhangZehui,XiaXiaofan,andGaoTiegang（College of Software,Nankai University,Tianjin 300350）AbstractAsDL(deeplearning)hasbeenwidelyusedinvariousfields,thesecurityresearchondeeplearningmodelhasbecomeaveryimportantresearchspot.Inpracticalbusiness,thedeeplearningmodelisoftenthecorecomponentoftheapplication.Oncetheattackonthemodelissuccessful,itmaybringhugebusinesslosses.AgoodattackalgorithmcanwellexposepotentialrisksfortheDL-basedmodelsandavoidloss.FortheHard-labelproblem,theexistingattackalgorithmsoftenneedtensofthousandsofqueriestosolvethisproblem,andtheattackcostishigh.Tosolvethisproblem,FastGBA(fastgeometricboundaryattack)algorithmisproposed.FastGBAisanattackmethodforgeometric detection of decision boundary within sample space.Starting from the adversarial samples with largedisturbance,thebinarysearchiscarriedoutnearthedecisionboundary,andfinallytheneighborhoodgeometricdetectioniscarriedoutnearthedecisionboundarytoshortenthesampledistance.OurproposedattackalgorithmarecomparedwithSurFreeandHSJA(hopskipjumpattack)attackalgorithmsonfourdifferentdeeplearningmodels.Undertherestrictionofnomorethan500queriesandmediumdisturbance(L2distanceislessthan10),theattacksuccessrateareimprovedby14.5%24.4%comparedwithSurFreeattackalgorithmand28.9%36.8%comparedwithHSJAattackalgorithmonthefourdeeplearningmodels.Key wordsadversarialexample；black-boxattack；geometricattack；self-attentionmechanism；deeplearning；neuralnetwork摘要随着深度学习应用的愈发广泛，针对深度学习模型的安全性研究也变得至关重要.在商业应用中，深度学习的模型往往处于应用的底层，一旦对底层模型攻击成功，可能会给商业应用带来巨大的损失.好的攻击算法可以很好的对深度学习模型进行风险评估，从而避免损失.针对实际场景中存在的 Hard-label问题，现存算法解决此问题都需要上万次查询，具有很高的攻击成本，提出了 FastGBA（fastgeometricboundaryattack）攻击算法：一种在样本空间内针对决策边界进行几何探测的攻击算法，初始从具有较大扰动的对抗样本出发，进行二分逼近至决策边界附近，最终在决策边界附近进行邻域几何探测来缩短样本距离.FastGBA 攻击算法在 4 个深度学习模型上同 SurFree 攻击算法以及 HSJA（hopskipjumpattack）攻击算法进行了对比实验,在查询次数不超过 500 次，中等扰动（L2距离 10）的限制条件下，攻击成功率在 4 个深度学习模型上相较于 SurFree 攻击算法提升了 14.5%24.4%，相较于 HSJA 攻击算法提升了28.9%36.8%.收稿日期：20211011；修回日期：20220415基金项目：国家科技重大专项（2018YFB0204304）ThisworkwassupportedbytheNationalScienceandTechnologyMajorProjectofChina(2018YFB0204304).通信作者：高铁杠（）计 算 机 研 究 与 发 展DOI：10.7544/issn1000-1239.202110991JournalofComputerResearchandDevelopment60（2）：435447，2023关键词对抗样本；黑盒攻击；几何攻击；自注意力机制；深度学习；神经网络中图法分类号TP391深度学习在生活中的应用愈发广泛，在图像分类1-5、语音识别6、推荐系统7、行为建模8等领域均取得了优异的工作成绩.图像分类作为一项较为基础的研究工作，有大量的工程问题可以归类于图像分类与识别问题，如车牌识别9、路牌识别10、人脸识别11等.目前这些工作基本上都应用了一部分基于深度学习的图像分类技术.研究表明，计算机领域的技术存在着不同程度的安全风险12-14，基于深度学习的技术亦存在安全风险.若这些应用底层的图像分类模型遭受到攻击，那么上层应用也将受到相当大的影响，给商业公司带来巨大的风险.而好的攻击算法的提出，可以给这些已经商业部署的深度学习模型进行风险评估，令其可以提前防范被攻击的风险.针对 商 业 应 用 系 统 的 安 全 性 问 题，当 前 已 有 工作15-16对此展开深入研究.Szegedy 等人17于 2013 年发现深度神经网络存在安全性漏洞，通过在图像上添加微小的扰动噪声,就可以让神经网络模型分类错误，自此，关于对抗攻击和对抗防御的研究拉开序幕.目前关于对抗攻击的形式可以分为白盒攻击18-21与黑盒攻击22-25.白盒攻击可以获取到模型内部的相关信息，如梯度信息、模型结构等；黑盒攻击则被限制无法获取这些信息，仅能够获取到模型的输出结果，而 输 出 结 果 可 分为 Score-based 和 Hard-label 这2 种.Score-based 是指攻击者可以获取到模型输出的完整数据标签以及标签对应的概率；Hard-label 是指攻击者只能获得模型输出的 top-1 标签，攻击者无法依赖任何丰富的信息来对样本的生成进行有效的指向性操作，给攻击增加了相当的难度.基于 Hard-label的黑盒攻击工作是相当具有挑战性的.2017 年，Brendel 等人22提出的边界攻击算法是一种基于决策边界的对抗攻击算法，并且可以应对Hard-label 问题，该算法从具有较大扰动的对抗性样本点开始,在保证样本对抗性的同时减小扰动以降低图像失真.边界攻击需要使用已经具备对抗性的样本作为初始样本，并从某种分布中采样，如高斯分布，该算法通常需要数十万次查询才能够将图像扰动降低到一个令人满意的程度.虽然边界攻击算法的查询量是一个巨大的量，但其给解决 Hard-label 问题指出了一个新的研究方向.2018 年，Cheng 等人26提出了opt 攻击算法，该算法在边界攻击的基础之上将问题转化为了一个优化问题，即在图像距离较远时采用二分逼近来大幅度降低图像距离，在决策边界附近使用梯度估计策略，极大地降低了边界攻击所需要的查询次数，但也依旧需要数万次查询.2019 年，Cheng 等人27在 opt 攻击算法的基础之上提出了 sign-opt 攻击算法，这也是一种基于梯度估计的算法，通过在当前对抗点附近不断地进行查询，最终估计出一个合适的方向，再向着这个方向前进一小步，这一算法同样大大降低了边界攻击所需要的查询次数，然而查询次数依旧在数万级别.2020 年，Chen 等人24在边界攻击的基础之上提出了 HSJA（hopskipjumpattack）攻击算法，这是一种基于无偏梯度估计的攻击算法，它提出了一种控制偏离边界误差的方法.HSJA攻击算法成功地将模型查询次数控制在了万次以内，然而相对实际场景而言，近万次的查询依旧难以接受.2021 年，Maho 等人25提出了 SurFree 攻击算法，这是一种基于几何性质的攻击算法，其最大的特点是没有使用任何梯度估计去判断前进的方向，该算法不仅将查询次数限制在了 2000 次以内，而且成功地超越了众多基于梯度估计的边界攻击算法，达到当前最优.但通过实验发现，将实验次数控制在千次以内时，SurFree 攻击算法的成功率出现明显下降；而将攻击次数控制在千次以内，才更加贴近于解决 Hard-label 问题的实际场景.本文提出了FastGBA（fastgeometricboundaryattack）攻击算法：一种新的黑盒攻击算法，是一种在样本空间内针对决策边界的几何攻击算法.FastGBA 算法相比于 SurFree 攻击算法，在相同的查询次数限制下，可以产生 L2距离更小的对抗样本.在查询次数限制在千次以内时，其成功率较 SurFree 攻击算法也有着大幅度的提升.本文的主要贡献有 4 个方面：1）提出了 FastGBA 攻击算法.这是一种在样本空间内针对决策边界的几何探测的攻击算法，它能够很好地解决 Hard-label 问题.2）引入了基于自注意力机制的注意力图生成方案，利用注意力图作为掩模，探究了掩模的处理方式与算法效率的关系，为后续掩模的使用提供了新的使用思路与方案.3）在 4 个不同的深度学习模型上进行了攻击实验，实验结果表明，FastGBA 攻击算法具有很强的泛化性和稳定性，更加适用于模型的风险评估工作.436计算机研究与发展2023，60（2）4）与 近 期 表 现 最 优 的 2 种 攻 击 算 法（HSJA，SurFree）进行了比较，在低查询量（查询次数不大于500 次）；中低扰动（L2距离不大于 10）的条件下，在 4个模型上的攻击成功率相较于 SurFree 攻击算法提升了 14.5%24.4%，相较于HSJA 攻击算法提升了28.9%36.8%.1问题描述给定一个预训练模型，记其函数形式为：F:0,1D 1,2,C对于一个给定的样本 x0，输入模型可得到 top-1分类结果，即k=F(x0),k1,2,C.对于攻击者而言，需要找到对抗样本 xadv，令xadv足够接近 x0，但二者却可令分类器产生截然不同的分类结果，数学描述为:d(xadv,x0)=|xadvx0|p,p 1,2,.min d(xadv,x0),s.t.F(xadv)F(x0).由于 F(x)只给出 top-1 分类结果，因此该问题为Hard-label 问题，即每次添加完扰动后，只能通过查询模型来获取结果扰动结果，需要在查询次数尽可能低的情况下，找到一个较为接近 x0的对抗样本 xadv.2提出算法在本节中，首先对所提出算法的总体架构进行介绍，其次对所提算法中各个主要部分进行说明.2.1算法架构算法首先通过计算获取到掩模，以掩模和原始样本作为问题的输入，而后通过 2 个阶段来求解该问题.算法主要流程如下.1）先将原始图像输入到基于自注意力机制实现的网络模型中，再通过基于深度泰勒分解的方法来