基于GAN的联邦学习成员推理攻击与防御方法_张佳乐.pdf

2023 年 5 月 Journal on Communications May 2023 第 44 卷第 5 期 通 信 学 报 Vol.44 No.5基于 GAN 的联邦学习成员推理攻击与防御方法 张佳乐1,2，朱诚诚1,2，孙小兵1,2，陈兵3（1.扬州大学信息工程学院，江苏 扬州 225127；2.江苏省知识管理与智能服务工程研究中心，江苏 扬州 225127；3.南京航空航天大学计算机科学与技术学院，江苏 南京 211106）摘 要：针对联邦学习系统极易遭受由恶意参与方在预测阶段发起的成员推理攻击行为，以及现有的防御方法在隐私保护和模型损失之间难以达到平衡的问题，探索了联邦学习中的成员推理攻击及其防御方法。首先提出 2 种基于生成对抗网络（GAN）的成员推理攻击方法：类级和用户级成员推理攻击，其中，类级成员推理攻击旨在泄露所有参与方的训练数据隐私，用户级成员推理攻击可以指定某一个特定的参与方；此外，进一步提出一种基于对抗样本的联邦学习成员推理防御方法（DefMIA），通过设计针对全局模型参数的对抗样本噪声添加方法，能够在保证联邦学习准确率的同时，有效防御成员推理攻击。实验结果表明，类级和用户级成员推理攻击可以在联邦学习中获得超过 90%的攻击精度，而在使用 DefMIA 方法后，其攻击精度明显降低，接近于随机猜测（50%）。关键词：联邦学习；成员推理攻击；生成对抗网络；对抗样本；隐私泄露 中图分类号：TP391 文献标志码：A DOI:10.11959/j.issn.1000436x.2023094 Membership inference attack and defense method in federated learning based on GAN ZHANG Jiale1,2,ZHU Chengcheng1,2,SUN Xiaobing1,2,CHEN Bing3 1.School of Information Engineering,Yangzhou University,Yangzhou 225127,China 2.Jiangsu Engineering Research Center Knowledge Management and Intelligent Service,Yangzhou 225127,China 3.College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics,Nanjing 211106,China Abstract:Aiming at the problem that the federated learning system was extremely vulnerable to membership inference attacks initiated by malicious parties in the prediction stage,and the existing defense methods were difficult to achieve a balance between privacy protection and model loss.Membership inference attacks and their defense methods were ex-plored in the context of federated learning.Firstly,two membership inference attack methods called class-level attack and user-level attack based on generative adversarial network(GAN)were proposed,where the former was aimed at leaking the training data privacy of all participants,while the latter could specify a specific participant.In addition,a membership inference defense method in federated learning based on adversarial sample(DefMIA)was further proposed,which could effectively defend against membership inference attacks by designing adversarial sample noise addition methods for global model parameters while ensuring the accuracy of federated learning.The experimental results show that class-level and user-level membership inference attack can achieve over 90%attack accuracy in federated learning,while after using the DefMIA method,their attack accuracy is significantly reduced,approaching random guessing(50%).Keywords:federated learning,membership inference attack,generative adversarial network,adversarial example,privacy leakage 收稿日期：20221125；修回日期：20230306 通信作者：朱诚诚， 基金项目：国家自然科学基金资助项目（No.62206238）；江苏省自然科学基金资助项目（No.BK20220562）；江苏省高等学校基础科学（自然科学）研究基金资助项目（No.22KJB520010）；扬州市科技计划项目市校合作专项基金资助项目（No.YZ2021157,No.YZ2021158）Foundation Items:The National Natural Science Foundation of China(No.62206238),The Natural Science Foundation of Jiangsu Province(No.BK20220562),The Natural Science Foundation of Jiangsu Higher Education Institutions of China(No.22KJB520010),The Yangzhou City-Yangzhou University Science and Technology Cooperation Fund Project(No.YZ2021157,No.YZ2021158)194 通 信 学 报 第 44 卷 0 引言 近年来，随着物联网、边缘计算、5G 等技术的不断发展及用户终端数量的爆炸式增长，传统云计算架构下的集中式机器学习模型由于其高时延、高并发、弱隐私保护等缺陷，已经逐渐演化为能够支撑边缘智能化应用的分布式联邦学习架构。联邦学习在结构上具有特殊的隐私保护性，它允许各个参与方（用户）下载全局模型到本地，利用本地数据对模型进行训练并更新参数，最终这些参数被汇总到服务器端进行聚合平均，生成新的全局模型1-4。在这一过程中，由于参与方的数据保留在本地终端，其隐私得到了较大程度的保护。可以说，联邦学习已呈现出极具实用性的发展潜力，有关联邦学习的研究方向也被国内外学者广泛关注。联邦学习尽管在隐私保护方面取得了一定突破，但是仍面临着诸多安全与隐私问题。大量研究成果表明，联邦学习框架极易受到各种推理攻击的威胁，如成员推理5、特征推理6、属性推理7和梯度推理8。其中，成员推理是针对训练数据集的主动攻击之一，其目的是确定某个数据样本是否被用于模型训练过程。Shokri 等9首次在机器学习模型中提出了通过黑盒应用程序接口（API）构造的成员推理攻击方法，并证实了通过区分训练和非训练样本在模型输出结果上的差异，能够成功获得某一预测样本是否为模型训练数据成员的信息。在联邦学习的场景中，攻击者的角色是复杂多变的，其既可以作为参与方加入训练过程（如图 1 所示），不断获取服务器反馈的全局模型参数并进行成员推理攻击10-11，也可以作为不可信的中央服务器，通过收集参与方上传的本地参数来推理训练数据12。图 1 联邦学习中的成员推理攻击模型 此外，生成对抗网络（GAN,generative ad-versarial network）的广泛应用进一步加强了成员推理攻击对联邦学习的威胁强度13。通过使用 GAN中的辨别器和生成器，攻击者可以利用训练模型中的参数来生成伪样本，或者获取与其他参与方训练数据集相同分布的数据样本14，这些生成的数据样本对成员推理攻击的发起提供了有力途径。目前，传统机器学习模型的成员推理防御机制主要集中于参数保护方面，即防止攻击者获得未受保护的模型参数，常用的方法有安全聚合15、同态加密16和差分隐私17等。除此之外，也有部分研究表明，通过在攻击模型中加入一个特定的噪声向量，能够成功地将隐私效用权衡的效果最大化18。然而，上述对模型参数做直接修改的防御方法将导致模型精度的严重下降，同时，复杂的密码算法也给资源受限的参与方带来巨大的计算资源消耗。此外，联邦学习中参与方训练数据的不可见性也增加了防御难度。针对上述问题，本文首先探索了 GAN 模型在联邦学习成员推理攻击中的增强效果，并基于 GAN生成的增强数据，提出 2 种针对不同联邦学习场景的成员推理攻击方法：类级和用户级成员推理攻击。其中，类级成员推理攻击主要适用于横向联邦学习场景，即攻击者仅关注所推理样本是否属于训练数据，并不在意该样本具体属于哪个用户；与之相反，用户级成员推理攻击旨在推断出联邦学习中特定参与方的训练数据信息，攻击者不仅能够推理出某一指定样本是否属于训练数据，还可以判断出该样本属于哪个用户，用户级攻击可应用于参与方训练数据的类标签相互独立的场景，如纵向联邦学习。此外，针对上述 2 种攻击类型，本文进一步提出一种基于对抗样本的联邦学习成员推理攻击防御方法（DefMIA），在保证全局模型准确率的同时，使联邦学习中成员推理攻击准确率接近于随机猜测。本文的主要贡献包括以下 3 个方面。1)提出了2种基于GAN的联邦学习成员推理攻击方法：类级和用户级成员推理攻击，其中，类级成员推理攻击旨在泄露所有参与方的训练数据，用户级成员推理攻击则面向某一特定的联邦学习参与方，并证明了这 2 种攻击在联邦学习场景中的有效性。2)提出了 DefMIA 方法，将全局模型的输出置信度向量构造为对抗样本，使其能够误导攻击模型的正确分类结果，进而有效防御成员推理攻击。相第 5 期 张佳乐等：基于 GAN 的联邦学习成员推理攻击与防御方法 195 较于传统基于差分隐私或密码系统的防御方法，DefMIA 方法不需要对模型参数进行任何修改，最大化地保证了全局模型的可用性。3)在3个基准数据集上对所提2种攻击方法进行了实验测试，并验证了 DefMIA 方法的有效性。实验结果表明，无论是类级成员推理攻击还是用户级成员推理攻击，都能在联邦学习上获得较高攻击准确率。然而，在使用 DefMIA 方法后，上述 2 种方法的攻击准确率大大降低，接近于随机猜测。1 相关工作 1.1 对抗性攻击 尽管联邦学习能够在架构上对参与方的训练数据隐私提供一定的保护作用，但模型安全问题仍然存在