第31卷第1期北京电子科技学院学报2023年3月Vol．31No．1JournalofBeijingElectronicScienceandTechnologyInstituteMar．2023面向联邦学习的学习率裁剪梯度优化隐私保护方案*孟向前刘腾飞谢绒娜北京电子科技学院，北京市100070摘要:联邦学习中，攻击者通过模型梯度攻击来恢复训练数据集，使训练数据集的隐私性受到威胁。为保护数据隐私性，差分隐私技术被引入到联邦学习中，但在神经网络训练过程中存在学习率过大导致梯度爆炸不收敛或学习率过小导致梯度收敛过慢的问题，降低学习的准确率。针对上述问题，本文提出一种具有自适应学习率的梯度优化算法(CAdabelief算法)，该算法在神经网络中引入学习率裁剪动态界限的概念，动态调整学习率达到理想的值，并趋于稳定;继而将CAdabelief算法引入联邦学习差分隐私框架，提出了面向联邦学习的学习率裁剪梯度优化隐私保护方案，并采用MNIST数据集进行测试实证。实验表明，在相同的隐私预算下，CAdabelief算法训练结果的准确率高于常用的SGD、Adam、Adabelief算法。关键词:联邦学习;差分隐私;自适应;学习率裁剪;梯度优化中图分类号:TN01文献标识码:A文章编号:1672－464X(2023)1－45－53*基金项目:国家重点研发计划项目(项目编号:2017YFB0801803)＊＊作者简介:孟向前(1997－)，男，通信作者，研究生在读，研究方向:网络空间安全。E-mail:sdsdpxmxq@126．com刘腾飞(1994－)，男，硕士，研究方向:计算机应用技术。E-mail:1149069821@qq．com谢绒娜(1976－)，女，博士，教授，研究方向:网络与系统安全、访问控制、密码工程。引言近几年，联邦学习快速发展，在商业、医疗、交通等领域都有大量应用，并取得了良好的效果。联邦学习无需训练数据聚合，通过本地训练模型将结果聚合上传服务器，实现数据在本地进行协同训练的目的。然而，联邦学习中数据隐私信息仍存在泄露的风险，文献［1］发现攻击者可以通过模型梯度攻击来恢复训练数据集，威胁训练数据集的隐私性。针对联邦学习的隐私安全问题，多种隐私保护方案被提出，其中差分隐私是主要的解决方案之一。除此之外，为了提高联邦学习中隐私保护的效果，很多文献［2，3］采用加入差分隐私噪声的方法，提高用户端的本地数据隐私保护的能力。但加入差分隐私噪声的方法会使模型训练的准确率降低。文献［4］提出Adabelief算法，将梯度下降与曲率结合，解决了“梯度大、曲率小”区域下降慢的问题，提升了梯度下降速度。但Adabelief算法在步幅过大时，可能导致梯度“爆炸”...
