基于茫然传输协议的FATE联邦迁移学习方案_郑云涛.pdf

第 49卷 第 2期2023年 2月Computer Engineering 计算机工程基于茫然传输协议的 FATE联邦迁移学习方案郑云涛1，叶家炜2（1.复旦大学 计算机科学技术学院 上海市智能信息处理重点实验室，上海 200433；2.复旦大学 计算机科学技术学院 教育部网络信息安全审计与监控工程研究中心，上海 200433）摘要：利用不同来源的数据参与机器学习模型的训练，能够使得训练出的模型的预测结果更加准确，然而大量的数据收集则会产生隐私方面的相关问题。FATE联邦迁移学习是一种基于同态加密的联邦学习框架，但 FATE联邦迁移学习中同态加密计算复杂，收敛速度相对较慢，导致模型训练效率低。提出一种基于茫然传输协议的安全矩阵计算方案。通过实现矩阵加法和乘法及数乘的安全计算，完成参与两方交互下具有数据隐私保护特性机器学习模型的损失函数计算与梯度更新，并以此构造更高效的 FATE联邦迁移学习算法方案。在此基础上，通过茫然传输扩展协议和通信批量处理，减少需要调用的茫然传输协议的数量，缩减通信轮数，从而降低茫然传输协议带来的通信消耗。性能分析结果表明，该方案的安全模型满足安全性和隐私保护性，并且具有一定的可扩展性，在局域网环境下，相比基于同态加密的方案，模型收敛的平均时间缩短约 25%，并且随着数据样本特征维度的增加，该方案仍能保持稳定的收敛速度。关键词：联邦迁移学习；安全多方计算；秘密共享；茫然传输协议；同态加密开放科学（资源服务）标志码（OSID）：源代码链接：https：/ FATE联邦迁移学习方案 J.计算机工程，2023，49（2）：24-30.英文引用格式：ZHENG Y T，YE J W.FATE federated transfer learning scheme based on oblivious transfer protocol J.Computer Engineering，2023，49（2）：24-30.FATE Federated Transfer Learning Scheme Based on Oblivious Transfer ProtocolZHENG Yuntao1，YE Jiawei2（1.Shanghai Key Laboratory of Intelligent Information Processing，School of Computer Science，Fudan University，Shanghai 200433，China；2.Engineering Research Center of Cyber Security Auditing and Monitoring，Ministry of Education，School of Computer Science，Fudan University，Shanghai 200433，China）【Abstract】Machine learning models can be trained on a large amount of data collected from different sources，thereby improving the prediction accuracy.However，data collection between different organizations causes privacy issues.The Federated Artificial intelligence Technology Enabler（FATE）Federated Transfer Learning（FTL）is a secure machine learning framework based on homomorphic encryption.However，the convergence speed is relatively low owing to the computational efficiency of homomorphic encryption.In this study，a secure multiparty computation scheme for matrix computation based on Oblivious Transfer（OT）protocol is proposed to design a two-party machine-learning scheme to construct a more efficient FATE FTL.In addition，the communication consumption caused by the OT protocol is reduced via OT extension and batch processing.The performance analysis shows that the scheme ensures security，privacy preservation，and scalability in practical applications.On the other hand，the convergence time of the proposed scheme is approximately 25%better than that FATE FTL framework based on a homomorphic encryption scheme in a local-area network environment.As the feature dimension of the data samples increases，the advantage of the convergence speed of this scheme can remain stable，proving that this scheme has a practical application significance.【Key words】Federated Transfer Learning（FTL）；secure multiparty computation；secret sharing；Oblivious Transfer（OT）protocol；homomorphic encryptionDOI：10.19678/j.issn.1000-3428.0064452基金项目：上海市基础研究重点项目（21JC1400600）。作者简介：郑云涛（1997），男，硕士研究生，主研方向为多方安全计算、区块链、密码学；叶家炜，工程师、硕士。收稿日期：2022-04-13 修回日期：2022-05-16 Email：热点与综述文章编号：1000-3428（2023）02-0024-07 文献标志码：A 中图分类号：TP391第 49卷 第 2期郑云涛，叶家炜：基于茫然传输协议的 FATE联邦迁移学习方案0概述近年来，由于数据的存储与处理效率的提高，海量数据参与机器学习模型的训练成为可能。利用不同来源的数据进行机器学习模型训练并生成预测模型能够获得更多的特征信息，从而提高模型的预测准确率。然而，现实中大多数数据分散在不同的组织中，由于受到法律等的约束，无法通过集成来进行共同的机器学习模型训练，如医院的患者信息、银行的用户账户信息等数据并不能得到公开共享，这使得整合来自不同来源的数据比较困难。因此，数据的隐私保护技术成为大数据时代机器学习不可或缺的技术手段。安全多方计算是一种能够在保证计算参与方的数据不被泄露的情况下完成最终计算过程的隐私保护技术。目前，研究人员提出了多个实现安全多方计算的协议，包括利用同态加密来直接对数据进行加密的协议1、利用秘密共享实现数据不被泄露的Shamir 秘 密 共 享 方 案2、茫 然 传 输（Oblivious Transfer，OT）协议3等，以及相关的秘密分享协议框架，如 SPDZ协议4、ABY协议5等。联邦学习利用安全多方计算技术来对机器学习模型中的数据进行保护，在不泄露用户数据隐私的情况下共享数据并构建机器学习模型，使得训练出的模型的预测准确率不会受到损失。目前联邦学习的隐私保护机制的实现有基于模型聚类6-8、基于同态加密9-11、基于差分隐私12以及基于秘密分享13等相关研究。FATE 联邦学习是一个成熟的、已投入使用的基于同态加密的联邦机器学习框架，文献 14 提出的FATE联邦迁移学习框架，通过近似多项式的方法来拟合逻辑回归函数，并用 Paillier同态加密15的方式，在保证参与联邦学习双方的数据隐私的情况下完成损失函数和梯度的计算，最终达到收敛完成模型的训练。然而，由于在实际的模型训练过程中需要对大量的数据进行加密处理和计算，模型训练的效率较低。文献 16 提出了通过批量加密的方法来提高同态加密的通信效率，但是本质上没有解决同态加密乘法的计算开销问题。针 对 FATE 联 邦 迁 移 学 习（Federated Transfer Learning，FTL）中同态加密带来的计算开销的问题，本文提出一个基于 OT 协议的隐私保护两方矩阵运算方案，并拓展应用到 FATE 联邦迁移学习的设计中，在保证参与计算双方的数据隐私的前提下完成逻辑回归模型的损失函数和梯度计算。同时，针对OT 协议带来的通信开销问题，通过 OT 扩展（OT extension）协议和批量传输进行优化，实现基于 OT协议矩阵运算的 FATE联邦迁移学习方案。1预备知识1.1联邦迁移学习联邦学习最早由谷歌在 2016 年提出17，目的是通过分布在不同设备上的数据集来协同构建机器学习模型，并防止各个设备的数据泄露。假设有n个数据持有组织p1,p2,pn，每个组织拥有自己的数据Di（1 i n)，通过中间数据的交互来共同训练机器学习模型Mfed。一种常规的联合机器学习方法是将所有组织的数据聚合在一起，共同训练模型得到模型Msum。与普通的联合机器学习不同，联邦学习各个组织的数据Di不会泄露给其他组织。根据Vfed和Vsum联邦学习与联合学习的准确性，假如|Vfed-Vsum|，则称该联邦学习算法有-acc级损失。联邦学习的分类有横向联邦学习、纵向联邦学习与联邦迁移学习。横向联邦学习适用于样本不同的情况下参与方数据集的特征空间相同的情况；纵向联邦学习适用于参与方样本空间重合度高，但各自的特征空间不同的情况；如果参与方之间的数据的特征空间和样本重合度都很低，则需要用到联邦迁移学习，如图 1所示。1.2OT协议OT协议是重要的密码学原语之一，在实际应用中，往往需要许多简单的OT12协议来完成高级协议的设计，在执行k次的OT12协议（记为kOT12）中，发送方S持有k对比特对(mi0,mi1)，其中mi0,mi1 0,1，而接收方R持有一个k比特的选择向量b，通过执行k次协议后，R获得了mibi，但是无法得知其他的比特位信息，而S无法得知b的信息，从而保证了隐私性与保密性。目前研究人员提出许多高效的 OT 协议方案，如在半诚实模型下通过公钥机制来实现的Naor-Pinkas OT协议18等。OT extension 协议利用少数的 Base OT 协议将原本大量的 OT协议数量大幅减少，能够极大地降低计算量和通信量。IKNP OT extension协议19通过选定安全参数k，能够将m次OT12协议降低到k次的Base OT 协议。发送方准备m对秘密消息作为协议的输入，接收方准备0,1m比特对消息作为协议的输入。在协议执行过程中，双方在预处理阶段执行k次的 Base OT协议，发送方作为 Base OT的接收者，接收方随机产生k比特对消息作为 Base OT 的发送者。执行完k次 Base OT协议后，双方即可以在交互阶段进行m次的OT12协议的交互，而每次OT12协议图 1联邦迁移学习框架Fig.