一种深度神经网络的分布式训练方法_原野.pdf

www.ChinaAET.comArtificial Intelligence人工智能一种深度神经网络的分布式训练方法原野1，田园1，蒋七兵2，3（1.云南电网有限责任公司 信息中心，云南 昆明 650214；2.云南云电同方科技有限公司 云南 昆明 650214；3.西南林业大学 大数据与智能工程学院，云南 昆明 650224）摘 要：深度神经网络在高维数据的分类和预测中取得了巨大成功。训练深度神经网络是数据密集型的任务，需从多个数据源收集大规模的数据。这些数据中通常包含敏感信息时，使得深度神经网络的训练过程容易泄露数据隐私。针对训练过程中的数据隐私和通信代价问题，提出了一种深度神经网络的分布式训练方法，允许基于多个数据源共同训练深度神经网络。首先，提出了分布式训练架构，由 1 个计算中心和多个代理组成。其次，提出了基于多代理的分布式训练算法，允许代理在数据不出本地和减少通信代价的情况下，通过切割深度神经网络，实现分布式地共同训练模型。然后，分析了算法的正确性。最后，实验结果表明该方法是有效的。关键词：深度神经网络；分布式训练；监督学习；隐私保护中图分类号：TP311 文献标志码：A DOI:10.16157/j.issn.0258-7998.223244中文引用格式：原野，田园，蒋七兵.一种深度神经网络的分布式训练方法J.电子技术应用，2023，49(3)：48-53.英文引用格式：Yuan Ye，Tian Yuan，Jiang Qibing.Distributed training method for deep neural networksJ.Application of Electronic Technique，2023，49(3)：48-53.Distributed training method for deep neural networksYuan Ye1，Tian Yuan1，Jiang Qibing2，3(1.Information Center，Yunnan Power Grid Co.，Ltd.，Kunming 650214，China；2.Yunnan Yundian Tongfang Technology Co.，Ltd.，Kunming 650214，China；3.School of Big Data and Intelligent Engineering，Southwest Forestry University，Kunming 650224，China)Abstract：Deep neural networks have achieved great success in classification and prediction of high-dimensional data.Training deep neural networks is a data-intensive task,which needs to collect large-scale data from multiple data sources.These data usually contain sensitive information,which makes the training process of convolutional neural networks easy to leak data privacy.Aiming at the problems of data privacy and communication cost in the training process,this paper proposes a distributed training method for deep neural networks,which allows to jointly learn deep neural networks based on multiple data sources.Firstly,a distributed training architecture is proposed,which is composed of one computing center and multiple agents.Secondly,a distributed training algorithm based on multiple data sources is proposed,which allows to distributed jointly train models through the splitting of convolutional neural networks under the constraints that raw data are not shared directly and the communication cost is reduced.Thirdly,the correctness of the algorithm is analyzed.Finally,the experimental results show that our method is effective.Key words：deep neural network；distributed training；supervised learning；privacy guarantee0 引言深度神经网络在高维数据的分类和预测中取得了巨大成功1，例如图像、视频和音频。但是，训练深度神经网络是数据密集型的任务，往往需要从多个数据源收集大规模的数据2。一个深度神经网络模型通常包含百万级参数，需要大量数据和算力来训练这些参数。当训练数据包含敏感信息时，深度神经网络的训练过程往往会泄露隐私3。如果训练数据中包含用户信息、管理信息等高度敏感的信息，数据所有者通常不希望公开这些敏感数据。因此，深度神经网络因数据隐私而在现实应用中受到限制4。为了控制深度神经网络训练过程中数据的隐私泄露，一种可行的解决方案是使用集中式的隐私保护深度学习方法5。该方法依赖于一个可信的集中式计算环48Artificial Intelligence人工智能电子技术应用 2023年 第49卷 第3期境，训练过程使用全局差分隐私算法扰乱训练数据，从而实现数据的隐私保护。在这种方式下，多个数据源需要信任云服务器，并将拥有的数据上传到云服务器，而云服务器将使用各数据源上传的数据集中训练深度神经网络。但是，这种方法因要求各代理共享数据而在实际使用中受到限制6。相比集中式的隐私保护深度学习方法，分布式的学习方法更适合实际应用，因为分布式的学习方法并不需要各数据源（代理）共享上传数据，也不需要集中式的可信计算环境。联邦学习是一种分布式的学习方法7。在联邦学习中，各数据源在不共享数据的情况下，通过参数聚合机制共同训练卷积神经网络。但是，该方法在训练过程中将面临巨大的通信开销1。针对上述问题，本文提出了一种深度神经网络的分布式训练方法。该方法允许多个数据源在不共享数据的情况下，通过网络切割，共同训练深度神经网络，并减少训练过程中的通信开销。具体地，本文主要贡献包括以下几点：(1)提出了一种深度神经网络的分布式训练方法，允许代理在数据不出本地的情况下，通过网络切割，实现模型的分布式共同训练；(2)分析了该方法的正确性；(3)通过实验，验证了该方法的有效性。1 相关工作相关学者对隐私保护的深度学习方法进行了研究。Abadi 等人8提出了一种高效的深度学习隐私保护框架，不仅在隐私预算下可以达到很好的准确性，而且还能计算总体隐私损失。Shokri 等人9提出了一种基于选择随机梯度下降的深度学习隐私保护方法，在无需共享输入数据集的情况下，每个数据所有者可以使用差分隐私扰动所选梯度的值，然后将其上载到云服务器，从而实现数据的隐私保护。Ha 等人10认为差异隐私为深度学习提供了一个数学框架，可以用来评估深度学习中的隐私保护，并系统地回顾了深度学习中隐私模型的威胁和防御，尤其是差异隐私。但是，这些工作都要求一个集中式信任计算环境，无法用于分布式的不信任计算环境。相 关 学 者 对 联 邦 学 习 进 行 了 研 究。Mcmahan 等人11提出了联邦学习方法，允许在神经网络的训练过程中数据不离开本地，通过迭代式地模型参数聚合实现共同训练模型。Yang 等人12根据数据源的数据特征信息，进一步将联邦学习方法分为纵向联邦学习、横向联邦学习、和联邦迁移学习。文献13提出了通信优化方法，用于在联邦学习中平衡模型精度和通信代价。但是，中心服务器和客户端间巨大的通信开销限制了联邦学习的进一步发展与应用14。与上述工作相比，本文工作的主要不同在于：与集中式的隐私保护深度学习方法相比，本文所提方法是分布式的，不依赖集中式可信计算环境；与现有联邦学习方法相比，本文所提方法能有效减少计算代价和通信代价。2 本文方法2.1 架构本文提出了一种面向深度神经网络的分布式训练架构，如图 1 所示。该框架包含 n 个代理和 1 个计算中心，允许各个代理在不共享数据的情况下，分布式地共同训练一个深度神经网络模型。其中，每个代理部署深度神经网络的前几层，称为前层网络；计算中心部署深度神经网络的剩余层，称为后层网络。与集中式学习方法相比，图 1 所示分布式训练架构允许各代理在不直接共享数据的情况下，通过代理与计算中心间的张量和梯度共享，实现共同训练深度神经网络模型。由此可知，本文所提方法可以在训练过程中保护各代理的数据隐私。图 1 所示分布式训练框架和联邦学习虽然训练过程允许各代理不直接共享源数据，但训练深度神经网络的方式有所不同。联邦学习通过模型参数的局部更新和全局共享，实现模型的共同训练；而本文所提分布式训练框架通过切割训练过程（对前向传播过程和反向传播过程进行切割），实现模型的共同训练。从通信代价看，联邦学习将在代理和计算中心间传输整个深度神经网络的参数，而分布式训练框架只在代理和计算中心间传输部分深度神经网络的张量和梯度。2.2 问题定义在图 1 所示的分布式训练架构，令 A=A1,A2,An表示代理的集合，其中 Ai 表示代理 i，D=D1D2Dn表示各代理拥有数据集的并集，其中 Di表示代理 i 拥有的数据集。定义 1（集中式训练）给定代理集合 A 和数据集 D，集中式训练得到的模型记为 Mcf(D)，其中，f()表示学图 1分布式训练架构49Artificial Intelligence人工智能www.ChinaAET.com习函数。定义 2（联邦式学习）给定代理集合 A 和数据集 D，联邦式学习得到的模型记为 Mfi Dwifi(Di)，其中wi表示权重，fi()表示学习函数 f()的本地版本。定义 3（分布式训练）给定代理集合 A 和数据集 D，分布式训练得到的模型记为 Md。2.3 基于多代理的分布式训练首先，下面以卷积神经网络为例子，给出训练过程中将使用到的主要符号及相关描述，具体包括：（1）卷积神经网络。令卷积神经网络标记为函数 F，其对应的拓扑结构为L1,L2,LN，其中 Li表示卷积神经网络的第 i 层。（2）输入和输出。令卷积神经网络的输入数据标记为 D，卷积神经网络的输出标记为 F(D)。（3）前向传播。根据卷积神经网络中各层的顺序组合性，有 F(D)LN(LN-1L1(D)，即卷积神经网络的前向输出 F(D)通过前向传播过程由各层连续顺序计算得到，其中，Li(D)表示第 i 层的前向传播输出。（4）代价函数。令代价函数标记为 Lloss(F(D),label)，用于计算卷积神经网络中最后一层（LN）的梯度，其中，label 表示数据对应的类别。（5）反向传播。根据卷积神经网络中各层的顺序组合性和链式规则，有FB(g)LB1(LB2LBN(g)，即卷积神经网络的反向输出FB(g)通过反向传播过程由各层连续顺序计算得到，其中，LBi(g)表示第 i 层的反