面向边缘智能的协同训练研究进展_王睿.pdf

面向边缘智能的协同训练研究进展王睿1)，王岩1)，尹朴1)，齐建鹏1)，孙叶桃1)，李倩1)，张易达1)，张梅奎2)1)北京科技大学计算机与通信工程学院，北京1000832)中国人民解放军总医院，北京100039通信作者，王睿，E-mail:;张梅奎，E-mail:摘要随着万物互联时代的快速到来，海量的数据资源在边缘侧产生，使得基于云计算的传统分布式训练面临网络负载大、能耗高、隐私安全等问题.在此背景下，边缘智能应运而生.边缘智能协同训练作为关键环节，在边缘侧辅助或实现机器学习模型的分布式训练，成为边缘智能研究的一大热点.然而，边缘智能需要协调大量的边缘节点进行机器模型的训练，在边缘场景中存在诸多挑战.因此，通过充分调研现有边缘智能协同训练研究基础，从整体架构和核心模块两方面总结现有的关键技术，围绕边缘智能协同训练在设备异构、设备资源受限和网络环境不稳定等边缘场景下进行训练的挑战及解决方案；从边缘智能协同训练的整体架构和核心模块两大方面进行介绍与总结，关注边缘设备之间的交互框架和大量边缘设备协同训练神经网络模型参数更新问题.最后分析和总结了边缘协同训练存在的诸多挑战和未来展望.关键词云计算；边缘智能；协同训练；边缘计算；机器学习；分布式训练分类号TP311SurveyofedgeedgecollaborativetrainingforedgeintelligenceWANG Rui1)，WANG Yan1)，YIN Pu1)，QI Jian-peng1)，SUN Ye-tao1)，LI Qian1)，ZHANG Yi-da1)，ZHANG Mei-kui2)1)SchoolofComputerandCommunicationEngineering,UniversityofScienceandTechnologyBeijing,Beijing100083,China2)ChinesePLAGeneralHospital,Beijing100039,ChinaCorrespondingauthor,WANGRui,E-mail:;ZHANGMei-kui,E-mail:ABSTRACTWiththerapidarrivaloftheInternetofEverythingera,massivedataresourcesaregeneratedonedgesides,causingproblemssuchaslargenetworkload,highenergyconsumption,andprivacysecurityintraditionaldistributedtrainingbasedoncloudcomputing.Edgecomputingsinkscomputingpowerresourcestotheedgeside,formingacollaborativecomputingsystemthatintegrates“cloud,edge,andend,”whichcanmeetthebasicneedsofreal-timeoperations,intelligence,security,andprivacyprotection.Withthehelpofedgecomputingcapabilities,edgeintelligenceeffectivelypromotestheintelligentdevelopmentoftheedgeside,whichhasbecomeapopulartopic.Throughourresearch,wefoundthatedgecollaborativeintelligenceiscurrentlyinastageofrapiddevelopment.Atthisstage,severaldeeplearningmodelsarecombinedwithedgecomputing,andmanyedgecollaborativeintelligentprocessingsolutionshaveexploded,suchasdistributedtraininginedgecomputingscenarios,federatedlearning,anddistributedcollaborativereasoningbasedontechnologiessuchasmodelcuttingandearlyexit.Thecombinationofashallowbreadthlearningsystemandvirtualizationtechnologyallowsforquickimplementationofedgeintelligence,whichconsiderablyimprovesservicequalityanduserexperienceandmakesservicesmoreintelligent.Asakeylinkofedgeintelligence,edgeintelligencecollaborativetrainingaimstoassistorimplementthedistributedtrainingofmachinelearningmodelsontheedgeside.However,inanedgecomputingscenario,thedistributedtrainingofthemodelmustcoordinateseveraledgenodes,andmanychallengesremain.Therefore,byfullyinvestigatingtheexistingresearchfoundationofedgeintelligentcollaborativetraining,wefocusonthechallengesandsolutionsofedgeintelligentcollaborative training in edge scenarios such as equipment heterogeneity,limited equipment resources,and unstable network收稿日期:20220926基金项目:国家自然科学基金资助项目（62173158,72004147）；生联网构建云端救治调度关键技术研究项目（221-CXCY-N101-07-18-01）工程科学学报，第45卷，第8期：14001416，2023年8月ChineseJournalofEngineering,Vol.45,No.8:14001416,August2023https:/doi.org/10.13374/j.issn2095-9389.2022.09.26.004;http:/environments.Thispaperintroducesandsummarizestheoverallarchitectureandcoremodulesofedgeintelligentcollaborativetraining.Theoverallarchitecturemainlyfocusesontheinteractionframeworkbetweenedgedevices.Intermsofwhetherthereisacentralserverrole,itcanbedividedintotwocategories:parameterservercentralizedarchitectureandfullydecentralizedparallelarchitecture.Thecoremoduleofedgeintelligentcollaborativetrainingmainlyfocusesontheproblemofcollaborativetrainingofalargenumberofedgedevicesforneuralnetworkmodelstoupdateparameters.Intermsoftheroleofparallelcomputinginmodeltraining,itisdividedintodataparallelismandmodelparallelism.Finally,themanychallengesandprospectsofedgecollaborativetrainingareanalyzedandsummarized.KEYWORDScloudcomputing；edgeintelligence；collaborativetraining；edgecomputing；machinelearning；distributedtraining边缘智能(Edgeintelligence，EI)是使边缘设备能执行智能算法的能力1，是人工智能和边缘计算的结合，在边缘侧辅助或实现机器学习模型训练与推理的一系列智能化方法2.边缘智能充分利用边缘侧海量的数据和硬件资源，将边缘计算和机器学习相结合，使机器学习模型提供的智能服务更加高效、贴近用户、解决人工智能的“最后一公里”问题37.随着机器学习技术特别是深度学习技术的发展，利用神经网络技术的智能服务给人类社会带来极大的便利.然而机器学习算法的复杂度高，大多数是串行执行，而单台计算机的存储内存受限，出现算法分析速度过慢、内存不足等现象，导致数百万参数的模型可能需要几天的训练时间.传统的解决方案是基于集群并行计算的云计算框架进行分布式计算，以解决机器学习算法在处理海量数据时所面临的处理速度过慢和存储容量不足等问题8.但是，随着万物互联时代的到来，基于云计算的智能服务面临严峻的挑战.在数据方面，由于越来越多的终端设备接入互联网，海量的数据资源在边缘侧产生，边缘终端设备产生泽字节（Zettabyte，ZB）级别海量数据9.国际数据公司（Internationaldatacorporation，IDC）预测 2025 年将有 416 亿边缘侧设备实现互联，数据量达 79.4ZB，全球物联网数据的 70%都要在网络边缘处理1011.在此情况下，将海量的数据发送到云计算中心会面临实时性差、网络带宽受限和隐私安全问题1214.在计算方面，如今物联网的边缘设备需要提供大量且多样的智能感知决策服务，巨大的计算任务使云计算中心面临能耗高、维护费用高等问题15.在网络通信领域，为提升网络的计算、存储能力和服务的多样性、可靠性、智能性，边缘智能技术寻求将智能服务从网络核心扩展到边缘侧16.对于终端侧的海量数据集和计算任务，边缘计算提供最近端服务，更快服务响应，满足在实时、智能、安全与隐私保护等方面的基本需求.实际上，边缘计算正逐渐与人工智能结合，在实现边缘智能和智能边缘方面相互受益，其中边缘智能是目标，智能边缘可以为边缘智能提供更高的服务吞吐量和资源利用率.随着云计算能力从中心下沉到边缘，边缘计算将推动形成“云、边、端”一体化的协同计算体系.边缘智能利用广泛的边缘资源为人工智能应用提供支持，而无需全部的云计算中心资源.边缘计算将机器学习需求的计算、存储等资源下沉至终端侧，以其低时延、动态性、移动性以及位置感知等特征解决传统云计算中心面临的问题2，在工业互联网、智能家居、智慧交通及智能医疗等6,1720领域发挥着重要作用.目前边缘协同智能正处于快速发展阶段2，这一时期大量的深度学习模型与边缘计算结合，众多边缘协同智能处理方案爆发，如边缘计算场景下的分布式训练21和联邦学习22，基于模型切割、早期退出等技术的分布式协同推理2324，浅层的宽度学习系统25与虚拟化技术的结合使边缘协同智能的快速落地成为可能，提高了服务质量和用户体验，使服务更加智能化2627.本文首先从现有的分布式机器学习、联邦学习以及边缘智能相关方面调研了边缘智能协同训练的关键技术，围绕边缘智能协同训练讨论了在设备异构、设备资源受限和网络环境不稳定等边缘