面向边缘智能的协同推理综述_王睿.pdf

面向边缘智能的协同推理综述王睿1,2齐建鹏1陈亮1杨龙11（北京科技大学计算机与通信工程学院北京100083）2（北京科技大学顺德研究生院广东佛山528300）（）Survey of Collaborative Inference for Edge IntelligenceWangRui1,2,QiJianpeng1,ChenLiang1,andYangLong11（School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083）2（Shunde Graduate School of University of Science and Technology Beijing,Foshan,Guangdong 528300）AbstractAtpresent,thecontinuouschangeofinformationtechnologyalongwiththedramaticexplosionofdataquantitymakesthecloudcomputingsolutionsfacemanyproblemssuchashighlatency,limitedbandwidth,highcarbonfootprint,highmaintenancecost,andprivacyconcerns.Inrecentyears,theemergenceandrapiddevelopmentofedgecomputinghaseffectivelyalleviatedsuchdilemmas,sinkinguserdemandprocessingtotheedgeandavoidingthe flow of massive data in the network.As a typical scenario of edge computing,edge intelligence is gainingincreasing attention,in which one of the most important stages is the inference phase.Due to the general lowperformanceofresourcesinedgecomputing,collaborativeinferencethroughresourcesisbecomingahottopic.Byanalyzingthetrendsofedgeintelligencedevelopment,weconcludethatcollaborativeinferenceattheedgeisstillintheincreasingphaseandhasnotyetenteredastablephase.Wedivideedge-edgecollaborativeinferenceintotwoparts:Intelligent methods and collaborative inference architecture,based on a thorough investigation of edgecollaborativeinference.Theinvolvedkeytechnologiesaresummarizedverticallyandorganizedfromtheperspectiveof dynamic scenarios.Each key technology is analyzed in more detail,and the different key technologies arecomparedhorizontallyandanalyzedontheapplicationscenarios.Finally,weproposeseveraldirectionsthatdeservefurtherstudyingincollaborativeedgeinferenceindynamicscenarios.Key wordsedgecomputing；edgeintelligence；machinelearning；edgecollaborativeinference；dynamicscenario摘要近年来，信息技术的不断变革伴随数据量的急剧爆发，使主流的云计算解决方案面临实时性差、带宽受限、高能耗、维护费用高、隐私安全等问题.边缘智能的出现与快速发展有效缓解了此类问题，它将用户需求处理下沉到边缘，避免了海量数据在网络中的流动，得到越来越多的关注.由于边缘计算中资源性能普遍较低，通过资源实现协同推理正成为热点.通过对边缘智能发展的趋势分析，得出边缘协同推理目前仍处于增长期，还未进入稳定发展期.因此，在对边缘协同推理进行充分调研的基础上，将边缘协同推理划分为智能化方法与协同推理架构 2 个部分，分别对其中涉及到的关键技术进行纵向归纳整理，并从动态场景角度出发，对每种关键技术进行深入分析，对不同关键技术进行横向比较以及适用场景分析.最后对动态场景下的边缘协同推理给出值得研究的若干发展方向.关键词边缘计算；边缘智能；机器学习；边缘协同推理；动态场景中图法分类号TP391收稿日期：20210826；修回日期：20220415基金项目：国家自然科学基金项目（62173158,72004147）ThisworkwassupportedbytheNationalNaturalScienceFoundationofChina(62173158,72004147).计 算 机 研 究 与 发 展DOI：10.7544/issn1000-1239.202110867JournalofComputerResearchandDevelopment60（2）：398414，2023Gartner 指出 2022 年将有 75%的企业数据在边缘侧产生1，IDC 预测 2025 年将有 416 亿个边缘侧设备实现互联数据量达 79.4ZB2.由于云计算的实时性差、带宽受限、高能耗、维护费用高、隐私安全等问题3-7，将不能应对边缘侧如此海量的设备与数据,使对用户服务的有效提供面临严峻挑战，促使边缘计算的蓬勃发展8.边缘计算将计算、存储等资源下沉至用户侧，以其低时延、动态性、移动性以及位置感知等特征,在智能医疗、智能家居、军事及农业等领域发挥了重要作用9-13.随着通用设备的不断普及、专用设备的不断下沉、虚拟化及中间件技术的飞速发展、设备性能的不断提升以及基础设施运营商的大力投入等13，催生出大量可在边缘侧进行训练与推理的边缘协同技术架构，如 FATE,Paddle-Lite,Tensor-FlowLite 等14，借助多样化的边缘设备协同能力，使单设备下的多业务场景、多设备下的复杂智能业务场景发展迅速.各种云、边、端间协同技术的不断进步15-16与各种机器学习模型训练优化技术、轻量化技术17的深入研究，促进了边缘智能（edgeintelligence,EI）相关方向的飞速发展.边缘智能或智慧边缘计算是指借助边缘侧辅助实现机器学习模型的训练与推理的一系列智能化方法，使智能更加高效、贴近用户、解决人工智能“最后一公里”问题18-22.边缘协同智能则指在边缘智能的基础上进一步通过边缘节点间的协同，融合边缘计算资源（网络、计算、存储、感知、应用等）核心能力实现的智能.从其生命周期来看，可划分为训练阶段、推理阶段以及模型的部署更新，而本文则聚焦于其中的推理阶段.本文第 1 节对边缘智能侧重于从协同推理角度的发展简史以及整体过程进行纵向总结，引出目前边缘协同推理涉及到的关键技术，描绘出边缘协同推理在边缘协同智能中的整体位置，并给出 2 个分类标准，将边缘协同推理的智能化方法与边缘协同推理的整体架构，与已有文献进行比较，突出本文贡献；第 2 节从协同角度根据分类标准对已有的协同推理阶段、部署更新等问题进行总结并结合边缘计算资源特点对不同技术进行横向比较与分析；第 3节聚焦于对边缘协同推理在动态场景下的挑战进行总结，本文提到的动态场景23包括有地理位置带来的环境变化、边缘计算资源发散、网络拓扑的变化、服务性能波动大、节点频繁交换导致服务或系统吞吐量的动态变化以及应用、网络、设备等带来的不确定性，标准不统一的场景.并对未来值得关注的研究方向进行初步探讨；第 4 节总结本文.1边缘协同推理概述 1.1边缘协同智能发展图 1 展示的是在谷歌学术上使用“edgeintelligence”关键词进行检索，得到的关于边缘智能的文献数量与年份对应的发展趋势.从图 1 来看，截止 2020 年，边缘智能的发展正处于爆发期，还未达到平稳发展期.2502005200020152010年份EI萌芽+技术储备期爆发期继续爆发?文章数量20205007501 0000Fig.1Edgeintelligencedevelopmentaltrend图1边缘智能发展趋势进一步，通过对 WebofScience 中以关键词“edgeintelligen”检索得到的 239 篇文献进行分析，本文将边缘协同智能划分为 3 个阶段：萌芽期、技术储备期以及爆发期.本文关注的边缘协同推理在图 2 中同时给出了所涉及到的推理过程中使用的核心技术及其在边缘智能发展过程中的关键时间节点，从中也可以观察到，人工智能领域涌现出的新技术会极快的同步应用到边缘智能中（图 2 中相同形状图标表示同一类型技术），如神经网络架构搜索（neuralarchitecturesearch,NAS）与计算能力受限的硬件资源结合后演变为神经网络架构实现搜索（neuralarchitectureandimple-mentationsearch,NAIS）.技术突破的关键问题是如何在资源受限的边缘计算场景中应用新技术.这些协同推理关键技术极大促进了边缘智能的发展，下文将在边缘智能的基础上，结合图 1、图 2，重点对这些关键技术进行归纳总结并同时从协同角度给出分析.边缘协同智能萌芽期（20032012 年）.“edgeintelligence”一词最初源自有线网络传输场景，主要目标是提升网络的可靠性、智能性24-25.随着移动通信技术的发展,多媒体为代表的各类服务在网络中呈爆发态势，用户的移动性给各类服务的管理带来挑战,边缘协同智能被应用于移动用户的管理,主要目标是提升服务管理效率、降低时延26-27.而此时对如王睿等：面向边缘智能的协同推理综述399何利用分布式网络中的资源还未形成系统性认识，多为简单的智能算法相互组合，节点间协同性不强，未涉及到与深度学习技术的结合，能支持的智能业务有限.边缘协同智能技术储备期（20122016 年）.该阶段随着深度学习技术的迅速发展，大量引人注目的成果不断涌现，如 2012 年的 AlexNet28和 2015 年的 Inception29分别在 ImageNet 比赛中取得了令人瞩目的成果.随后，更加轻量化的深度学习模型处理技术被不断提出，并应用到边缘设备上，使边缘设备具有了智能化的推理能力30.随着深度学习与边缘计算不断融合，基于边缘协同的智能处理方案开始显现，如在跌倒检测应用中在边缘设备和边缘服务器之间对智能检测算法进行简单拆分31.同时，云原生的虚拟化容器技术，如 Docker，也开始迅速发展.此时与深度学习结合的边缘智能开始成为主流，一些中间件、虚拟化技术也飞速发展，但还未出现以边缘计算资源特点与深度学习模型结构融合的推理方法.边缘协同智能爆发期（2017 年以后）.得益于上个阶段的技术储备，该时期大量的深度学习模型与边缘计算结合，众多边缘协同智能处理方案迅速增长，如边缘计算场景下的分布式协同训练32、联邦学习33；基于模型切割、早期退出等技术的分布式协同推理34-35、浅层的宽度学习系统36与虚拟化技术的结合,使