基于精准通信建模的脉冲神经网络工作负载自动映射器_华夏.pdf

2023 03 10计算机应用,Journal of Computer Applications2023,43(3):827-834ISSN 10019081CODEN JYIIDUhttp：/基于精准通信建模的脉冲神经网络工作负载自动映射器华夏1，朱铮皓1，徐聪1，张曦煌1*，柴志雷1，2，陈闻杰3（1.江南大学 人工智能与计算机学院，江苏 无锡 214122；2.江苏省模式识别与计算智能工程实验室（江南大学），江苏 无锡 214122；3.软硬件协同设计技术与应用教育部工程研究中心（华东师范大学），上海 200062）（通信作者电子邮箱）摘要：在分布式计算平台上运行大规模的脉冲神经网络（SNN）是提升类脑计算智能水平的基本手段之一，它的难点在于如何将SNN部署到对应数量的计算节点上，使整体系统的运行能效最佳。针对以上问题，在基于NEST的SNN工作负载自动映射器（SWAM）的基础上，提出一种基于精准通信建模的SNN工作负载自动映射器（SWAM2）。在SWAM2中，基于NEST仿真器对SNN工作负载的通信部分进行精准建模，并改进工作负载模型中参数的量化方法，设计了最大网络规模预测方法。在SNN典型案例上的实验结果表明，在工作负载通信以及计算时间的预测中，SWAM2的平均预测误差比SWAM分别降低12.62和5.15个百分点；在对工作负载最佳映射的预测中，SWAM2的平均准确率为97.55%，比SWAM高13.13个百分点。SWAM2通过自动预测SNN工作负载在计算平台上的最佳部署/映射，避免了手动反复实验的过程。关键词：脉冲神经网络；工作负载映射；分布式计算平台；NEST仿真器；计算能效中图分类号：TP302 文献标志码：AWorkload automatic mapper for spiking neural network based on precise communication modelingHUA Xia1，ZHU Zhenghao1，XU Cong1，ZHANG Xihuang1*，CHAI Zhilei1，2，CHEN Wenjie3（1.School of Artificial Intelligence and Computer Science，Jiangnan University，Wuxi Jiangsu 214122，China；2.Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence（Jiangnan University），Wuxi Jiangsu 214122，China；3.MoE Engineering Research Center for Software/Hardware Co-design Technology and Application（East China Normal University），Shanghai 200062，China）Abstract:Running a large-scale Spiking Neural Network（SNN）on a distributed computing platform is one of the basic means to improve the level of brain-like computing intelligence.The difficulty lies in how to deploy the SNN to the corresponding number of computing nodes in order to make the overall system run with the best energy efficiency.To solve this problem，on the basis of NEural Simulation Tool-based（NEST-based）Workload Automatic Mapper for SNN（SWAM）proposed by others before，a workload automatic mapper for SNN，named SWAM2，based on precise communication modeling was proposed.In SWAM2，based on the NEST simulator，the communication part of the SNN workload was further accurately modeled；the quantization method of the parameters in the workload model was improved；the maximum network scale prediction method was designed.Experimental results on typical cases of SNN show that，the average prediction errors of SWAM2 were reduced by about 12.62 and 5.15 percentage points respectively compared with those of SWAM in workload communication and computing time prediction.When predicting the optimal mapping of the workload，the average accuracy of SWAM2 reached 97.55%，which was 13.13 percentage points higher than that of SWAM.SWAM2 avoids the process of manual trial and error by automatically predicting the optimal deployment/mapping of SNN workload on computing platform.Key words:Spiking Neural Network(SNN);workload mapping;distributed computing platform;NEural Simulation Tool(NEST)simulator;calculation energy efficiency0 引言 以脉冲神经网络（Spiking Neural Network，SNN）1为代表的类脑计算在神经科学领域有着重要意义。目前针对SNN的很多研究采用软件模拟方式2-3，比较成熟的类脑仿真器如 NEST（NEural Simulation Tool）4、Brain25、Brian2GeNN（links Brian to Gpu enhanced Neuronal Network）6和CARLsim7等精确度高、灵活性强，因此应用广泛。在实现平台方面，由于SNN本身具有明显的分布式计算特点，且达到一定规模的SNN才能展现出较强的智能水平，因此搭建大规模分布式平台是构成类脑计算平台的主流方式。专用的类脑计算平台8-10理论上能够取得更高的性能与文章编号：1001-9081（2023）03-0827-08DOI：10.11772/j.issn.1001-9081.2022010078收稿日期：20220120；修回日期：20220406；录用日期：20220414。基金项目：国家自然科学基金资助项目（61972180）。作者简介：华夏（1997），男，江苏无锡人，硕士研究生，CCF会员，主要研究方向：类脑计算；朱铮皓（1996），男，江苏无锡人，硕士研究生，主要研究方向：类脑计算；徐聪（1997），男，浙江湖州人，硕士研究生，CCF会员，主要研究方向：类脑计算；张曦煌（1962），男，江苏无锡人，教授，博士，CCF会员，主要研究方向：嵌入式系统；柴志雷（1975），男，山西新绛人，教授，博士，CCF会员，主要研究方向：计算机体系结构；陈闻杰（1977），男，浙江金华人，副教授，博士，主要研究方向：嵌入式系统。第 43 卷计算机应用功耗指标，但是当专用计算平台和所运行的SNN工作负载不匹配时，计算能效会大打折扣，甚至还不如通用计算机系统11。因此，针对特定的SNN工作负载，如何找到它在对应分布式计算平台上的最佳映射是类脑计算领域的重要问题。针对以上问题，刘俊秀等12提出一种动态优先级仲裁策略以解决SNN硬件实现系统上的脉冲传输负载不均衡问题，有效提高了系统的稳定性。Balaji等13设计了一种将SNN映射到神经形态芯片上的方法，通过合理映射有效减少了脉冲传递延迟和计算能耗。刘家华等14设计了一种将神经元映射到多核并行计算平台上的方法，提升了并行计算环境下SNN的仿真效率。Qu等15采用了带时间戳的稀疏矩阵存储方法，有效优化了类脑计算平台的负载不平衡问题，提高了平台上的SNN仿真速度。Titirsha等16对神经形态芯片进行了总能耗建模，并提出一种基于启发式的映射方法，能为神经元和突触分配合理的计算资源，降低了神经形态芯片的能耗。Song 等17提出了一种基于同步数据流图（Synchronous DataFlow Graphs，SDFGs）的方法，将 SNN映射到多核硬件实现系统，并实现了系统吞吐量和资源消耗之间的平衡。这些工作提升了类脑计算平台和芯片的稳定性与运行性能，但是这些映射方法与优化设计尚未综合考虑多个方面的SNN工作负载特性。在众多类脑仿真器中，NEST仿真器在 SNN研究应用广泛，它支持多种复杂程度各异的神经元和突触模型，在分布式计算平台上具有十分优秀的可扩展性18。在研究基于NEST 的 SNN 工作负载方面，Kunkel 等19在 NEST 仿真器中设计了一种“NEST dry-run”模式，通过投入一个进程进行网络仿真即可有效预测多进程并行环境下的内存和计算时间负载消耗。Nguyen 等20分析了 NEST 仿真器运行 SNN 的时间代价，提出了中央处理器（Central Processing Unit，CPU）和图形处理器（Graphic Processing Unit，GPU）协同工作时的SNN仿真时间预测模型。上述工作虽然解决了类脑计算平台负载消耗预测的问题，但是没有从计算与通信负载平衡的角度考虑计算平台合理映射的问题。2021年，笔者所在小组对SNN进行了工作负载分析，针对NEST仿真器建立了内存、计算和通信负载模型，实现了一种 基 于 NEST 的 SNN 工 作 负 载 自 动 映 射 器（Workload Automatic Mapper for SNN，SWAM）21。SWAM能够预测SNN的工作负载和在计算平台上的映射结果，并给出映射指导。然而SWAM尚未深入研究通信的实现机制、缺乏有效的负载模型参数获取方法。在实际运行时，SWAM存在针对通信工作负载的预测精度不高、对大规模网络适用性较差的问题。因此，本文在SWAM基础上进一步分析NEST通信机制及通信操作算法，建立更精准的通信负载模型；针对负载模型中部分具有实时性的参数以及精准通信负载模型中的新增参数，设计了参数量化方法；设计了最大网络规模预测模块，提供了对不同计算平台的最大网络承载规模预测功能；在此基础上实现了包含精准通信模型和新增功能的工作负载自动映射器SWAM2。1 研究背景 1.1脉冲神经网络及其工作负载映射问题SNN是类脑计算的基础，被誉为第三代人工神经网络，具有低能耗和高效率的特点。SNN的主要构成要素包括神经元、突触、连接拓扑、学习机制与可塑性等。SNN运行过程可以分为神经元计算和