多元化算力及算效提升思路_蒋明燕.pdf

2023年 第1期0引言2021年7月，工信部发布新型数据中心发展三年行动计划（2021-2023年），明确提出了新型数据中心发展方向及路径。行动计划聚焦高技术、高算力、高能效和高安全的四高特征，以及数云协同、云边协同、数网协同的协同要求，引导我国数据中心高质量发展。在布局方面，形成国家枢纽节点、省数据中心及边缘数据中心的梯次布局；在算力方面，引入算力指标FLOPS（每秒浮点运算次数）对数据中心算力进行评价，引导数据中心从粗放的机架规模增长向高质量的算力算效提升方向演进。2022年2月，国家发改委等四部门连续印发关于同意成渝地区、粤港澳大湾区、长三角地区、京津冀等地区启动建设全国一体化算力网络国家枢纽节点的复函，标志着8个国家算力枢纽节点和10个国家数据中心集群完成批复，全国一体化大数据中心体系完成总体布局设计，“东数西算”工程正式全面启动。“东数西算”是在国家数字经济和“新基建”的大背景下，从国家战略、技术发展、能源政策、区域发展等多重政策考量下启动的一项至关重要的国家工程，将作为数字经济社会的算力资源提升到水、电、燃气等基础资源的高度，统筹布局建设全国一体化算力网络国家枢纽节点，全面推进算力基础设施化。“东数西算”从国家层面将算力基础设施化，促进“超算+”生态的快速发展。在政策和需求的双重驱动下，将“算力三定律”作为底层运行法则的算力时代正在加速到来，算力与电力、热力一样会成为新型生产力，推动数字经济高质量发展，推动社会、生活、科研发生前所未有的巨变1。1多元化算力当前，人类正在进入万物感知、万物互联和万物智能的新时代，包括人工智能、自动驾驶、物联网、工业互联网等在内的海量创新应用对算力提出新的需求，使得算力技术进入新一轮高速创新期。云服务作为通用算力已经成为赋能企业业务单元转型的关键，用户对算力种类数量、有效感知、高效利用等提出了更高的要求，云服务也逐渐向算力服务演进。算力服务指的是以多样性算力为基础，以算力网络为连接，通过云计算技术将异构算力统一输出，并与大数据、人工智能、区块链等技术交叉融合，将算力、存储、网络等资源统一封装，以服务形式进行交付的模式。算力服务以云服务为基础，体现出泛在多元化算力及算效提升思路蒋明燕（上海邮电设计咨询研究院有限公司，上海市200092）摘要将“算力三定律”作为底层运行法则的算力时代正在加速到来，算力与电力、热力一样会成为新型生产力。介绍CPU（中央处理器）、GPU（图像处理单元）、DSP（数字信号处理）和FPGA（现场可编程逻辑门阵列）等多样化算力的特点及适用场景，及由此构成的多元化算力系统。给出数据中心算效的定义，采取选择合适的核心器件、整机优化、架构选择等方式提升服务器算力。做好数据中心选址、充分利用自然冷源、降低制冷系统的能耗、降低供配电系统的能耗、引入先进的运维系统等方式可降低数据中心PUE（电源使用效率），从而实现数据中心算效的提升。关键词东数西算；多元化算力；算效提升技 术 交 流192023年 第1期化、普惠化、标准化的特点。云计算整合异构算力促进算力服务普惠化；云计算覆盖多层级算力促进算力服务泛在化；云计算统一算力输出标准促进算力服务标准化2。常用于数据计算和分析的主要芯片包括CPU（中央处理器）、GPU（图像处理单元）、DSP（数字信号处理）和FPGA（现场可编程逻辑门阵列）。1）CPUCPU是传统计算机运行管理和计算的主要设备，擅长复杂运算，内部拥有丰富的指令集和计算资源，相关的算法开发完善，用户友好度高。但是对于大量多发简单处理的数据，运算能力相较并行设备有很大差距。2）GPUGPU具有超高的运算速度，擅长图像处理、浮点计算和并行计算。另外，OpenCL的提出，也为GPU相应的软件开发提供了便利。但GPU开发也面临着负载均衡、功耗和任务划分等问题。3）DSPDSP是专用的数字信号处理工具，对数字信号采集、处理的效率极高。同时可通过汇编或高级语言进行编程，实时实现方案。但受指令集的时钟周期的限制，DSP适用于系统较低取样速率、低数据率的信号，不能处理频率太高的信号。4）FPGAFPGA如同一张白纸或是一堆积木，工程师可以通过传统的原理图输入法，或是硬件描述语言自由设计一个数字系统。它的集成度很高，可以完成极其复杂的时序与组合逻辑电路功能，可以反复地编程、擦除。在不改变外围电路的情况下，不同片内逻辑设计就能实现不同的电路功能。同时新型FPGA内嵌CPU或DSP内核，支持软硬件协同设计。FPGA的动态可重构技术能够在仅更新配置的一部分资源的同时，保证其余未变动的部分继续工作。通过对FPGA动态重新配置，可以使它在不同的时间执行不同的功能。FPGA可在不同逻辑下执行多个线程，具有较强的并行处理能力，且相较于GPU具有更低的功耗，可实现更高效的计算加速。传统CPU计算已无法满足当前计算力需求，异构计算的基于特定领域架构设计的处理单元成为未来趋势。处理器的发展趋势已从单纯的CPU核数增加，演变成结合GPU、DSP、FPGA等的异构计算资源池。我国算力发展突飞猛进。行业应用方面，有效推进了以“城市大脑”为核心的智慧城市建设，形成解决政务特定场景的解决方案，提供以计算机视觉为支撑的智慧交通场景应用，打造云边一体的工业互联网平台等。算力从传统的CPU，迈入以GPU、NPU（神经网络处理单元）、DPU（深度学习处理单元）、TPU（张量处理单元）等为主导的智能异构算力时代，形成包含通用算力、智能算力、超算算力及前沿算力（如量子计算、光子计算）的多元化算力系统。应对多元化算力的发展现状，我国面临的挑战主要表现在以下三个方面。一是标准体系不成熟。标准体系影响产业规模发展，多样性算力技术线缺乏协调，不同OS（操作系统）、固件、整机、芯片平台兼容性问题突出。多元化算力管理面能力不齐，运行维护复杂，安全风险大。二是评测基准不完善。评测芯片、操作系统或者数据库，系统不够完善，性能评测基准不完善，缺乏引领产业进步的标尺。三是生态发展薄弱。操作系统、数据库、中间件等重要基础软件需要国产优秀软件加速推广应用。FLOPS是对计算机性能的一种衡量方式，国内外不少文献以及服务器产品参数都采用浮点运算次数对算力进行描述。浮点运算次数表示法采用科学计数法来表达，包含3种常见类型。a）双精度浮点数（FP64）：采用64位二进制来表达一个数字，常用于处理的数字范围大而且需要精确计算的科学计算。b）单精度浮点数（FP32）：采用32位二进制来表达一个数字，常用于图像、视频处理计算。c）半精度浮点数（FP16）：采用16位二进制来表达一个数字，适合在深度学习中应用。2数据中心算效及其提升思路CE（数据中心算效）定义为数据中心算力与IT设备功耗的比值3，即“数据中心每瓦功耗所产生的算力”（单位：FLOPS/W），是同时考虑数据中心计算性能与功耗的一种效率。技 术 交 流202023年 第1期显而易见，数据中心算效提升可以通过扩大分子（即提升服务器算力）和缩小分母（即降低数据中心PUE电源使用效率）来实现。2.1提升服务器算力提升服务器算力可以从以下几个方面着手。2.1.1核心器件选择服务器的核心器件包括处理器、内存、内核数、主频、制程等。CPU作为核心器件和能耗大户，对服务器的算效起主要影响作用。主流服务器算力情况见表1。以某运营商主流服务器算力情况为例，可以看到，服务器的算力随着CPU核心的增加而显著增加。Intel 6348H（24 Cores，2.30 GHz）的 算 力 为Intel 4316（20 Cores，2.30 GHz）的2.4倍。主流GPU卡算力情况见表2。GPU的单卡算力也差异明显，华为Ascend 910 GPU卡的算力为AMD RadeonTMPro WX 5100的近21倍。2.1.2整机优化1）电源系统针对不同配置选择合适的电源模块规格。电源的半载点效率最高，不同配置的服务器系统可选择合适功耗的电源，使实际功耗尽量匹配效率最高的半载点。不同的冗余方案（主备、负载分担）需要考虑不同的电源规格，使电源模块工作在更高效率的负载点。此外，还可以考虑高压直流双路供电方式或一路交流（市电直供）+一路高压直流双路供电方式，相比传统的交流UPS（不间断电源）方案可以提升供电系统的综合能效。目前新建的互联网数据中心，综合考虑成本和可靠性而大量采用该供电方式，消除了系统的单点故障瓶颈，提高了供电的可靠性。在每个机架内提供了交/直流两路电源，无需电能的转换，可最大程度提高系统效率。以某项目机房供电系统采用一路市电一路高压直流方案为例，设计一路市电电源，另一路1组共8套800 A/240 V高压直流供电系统共同为机房IT设备供电。市电电源系统采用低压配电柜和交流精密列头柜，高压直流系统采用高压直流输电成套设备和直流精密列头柜，2套系统为服务器等双电源设备提供双回路供电。每个机柜设计配置2路分别来自市电电源和高压直流电源的电源，全面保障IT设备的用电安全。市电+高压直流双路的供电效率达98%，比传统供电方案高近10%；2N供电，高可靠、拓扑简单、可靠性高；技术实现简单，无需定制设备。目前主流的服务器、存储及网络设备厂商均支持上述供电方式，该方式也已在IDC（互联网数据中心）、互联网云服务商、电信运营商中推广使用。2）CPU节能技术CPU节能技术主要有两大类：C状态和P状态。C状态节能是服务器空闲时的功耗管理，当CPU不执行任何指令时，CPU部分组件通过降频、表1主流服务器算力情况CPU型号核数主频/GHz单服务器算力/TFLOPS单核算力/TFLOPSIntel 4316（20 Cores，2.30 GHz）402.35.88800.1472Intel 5320（26 Cores，2.20 GHz）522.27.32160.1408Intel 6348（28Core，2.60 GHz）562.69.31840.1664Intel 6348H（24 Cores，2.30 GHz）962.314.13120.1472Intel 8378A（32核，3.0 GHz）64312.28800.1920Intel 8378C（38核，2.8 GHz）762.813.61920.1792表2主流GPU卡算力情况厂家型号单卡F32算力/TFLOPSAMDRadeonTMPro WX 51003.89NVDIAT48.1NVDIAV10014NVDIAA1031.2NVDIAA10019.5华为Ascend 91080技 术 交 流212023年 第1期关电和关时钟等，实现最大化的节能目的。P状态节能是在服务器运行时的功耗节能技术，就是CPU根据资源使用情况自动调节频率电压，在低负荷时可以降低功耗。P态节能：启用BIOS（基本输入输出系统）中P-state选项，使能Intel Speed Shift技术，CPU自动根据不同的业务负载自动调节处理器的电压和频率，以减少耗电量和发热量，默认情况下频率调节范围为800 MHz/1 GHz到最大频率。P态节能级别包括P0、P1、Pn，数字越大，频率越低，功耗越低，节能效果越好。C态节能：启用BIOS选项中C-State相关选项后，CPU自行根据负载状态，自动进入不同的休眠状态或者活跃状态，减少能耗。Core的C态节能级别包括CC0、CC1、CC3、CC6，Package的C态节能包括PC0、PC1、PC3、PC6，数字越大，功耗越低，节能效果越好，唤醒时间越长。3）散热优化技术设计优化风道，包括散热孔、导风罩、散热器、风机选择、风扇控制等方面，实现降低风扇转速、降低系统功耗及噪声的效果。机框侧面、上部、后部开孔与风道优化，提高进出风量。硬盘盒开孔，风道优化，提高通风面积。电源模块两侧布置使系统风道更优化均匀，改善系统散热的同时优化电源模块散热。仿真优化设计导风罩。针对高功率CPU，选用高效热管散热器。选择高效率的风扇和高导热的界面材料。根据外部环境温度、关键器件，结合业务负载智能调速风扇。4）服务器节能管理技术通过服务器管理系统，对服务器运行的应用进行规整部署。运行业务较少的服