通用CPU性能基准测试研究综述_史惠康.pdf

第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023通用CPU性能基准测试研究综述史惠康1，王泽胜2，张士宗2，高翔3，赵有健1（1.清华大学计算机科学与技术系，北京 100084；2.中国电子技术标准化研究院，北京 100007；3.龙芯中科技术股份有限公司，北京 100095）摘要：CPU性能基准测试旨在给出可对比、定量的指标数据，为产品选型提供依据，它已成为引领计算产业发展的风向标之一.CPU技术发展迅速，性能基准测试也在不断演进.本文对包含SPEC CPU在内的主流基准测试进行了研究，从测试目标、测试方法等角度，综述主流CPU基准测试的演进过程、最新研究成果，以及通用CPU性能指标和基准测试需求，分析了通用CPU性能基准测试所面临的挑战，并对今后可能的研究趋势进行了展望.关键词：通用CPU；测试基准；性能测试；评价指标；基准测试程序集中图分类号：TP306 文献标识码：A 文章编号：0372-2112(2023)01-0246-11电子学报URL:http:/ DOI:10.12263/DZXB.20220169Performance Evaluation Benchmark of General-Purpose CPU：A SurveySHI Hui-kang1,WANG Ze-sheng2,ZHANG Shi-zong2,GAO Xiang3,ZHAO You-jian1(1.Department of Computer Science and Technology,Tsinghua University,Beijing 100084,China;2.China Electronic Standardization Institute,Beijing 100007,China;3.Loongson Technology Corporation Limited,Beijing 100095,China)Abstract:CPU performance evaluation benchmark aims to provide comparative and quantitative index data for product selection.It is one of the vane leading the development of computing industry,and as CPU technology evolves rapidly,performance benchmarks are evolving.This paper systematically reviews the mainstream benchmarks including the SPEC CPU.From the perspectives of evaluation objectives and methods,the evolution,recent research results of the mainstream CPU benchmarks,and the performance metrics and benchmark requirements of general-purpose CPU are reviewed.Finally,this paper analyzes the challenges of general-purpose CPU performance evaluation benchmarks and prospects for possible future research trends.Key words:general-purpose CPU;benchmark;performance evaluation;evaluation indicator;benchmark suites1引言在计算产品测试领域，基准测试常用于评估软硬件的性能1.通过运行一组或多组可重复的标准测试程序，基准测试能够评估被测对象性能的优劣，给出可对比、可衡量的指标数据，为产品选型、提升质量、指导研发提供依据.当前，计算产品性能基准测试凭借其基础性、普适性等显著优势，已成为引领CPU和计算机整机等计算产品性能发展的风向标，被广泛应用在计算产业的各领域.如文献 2 利用性能基准测试提升机器学习算法效率；文献 3 基于性能基准测试结果，指导系统架构完善；文献 4 通过给出硬件基础性能、功耗，以及面积和准确度等综合指标，优化智能芯片的设计；文献 5 通过基准测试为数据中心与计算集群的节能和均衡优化调度提供依据等.CPU是信息技术产业的核心基础元器件，对其性能进行测试至关重要6.通过设置不同使用场景和关键性能指标，CPU性能基准不仅可以帮助芯片厂商发现问题瓶颈、提升产品能力，而且可以帮助行业建立公开透明的评价准则、促进优胜劣汰，进而带动CPU产业整体水平和竞争力提升，加速技术创新.“斯诺登事件”以来，信息基础设施自主可控逐渐受到各国的重视，研发推广X86架构之外的通用CPU，例如ARM，RISC-V，Alpha，MIPS等指令集架构，已成为推动信息产业变革发展的主要路径之一.近年来，采用X86，ARM等不同指令集架构，常用于服务器和桌面计算的异构通用CPU加速迭代升级，不同架构CPU在功耗、适用场景等收稿日期：2022-02-15；修回日期：2022-10-30；责任编辑：宋甲英第 1 期史惠康:通用CPU性能基准测试研究综述方面各有优势7，8.但主流CPU性能测试工具与方法主要围绕X86架构芯片设计，如何对异构通用CPU的质量水平进行科学评价，成为引导技术突破、支撑重大信息化工程建设和促进行业发展的关键.围绕异构通用CPU开展性能基准测试研究，也逐渐成为学术界和产业界关注的重点9，10.近年来，面向通用CPU的性能基准测试发展迅速，有学者针对特定的基准测评工具涉及的相关参数、测试场景等进行了归纳.如文献 11 对 SPEC CPU 2006基准测试程序组件集进行了研究，并分析了评价指标及使用方法.文献 12 讨论了在嵌入式系统中开展基准测试的基本方法，分析了对比测试原理、测试环境的构建以及主要的测试过程.许多学者针对不同程序合成方法、测试算法等开展了前沿研究.如文献 13 围绕深度神经网络学习和加速优化的基准方法，梳理了当前存在的技术挑战和未来发展趋势.文献 14 基于多核系统性能优化，通过线程级测试方法构建了一种面向多核系统的测试基准.文献 15 对各类深度学习加速器进行梳理，并在此基础上提出了一种适合多场景的鲁棒测试基准和测试方法.不同于以上文献，本文从测试目标、测试方法的角度综述了CPU基准测试的发展现状和趋势，并对测试工具的演进和最新成果进行对比分析，旨在为研究者提供一个覆盖SPEC、TPC等多类性能基准测试工具和多线程、跨平台等各类场景，以及包含速度和速率性能指标分类、基于预置模型的测试结果修正等创新方法的说明，增加相关人员对通用CPU性能基准测试研究的理解，并使其得到启发.2性能基准测试及其演进性能基准测试的目标是提供一种定义并计算产生一系列量化指标数值的基础通用方法，手段是通过运行基准测试程序获得相关指标的评分，以此来比较不同CPU、应用程序乃至不同体系结构软硬件产品的性能，实现CPU及计算机整机之间的直观性能比较.自20世纪60年代以来，性能基准测试程序就被视为 CPU 和计算机整机性能的一种重要测试对比工具16.最初的性能基准测试程序仅以简单的加、乘等指令作为指标.20世纪80年代，可以衡量整型及浮点型计算能力的小型性能基准测试受到各界的广泛关注17.然而，这类性能基准测试程序由于定义宽泛而逐渐被边缘化，标准性能评估机构（Standard Performance Evaluation Corporation，SPEC）、事务处理性能委员会（Transaction Processing Performance Council，TPC）等专业化性能基准测试组织成立后，CPU相关产品的性能基准测试才逐步确定，并发展成为学术界和产业界公认的事实准则18.目前，性能基准测试程序已基本形成了技术指标体系化、被测产品多样化的格局，可满足用户对不同维度性能测试的需求，包括计算能力、二维和三维图形处理能力、多媒体处理能力、大数据处理能力、多线程能力等.2.1通用CPU性能指标及其基准测试需求CPU性能表现受诸多因素影响，包括结构参数、接口参数、物理参数以及多核参数等19，如图1所示.在各类参数中，核心数量、生产工艺、主频、缓存大小等是决定CPU计算能力的直接因素，而多线程能力、指令调度能力乃至指令集类型同样对CPU的整体性能产生影响.仅通过简单的参数对比来决定性能的方法存在局限性.比如，由于CPU的内部结构不同，不能完全通过主频来对比CPU的性能，主要原因是在并行计算需求不断增长的趋势下，多核计算也成为影响CPU整体性能的重要因素.考虑到对CPU进行孤立测试以获取其性能表现的方式仅适用于生产环境，且实际参考价值有限，通常基准测试程序均采用面向部分应用场景，综合多类基准测试指标的集成测试的方式对计算系统进行整体评估，进而有针对性地反映CPU的性能7.纵观CPU指令集架构发展史，工程驱动的软硬件生态建设、用户群体规模等决定了CPU应用的广度和深度.目前，多指令集共存并行发展已成为常态20，这给工程应用带来了一定的困难.此外，为推动CPU加速创新发展，兼具前瞻性的应用场景也成为CPU性能基准测试的关键考虑因素，这主要体现在5G、人工智能、图像计算、自动驾驶、物联网，以及 CPU 与 GPU/FPGA集成应用的异构计算等层出不穷的新技术，对CPU性能提出了全新的需求.为适应新的变化，CPU性能基准测试从最初的仅关注裸性能发展为关注裸性能、系统性能等各维度，各类测试工具也应运而生.本文有关通用CPU性能基准测试综述的整体结构如图2所示.2.2常用的性能基准测试2.2.1SPECSPEC性能基准测试于1988年由标准性能评估机构SPEC提出，目前已发展成为包含CPU性能、服务器能效、文件系统性能、高性能计算、Web应用性能等在内的基准测试簇21.其中 SPEC CPU 系列基准是公认的、具有事实性影响力的CPU性能基准测试标准，通过测试程序在被测系统和基准系统中执行时间的比值来考察系统CPU运算性能22，原理如图3所示.多年来，SPEC CPU性能基准测试与CPU的发展相互促进，基准测试程序不断演进升级，CPU技术和产业应用也加速创新发展.20世纪90年代初，整型运算和浮点型运算的分化应用，使得传统的MIPS度量（单字长定点指令平均执行速度）的指导性大幅降低，难以形247电子学报2023 年成对 CPU技术和产品的有效规范.SPEC CPU 92通过调整测试基准来应对行业需求，迅速取代MIPS度量，成为产业界公认的事实标准23，也驱动各界在提升整型运算和浮点型运算的同时，积极寻求新的CPU技术突破方向.随着技术的创新迭代，CPU时钟频率加速攀升，高速缓存容量持续增大、性能不断提高，也使得SPEC CPU 92的性能测试受到较大的影响24.为进一步提升测试准确性，业界推出了SPEC CPU 95，在应对新的容量、性能测试需求时，提供了更全面的场景来丰富CPU性能测试能力，引导技术创新由局限于关注裸性能向注重实际场景应用效果转变.SPEC CPU 2000延续了SPEC CPU 95由两套基准测试程序分别测试CPU整型运算性能和浮点运算性能模式.同时，为更好地应对不断普及的多核处理器计算系统测试需求，保证测试结果的科学性和合理性，SPEC CPU 2000分别设置了不同的度量方法针对单核处理器和多核处理器计算系统进行测试.其中，单核处理系统主要测量系统的运算速度指标，即单位工作量需要多少时间来完成；而多核处理器系统则主要测量系统的吞吐量，即系统在给定时