20220424-中国信通院-数据中心白皮书（2022年）.pdf

数据中心数据中心白皮书白皮书 中国信息通信研究院 中国信息通信研究院 2022022 2年年4 4月月 No.202206（2022 年）年）版权声明 版权声明 本白皮书版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。本白皮书版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。eVcU8WxXmMnOaQcM8OnPrRmOoMjMrRzQiNsQpRaQoPqPvPtPxONZqRqQ 前前 言言 在数字经济时代，算力正在成为一种新的生产力，广泛融合到社会生产生活的各个方面，为千行百业的数字化转型提供基础动力。数据中心是算力的物理承载，是数字化发展的关键基础设施。近年来，国家高度重视数据中心产业的发展，“十四五”规划和 2035 年远景目标纲要中明确提出要“加快构建全国一体化大数据中心体系，强化算力统筹智能调度，建设若干国家枢纽节点和大数据中心集群，建设 E 级和 10E 级超级计算中心”。工业和信息化部（以下简称“工信部”）、国家发展和改革委员会（以下简称“国家发改委”）等先后出台新型数据中心发展三年行动计划（2021-2023 年）、全国一体化大数据中心协同创新体系算力枢纽实施方案等重要政策文件，有效规范了我国数据中心产业发展。当前，我国数据中心产业正由高速发展向高质量发展全面演进。布局方面，全国一体化大数据中心、新型数据中心等政策文件的出台及“东数西算”工程的实施，为数据中心协同、一体化发展指明了方向，推动全国数据中心产业布局不断优化。市场方面，多样化的算力需求不断涌现，为通用、智算、超算及边缘等不同类型和形态的数据中心发展提供了有效的市场牵引，推动我国数据中心市场规模持续增长。技术方面，储能、蓄冷、高密度、算力网络、智能运维、超融合架构等技术的创新，加速推动数据中心向大型化、智能化、绿色化方向发展。未来，我国数据中心市场仍将保持高速增长，产业布局及生态也将不断优化，可为用户提供泛在、智能、可 靠的算力资源。本白皮书基于全球视角和我国现状，对数据中心产业总体及热点情况进行了梳理，从技术、政策等维度对我国数据中心产业发展进行了重点分析，并对我国数据中心发展进行了展望。目目 录录 一、产业持续稳定发展.1(一)规模方面，全球新增相对稳定，我国保持快速增长.1(二)收入方面，全球市场平稳增长，我国维持较高增速.3(三)需求方面，新兴市场需求强劲，我国应用场景多样.5(四)竞争方面，竞技舞台范围扩大，并购推动强者愈强.8(五)低碳方面，技术机制不断完善，节能实践快速推进.10(六)政策方面，我国央地协同联动，推动低碳高质发展.12 二、创新主导变革趋势.17(一)新能源技术应用更加深入，助力绿色低碳发展.18(二)运维智能化程度不断提升，实现运维效率提升.19(三)预制模块化技术深度融合，项目建设周期缩短.23(四)液冷技术商用条件渐成熟，实践案例不断增多.24(五)高密服务器研发部署加快，单位面积算力提升.26(六)备份一体机市场快速增长，容灾备份能力增强.27(七)新存储访问协议不断演进，网络存储深度融合.29(八)泛在算力互联需求将增多，算力网络创新加速.30 三、我国数据中心发展趋势.31(一)布局逐步优化，协同一体趋势增强.32(二)创新驱动持续，技术水平不断提升.32(三)算网协同加快，泛在算力高质发展.33(四)赋能效应深化，数字转型支撑显著.34(五)低碳要求趋严，助力双碳目标实现.35 附录.36 图图 目目 录录 图 1 全球服务器年增加量.2 图 2 我国数据中心机架规模.3 图 3 全球数据中心市场规模.4 图 4 我国数据中心市场规模.5 图 5 不同场景下的异构算力需求.7 图 6 技术、管理及金融创新助力数据中心绿色低碳发展.10 图 7 谷歌数据中心以小时单位无碳能源全年使用情况示意图.11 图 8 绿色低碳数据中心优秀案例.12 图 9 数据中心绿色等级评估和数据中心低碳等级评估.16 图 10 某数据中心楼顶光伏板.19 图 11 数据中心运维发展历程.20 图 12 数据中心智能化运营等级评估.21 图 13 智能化运营数据中心优秀案例.22 图 14 模块化数据中心发展历程.24 图 15 IT 设备浸没在冷却液中的示意图.24 图 16 2020 年全球数据中心平均单机架功率情况.27 图 17 含备份一体机的备份系统整体架构.28 图 18 NVMe-oF 存储网络.29 图 19 NVMe-oF 支持多种传输层协议.30 图 20 数据中心算力网络发展趋势.31 图 21 中国算力大平台.34 表表 目目 录录 表 1 国家新型数据中心典型案例名单（2021 年）-大型数据中心.36 表 2 国家新型数据中心典型案例名单（2021 年）-边缘数据中心.38 数据中心白皮书（2022年）1 一、产业持续稳定发展 以数字技术为核心驱动的第四次工业革命正在给人类生产生活带来深刻变革，数据中心作为承载各类数字技术应用的物理底座，其产业赋能价值正在逐步凸显。国际方面，世界主要国家均在积极引导数据中心产业发展，数据中心市场规模不断扩大，投资并购活跃，竞争日益激烈。国内方面，“新基建”的发展及“十四五”规划中数字中国建设目标的提出，为我国数字基础设施建设提供了重要指导，我国数据中心产业发展步入新阶段，数据中心规模稳步提升，低碳高质、协同发展的格局正在逐步形成。(一)规模方面，全球新增相对稳定，我国保持快速增长(一)规模方面，全球新增相对稳定，我国保持快速增长 全球数据中心新增相对稳定。按照全球服务器年增加量统计，2015 年-2021 年全球年新增投入使用服务器规模相对稳定，净增加值也相对稳定，预计未来几年数据中心规模仍将保持平稳增长，具体见图 1。数据中心白皮书（2022年）2 来源：Gartner、中国信息通信研究院 图 1 全球服务器年增加量（兆瓦）我国数据中心机架规模持续稳步增长，大型以上数据中心规模增长迅速。近年来，我国数据中心机架规模稳步增长，按照标准机架 2.5kW统计，截止到 2021年年底，我国在用数据中心机架规模达到 520 万架，近五年年均复合增速超过 30%。其中，大型以上数据中心机架规模增长更为迅速，按照标准机架 2.5kW 统计，机架规模420万架，占比达到 80%。010002000300040005000600070002015201620172018201920202021亚太 北美 南美 东欧 西欧 中东&非洲 数据中心白皮书（2022年）3 来源：工信部信息通信发展司 图 2 我国数据中心机架规模(二)收入方面，全球市场平稳增长，我国维持较高增速(二)收入方面，全球市场平稳增长，我国维持较高增速 数据中心市场收入方面，2021 年全球数据中心市场规模超过679 亿美元1，较 2020 年增长 9.8%。预计 2022 年市场收入将达到746亿美元，增速总体保持平稳，具体见图 3。1 全球数据中心市场收入来自于数据中心服务商的收入统计，仅包括数据中心基础设施相关收入，不包括云服务等收入，主要为数据中心产生的收入，企业自用数据中心不产生相关收入。数据中心白皮书（2022年）4 来源：中国信息通信研究院 图 3 全球数据中心市场规模 受新基建、数字化转型及数字中国远景目标等国家政策促进及企业降本增效需求的驱动，我国数据中心业务收入持续高速增长。2021 年，我国数据中心行业市场收入达到 1500 亿元左右2，近三年年均复合增长率达到 30.69%，随着我国各地区、各行业数字化转型的深入推进，我国数据中心市场收入将保持持续增长态势，具体见图 4。2 我国数据中心市场收入指数据中心基础设施相关业务收入，包括机柜租用、带宽租用、服务器代理运维等服务，不包含云计算业务收入，主要依据数据中心牌照企业的收入数据统计计算。465.5 513.3 566.6 618.7 679.3 746.5 10.3%10.4%9.2%9.8%9.9%8.6%8.8%9.0%9.2%9.4%9.6%9.8%10.0%10.2%10.4%10.6%0.0100.0200.0300.0400.0500.0600.0700.0800.0201720182019202020212022E全球市场收入（亿美元）增速 数据中心白皮书（2022年）5 来源：中国信息通信研究院 图 4 我国数据中心市场规模(三)需求方面，新兴市场需求强劲，我国应用场景多样(三)需求方面，新兴市场需求强劲，我国应用场景多样 从全球范围来看，受全球数字经济加速发展促进，印度、南非等新兴市场逐步加强对数据中心的政策支持和产业投入，成为拉动全球数据中心需求增长的重要增长极。2015 年启动的“数字印度”计划为印度的数字化发展提供持续助力，大数据中心建设是该计划的重要内容之一。2021 年南非通讯和数字科技部发布了国家数据和云政策草案，该草案对国家高性能计算和数据处理中心的建设作出了指引，高性能计算和数据处理中心主要由现有的 Sentech 和Broadband Infraco 两个数据中心合并而成，上述数据中心将为各级政府、企业及高校提供云服务。以政府力量为主导的数据中心建设，将为南非数字经济发展打下坚实基础。在市场方面，印度智能终端设备及数字化消费场景日渐丰富，512.8 680.1 878.3 1167.5 1500.2 1900.7 32.6%29.1%32.9%28.5%26.7%0.0%5.0%10.0%15.0%20.0%25.0%30.0%35.0%0200400600800100012001400160018002000201720182019202020212022E市场收入（亿元）增长率 数据中心白皮书（2022年）6 数据算存需求激增，同时新冠疫情的加剧，使得更多线下业务活动转向线上，旺盛的数字技术应用及消费需求为印度数据中心产业发展提供了有利的外部环境。跨国企业对印度数字经济发展保持乐观态度，并通过数据中心建设强化数字服务能力，2020 年亚马逊向印度特伦甘纳邦投入 28 亿美元用于在该邦建立新的服务区，这将是亚马逊在印度的第二个云计算区域，亚马逊对印度数据中心市场投入的持续增加，将使其更好地满足印度数据本地化政策。同时，2019年字节跳动宣布未来三年对印度市场投资 10 亿美元，其中数据中心的投资占比较大。与投资活跃的印度市场相比，跨国公司对南非市场的投入则尚处于起步阶段，2019 年微软率先宣布启用位于南非的数据中心，成为全球主要云服务商中率先入驻非洲的企业之一；2020 年亚马逊在南非的首个云数据中心正式启用，该数据中心为数百万客户提供便捷的云计算服务，随着南非数字经济发展进程的不断加快，预期将会有更多的数据中心及云服务商进军南非市场。从我国范围看，高新技术、数字化转型及终端消费等多样化算力需求场景不断涌现，算力赋能效应凸显。在高新技术方面，高度复杂的计算场景需要更多高性能算力支持，而超算可通过高性能算力为医疗、航天及勘探领域提供支撑。当前，E 级超算已经成为世界各国在超算领域开展竞赛的重要方向，我国超算在算力、算效等方面仍有较大的提升空间。在产业数字化转型方面，互联网、通信及金融等现代服务业需面向大量终端客户提供服务，企业数字技术应用较为成熟，数字化程度高。随着十四五规划等政策的出台，以数据中心白皮书（2022年）7 及技术研发和业务应用的持续演进，我国传统工业企业，如国家电网、南方电网、中石油、中石化等也开始积极推动算力基础设施建设，为企业数字化转型提供支撑。在移动消费及智能终端方面，近年来我国移动终端用户及智能终端设备数量快速增长，终端设备应用场景不断丰富，对实时算力的需求不断提升。来源：中国信息通信研究院 图 5 不同场景下的异构算力需求 在算力形态方面，我国数据中心形态多样化发展趋势逐渐显现，智算中心、边缘数据中心将保持高速增长。长期以来，我国数据中心主要以通用算力为主，超算、智算及边缘数据中心应用和数量还待增长。随着我国高性能计算、AI 计算及边缘计算需求的提升，超算、智算及边缘数据中心将得到进一步发展，算力呈现多样化的发展趋势。当前，通用算力的数据中心仍是市场主力，按机架规模统计，占比超过 90%；超算中心主要应用于国家重大科研领域，商业应用场景较少；智算中心从早期实验探索逐步走向商业试点，尽管现有规模占比不高，但随着我国各类人工智能应用场景的丰富，智数据中心白皮书（2022年）8 算需求将快速增长，预期规模增速将达到 70%；边缘数据中心能够为智能终端、物联设备提供实时算力，随着我国数字化转型的加快，包括工业互联网的发展，边缘计算需求将进一步提升，边缘数据中心的规模增速有望达到 30%。应用场景的多元化对数据中心功能定位提出了新要求，数据中心已经不仅是承载云计算、大数据及人工智能等数字技术应用的物理底座，也正在成为一种提供泛在普惠算力服务的基础设施，广泛参与到社会生产生活的各个领域并实现全面赋能。(四)竞争方面，竞技舞台范围扩大，并购推动强者愈强(四)竞争方面，竞技舞台范围扩大，并购推动强者愈强 为丰富业务来源，头部数据中心运营商积极拓展本土外市场，扩 张 产 业 版 图。中 国 电 信、中 国移 动、CenturyLink 和 NTT Communications 等为代表的基础电信运营商，及 Equinix、Digital Reality Trust、万国数据等为代表的第三方数据中心运营商，依靠建设起步早的先发优势已在本土持有大规模数据中心资源。在不断发展历程中，基础电信运营商和第三方数据中心运营商依靠资源、资金及技术研发优势，通过培育自主品牌、拓宽国际营销渠道和提供全方位配套的数据中心服务在全球范围内加速数据中心布局。如全球领先的数据中心运营商 Equinix在新加坡、香港、东京、悉尼、雅加达等地均有数据中心布局；万国数据 2021 年初步形成东南亚市场布局，将在马来西亚、印度尼西亚投建超大规模数据中心园区；中国移动国际有限公司（CMI）在 2021 年投入使用位于德国法兰克福数据中心白皮书（2022年）9 的数据中心。随着越来越多的巨头企业不局限于本土市场，积极扩张数据中心产业版图，全球数据中心竞技舞台将进一步扩大，“出海”企业需加强技术研发和资源获取，以保障更大的竞争突围优势。数据中心行业迎来并购潮，大额交易频现，市场格局或将呈现强者愈强态势。在全球推行低碳节能战略背景下，发达城市及周边区域的资源越来越难获取，同时由于新建数据中心项目往往需要 1-2 年建设周期，融资便捷、资金充足、组织灵活的数据中心市场主体多采取并购方式“购买”数据中心资源或项目，以此扩大业务规模。以我国情况为例，目前行业内以两类并购方式为主。第一类是资源类收购，该类收购对象多为获批的能耗额度、土地使用权、厂房建筑等，目的是填补企业自身在某些区域的数据中心供给不足，以及储备优质地段的稀缺资源。第二类是直接收购成熟的数据中心项目，该类收购通常是瞄准被收购数据中心的盈利能力，或是跨界新进入数据中心行业的企业意图加快布局、减少建设周期、降低转型难度。2021 年，Equinix 花费 3.2 亿美元收购尼日利亚数据中心和连接服务提供商 MainOne 填补非洲市场空白；宝能创展以 16.5 亿元收购鹏博士旗下 5 个数据中心共计 9 个机楼，加速进军数据中心市场。并购方式下，企业可迅速获得稀缺资源、提高市场占有率和行业地位，甚至加快进军原本未涉及的空白市场，基础资源的扩展将有效促进企业营收增长，在积累资金后继续加快并购获取更多资源，以实现强者愈强。数据中心白皮书（2022年）10(五)低碳方面，技术机制不断完善，节能实践快速推进(五)低碳方面，技术机制不断完善，节能实践快速推进 数据中心创新技术加速涌现，管理与金融体系持续完善，为数据中心绿色低碳发展提供了有效助力。在技术创新方面，液冷、蓄冷、高压直流、余热利用、蓄能电站等技术的应用，以及太阳能、风能等可再生能源利用，能够进一步降低数据中心能耗及碳排放。在管理与金融方面，业界领先的数据中心通过建立绿色数据中心管理制度及内部碳定价制度促进数据中心绿色转型；绿电证书及绿电交易市场机制的建立和完善，可以有效激发数据中心使用绿色能源，降低碳排放的积极性。来源：中国信息通信研究院 图 6 技术、管理及金融创新助力数据中心绿色低碳发展 国际互联网巨头积极推动绿色能源使用，促进数据中心节能减排。谷歌、苹果和脸书积极公布可再生能源使用进展，并分别于2017 年、2018 年及 2020 年实现运营体系 100%可再生能源使用。微软和亚马逊计划于 2025 年实现 100%可再生能源使用目标。为了更数据中心白皮书（2022年）11 好地推进数据中心节能减排，谷歌在 2020 年 9 月提出，到 2030 年在全球范围内所有数据中心实现以小时为单位的实时可再生能源供电，也即 24/7 零碳运营管理计划。微软通过优化数据中心备用电力系统，包括储能电池及低碳燃料（氢燃料）等形式促进数据中心降碳，2020 年微软已经成功完成了对氢燃料电池的测试，这将为消除对柴油发电机备用电源的依赖及实现碳减排奠定坚实基础。来源：Google.247-carbon-free-energy.2020 图 7 谷歌数据中心以小时单位无碳能源全年使用情况示意图 我国头部互联网企业及第三方服务商也在积极开展节能减排技术实践，建设运营数据中心的绿色低碳水平达到全球领先。百度云计算（阳泉）中心应用市电直供+HVDC、自研“零功耗”臵顶冷却单元及 AI 调优技术，年均 PUE 达到 1.08；秦淮数据环首都数据中心利用模块化、绿电交易及资源回收等技术，年均 PUE 达到 1.15，可再生能源利用率达到了 100%；中金数据昆山一号数据中心采用节能技术、清洁能源采购等方式，实现碳中和目标，数据中心碳使用率（CUE）为 0.49。数据中心白皮书（2022年）12 来源：开放数据中心委员会 ODCC 图 8 绿色低碳数据中心优秀案例（左：百度云计算（阳泉）中心、中：秦淮数据环首都数据中心、右：中金数据昆山一号数据中心）(六)政策方面，我国央地协同联动，推动低碳高质发展(六)政策方面，我国央地协同联动，推动低碳高质发展 1.新型数据中心推动高质量发展 新型数据中心是产业发展方向，“四高三协同”内涵不断丰富。2021 年 7 月，工信部发布新型数据中心发展三年行动计划（2021-2023 年），明确提出了新型数据中心发展方向及路径。行动计划聚焦高技术、高算力、高能效和高安全的四高特征，以及数云协同、云边协同、数网协同的协同要求，引导我国数据中心高质量发展。同时，行动计划也在布局、网络、算力、产业链、绿色低碳及安全等方面，对新型数据中心建设作出全面指引。在布局方面，形成国家枢纽节点、省数据中心及边缘数据中心的梯次布局；在网络方面，聚焦国家、区域、边缘各级网络关键节点，推动网络质量提升，促进数网协同发展；在算力方面，引入算力指标 FLOPS 对数据中心算力进行评价，引导数据中心从粗放的机架规模增长向高质量的算力算效提升方向演进；在产业链方面，鼓数据中心白皮书（2022年）13 励核心技术研发及标准研制，强化产业链体系建设；在绿色低碳方面，加快绿色技术产业应用，提升新能源利用水平，优化绿色管理能力建设；在安全方面，提升网络安全保障能力、数据资源管理能力建设，提升新型数据中心的可靠性。为了更好地落实新型数据中心发展三年行动计划（2021-2023年）对新型数据中心建设及发展要求，2021年 11月工信部办公厅发布关于国家新型数据中心（2021 年）案例推荐工作的通知，明确了国家新型数据中心推荐方向。该通知对大型数据中心及边缘数据中心分别提出针对性的要求，大型数据中心重点关注基础设施、运营管理、数字技术及生态能力方面的内容，并具备支撑行业数字化转型、赋能千行百业的应用效果；边缘数据中心重点关注运行效率、算力算效、监控安全、网络能力方面的内容，并具备创新突出、易于推广的应用特色。根据地方推荐和专家评选，2022 年 3 月工信部发布“国家新型数据中心典型案例名单（2021 年）”，其中大型数据中心 32个，边缘数据中心 12个，具体名单见附录。2.一体化大数据中心推动协同发展 一体化大数据中心政策推动数据中心布局优化，促进全国数据中心协同发展。2020 年 12 月，国家发改委、工信部等四部委发布关于加快构建全国一体化大数据中心协同创新体系的指导意见。在数据中心方面，提出形成布局合理、绿色集约的基础设施一体化格局。2021 年 5 月，全国一体化大数据中心协同创新体系算力枢纽实施方案发布，其标志着全国一体化大数据中心协同创新体系数据中心白皮书（2022年）14 从早期筹划走向初步启动，我国数据中心产业布局从区域内协同进一步过渡到全国一体化发展。全国一体化大数据中心协同创新体系算力枢纽实施方案明确提出要围绕京津冀、长三角、粤港澳大湾区、成渝、贵州、内蒙古、甘肃及宁夏这 8 个国家枢纽节点开展全国一体化大数据中心建设。八大枢纽节点在市场、资源等方面各有优势，其中京津冀、长三角、粤港澳大湾区、成渝等节点具备较强的数据中心产业基础，网络环境较好，用户规模较大，在后续发展过程中，应重点提升算力服务质量。贵州、内蒙古、甘肃及宁夏等节点资源充沛，气候适宜，在发展绿色数据中心方面具有较大潜力。后续发展过程中应持续发挥资源优势，面向全国提供算力保障。受到一体化大数据中心政策影响，我国地方政府也在加强区域布局引导，全面促进产业协同。当前，北京、上海、江苏、山东、云南、甘肃等省市均出台了数据中心政策，进行产业布局。北京市2021 年 4 月发布北京市数据中心统筹发展实施方案（2021-2023年），提出建立优势互补的京津冀数据中心聚集区，并基于此将北京及周边地区划分为数据中心功能保障区、改造升级区、适度发展区、协同发展区，不同功能区域数据中心根据资源及发展目标实行不同的“建改退合”政策。上海市 2021 年 4 月发布上海市数据中心建设导则（2021 版），在空间上分为数据中心适建区、禁止区和限制区，其中适建区为外环以外区域，既有工业区、发电厂区优先；禁止区为中环以内区域，不得新建数据中心；限制区为适建区和禁止区之外的区域。山东省 2021 年 10 月发布关于加快构建数据中心白皮书（2022年）15 山东省一体化大数据中心协同创新体系的实施意见，提出要逐渐形成“2+5+N”的省级一体化大数据中心空间格局：构建 2 个低时延数据中心核心区，形成 3-5 个左右的省级数据中心集聚区，“十四五”期间，建成 10 个左右的行业大数据中心节点，布局 30 个以上的超低时延边缘数据中心。云南省 2021 年 12 月发布云南省“十四五”大数据中心发展规划，提出实现“滇中聚集、滇西突破、全域协同”的总体布局。甘肃省 2021 年 12 月发布甘肃省数据中心建设指引，提出以“一核两翼六中心”的架构总体布局数据中心，形成以兰州为核心，庆阳、酒泉为两翼，金昌、张掖、武威、天水、白银、陇南为六中心的数据中心集聚区。江苏省 2021 年12 月发布江苏省新型数据中心统筹发展实施意见，提出要推动打造全省数据中心“双核三区四基地”发展布局体系，即 2 个算力资源调度核心、3 个算力支撑区、3 个布局引导区、4 个省级数据中心产业示范基地。枢纽节点集群及起步边界确定，加速“东数西算”工程实施。“东数西算”工程是指通过构建数据中心和网络协同、融合的新型算力网络，将东部算力需求有序引导到西部地区，优化数据中心布局，促进东西联动，实现算力的高效调度和使用，全面赋能经济发展。“东数西算”工程是全国一体化大数据中心建设目标在算力领域的进一步延伸，“东数西算”工程的实施需依托于八大枢纽节点，同时还需结合算力网络相关技术。3.双碳政策驱动行业绿色低碳发展 数据中心白皮书（2022年）16 政策引导数据中心绿色低碳加速发展。随着我国碳达峰碳中和战略的深入推进，国家层面出台多项政策促进数据中心绿色低碳发展。2021年 10月，国家发改委、工信部等五部门出台关于严格能效约束推动重点领域节能降碳的若干意见，提出“到 2025 年，数据中心电能利用效率普遍不超过 1.5”，进一步明确了数据中心总体能效优化的要求。2021年 11月国家发改委、国务院机关事务管理局等部门发布深入开展公共机构绿色低碳引领行动促进碳达峰实施方案，数据中心方面明确提出“新建大型、超大型数据中心全部达到绿色数据中心要求，绿色低碳等级达到 4A 级以上，电能利用效率（PUE）达到 1.3 以下”。2021 年 12 月国家发改委、国家能源局发布贯彻落实碳达峰碳中和目标要求推动数据中心和 5G 等新型基础设施绿色高质量发展实施方案，在数据中心方面明确提出，到 2025 年，数据中心运行电能利用效率和可再生能源利用率明显提升，全国新建大型、超大型数据中心平均电能利用效率降到 1.3 以下，国家枢纽节点进一步降到 1.25 以下，绿色低碳等级达到 4A 级以上，旨在有序推动以数据中心为代表的新型基础设施绿色高质量发展，发挥其“一业带百业”作用，助力实现碳达峰碳中和目标。来源：开放数据中心委员会 ODCC 图 9 数据中心绿色等级评估和数据中心低碳等级评估 数据中心白皮书（2022年）17 北上广深等一线城市及周边地区的土地、水电资源相对紧张，对数据中心能效及碳排要求更为严格。当前，上述区域正在持续加强对数据中心产业的政策引导，推动数据中心绿色低碳发展。北京市 2021 年 4 月发布北京市数据中心统筹发展实施方案（2021-2023 年），指出逐步关闭年均 PUE 高于 2.0 或平均单机架功率低于 2.5 千瓦或平均上架率低于 30%的功能落后的备份存储类数据中心；对年均 PUE 高于 1.8 或平均单机架功率低于 3 千瓦的数据中心进行改造，改造后的计算型云数据中心 PUE 不应高于 1.3，改造后的边缘计算中心 PUE 不应高于 1.6，未按规定完成改造的数据中心要逐步腾退。上海市 2021 年 4 月发布上海市数据中心建设导则（2021 版），要求新建数据中心综合 PUE 不高于 1.3，WUE 不高于 1.4。江苏省 2021 年 12 月发布江苏省新型数据中心统筹发展实施意见，要求“全省新建（扩建）大型及以上数据中心应达到绿色数据中心要求，PUE 低于 1.3，绿色低碳等级达到 4A 级以上。中小型数据中心 PUE 应不高于 1.5”。二、创新主导变革趋势 数据中心由建筑、供配电、制冷、安防和机架等基础设施，以及服务器、网络和存储等 IT 设备共同构成，其技术涉及面广，复杂度高，数据中心或将成为下一波技术创新的高地。本章结合国内外数据中心技术发展趋势，从新能源、智能运维、预制模块化、液冷等基础设施技术和高密服务器、备份一体机、存储访问协议、算力网络等 IT 设备技术对数据中心产业技术热点进行总结分析。数据中心白皮书（2022年）18(一)新能源技术应用更加深入，助力绿色低碳发展(一)新能源技术应用更加深入，助力绿色低碳发展 储能技术通过“削峰填谷”，成为降低数据中心电力成本的重要方式。数据中心耗能较高，电力成本占运营总成本的 60%-70%。尽管当前不少数据中心通过节能优化提升了数据中心电能利用率，但电力成本占数据中心总体成本依然较大。为了平衡电网用电时段，供电公司通常会提供波峰及波谷电价，数据中心可利用储能系统在波谷时存储电力，并在高峰期进行利用，以降低数据中心用电成本。蓄冷、储能等均是重要的解决方案，蓄冷在夜间电力负荷低谷期制备冷量，并在日间电力负荷高峰期将制备的冷量应用于空调系统；储能通过储能设备实现电力存储，锂电由于其高能量密度、高输出电压等特点成为下一代数据中心后备储能方案之一。新能源与储能技术融合加深，有效转变数据中心能源结构，提升绿色低碳水平。随着数据中心能耗政策的收紧及碳中和目标的确立，新能源供电逐渐成为实现数据中心零碳排放的重要方式，风、光、水、氢等清洁能源的使用占比将不断提升，数据中心可直接采用新能源发电实现能源供给或通过碳排放权交易间接促进新能源的使用。尽管新能源发电具有清洁环保优势，但是新能源供给容易受到自然条件影响，进而导致其连续性难以保障。新能源与储能技术融合能够有效提升新能源供电的稳定性，解决可再生能源系统应用过程中的供电不平衡、稳定性差等问题。国内外已有部分数据中心开始尝试新能源+储能的规模化供电方案，为数据中心新能源和储能技术的应用与推广提供了重要参考。数据中心白皮书（2022年）19 2020 年 8 月，美国能源开发商 Capital Dynamics 与数据中心运营商Switch 签署了一份太阳能和储能项目电力采购协议。基于此协议，Switch 将获得全天候绿色电力支撑，该项目包含一个 127MW 的太阳能发电场，以及一个 240MWh 的电池储能系统。在国内，2021 年7 月，世纪互联新一代荷储数据中心项目在佛山智慧城市数据中心合闸，其是实现规模化储能技术应用的数据中心项目，项目以数据中心为主要负荷对象，配备 2MWh 储能容量，输出功率 1MW，整个储能系统由储能集装箱、PCS 仓、环网柜组成，并与光伏发电系统在交流侧耦合，在数据中心 10kV 高压侧实现最终并网，使数据中心形成一个负荷可变、可调的复合体，并能根据电网需求、新能源发电需求，调整充放电策略。来源：互联网资料整理 图 10 某数据中心楼顶光伏板(二)运维智能化程度不断提升，实现运维效率提升(二)运维智能化程度不断提升，实现运维效率提升 应用智能运维，有效提高数据中心运维的流程化和标准化，提升运维管理效率。随着数据中心规模的不断提升以及数据中心承载业务及数据量的不断增长，数据中心运维方式也在快速演进，智能数据中心白皮书（2022年）20 运维工具的应用使数据中心运维管理变得更加高效。在手工运维时期，数据中心运维管理人员缺乏有效的运维工具，运维管理活动更加依赖于运维管理人员的个人知识及技术水平。随着数据中心规模的快速增长，数据中心运维服务范围和难度明显提升，单纯依靠个人经验难以保障运维服务质量。在上述情况下，流程化和标准化的运维开始出现。流程化和标准化运维旨在通过明确流程及标准文档等形式促进运维管理活动更加规范，降低对运维人员个人知识技能的依赖性。自动化平台运维是流程化和标准化运维的进一步发展，自动化运维工具通过平台化建设将大量重复的运维活动转变为自动化操作，提高了运维效率，使运维过程可视化程度提升。智能运维以数据为基础、以算法为支撑、以场景为导向，为数据中心运维管理提供了智能化解决方案，实现了问题的实时分析和处理，降低了报警噪音，并能够对故障及问题原因进行分析和预测。来源：中国信息通信研究院 图 11 数据中心运维发展历程 2021 年 7 月，工信部新型数据中心发展三年行动计划（2021-2023 年）明确提出“聚焦新型数据中心供配电、制冷、IT 和网络数据中心白皮书（2022年）21 设备、智能化系统等关键环节，锻强补弱”。政策引导数据中心运维管理向智能化发展，产业界关于智能运维的关注也越来越高。来源：开放数据中心委员会 ODCC 图 12 数据中心智能化运营等级评估 我国互联网企业、第三方服务商积极开展智能化运营相关实践。万国数据北京四号数据中心通过在基础设施建设方面大量应用融入专业经验的自动化装臵代替人工操作，提高故障报警及响应速度，并结合自行开发的运营管理平台及应用软件，以实现从本地到区域，再到全国的高效高质量运维；腾讯怀来瑞北云数据中心基于腾讯自研的数据中心自动化管理平台腾讯智维，构建了链接园区、区域、总部的三级闭环管理体系，并通过重构告警链路实现了秒级敏态感知，应用图计算、物模型等技术实现了告警极速收敛，故障自动定位的准确率高达 99.9%。数据中心白皮书（2022年）22 来源：开放数据中心委员会 ODCC 图 13 智能化运营数据中心优秀案例（左：腾讯怀来瑞北云数据中心、右：万国数据北京四号数据中心）网络智能运维是数据中心智能运维最重要的应用场景之一，网络智能运维技术可持续推动网络可视、可管、可控能力的提升。随着数据中心规模的不断扩展，数据中心网络复杂度也在不断提升。与此同时，用户对数据中心网络的质量、可靠性及安全性提出了更高的要求。传统数据中心网络在运维过程中存在信号干扰、应用保障等问题，人工运维效率较差，在应对突发网络故障时难以作出及时的网络故障处理和运营维护。当前，业界提出了以“自动驾驶网络”等为代表的网络智能运维及优化技术，其通过融合 AI 技术实现对数据中心网络的管控、自动运维及优化，对各类网络故障进行恢复自愈，对阻塞进行管理，同时支持网络自动调优和自我演进，为用户提供更加优质的网络服务。2021 开放数据中心峰会上，中国信通院、华为、中国移动研究院等单位共同发布了超融合数据中心网络无损以太场景等级测评规范，该测评规范针对分布式存储、集中式存储及高性能计算等场景，从功能、性能、可靠性、兼容性及运维等维度进行了评价，并根据评价结果将无损网络分为五个等级，分别为无损能力尚不成数据中心白皮书（2022年）23 熟、具备基本无损能力、无损能力成熟、无损能力良好、无损能力卓越，运维是其重要的等级评定维度。同时，华为在华为数据中心自动驾驶网络白皮书中将自动驾驶网络定义为五个等级，指出全自治网络是数据中心网络发展的终极目标，在全自治网络下，网络系统自身将形成面向任意场景，具备执行、监视、分析和决策能力，完全实现闭环管理的自动化能力，真正实现“无人驾驶”。(三)预制模块化技术深度融合，项目建设周期缩短(三)预制模块化技术深度融合，项目建设周期缩短 预制模块化建筑技术与模块化数据中心深度融合，新一代预制模块化数据中心可靠性及使用体验大幅提升。信息技术的快速迭代及用户对数据中心交付工期要求的缩短，使得传统数据中心建设模式越来越难以满足现实需求，数据中心预制化成为实现数据中心快速建设关键技术之一。数据中心预制化技术已有多年发展历史，早期预制化数据中心采用 All-in-One 形式设计，单箱体集成数据中心各子系统，可满足小规模数据中心快速部署及应急建设要求。在 All-in-One 基础上，业界逐渐实现了设备区和配电区等核心区域的模块化，出现了传统的预制模块化数据中心。受到可靠性、空间及标准化程度等因素制约，传统预制模块化数据中心仍为小规模及特定场景应用为主。随着预制模块化理念的成熟及模块化数据中心的发展，预制模块化建筑技术与模块化数据中心融合程度加深，新一代预制模块化数据中心开始出现。数据中心白皮书（2022年）24 来源：开放数据中心委员会 ODCC 图 14 模块化数据中心发展历程(四)液冷技术商用条件渐成熟，实践案例不断增多(四)液冷技术商用条件渐成熟，实践案例不断增多 液冷技术快速演进，系统可靠性逐步提升。液冷技术利用液体作为换热媒介在靠近热源处进行换热制冷，不需要像风冷一样通过空气间接制冷，由于液体具有相对较高的比热容，其制冷效果和能效远高于风冷制冷，在高密度、大规模及散热需求较高的数据中心中优势明显。来源：开放数据中心委员会 ODCC 图 15 IT 设备浸没在冷却液中的示意图 数据中心白皮书（2022年）25 按液冷室内末端与服务器等发热源接触方式不同可将液冷分为间接液冷技术和直接液冷技术，间接液冷中热源与冷却液没有直接接触换热，直接液冷技术中冷却液则与发热电子元件直接接触换热制冷。间接液冷以冷板式为主，其中单相冷板式液冷解决方案较为常见。直接液冷主要是浸没式，散热效率高，噪音低。当前我国液冷技术正在快速发展并已经拥有规模化的商用案例，这与我国数据中心规模不断扩大，单机柜功率密度不断提升有关。阿里巴巴、百度、腾讯、华为、中科曙光等 IT 企业已有成熟的液冷技术应用案例，阿里巴巴仁和云计算数据中心服务器采用全浸没式液冷服务器，该数据中心也成为我国首座绿色等级达到 5