新一代绿色低碳大型数据中心发展趋势分析_陈凤.pdf

2023年第6期论 文 选 粹新一代绿色低碳大型数据中心发展趋势分析陈凤，陈皓（科华数据股份有限公司，福建省厦门市 361000）摘要文章全面介绍国内数据中心行业的宏观发展态势和政策、技术方向，分析国内各方已建或在建大型数据中心在投资建设、发展布局等方面的态势，总结未来大型数据中心选址布局和立项投建的决策指标。从六个方面预判国内大型数据中心的技术架构及产品工艺的演变趋势。文章指出行业发展由以往粗放式扩张、抢占资源圈地的阶段，进入比拼运营机架规模和运营盈利水平的高质量发展新时期。建议各方应高度重视发展趋势的演变，把握和跟进主流发展方向，据实做出战略调整及投建布局。关键词布局选址；技术架构；绿色低碳；算力算效；智慧园区0引言近十年来，国内数据中心行业发展迅猛，核心驱动力是 5G 网络普及和各行各业数字化转型带来的海量数据存储和计算需求。国家及地方政府先后出台了一系列专项政策促使数据中心行业步入了科学有序的发展轨道，整个行业呈现出了新的特点、变化和趋势，影响深远。准确把握国内外行业发展趋势，紧跟国家宏观政策导向及创新技术的步伐，并结合自身企业发展的情况，适时做出战略性的布局调整和发展规划，成为国内终端进驻客户、传统运营商、第三方数据中心运营商、互联网企业、云厂商及数据中心行业整个生态链关注的头等大事，有必要进行深入的调研分析和预研预判。1数据中心概况在全球主要国家及企业纷纷开启数字化转型的热潮的推动下，全球数据中心行业的投资呈现快速增长趋势，建设规模呈现大型化集约化发展趋势，预测未来五年将迎来新一轮的发展机遇。根据 IDC（互联网数据中心）发布的 数据时代 2025 报告，2021年全球数据量达到 70 ZB，预计 2025 年全球数据量将达到 175 ZB，全球数据延续 10 多年爆发式增长的态势将维持不变。2021 年全球数据中心 IT 投资规模达到 2073 元，同比增长 6.7%，预计 2022 年投资规模将达 2186 亿美元。据 Gartner 统计，截至2020 年数据中心共计 42.2 万个。据 Synergy Re-search Group 的最新数据，截至 2021 年底超大规模提供商运营的大型数据中心总数增加到 700 个左右，较 2020 年同比增长 17.25%，且将在三年内突破1000 个，并在此后继续快速增长。而据中国信通院预测，2022 年全球 IDC 行业市场收入将达 746.5 亿美元，增速总体保持平稳，20222027 年年复合增长率在 10%左右，到 2027 年行业规模将超过 1200 亿美元。据科智咨询预测，中国 IDC 市场的年复合增长率为 19.3%，2022 年市场规模为 1438.7 亿人民币，2024 年将达到 2013.4 亿元。国内外数据中心概况见表 1。2现状与发展趋势2.1建设投资现状当前国内数据中心形成了运营商垄断主导（电信、移动、联通三大运营商市场份额占了 63%1），第三方运营商加速布局，云厂商及互联网、金融政企等322023年第6期首推自建自营的整体格局和发展态势。传统运营商改变了以往轻资产合建的模式，重点向国家核心枢纽节点、省会或经济人口大城市等区域大手笔重资产投资布局，电信、移动近两年也逐步加快了海外布局。第三方运营商原来以专营型和设备厂商延伸型为主，现在新增了很多跨界及用户转化型运营商，已经形成了第三方运营商头部效应（如 2021 年第三方TOP10 运营商占了第三方市场的 40%）。当前第三方运营商主要采用采取资本并购、大客户定制“8+2”模式（即建成后 8 年租赁+2 年续租模式）、运营商政府合建、自建自营等多种建设模式及批发、零售双驱动的商业运营模式，重点在京津翼、长三角、粤港澳等城市群，以及贵州、四川、湖北、甘肃等地提前储备资源或迅速布局投建。部分头部企业已经开始积极布局海外市场业务，如万国重点布局了东南亚的马来西亚和印尼，秦淮成立 BDC 集团主攻亚太和印尼，奥飞布局沙特首都利雅得市场并大搞海外投资并购等。另外，资源类或成熟型项目收购将成为第三方运营商扩产占位的捷径之一，如万国 38 亿元收购顺义区大型数据中心、奥飞 3 亿元收购天津盘古云泰 40%股权、宝信软件收购飞马智科多个项目、杭钢股份收购杭钢集团云数据公司等。大型互联网及云厂商如 BATJ（百度、阿里、腾讯、京东）、TMD（头条、美团、滴滴）、中金、华为、浪潮等，很早就逐步减少租赁托管的模式，开始了自建自营的战略转型并从中尝到了降本增效的甜头，近几年加快在全国储备多个超大型基地。部分巨头基于业务需要加快了全球化布局建设的进程。近几年，金融政企客户也有布局建设自用的大规模数据中心基地项目，但总体上数量不多也难以长期持续投建，这主要还是自身业务数据需求没那么大、扩展没那么快的原因。2.2发展布局截止到 2021 年底，全国平均上架率超过 55%，2021 年度全国数据中心平均 PUE（数据中心能源效率）为 1.49，华北、华东的数据中心平均 PUE 接近表 1国内外数据中心概况项目国外国内2022 年总收入 746 亿美元，增长 9.9%1900 亿元，增长 26.7%2022 年规模约 8000 个大型数据中心670 万架，复合增长率 30%新兴市场印度、南非、马来西亚、印尼北上广深周边、中西部枢纽节点及经济人口大市规模趋势量减体增，大型、超大型增速明显新建以大型、超大型为主，占总机架数的 80%以上选址布局主要分布在亚太、北美和西欧，头部企业加快了全球化布局扩张北上广占全国 26%，国家推出 8 大枢纽 10 大集群，一体化协同算力类型智算、E 级超算及边缘布局早、发展快通算是主力，智算、超算及边缘正加快布局技术特点自然冷源、液冷、绿电大型化、智能化、绿色化年均 PUE全球数据中心行业平均 PUE 水平在 1.5 左右2021 年全国平均 1.49，新建要求 1.30 以下，国家枢纽1.25 以下单机柜平均功率59 kW/柜占 46%，10 kW/柜以上占 29%；30 kW/柜以上少见平均 56 kW/柜，新建主流 610 kW/柜绿色低碳谷歌、苹果和 Meta 分别于 2017、2018、2020 年实现运营体系 100%可再生能源使用；微软和亚马逊计划于 2025 年实现 100%可再生能源使用目标新建大型、超大型数据中心必须达到绿色低碳等级 4A级以上典型代表CenturyLink、NTT、Switch、Communications、Equinix、Digital Reality Trust、苹果、谷歌、微软、亚马逊、Meta电信、移动、联通、BAT、万国、秦淮、世纪互联、字节跳动、科华数据论 文 选 粹332023年第6期1.402。根据科智咨询发布的 2022-2023 年中国 IDC行业发展研究报告，当前我国数据中心利用率约58%，平均 PUE1.5，可再生能源利用率 30%。国内传统运营商、互联网云厂商、第三方运营商等作为大型、超大型数据中心布局建设和运营的主力军。国内运营商及大型互联网云厂商的发展布局见表 2。国内主要第三方运营商的发展布局见表 3。表 2 和表 3 数据来源于各公司财报或网上已公开发表的资料，仅供参考，如有偏差请以最新公布的数据为准。可以预见，未来 23 年内各投建方谁的融资渠道更稳定顺畅、可用机柜数越多、战略储备机柜数越多、总体上架率及运营水平越高、年均 PUE 越低、越早开始海外布局，那么谁将会拥有更多的市场发展空间、更高的行业地位和经营利润、更强的议价能力。在此激烈竞争之下，强者会更强，新一轮的行业大收购兼并及洗牌将无可避免，这对当前还存在诸多短板的投建方将构成巨大的冲击压力，建议应尽早调整或补齐跟上。2.3未来选址布局分析我们归纳分析国内近三年投建的 200 多个大型数据中心项目基础数据，结合国内各方既有的布局策略及格局，总结未来国内大多数大型或超大型数据中心选址布局和立项投建的决策指标将主要包括以下几个方面：平均单机柜功率 815 kW/柜；年均PUE1.6；10 年 TCO（总拥有成本）较低且盈利最佳；方案适配且初始投资相对合理；系统架构及产品满足长期安全稳定运行；具有分期柔性扩展和灵活已建情况待建情况总上架率年均 PUE794 个4.5 万架72%1.301.50厂商可用机柜/万架电信51.5536 个4.3 万架65%1.311.40移动45联通32.9880 个量少68%1.501.65阿里10100 个已放缓1.247腾讯2168 个已放缓1.201.35百度310 个已放缓1.16华为420 个1.121.25字节跳动1050 个加速自建1.141.21京东270 个1.101.30表 2国内运营商及大型互联网云厂商的发展布局已建情况待建情况总上架率年均 PUE已运营占地 51 万平方米在建 18.2 万平方米67.4%1.32厂商可用机柜/万架万国20.4275 MW425 MW55.1%1.37世纪互联8.3秦淮8.8821 MW265 MW78%1.20数据港7.334 个93 MW，1.86 万架75%1.22光环新网4.88 个11 万架75%1.401.45鹏博士315 个7 万架90%中金104 个4 万架1.301.40科华320 个70%1.181.35奥飞2.212 个5.2 万架69%润泽4.66 个29 万架94%腾龙4+7 个10 万架宝信32 个2 万架90%表 3国内主要第三方运营商的发展布局论 文 选 粹342023年第6期论 文 选 粹兼容设计；产品及工程质量可靠；单期建设周期短（含土建不超过 1 年）；使用清洁能源及碳排放达标；高度智能化精细化运维及运营成本较低。对于各投建方布局选址有如下建议：a）应优先考虑 TCO 核算、当地电价及进驻客户匹配度，如业务类型、功率密度及温冷热数据类型。b）批发型大客户定制项目宜优先考虑电费低、资源政策条件好、自然冷源可用时间长的地区。零售或无客户项目宜优先考虑北上广深及周边常驻人口过千万且经济发达、人口净流入城市，分期投建。c）单机柜平均功率低于 15 kW 时宜优先考虑北纬 30以上或东经 110以西的城市，自然冷源可用时间更长。d）单机柜平均功率高于 1520 kW 时，适合液冷方案。投资强度大宜优先考虑北上广深及经济人口大城市，TCO 及投入产出更有保障。长江以北一线城市更适合余热回收方案，能大幅改善项目经济效益。e）具体选址评估时不应忽视的要点：地理地质情况、历史灾害及气象条件、周边关联影响、当地规划要求（建筑密度、容积率、绿化率、建筑限高、红线退线距离等）、资源条件（政策、水电、网络、时延及当地市场行情价等）、周边同类竞争情况等。3数据中心演变趋势从行业来看，国内数据中心主要用于互联网、通信领域、金融领域、公共机构及能源领域3。未来金融及政企能源行业的数据中心技术发展将走向标准化、简洁化、低碳化、节能化和无人化4。而传统运营商过去及未来都是国内数据中心建设布局的主力军，但它们在新技术架构及产品工艺创新发展、节能降本方面比互联网云厂商及第三方运营商头部企业相对滞后一些。近几年及未来，以互联网头部企业、云厂商及第三方运营商为首的头部企业都将继续主导引领行业技术架构及产品工艺的革新发展。本文将着重从以下六个方面预测总结未来数据中心的演变趋势。3.1建筑工艺及土建装修未来国内大型数据中心园区以新建为主，在总体平面规划上会采取总体设计、分期建设和对称模块化设计理念。功能规划上要适当考虑园区级的雨水回收、余热回收、屋顶光伏、储能及充电桩等方案。楼宇建筑形式将会以多层钢混+框架结构为主，全钢结构大平层或双层为辅，建筑高度多为 46 层，2433 m。建筑风格上将更多呈现出园区布局规整、建筑形态方正、建筑造型敦厚、外立面装饰简明大方等特点。自土建开工至建成投产的总工期将控制在 12个月以内，且土建和机电建设以跨年实施情况居多，如 102 月前期准备，26 月土建盖楼，610 月机电交付。整个行业也必将越来越重视前期可研立项阶段的建筑工艺规划和多专业协同设计，这也是关乎未来 10 年内整个项目投建运营成败和利润高低的首要关键环节。3.2供配电及电源未来国内大型数据中心供配电主流的技术架构将以 2 路一类市电+高压油机为主，绿电比例将逐年提升。末端负载的供电架构将以一路市电+一路HVDC/UPS（高压直流/不间断电源）居多，但金融等行业还是以 2 路 UPS 架构为主。在产品形式上全预制化、集成化、智能化的供配电模组将成为主流首选，且国产化趋势及比例将逐年加大。在空间布局上，变配电系统贴近机房负荷就近供电和模块化匹配布局设计将成为主流模式，而跨楼层、跨区域或交叉供电的不良设计模式将被摒弃。智能照明、集装箱柴油发电机、密集母线及末端小母线的应用将更加普遍，更低损耗的非晶合金变压器也将逐步得到应用。在安全防火问题没有彻底解决前，短期内磷酸铁锂蓄电池还不能全面取代铅酸蓄电池，成为后备电源的首选，但推广应用的比例将逐年增加，并且铅酸蓄电池将更多采取集中独立放置而非入柜入列分散放置。3.3暖通未来国内大型数据中心在制冷技术上水退风进352023年第6期和充分利用自然冷源将成为大趋势，主流方案将从水冷机组逐步改变为间接蒸发冷却、预制化氟泵及冷板式液冷。全风冷精密空调方案、传统的风冷螺杆机、水冷冷水机组、背板空调、置顶空调将越来越不适用于大型及超大型数据中心。从整个生命周期来看，磁悬浮离心机组在华南、华东等地区中低功率密度情况下仍然有较大的应用优势。由于平均单机柜功率上升有限，且整体造价成本居高不下且应用场景局限，浸没式或喷淋式液冷在未来两三年内都不可能成为国内规模化应用的主流方案。3.4综合监控随着数据中心巨头的全球化、规模化部署，数据中心智能化运维和少人值守将成为主要发展趋势，即通过 AI（人工智能）大数据和 DCIM（综合监控系统）深度融合，实现数据中心的优化控制、故障诊断和智能决策，打造新一代精细化、自动化和智能化的运维管理体系。未来数据中心基础设施将逐步实现供电系统、温控系统以及微模块的自我检测、自我诊断，实现运维的 724 h 自动驾驶，大大提升运维效率和降低对运维人员的依赖程度。应用声音识别、图像识别、智能传感器、机器人等技术，可以提升无人巡检准确度，变被动告警为预测性维护，最大程度降低运维风险和成本，提升数据中心运营管理水平。未来国内大型数据中心基地型园区将基于物联网技术采用开放式架构体系并结合 DCIM 系统，解决以往园区运营管理中存在的信息孤岛、人工干预、管理粗放、反应滞后、数据混乱等问题，从顶层设计上打造智慧化、创新化、生态化的智慧园区。3.5机房微模块未来国内大型数据中心机房仍将以微模块作为主流首选方案，更多采用 2200 mm 或 2500 mm 高机柜，平均单机柜功率超过 8 kW 时将优先考虑热通道封闭模式，在地面工艺处理上淘汰自流平及全架空地板方案。3.6节能技术及产品近几年，国内各方瞄准了基础配套设施方面的节能研发及应用，数据中心节能最有成效的是 IT 设备节能技术、暖通节能技术和智能监控 AI 节能，其次才是供配电系统节能及建筑节能。而决定各类节能技术及产品能否大规模推广应用的核心评价指标是其是否安全成熟、兼容适配及经济效益显著。未来 35 年真正有可能逐步规模化推广应用的节能技术及产品有：间接蒸发冷却技术、氟泵冷却技术、冷板式液冷技术、磁悬浮离心冷水机组、变频控制技术、蓄冷技术、余热回收技术、UPS+锂电池技术、预制化电力模组（如巴拿马电源）和 DCIM+AI节能技术。其他因地制宜的个性化节能技术因并不具备规模化效应，不再赘述。未来从提升算力算效、降低 TCO 的角度，重视并加强 IT 设备节能型产品研发应用、提升优化虚拟化运算技术及服务器设备利用效率，将成为整个行业必须重点考虑的节能举措。2021 年我国数字经济规模达到 7.1 万亿美元，位居世界第二5，数据中心对国民经济发展有巨大贡献。未来国家及地方政府还需更全面、更科学合理地衡量评价数据中心的价值贡献，优化政策监管引导。当前基于 PUE 能耗指标的审批监管政策及评价模型并不科学6，应该考虑纳入绿电消纳比例、全链条碳排放水平、基于单位电能消耗的算力算效水平、基于单位电能消耗的经济拉动贡献和税收产值水平、基于单位土地面积的投资强度、年均经济贡献和税收产值水平、CUE（碳利用效率）、WUE（水资源利用效率）、SUE（空间利用效率）及 IUE（基础设施使用率）等一系列指标，多维度综合性地给予评判和制定监管引导政策。也许当前北上广深等地的严格限制政策也能同步得到优化调整。4结束语未来 35 年内国内中高功率密度、绿色低碳的大型数据中心将得到规模化、快速的布局建设，整个行业发展由以往粗放式扩张、抢占资源圈地的阶段，进入比拼运营机架规模和运营盈利水平的高质量发展新时期，未来强者更强和收购兼并的行业发展态势将更为明显。（下转第 43 页）论 文 选 粹362023年第6期（上接第 36 页）行业中游运营商及上游基础设施方将成为技术产品及工艺革新的操刀人，只有被普遍证明安全适配、产品技术应用及行业生态链相对成熟且总体经济指标优异的数据中心技术架构和产品工艺，才能成为国内市场青睐的主流方案。部分采取过于激进和过于保守的战略决策的投建方，极有可能遭遇经济效益的严重下滑或投资战略路线的滞后偏离，最终被迫淘汰出局。以上这些趋势分析均值得国内各投建方高度重视。参考文献1第一太平戴维斯.亚太数据中心 R.2022.2中国数据中心工作组.2021 年中国数据中心市场报告R.2021.3中商情报网.2022 年中国数据中心产业链上中下游市场剖析 R.2022.4王大晓，刘彬，浦培林，等.金融行业数据中心规划建设及技术发展趋势探讨 J.建筑电气，2022，41（7）：64-68.5中国信息通信研究院.全球数字经济白皮书（2022 年）R.2022.6张海南，田亚玲，张阳，等.中国数据中心节能技术发展现状与趋势 J.中国基础科学，2020，22（6）：10-14陈凤（1983），男，工程师，硕士，主要从事于数据中心规划设计和节能挖潜研究工作。收稿日期：2023-02-17memoryless channelsJ.IEEE Transactions on InformationTheory,2009,55（7）：3051-3073.2LI B,SHEN H,TSE D.An adaptive successive cancellationlist decoder forpolar codes with cyclic redundancy checkJ.IEEE Communications Letters,2012,16（12）：2044-2047.3GAO C,LOU R,DAI B,et al.Path splitting selectingstrategy-aided successive cancellation list algorithm for po-lar codes J.IEEE Communications Letters,2019,23（3）：422-425.4HASHMI S A，CONDO C,GROSS W J.Fast simplifiedsuccessive-cancellation list decoding of polar codes C.IEEEWirelessCommunicationsandNetworking ConferenceWorkshops，20175SARKIS G,GIARD P,VARDY A,et al.Fast list decodersfor polar codesJ.IEEE Journal on Selected Areas in Com-munications,2016,34（2）：318-328.6ARDAKANI M H,HANIF M,ARDAKANI M,et al.Fastsuccessive-cancellation-based Decoders of Polar Codes J.IEEE Transactions on Communications,2019，67（7）：4562-4574.7YUANB，PARHIKK.Low-latencysuccessive-cancellation list decoders for polar codes withmultibitdecisionJ.IEEE transactions on very largescaleintegration(VLSI)systems,2015,23(10):2268-2280.8YUAN B,PARHI K K.Reduced-latency LLR-based SC listdecoder for polar codesC/The 25th edition,ACM,2015.9HAN J,LIU R,WANG R.Simplified multi-bit SC listdecoding for polar codesC/2016 IEEE InternationalConference on Acoustics,Speech and Signal Processing(ICASSP),2016.10HU H J,LIU R K,FENG B P.Flexible and simplifiedmulti-bit successive-cancellation list decoding for polarcodes C.2019 IEEE International Workshop on SignalProcessing Systems（SiPS），2019.周义森（1997），男，硕士研究生，主要研究方向为移动通信技术、Polar 编译码技术研究。收稿日期：2022-12-22论 文 选 粹43