数据中心基础设施集成指南

版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的票窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 编制说明 本报告由开放数据中心委员会ODCC牵头撰写，在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员： 参编单位（排名不分先后）： 中国信息通信研究院、华为技术服务有限公司、中国移动通信集团青海有限公司、中国电信股份有限公司广东分公司、中国通信服务股份有限公司、中国移动通信集团上海有限公司1911010 参编人员（排名不分先后）： 王月、许可欣、梁宇栋、陈晓朋、杨伟权、陈亚超、迟浩正、郭凯、王曼勾明华、黄玲、周华新、王伟、罗琼、范增震、朱占武、宗凌、程沂、周韵、王楚伊、黄浩程、荚秀艳、李宗阳、杨冰 项目经理：许可欣xukexin@caict.ac.cn 前言 数据中心是新一代信息通信技术创新发展的数字底座，已成为经济社会运行不可或缺的关键设施。对处于建设阶段的数据中心而言，基础设施层的建设集成很大程度上影响了数据中心未来的稳定运营和持久发展。作为全生命周期的重要发展阶段，数据中心基础设施集成不断被赋予算力时代新内涵与数智化价值。随着数据中心建设、集成质量的重要性不断提升，数据中心中游服务市场向规模化发展，很大程度上也推动了行业全生命周期的数字化技术创新。 本指南参考数据中心建造：集成领域相关标准，重点以《数据中心智能建造能力成熟度评估技术要求》《基于人工智能的数据中心节能技术要求》为基础，从数据中心全生命周期建设集成预制化、建设部署高密化、建设交付智能化、建设运行低碳化的四大发展趋势出发，具体分析各个关键环节下，智能化工具、数字化平台相融合释放的技术效能，收录了部分企业开展基础设施集成的实践经验。通过总结典型行业数据中心的集成市场需求、发展态势，勾勒出互联网、金融、政务行业数据中心集成产业图谱，旨在助力重点领域基础设施建设和集成数智化应用场景高质量落地。 由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系dceco@caict.ac.cn。 目录 版权声明.编制说明.前言. 数据中心基础设施集成是产业全生命周期数智化发展的重点环节.： （一）数字经济高速发展，作为数据载体，算力设施为全社会各领域提供优质算力、.（二）东数西算、新型数据中心对产业全生命周期提出更高要求（三）数据中心基础设施集成是全生命周期发展重要一环，：：（四）数据中心基础设施集成市场将迎来跨越式发展的新蓝海（五）数据中心是系统性工程，绿色低碳靠单设备难以实现，基础设施高质量集成是最终落地的保障6 数据中心基础设施集成发展趋势， 一）建设集成趋向预制化：（二）建设部署趋向高密化：建设交付趋向智能化：（四）建设运行趋向低碳化13 1．大温差空调末端2磁悬浮冷水机组.3．高效换热冷却塔.15 1．建立单一工程数据源，解决数据中心基础设施建设信息化的瓶颈．152．基于BIM的三维设计，实现不同专业设计之间的信息共享16 3．基于BIM的施工及管理，实现IPD（Integrated ProductDevelopment，集成产品开发）16 （二）建造阶段应用数字化建造管理平台实现多维提升：17 五、数据中心基础设施集成未来展望 （一）推动标准编制，凝聚产研用多方共识28（二）征集测试试点，推广高价值实践经验: 28（三）优化咨询服务，支撑各地及行业数据中心集成能力有序升级 一，数据中心基础设施集成是产业全生命周期数智化发展的重点环节 （一）数字经济高速发展，作为数据载体，算力设施为全社会各领域提供优质算力 建设发展算力设施是助力数字中国建设全面提速的重要举措。IDC最新发布的GlobalDataSphere2023显示，我国数据量规模将从2022的23.88ZB增长至2027年的76.6ZB，年均增长速度达到26.3%，为全球第一，政府，媒体，专业服务、零售，医疗，金融为主要分布领域。算力设施通过高效计算、运载、存储诸数据，驱动我国经济发展和产业变革。同时，建设发展算力设施将对我国经济社会高质量发展起到关键作用，作为信息系统运行的重要物理载体，算力设施助力数字经济与实体经济有效融合，在数字中国建设中居于重要位置。智算中心方面，根据OpenAI分析，自2012年以来，最大人工智能模型训练所需算力平均每3.4个月翻一倍。预计未来人工智能算力在社会总计算需求中将占据较大份额，应用于高频次、大数据流的超大模型训练和高实时性、低损失精度的实时推理场景的智算中心逐渐兴起，提供人工智能算力的智算中心的规模也将不断扩大。 （二）东数西算、新型数据中心对产业全生命周期提出更高要求 国家政策推动大型数据中心集约化建设，未来只能在8个节点内建设，产业存量与增量市场规模不可小靓。2020年起，工业和信息化部与发展改革委联合印发《关于加快构建全国一体化大数据中心协同创新体系的指导意见》《全国一体化大数据中心协同创新体系算力枢纽实施方案》《国家发展改革委等部门关于严格能效约束推动重点领域节能降碳的若干意见》，在明确八大节点的基础上，提出新建大型、超大型数据中心原则上布局在国家枢纽节点数据中心集群范围内"；“对于在国家枢纽节点之外新建的数据中心，地方政府不得给予土地、财税等方面的优惠政策”。政策趋严，推动大型数据中心集约化建设，进一步明确优化数据中心总体建设布局的严控措施，未来只能在8个节点内建设 在东数西算等战略背景下，产业存量与增量市场规模不可小靓。根据中国信通院统计数据显示，截止目前，东数西算节点IDC机架存量东部远高于西部，在市场需求推动下，预计东数西算八大节点数据中心机架数将迎来新一波高增长态势。按照机架数存量及市场发展趋势来看，预计未来东部节点IDC市场规模增量占比高，西部节点也有一定增量市场。 近年来，我国各级政府纷纷出台推动数据中心绿色发展的相关政策，能耗要求趋严，助力实现“双碳”目标。四部门政策文件三次明确提出绿色低碳要求。《新型数据中心发展三年行动计划（2021-2023年）》《深入开展公共机构绿色低碳引领行动促进碳达峰实施方案》《贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》提出“新建大型及以上数据中心达到绿色数据中心要求，绿色低碳等级达到4A级以上，PUE达到1.3以下，国家枢纽节点进一步降到1.25以下。"等。“双碳"战略的持续深化，对产业绿色低碳水平提出了更高的要求，PUE（PowerUsageEffectiveness，数据中心电能利用效率），CUE（CarbonUsageEffectiveness，数据中心碳利用效率）WUE(WaterUsageEffectiveness,数据中心水资源利用效率）等能效指标限制更为严格，详见表1。 随着东数西算工程的进一步展开，各枢纽节点及地区积极响应国家政策，陆续发布数据中心相关能效考核指标，预计各地区未来将进一步对PUE进行限制。西部地区较东部地区对能效的要求更高，PUE限制多在1.2，出于充分利用地理资源优势的考虑，西部地区能效考核指标增多，开始关注WUE，而东部地区PUE限制则多处于1.25的水平。2023年5月，乌兰察布人民政府发布《全国一体化算力网络国家枢纽节点内蒙古枢纽集宁片区发展规划（2023一2025）》，提出加强数据中心WUE指标考核"；2021年起，甘肃接连发布《甘肃省数据中心建设指引》《关于支持全国一体化算力网络国家枢纽节点（甘肃）建设运营若干措施的通知》《庆阳市建设全国一体化算力网络国家枢纽节点（甘肃·庆阳）暨*东数西算"工程要素保障方案》，提出WUE不高于1.0L/kWh的具体目标；宁夏自2022年起发布《宁夏回族自治区贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案》《宁夏回族自治区数据中心建设指南》等文件，提出到2025年，WUE应不高于1.05L/kWh。 技术创新引领产业高质量发展，助力新型数据中心建设落地。近年来，工信部积极推动工业和信息化领域能效提升，出台《国家工业和信息化领域节能技术装备推荐目录（2022年版）》，推进数据中心节能提效创新技术的研发与应用，鼓励包括数据中心相变浸没及冷板液冷技术，模块化数据中心智能化综合节能技术，数据中心智能化综合节能技术等18种先进适用节能技术。当前，数据中心预制化、液冷等设施层，专用服务器、存储阵列等IT层，总线级超融合网络等网络层的技术研发与应用水平不断深化。基础设施方面，预制化加快内外纵深发展，液冷产业生态正在形成，AI等技术逐步提升数据中心管理水平。IT设备方面，为应对不同业务场景需求，服务器定制化加深，存算分离将大幅提高设备利用率，IT设备国产化速度加快。网络技术方面，数据中心间互联技术创新推动数网协同发展，高性能智能无损网络实现数据中心网络与计算，存诸协同，数据中心三网合一"或将统一内部网络降低建设成本，可编程网络加快发展助推数据中心网络可管可控，智能网卡有望进一步提升数据中心网络性能。 （三）数据中心基础设施集成是全生命周期发展重要一环 数据中心作为重资产、重运营行业，借鉴传统资产全生命周期管理的理论：数据中心全生命周期管理是指从建设意图产生到数据中心经济寿命结束的全过程，部分数据中心还会经历因技术或经济上不宜继续使用需要进行整合迁移，节能改造所经历的时间。因此，数据中心全生命周期大体上可以分为规划设计、建设集成、运行维护、节能改造四个阶段，见图1。 规划设计阶段：规划设计阶段是决定整个数据中心项目成败与否的关键。在此阶段，数据中心所有者及管理者/委托管理者需要搭建起系统架构和项目预算的雏形，并将规划结果转化成图表和施工文件。确定系统架构后，需考虑选址问题，数据中心的布局受到市场需求、网络、价格成本，人才、政策、地质灾害、气象、能源、交通等因素的影响，其中市场需求和网络影响最大，多因素相互作用，交叉影响，在数据中心选址布局问题上，需统筹考虑。设计团队一般应包含暖通、弱电、给排水等设计师。 建设集成阶段：资源整合完毕，建设工作全面启动，建筑团队一般由电气，网络、机械的总包商和分包商组成。数据中心所有者或管理者/委托管理者需负 责选择/整合这些团队资源，并对设计成果负责。除此之外，数据中心所有者及管理者/委托管理者在项目中仍然扮演着重要的角色：需关注项目安全：质量，成本，进度，这其中还包括一系列施工文件，建筑许可和项目订单变更的审查与批准。此外，建设集成阶段中的设备调试过程可带来有价值的文件资料，助力设备运行状况的改善。 运行维护阶段：运行阶段是数据中心生命周期中，历时最长、花费最大的阶段，有时甚至长达20年。成功的运维管理，需要关注数据中心运营的设备管理、流程管理、质量管理、资源管理、人员与组织管理等各个环节，应用先进技术，进行管理机制的创新，实现绿色化、数字化、智能化运维，推动数据中心的绿色可持续发展。 节能改造阶段：数据中心的改造升级阶段涉及建筑布局与建筑热工、信息系统、通风与空调系统及给排水系统、电气系统、自动控制和能耗监测系统等多个方面，改造前应评估技术安全性、实施难易程度、技术创新度等技术指标判定差距与风险，权衡成本，时间、经济性等方面的利弊后确定改造方案，改造后的数据中心在节能、节水、减碳等方面应有实质性改善。 （四）数据中心基础设施集成市场将迎来跨越式发展的新蓝海 我国数据中心规模和市场保持快速增长，未来将保持20%-30%的增速。受新基建、数字化转型以及数字中国等政策的驱动，以及企业降本增效、转型的刚需，我国算力规模保持高速增长。截至2022年底，我国数据中心标准机架规模超过600万个，数据中心规模增速超过25%，算力总规模达到180EFlo