AI服务器白皮书（2023年）

版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 编写组 项目经理： 穆浩然中国电信股份有限公司研究院李宁东中国信息通信研究院（云大所数据中心团队） 工作组长： 王峰中国电信股份有限公司研究院 II贡献专家：郭亮中国信息通信研究院（云大所数据中心团队）谢丽娜中国信息通信研究院（云大所数据中心团队）王望子中国电信股份有限公司研究院苏丽天翼云科技有限公司白秀杨天翼云科技有限公司崔立志天翼云科技有限公司李萌天翼云科技有限公司刘鑫华为技术有限公司程龙飞华为技术有限公司裴博华为技术有限公司徐进华为技术有限公司李文文华为技术有限公司李鹏华为技术有限公司刘凯明华为技术有限公司胡然华为技术有限公司高斯亮华为技术有限公司赵梓竣华为技术有限公司吴菁华英特尔（中国）有限公司 刘军篆芯半导体（南京）有限公司王星篆芯半导体（南京）有限公司柳雷篆芯半导体（南京）有限公司王磊沐曦集成电路（上海）有限公司赵杨沐曦集成电路（上海）有限公司 前言 在当前快速发展的信息时代，人工智能（AI）已经成为引领科技革命和产业升级的重要引擎。AI技术的飞速进步，推动了各行各业的变革与创新，而AI服务器作为支撑和驱动AI应用的核心基础设施，正扮演着越来越重要的角色。 ODCC始终关注AI服务器产业的发展，联合相关单位共同编写本白皮书，对AI服务器需求、场景和AI服务器通用架构、关键技术、评测指标、发展趋势等方面进行了详细的梳理，以期更进一步推动AI服务器的发展。本白皮书旨在深入探讨AI服务器在硬件和软件方面的要求，并将重点关注AI服务器在深度学习、大规模数据处理、计算机视觉、自然语言处理等应用领域中的关键作用。我们将对当前市场现状进行深入分析，并展望未来AI服务器技术的创新方向和实际应用。本白皮书也同步探讨AI服务器在不同领域的应用实践，以及其对于数字经济、科技创新和产业转型的深远影响。通过深入研究AI服务器的发展现状、趋势和挑战，我们可以更好地把握其在未来的重要地位，为推动人工智能技术的发展和应用创造更加有利的条件。同时，本白皮书也旨在为相关领域的决策者、研究者和从业者提供有益的参考，共同推动人工智能与数字经济的融合发展。 由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系编写组。 目录 版权声明............................................................................................................................................I编写组..............................................................................................................................................II前言.............................................................................................................................................V 二、人工智能发展历程................................................................................................................2 三、大模型时代的开启与挑战.....................................................................................................7 （一）预训练大模型潜力涌现，强人工智能曙光出现.....................................................9（二）ChatGPT引发AI产业创新，开启大模型新纪元..................................................12（三）国内外厂商布局大模型，千亿级参数量推动算力需求增长...............................20 四、AI服务器核心需求.............................................................................................................22 （一）并行处理能力扩展...................................................................................................23（二）与计算力匹配的高性能存储...................................................................................25（三）支持高速数据传输的互联网络...............................................................................26（四）强散热.......................................................................................................................27 五、AI服务器架构及关键技术.................................................................................................27 （一）AI服务器总体架构..................................................................................................29（二）异构计算加速计算芯片...........................................................................................311．GPU:AI算力的核心................................................................................................322．FPGA.........................................................................................................................473．ASIC.........................................................................................................................54（三）主板总线...................................................................................................................611．PCIe/PCIeSwitch...................................................................................................61 2．NVlink/NVSwitch...................................................................................................683．厂商方案.................................................................................................................76（四）分布式训练...............................................................................................................821．集群网络.................................................................................................................832．集群存储.................................................................................................................95（五）液冷技术.................................................................................................................1061．液冷技术背景.......................................................................................................1062．液冷技术发展.......................................................................................................107（六）电源.........................................................................................................................1171．功率.......................................................................................................................1182．效率.......................................................................................................................1183．集中式供电...........................................................................................................120 六、典型AI服务器配置..