人工智能（AI）和机器学习（ML）技术在过去十年中取得了显著进展，模型规模和复杂度呈指数级增长，推动了人工智能数据中心的发展。本报告深入分析了现代人工智能数据中心实现规模扩大和扩展的技术基础，重点关注人工智能硬件创新、模块化基础设施规划和复杂冷却方法等方面。
AI、ML 和 LLM 简介： AI 指的是旨在执行通常需要人类智能的任务的机器或软件，ML 训练算法以推断意义并提供对独特提示的准确类似人类的响应，DL 是无需人类干预的 ML，LLM 是专门处理语言的深度学习模型。模型训练涉及准备数据、优化响应以实现最佳性能，并在推理阶段分析新数据并应用优化后的模式识别。
AI 自 2017 年以来的演变： 2017 年标志着深度学习（DL）领域多个重要里程碑的实现，特别是 Transformer 模型的出现，它已成为 LLM 架构设计的基石，并在自然语言处理（NLP）领域取得了重大进步。模型规模和复杂度持续增长，例如 GPT-2（15 亿参数）、GPT-3（1750 亿参数）和 GPT-4（估计万亿参数）。
AI 模型发展趋势： 全球数据量激增，推动了对高性能计算和大规模数据集的需求。AI 市场规模预计到 2035 年将达到 1 万亿美元，预计在 2024 年至 2030 年间的复合年增长率（CAGR）为 36.6%。AI 模型规模和复杂度的增长对训练和部署这些模型所需的计算基础设施产生了深远的影响。
AI 硬件创新： AI 的快速发展对 AI 数据中心基础设施和高性能计算所需的先进硬件提出了巨大需求。AI 优化的 GPU、TPU 和 ASIC 模块等专用硬件成为主流，以满足 AI 工作负载的需求。先进的光刻技术、芯片设计、系统架构和封装技术的创新使得开发出支持现代 AI 工作负载的高性能硬件成为可能。
AI 数据中心扩展策略： 扩展 AI 涉及两种主要方法：垂直扩展和水平扩展。每种方法都旨在优化性能，高效管理资源，并满足 AI 应用不断增长的计算需求。大规模 AI 机器学习集群需要结合 CPU、GPU 和专业的 AI 加速器，并通过高速、低延迟的网络连接起来。
AI 网络需求： AI 模型训练是一项涉及成千上万个单独加速器的同步活动，需要高带宽、低延迟、无损耗、维护数据包顺序的高性能网络。InfiniBand 和 RDMA over converged Ethernet（ROCE）等网络技术被用于满足这些需求。未来，随着 AI 模型复杂度的增加，对更高带宽（例如 1 Tbps 和 2 Tbps）的需求将日益加剧。
AI 数据中心冷却： 训练大型 AI 模型所需的能量是巨大的，冷却技术是必要的。高容量冷却解决方案是必要的，以从加速器、节点和开关中移除热量。先进的冷却方法，例如直接液体冷却和浸没冷却，对于有效散热至关重要。
AI 数据中心扩展的未来趋势： 分段模型和周期同步等新兴技术将进一步塑造人工智能数据中心未来的格局。地理分布式的训练数据中心互联（DCI）中的中长距离链路、分段模型、全局参数服务器以及非同步更新等技术将得到更广泛的应用。
结论： 有效的扩展策略必须结合向上扩展和向外扩展，同时仔细关注实际数据中心设计和先进的冷却方法。随着 AI 模型持续增大和复杂化，对强大、高速网络和高效热管理的需求也将增加。
