计算支出正发生巨大变化，AI将成为数据中心的主要计算支出。到2025年，数据中心的大部分计算支出将用于AI。AI资源需求快速增长，模型增长速度快于技术进步，带来推理和训练系统的挑战。
AI资源需求与趋势：
- 计算绑定和内存绑定问题日益严重，AI模型增长速度快于技术进步。
- 推理系统面临高延迟、带宽和容量挑战，需要分层内存、内存池、SSD等解决方案。
- 训练系统需要高性能网络、存储和节点间通信。
推断硬件和软件体系结构：
- 推理系统需要AI处理单元、节点和Pod，以及高带宽DRAM、低延迟DRAM和快速存储。
- ML编译器负责前端和后端优化，分布式运行时支持协作建模。
OCP在AI协同设计中的角色：
- OCP促进行业合作，推动AI工作流和工具标准化。
- OCP项目组致力于软件、大学合作和行业协作，贡献者包括多个软件和硬件供应商。
关键数据：
- 2025年，数据中心的大部分计算支出将用于AI。
- AI模型增长速度快于技术进步，计算绑定和内存绑定问题日益严重。
