行业研究公司研究宏观策略财报招股书会议纪要稀土低空经济 DeepSeek AIGC 智能驾驶大模型

基于CXL方案的AI应用优化与研究

信息技术2025-09-12开放数据中心委员会李***

AI智能总结

一、引言

研究目的和范围：本报告旨在系统梳理CXL技术在AI领域的应用方案，涵盖MoE、LLM和GNN等典型应用场景，通过实际案例分析和性能基准测试，为AI开发者、系统架构师提供可落地的CXL应用指南。
缩写和术语：报告对CXL、LLM、GNN等缩写进行了定义。
参考文献：列出了报告参考的文献资料。

二、CXL设备相关背景介绍

CXL协议概述：介绍了CXL协议的背景、核心价值、协议体系（CXL.io、CXL.cache、CXL.mem）以及三种设备模式（Type1、Type2、Type3），并阐述了CXL协议的优势，包括超高速数据传输能力、突破性低延迟架构、内存资源池化管理、弹性可扩展的内存架构等。
CXLDRAM概述：介绍了CXLDRAM的概念、性能特性、行业进展以及应用价值，例如三星CMM-D2.0模块的推出标志着CXL技术从实验室验证向大规模商用的关键跨越。

三、应用场景背景介绍及瓶颈分析

MoE背景及瓶颈分析：介绍了MoE的背景、经典架构（稀疏MoE层、门控网络或路由）、DeepSeek-MoE架构及其面临的内存墙瓶颈、通信开销问题，并分析了现有解决方案的局限性。
LLM背景及瓶颈分析：介绍了LLM的背景、Transformer解码器架构、LLM推理过程（预填充阶段、解码阶段）以及面临的内存墙瓶颈，并分析了键值缓存（KV缓存）的作用和局限性。
GNN背景及瓶颈分析：介绍了GNN的背景、应用领域、算法介绍（聚合、特征变换）以及训练算法流派（全批训练、小批量训练），并分析了超大规模图数据带来的内存瓶颈。

四、基于CXL设备的应用解决方案

CMM-DMoE方案介绍：介绍了基于CXL的MoE卸载框架MoEoffload，其架构、核心模块（计算次序优化、I/O管理、流水线算法、基于预测的预取）以及工作原理。
CMM-DLLM方案介绍：介绍了基于CXL的多层KV缓存系统，其架构、核心模块（KV选择、多进程并行实现、重叠数据传输与计算）以及工作原理，并对比了与现有方案的差异。
CMM-DGNN方案介绍：介绍了基于CXL的GNN训练方案，其架构、核心模块（DGLDataloader、FetchFeatures、Mem.Allocation、IndexSelect、NUMAAllocation）以及工作原理，并介绍了UVA技术的应用。

五、基于CXL设备方案的性能验证

CMM-DMoE方案性能验证：介绍了实验环境、数据集（WikiText）以及测试结果，结果表明MoEoffload方案可以节省82%的GPU内存使用量，并具有显着的性能优势。
CMM-DLLM方案性能验证：介绍了实验环境、数据集（OpenBookQA）、模型（LLaMA-7b）、评估指标（准确性、生成吞吐量）以及测试结果，结果表明KV选择模块可以提升准确性，优化方法实现了21%的性能提升。
CMM-DGNN方案性能验证：介绍了实验环境、数据集（ogbn-papers100M）以及测试结果，结果表明CMM-DGNN方案相比DRAM方案提升了约2.5倍的效率，相比SSD方案提升了约4倍的效率。

六、总结与展望

研究总结：CXL技术正在重塑数据中心的架构范式，本报告系统梳理了CXL在AI场景下的应用实践，验证了其在GPU HBM扩展的技术价值，并期待为数据中心架构师、系统集成商及存储设备厂商提供决策依据，加速CXL在中国市场的应用落地。
研究展望：CXL技术的持续演进为未来研究开辟了广阔空间，尤其在协议创新与应用场景拓展方面，例如CXLPooling（内存池化）的跨架构优化与动态资源管理、CXL与PCIe/NVMe等现有协议的协同优化等，期待学术界与产业界共同探索，加速CXL生态的成熟与普及。

版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。编写团队项目经理：李宇涛三星（中国）半导体有限公司杨攀三星（中国）半导体有限公司工作组长:王峰中国电信股份有限公司研究院贡献专家:冯皓楠三星（中国）半导体有限公司张燕子三星（中国）半导体有限公司杨安喆三星（中国）半导体有限公司朴奎珉三星半导体有限公司金旻权三星半导体有限公司曺承杓三星半导体有限公司金俊三星半导体有限公司李相佑三星半导体有限公司劉永健三星半导体有限公司陈光上海三星半导体有限公司冯方上海三星半导体有限公司王超斌上海三星半导体有限公司任绍波上海三星半导体有限公司石新新上海三星半导体有限公司冯轶李军中国移动通信集团有限公司华瑞数鑫科技有限公司赵继壮中国信息通信研究院邵剑峰中国信息通信研究院前言 CXL（ComputeExpressLink）作为一种面向数据中心的高速互连技术标准，正在为AI应用的算力及存储瓶颈提供突破性解决方案。该技术基于PCIExpress5.0物理层构建，为AI计算提供高性能，高可靠性的数据传输。在AI训练与推理场景中，CXL技术能够显著降低跨设备数据传输延迟，通过统一内存池化管理解决GPU/TPU集群中的内存碎片问题，并为分布式模型训练提供高效的缓存一致性机制。当前，随着生成式AI、大语言模型等前沿技术的爆发式发展，AI应用对存储资源的需求呈现出指数级增长。以三星CMM-D、海力士CXLDRAM等为代表的CXL设备，正在成为AI数据中心构建高带宽、低延迟互连架构的关键组件。然而，AI场景下CXL技术的软件生态建设仍面临重大挑战：现有研究多聚焦于通用协议验证，针对AI工作负载特性优化的训练框架适配仍处于探索阶段。特别是大模型训练过程中涉及的内存密集型计算、跨节点数据同步等场景，亟需构建完整的AI-CXL软硬件协同优化体系。本白皮书将系统梳理CXL技术在AI领域的典型应用方案，涵盖以下核心研究方向。通过实际案例分析与性能基准测试，本文旨在为AI开发者、系统架构师提供可落地的CXL应用指南，助力构建下一代AI数据中心的高效互连生态。鉴于编者水平与时间限制，文中难免存在疏漏或不足，恳请读者不吝指正。如对内容有任何建议或疑问，欢迎通过 yutao.li@samsung.com与我们联系。目录一.引言..........................................................................................................1 (一)研究目的和范围...............................................................................1(二)缩写和术语.......................................................................................2(三)参考文献...........................................................................................4 (一)CXL协议概述..................................................................................5(二)CXLDRAM概述..............................................................................8 三.应用场景背景介绍及瓶颈分析............................................................11 (一)MoE背景及瓶颈分析.....................................................................11(二)LLM背景及瓶颈分析....................................................................16(三)GNN背景及瓶颈分析....................................................................21四.基于CXL设备的应用解决方案..........................................................29(一)CMM-DMoE方案介绍.................................................................29(二)CMM-DLLM方案介绍................................................................32(三)CMM-DGNN方案介绍.................................................................40五.基于CXL设备方案的性能验证..........................................................45(一)CMM-DMoE方案性能验证.........................................................45(二)CMM-DLLM方案性能验证.........................................................47(三)CMM-DGNN方案性能验证.........................................................50六.总结与展望............................................................................................55(一)研究总结.........................................................................................55(二)研究展望.........................................................................................55七.附录..........................................................................................................1 图目录图1CXL协议三种模式结构示意图................................................................7图2三星CMM-D产品图................................................................................9图3MoE架构图..............................................................................................12图4DeepSeekMoE架构图..............................................................................14图5Transformer解码架构..............................................................................17图6大语言模型推理流程..............................................................................18图7不同序列长度下KV缓存大小..............................................................20图8KV缓存传输的瓶颈................................................................................20图9基于采样的GNN训练示意图...............................................................26图10基于采样的GNN训练示意图.............................................................27图11SSD中Feature检索的性能...................................................................28图12CMM-DMoE方案架构.........................................................................30图13CMM-DMoE流程图.............................................................................32图14CPU/CXL到GPU互连。在不同访问大小下的延迟和带宽测量....34图15GPU到CPU/CXL互连。在不同访问大小下的延迟和带宽测量.....34图16多层KV缓存系统的整体架构............................................................35图17CMM-D和DRAM之间的预取............................................................37图18更大的预取窗口....................................................................................37图19存储缓存的重叠....................................................................................38图20CXL内存可以作为锁页内存池............................................................39图21存储缓存的重叠....................................................................................39图22KV缓存预取对比..................................................................................40图23基于CMM-D的GNN训练示意....................

点击免费查看完整报告