行业研究公司研究宏观策略财报招股书会议纪要中央经济工作会议低空经济 DeepSeek AIGC 智能驾驶大模型

千亿参数LLM的训练效率优化

信息技术2024-10-28张力寰零一万物徐***

AI智能总结

模型训练硬件利用率影响因素

Llama 3.1 模型训练案例：最大 405B 模型，使用 16K H100 训练集群，54 天预训练，466 次任务中断，展示了模型训练中硬件利用率的挑战。
MFU (Model FLOPS Utilization)：模型算力利用率，衡量模型计算资源的使用效率。
Goodput：衡量 AI 系统效率的指标，包括调度 Goodput、运行时 Goodput 和程序 Goodput。

分布式训练效率提升

数据并行 (Data Parallelism)：DDP (Distributed Data Parallel)，适用于模型较小、数据量较大的场景。
张量并行 (Tensor Parallelism)：Megatron-LM-1，均匀拆分模型，通信量大。
流水线并行 (Pipeline Parallelism)：GPipe (Google)、PipeDream (Microsoft)、Megatron-LM-2，通信量低，但引入 bubble 问题。
专家并行 (Expert Parallelism)：Switch Transformers (Google)、Megatron Expert Parallelism。
上下文并行 (Context Parallelism)：RingAttention，通过在线 softmax 计算块间注意力，但存在负载不均衡问题。
优化方法：
- RingAttention：负载均衡版本改进基本原理。
- SWA+CP：Sliding Window Attention + Context Parallel，解决序列长度问题，复用高性能 Attention 算子。
- 模基共建：与 FullAttention+CP 混合使用。
- 其它优化：通信计算并行。

FP8 训练经验分享

FP8 训练简介：
- E4M3：1 符号位、4 指数位、3 尾数位，范围 +/-448 和 nan。
- E5M2：1 符号位、5 指数位、2 尾数位，范围 +/-57344 和 +/- inf。
- 部分计算采用 FP8，前向用 E4M3，反向用 E5M2。
- 缩放方式：Just-in-time scaling 和 Delayed scaling。
FP8 训练实践：未详细展开。

MoE 训练经验分享

MoE 结构：
- Switch Transformers (Google)：细粒度专家和共享专家。
- DeepSeekMoE：通信计算并行。
Top-P 路由实现：Dynamic Routing in MoE Models。
其它优化：算子融合、细粒度重计算、自定义流水线并行层数划分等。

Goodput 优化

Goodput 定义回顾：衡量 AI 系统效率的指标。
自研集群训推任务调度系统：
- 拓扑亲和调度。
- 故障监控与定位。
FastCkpt：
- 基本原理：GPU 内存到 CPU 内存同步，持续优化，分布式优化器切分。
- 效果：每次保存 ckpt 的额外耗时趋近于 0，Goodput 提升 15%。
- CPU 内存到磁盘异步，适配多种分布式策略。

总结与展望

MFU：模型算力利用率。
Goodput：
- 分布式训练效率提升：DP/TP/PP/EP/CP 及其优化。
- 训推任务调度系统：拓扑亲和调度、故障监控与定位。
FP8 训练经验分享：
- FP8 训练介绍/实践。
- FastCkpt：基本原理、持续优化、提升效果。
MoE 训练经验分享：
- MoE 介绍。
- MoE 系列优化：基本原理、持续优化、提升效果。

演讲人：张力寰零一万物/AI Infra分布式训练优化架构师 CONTENTS目录 01模型训练硬件利用率影响因素 02分布式训练效率提升 03FP8训练经验分享 04MoE训练经验分享 05Goodput提升 06总结与展望模型训练硬件利用率影响因素 Llama 3.1 •92页的技术报告 •最大405B的模型•16K H100训练集群•54天的预训练,466次任务中断 https://arxiv.org/pdf/2407.21783 MFU •Model FLOPS Utilization，模型算力利用率•FLOPS (Floating Point Operations Per Second) 푀�=표푏푠푒푒怀�ℎ표ℎ푝��ℎ푒표푒�㘴㘱൭푚㘱푥푚푚�ℎ표ℎ푝� Goodput •A metric to measure AI system efficiency (Google) •Scheduling Goodput•Runtime Goodput•Program Goodput 分布式训练效率提升 Data Parallelism •DDP: Distributed Data Parallel •模型较小，数据量较大 Tensor Parallelism •Megatron-LM-1 •拆分均匀，但通信量大 Pipeline Parallelism •GPipe (Google), PipeDream (Microsoft)•Megatron-LM-2•通信量低，但会引入bubble Expert Parallelism •Switch Transformers (Google) •Megatron Expert Parallelism Context Parallelism RingAttention •(a) Outer loop: computing blockwise attention amongdevices•(b) Inner loop: every device computes blockwise attention and feedforwardoperations Ring Attention •基本原理：Onlinesoftmax •性能问题：负载不均衡 RingAttention •原版VS负载均衡版 SWA+CP •Sliding Window Attention + Context Parallel •不同情况序列长度的问题 •如何复用高性能Attention算子（如FlashAttention）•模基共建 •如何与FullAttention+CP混合使用其它优化 •通信计算并行 FP8训练经验分享 FP8训练简介 •E4M3: 1 sign bit, 4 exponent bits and 3 bits of mantissa.+/-448 and nan. •E5M2: 1 sign bit, 5 exponent bits and 2 bits of mantissa. +/-57344, +/- inf FP8训练简介 •部分计算采用FP8•前向用E4M3，反向用E5M2 •缩放方式 •Just-in-time scaling•Delayed scaling FP8训练实践 MoE训练经验分享 MoE结构 •Switch Transformers (Google) 细粒度专家和共享专家 •DeepSeekMoE•通信计算并行 Top-P路由实现 •Dynamic Routing in MoE Models 其它优化 •算子融合•细粒度重计算•自定义流水线并行层数划分•... Goodput优化 Goodput定义回顾自研集群训推任务调度系统拓扑亲和调度故障监控与定位 FastCkpt •基本原理•GPU内存到CPU内存，同步 •持续优化•分布式优化器的切分 •xxx任务效果•每次保存ckpt的额外耗时趋近于0•Goodput提升15% •CPU内存到磁盘，异步 •多种分布式策略的适配总结与展望总结与展望 MFU Goodput •分布式训练效率提升•DP/TP/PP/EP/CP及其优化 •训推任务调度系统•拓扑亲和调度•故障监控与定位 •FP8训练经验分享•FP8训练介绍/实践 •FastCkpt •MoE训练经验分享•MoE介绍•MoE系列优化 •基本原理•持续优化•提升效果 THANKS 智能未来，探索AI无限可能Intelligent Future, Exploring theBoundless Possibilities of AI

点击免费查看完整报告