大模型训练精度问题定位案例

精度问题概述和场景

• 大模型训练精度问题主要表现为训练收敛不及预期，如loss起飞、毛刺、NaN、下游任务评测效果变差等。
• 精度问题场景分为有标杆（迁移场景）和无标杆（原生开发场景）两类，本文聚焦有标杆迁移场景。
• 迁移场景具体可分为首step差异、长稳loss差异、溢出或NaN、训练中loss与标杆相比差异较小但下游指标差异大四类现象。

问题定位方法

• 精度问题定位流程：包括训练前置定位步骤（Checklist检查、问题复现）和分场景定位（首step loss差异、长稳loss差异、溢出或NaN）。
• Checklist检查：检查配置项（训练超参和环境变量、三方库版本）、输入数据、模型结构、权重初始化、环境版本更新。
• 问题复现：固定随机性（随机种子、关闭shuffle、关闭Dropout）、打开确定性计算和通信、使用精度采集工具采集md5数据。
• 精度问题分场景定位：
  • 首step loss差异：使用精度预检工具排查可疑算子，采集mix级别数据，分级可视化或精度比对工具定界可疑算子，单算子验证。
  • 长稳训练loss差异：使用训练状态监控工具或dump采集比对工具采集数据，分析梯度、激活值、权重数据，定界可疑算子。
  • 溢出或NaN：确定问题step，采集该step的数据，使用精度采集工具dump采集前反向输入输出，采集梯度，精度比对工具定界可疑算子。
• 特殊情况排查：开启流同步、关闭FA、排查overlap类参数、排查Matmul错峰策略、排查优化器、使用精度预检工具。
• 硬件压测：模型压测和命令压测，使用ascend-dmi命令进行压测。

精度定位案例

• Checklist不一致案例：
  • 配置项不一致：NPU和GPU配置不同导致下游指标差异大，同步配置后问题解决。
  • 读取数据不一致：读取token_id数据不一致导致loss对不齐，修复数据预处理代码后问题解决。
  • 模型结构不一致：NPU和GPU模型结构不一致导致loss对不齐，对齐模型结构后问题解决。
• 确定性计算案例：确定性计算问题导致重复训练loss不一致，通过dump采集工具和分级可视化工具定界到可疑算子，小算子代替后问题解决。
• msprobe工具定位案例：
  • 首step loss不一致：通过dump采集工具和精度比对工具定界到gelu算子，使用修复包后问题解决。
  • 长稳训练loss不一致：通过monitor状态监控工具采集梯度数据，定界到embedding层梯度问题，梯度裁剪后问题解决。
  • 溢出或NaN问题：
    • 案例1：通过dump采集工具和异步dump方式定界到FA算子使用规范错误，修正后问题解决。
    • 案例2：通过缩小规模、dump采集工具、异步dump方式、手动挂局部hook打印梯度、改用异步dump、分析异步dump数据、算子内存地址打印等方法定界到内存踩踏问题，添加record后问题解决。
• 特殊情况排查案例：开启流同步后训练NaN消失，去掉overlap-param-gather超参后问题规避。
• 硬件压测案例：通过模型压测和ascend-dmi命令排查到坏节点，排除后精度正常。