胡晓光-飞桨框架技术创新之路

飞桨框架技术创新之路

一、深度学习框架核心功能

1. 易用的开发接口

   • 数据抽象：Tensor
   • 操作抽象：Operator
   • Python，Numpy
   • 避免了底层硬件开发接口，如Cuda C, cuDNN, cuBlas等

2. 自动微分功能

   • 只需编写神经网络前向过程，自动计算损失关于参数的梯度
   • 支持高阶自动微分和前向自动微分

3. 多硬件支持

   • 隔离硬件差异，如Cuda C, oneAPI, XTDK, BangC等
   • 充分发挥硬件性能

4. 分布式计算

   • 合理安排计算、访存、通信等操作

5. 可扩展性

   • 支持硬件后端、算子、Pass、Dialect等

二、模型和框架代码规模对比

• 模型代码规模（推理）

  • Llama3: 2千行
  • StableDiffusion: 1.8万行
  • AlphaFold: 2.4万行

• 框架代码规模

  • TensorFlow: 420万行（去三方库）
  • PyTorch: 298万行
  • PaddlePaddle: 307万行

三、自动微分功能

• 深度学习框架发展历程

  • Theano (2008)
  • TensorFlow (2015)
  • Caffe (2013)
  • PyTorch (2016)

• 动静统一

  • PaddlePaddle 开源 (2016)
  • 大规模分布式训练

• 自动并行

  • 融合两种开发模式
  • 灵活和效率的平衡

四、动静统一和自动并行

• 动静统一

  • 静态图模式
  • 动态图模式
  • 自动并行

• 自动并行

  • 张量切分
  • 策略寻优
  • 自动微分

五、高阶自动微分

• 示例代码

  def foo(x):
      y = conv2d(x, ...)
      z = batch_norm(y, ...)
      return relu(z)
  

六、动静转换技术

• Python语法支持率

  • 飞桨: 94%
  • PyTorch: 59%

• 动静转换成功率

  • 飞桨: 95%
  • PyTorch: 62%

七、高性能编译计算

• 算子库

  • CINN
  • 基础算子
  • 神经网络编译器

• 张量表示

  • Tensor
  • 数学计算
  • 组网优化
  • 存储管理

八、大模型技术发展趋势

• RWKV
  • 使用RNN网络达到Transformer效果
• Mamba
  • 线性时间序列建模
• Switch Transformers
  • 高效稀疏模型

九、硬件适配与优化

• 计算量 vs 摩尔定律

  • 参数量 vs 显存
  • 计算量、参数量增长迅速
  • 多节点分布式/并行计算

• 显存优化策略

  • 分裂模型
  • 降低单卡显存占用
  • 拆分mini-batch
  • 混合精度训练

十、分布式技术架构

• 手动并行
  • 手动管理张量切分和通信
• 自动并行
  • 框架自动推导张量切分和通信
• 半自动并行
  • 用户添加少量分布式标记信息
• 全自动并行
  • 无需用户添加分布式标记信息

十一、混合并行策略

• 不同模型、不同规模、不同设备
  • 需要不同的策略
• 混合并行代码开发
  • 大幅简化

十二、动静统一自动并行架构

• 统一分布式标记
• 自动切分推导
• 动静统一
• 参数自动转换

十三、科学计算模型优化

• 飞桨AI for Science
  • 开源工具链
  • 支持可变形状输入