OPPO数据湖加速大模型训练

OPPO数据湖平台技术分享

OPPO数据湖平台介绍

• 平台架构：OPPO大数据架构，包含自研数据湖产品Glacier。
• Glacier功能：
  • 管理和优化开源数据湖表。
  • 秒级写入能力。
  • 索引增强。
  • 非结构化数据优化。
• 数据入湖方式：
  • CDC入湖。
  • 采集服务入湖。
  • 高性能&可靠性客户端，单表支持100+客户端同时提交数据，秒级延迟。
• 流批一体任务：
  • SQL兼容。
  • 执行计划区分。
  • 流批一体维表。
• 元数据管理-GMS：
  • 元数据定时任务。
  • 生命周期管理。
  • 数据治理。

大模型任务加速

• 平台化管理：
  • 任务&数据平台化管理。
  • 计算提效，存储降本。
  • Spark-ML库支持。
  • 资源调度。
  • 对接训练平台。
• PySpark优化：
  • 7z数据入湖。
  • 内存优化（Pickler）。
  • 并行度优化。
  • 长文本切分/压缩。
  • Remote Shuffle。
• 数据加速：
  • 分类数据索引。
  • 去重结果检索。
  • 缓存加速训练。
• 任务优化：
  • MiniHash，Kmeans任务优化。
  • 全局精确去重实现。
  • 数据向量化(Rust改造)。
• 任务Rust化改造：
  • 提升效率。
  • 内存安全。
  • 环境简单。
  • 丰富的开源库。
  • Rust版本，内存效率更高。
• 资源调度：
  • 跨集群任务调度。
  • 存储层打通。
  • 缓存加速训练。

技术规划

• RoadMap：
  • 自研缓存。
  • 流批一体引擎。
  • 机器学习/大模型场景。