OPPO Roy-大规模在线学习在OPPO商业算法那的设计与实践

OPPO商业化系统架构与优化方案

OPPO商业化广告业务

• 业务模式：依赖CTR/CVR模型进行预估，包括oCPX类广告（以ocpc为主）、CPC广告及外部DSP投放的CPM/CPC广告。
• 核心消耗产品：Ranker作为核心服务，接入流量并调用CTR/CVR模型。

OPPO商业广告系统架构问题

• 天级模型架构问题：
  • 由多个MR任务组成，任务维护难度大。
  • 样本产出时间受资源与流量大小双重影响。
  • 对实时特征响应慢，attention类模型结构难以发挥作用。
  • 离线与在线两次特征抽取导致线上特征不一致。

流式样本设计方案

• 设计目标：
  • 事件发生的时间点即是样本产出的时间点。
  • 解决负例事件归因窗口问题。
• 关键问题与解决方案：
  • 负例事件归因：负例事件到达时需等待确认是否为正例，通过流式设计将事件发生时刻作为样本产出时刻，负例事件直接拼接特征发送。
  • Delay Feedback问题：
    • 实际样本中正例P' = P，负例N' = α(P + N)导致预估值波动。
    • 纠偏方案：
      • Importance Sampling：用模型代替真实观测结果，符合流式需求。
      • Fake Negative Calibration：简单易实现，推导真实正负例。
      • 参考论文：《Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction》。
  • 负例打散：负例样本缓存于joiner中，按正例回流时间分布PDF概率打散发送，解决预估值波动问题。

架构优化目标

• 自研GPU同步训练：支持T级别模型及推理。
• 秒级流式更新：模型更新延时少于30秒。
• 性能指标：p99增加量小于15ms。

工程问题与解决办法

• 问题：开发与设计目标不一致、性能指标不达标、工期超时。
• 解决办法：
  • 设计原理分享后开发。
  • 架构修改（换组件、读写分离等）。
  • 制定方案时预留冗余空间。

样本排查与训练超参

• 样本排查：
  • 事件与特征join率排查。
  • 正负例样本数量与对齐率AUC差距排查。
  • Reload收益（天级/流式）对比。
  • Shuffle收益（天级/流式）对比。
  • 不同纠偏方式AUC收益对比。
• 训练超参：
  • 学习率调小。
  • 去掉momenta。

AUC评估

• 评估方法：
  • 天级全天评估改为batch内/间隔时间评估。
  • 天级/流式样本使用相同测试样本评估。
• 实时性收益评估。

重点方向

• 流式模型常驻：模型稳定更新。
• Inference时emb更新策略。
• 预估监控与报警。
• 模型回滚策略。
• 错误样本过滤与模型重训。

经验总结

• 方案设计与代码实现差距大，需见招拆招。
• 流式样本对齐天级样本需繁琐细致。
• 流式模型AUC对齐与评估需控制变量，不放过任何差异。
• 在线实验与模型上线需监控齐全，稳定可靠。