大模型推理框架升级之路

量化技术优化

• 量化手段：通过 Weight-int8/KV_cache_int8、Activation int8、Weight-int4/KV_cache-int4、Communication int8 和 Attention QKV int8 等量化技术，显著降低显存占用和计算耗时。
  • 显存降低：Weight-int4/KV_cache-int4 将显存占用压至更低，支持更大序列和 Batch，成本下降 30%。
  • 耗时降低：Activation int8 使首 token 耗时下降 50%，成本下降 15%；Communication int8 使首 token 耗时下降 30%。

投机采样技术

• 投机采样：利用 decode 过程算力冗余生成多个候选 token 并并行验证，提升算力利用率。
  • 策略：通过单 token 级别和 token tree 级别的筛选策略，优化候选 token 生成。
  • 收益：命中率提升 50%+，端到端推理速度提升 30%+。
• Clover 模型：
  • 结构设计：通过可学习的 Transformer block 收集全局信息，尝试使用前置候选 token 信息辅助预测。
  • Sample 策略：优化 token tree 排序和预算数量，提升命中率。
  • Clover2 升级：
    • Loss 优化：增加数据蒸馏 loss，避免过拟合。
    • 结构提升：增加 Augmenting Block 层数，提升全局信息提取能力。
  • 收益：命中率最大提升 7.7%，端到端推理速度最大提升 9.3%。

推理性能优化

• TTFTTPOT 优化：
  • Chunk prefill：将 prefill 计算拆分为多段，降低 decode 间隔时间。
  • Split fused 技术：整合 prefill 和 decode 计算，提升计算利用率。
  • 收益：decode token 间隔 p99 显著下降。
• PD 分离：
  • 方案：较短输入采用混合推理，长请求单独处理，动态调度策略平衡 TTFT 和 TPOT。
  • Cache 策略：通过 Session cache 和 Sys_prompt cache 提升首 token 延迟表现。
• Cache 功能：支持全局前缀树 cache，满足 MCTS 算法需求。

通信优化

• 计算通信 overlap：
  • ISOsequence 内 overlap 方法：针对不同卡型（4090 和 A800）设计优化策略。
    • 4090：通信占比较大，对通信进行量化。
    • A800：计算占比较大，采用 gemm 切块策略减少 overlap。
  • 收益：4090 4 卡提升 40%，8 卡提升 25%；A800 4 卡提升 10%，8 卡提升 15%。