肖彬-大模型推理框架升级之路

大模型推理框架性能优化专项总结

01 量化优化

• 量化技术：通过 Weight-int8/KV_cache_int8、Activation int8、Weight-int4/KV_cache-int4 和 Communication int8 等技术降低显存占用和计算成本。
  • 效果：Weight-int8/KV_cache_int8 显存占用降低50%，成本下降15%；Activation int8 首token耗时下降50%，成本下降15%；Weight-int4/KV_cache-int4 显存占用进一步降低，成本下降30%。
• 通信量化：Communication int8 降低通信耗时，首token耗时下降30%。
• Attention QKV int8：将gemm计算转为int8，目前处于开发中。

02 投机采样优化

• 投机采样技术：利用decode过程算力冗余生成多个候选token并行验证，提升算力利用率。
  • Clover模型：通过可学习的Transformer block收集全局信息，提升命中率50%+，端到端推理速度提升30%+。
  • Clover2模型：通过loss优化、主模型预测token信息前置、Regressive attention block output projector结构提升和增加Augmenting Block层数，命中率最大提升7.7%，端到端推理速度最大提升9.3%。

03 TTFT与TPOT平衡优化

• Chunk prefill：将单次prefill计算拆分为多段计算，降低decode间隔时间。
  • Split fused技术：整合chunk prefill与decode计算，提升计算利用率。
  • 最终收益：decode token间隔p99在各个业务中显著下降。
• PD分离：解决TTFT与TPOT的平衡问题，较短的输入采用split-fused方案，长请求单独处理。
  • Cache策略：Session cache缓存kv cache结果，支持sys_prompt cache和全局前缀树cache，显著提升首token延迟。

04 通信优化

• 计算通信overlap：
  • ISOsequence内overlap方法：针对4090和A800分别优化，4090通信占大头时进行量化，A800计算占大头时采用gemm切块策略。
  • 收益：4090 4卡40%，8卡25%；A800 4卡10%，8卡15%。
• 其他优化手段：通过调整sequence切分占比平衡attention计算量，进一步提升收益。