硅基流动高性能低成本的大模型推理云实践

信息技术 2024-08-01 陈凯硅基流动「若久」

供给侧加速进化的大模型能力（以LLM为例）：大模型能力快速提升，如LLM（ChatGPT）等模型性能显著增强。参考数据来源于信息可视化网站和聊天机器人排行榜。
多样化的大模型需求（以LLM为例）：大模型需求呈现多样化趋势，涵盖Chat、检索、多模态等多种应用场景。

硬件资源需求：大模型推理需要严苛且昂贵的硬件资源，以KV cache size为例，计算公式为(batch_size)*(sequence_length)*2*(num_layers)*(hidden_size)*(pricision_in_bytes)，其中乘数2包含K和V的矩阵。参考数据来源于Vaswani的论文《Attention is all you need》、Hugging Face博客和NVIDIA开发者博客。
推理任务耗时：大模型推理本身是一个慢而昂贵的任务，市场调研显示推理成本较高。参考数据来源于Twitter和AutoDL市场。
不可能三角：大模型推理难以同时满足质量好、速度快和价格低的要求。参考数据来源于Artificial Analysis、Aidan Cooper的博客和Twitter。
自部署模型服务的冷启挑战：自部署模型服务面临冷启挑战，影响推理效率。参考数据来源于Hong和GreatDK的文章。
自部署服务的冷启、稳定性挑战：自部署服务存在冷启和稳定性问题，影响用户体验。参考数据来源于Microsoft支持和PyTorch社区。

核心引擎建设：
- 源自OneFlow团队的技术沉淀：高性能核心引擎基于OneFlow团队的技术积累，参考论文《Oneflow: Redesign the distributed deep learning framework from scratch》。参考数据来源于PyTorch分布式文档和OneFlow官方文档。
- 大语言模型推理端到端优化：核心引擎对大语言模型推理进行端到端优化，提升性能。
- 高性能计算算子：以Softmax、LayerNorm计算为例，优化算子性能。参考数据来源于OneFlow GitHub和知乎文章。
- 高性能核心引擎优化：优化吞吐和时延，如LLaMA2 70B模型在8 x A800 SXM 80G配置下首token时延表现优异。
- 生图/生视频模型推理端到端优化：优化生图和生视频模型的推理性能。
- 文生图加速优化：文生图核心引擎加速优化，SDXL生图端到端耗时降低三倍，参数为Image size 1024*1024, batch size, steps 30, on A100 80GB 400W GPU。
模型云建设：
- 优化云上冷启：优化推理服务在云上的冷启性能。
- 保障云上可用性：提升云服务的可用性，参考Endo等人的论文《High availability in clouds: systematic review and research challenges》。
- 丰富模型：提供40+优化模型，覆盖Chat、检索、多模态等场景。
- 统一兼容API：SiliconCloud提供统一的兼容API，降低使用门槛。