核心观点
本研报针对大规模模型（包括大型语言模型和扩散模型）在计算效率、内存带宽和资源利用率方面的瓶颈，提出了多种优化推理方法，在平衡速度、内存和计算需求的同时，不牺牲输出质量。
大型语言模型
- Medusa: 通过添加并行解码头和利用基于树的注意力机制，同时预测多个标记，将解码步骤减少 2.3-2.8 倍，从而显著提高速度，同时保持输出质量。
- BitDelta: 将微调模型的权重差异（增量）压缩到单个比特，将 GPU 内存使用量减少超过 10 倍，而不会影响性能，从而实现高效的多人租户部署。
- Tool Maker: 引入一个闭环框架，其中强大的 LLM 生成可重用的工具（例如 Python 函数），然后由更轻量级的模型用于解决问题，这种资源密集型工具创建和成本效益工具使用的分工减少了推理成本并增强了模型的可扩展性。
扩散模型
- Distrifusion: 利用时间一致性 across 扩散步骤，通过重用预计算的特征图并通过流水线最小化通信开销，在多个 GPU 上实现了高达 6.1 倍的速度提升。
- SVDQuant: 对扩散模型进行 4 位量化，利用现代张量核心显著提高计算吞吐量，同时保持图像质量。
研究结论
- 本研报提出的贡献为解决阻碍大规模模型实际部署的瓶颈提供了全面的途径。
- 通过关注内存效率、计算优化和系统级协调等关键领域，提出了能够不仅加速推理，而且使大规模模型更易于在现实世界应用中部署的解决方案。
- 通过 Medusa、BitDelta、Distrifusion、SVDQuant 和 ToolMaker 等方法，在速度、内存效率和资源利用率方面取得了显著改进，使大规模模型能够在各种任务和部署场景中得到有效利用。
