小米大模型端侧部署落地探索

端侧AI与大模型端侧部署技术探索

01 端侧AI的重要性

• 定义：端侧AI指在终端设备上直接运行和处理人工智能算法。
• 优势：
  • 可靠性：减少网络依赖，提升系统鲁棒性。
  • 隐私安全：本地数据处理，避免数据传输风险。
  • 个性化服务：根据用户习惯提供定制化体验。
  • 成本效益：降低云端计算需求，尤其在大规模部署时显著。
• 小米布局：小米以“软件×硬件”战略推动轻量化、本地部署的端侧AI技术，依托庞大的端侧设备数量。

02 LLM端侧部署的挑战

• 核心挑战：
  • 内存瓶颈：端侧设备内存有限，难以承载完整大模型。
  • 推理速度：端侧推理速度较慢（20 tokens/s以内），远低于人类快速阅读速度（100+字/s）。

03 相关技术探索

大模型推理时延优化

• 优化公式：推理时延 = 计算时间 + 数据搬运时间。
• 优化策略：
  • 减少计算量：剪枝、量化。
  • 减小数据搬运：剪枝、量化、投机推理。

LLM剪枝技术

• 原理：移除神经网络中不重要的权重或神经元连接。
• 技术进展：
  • ShearedLLaMA：剪枝深度和hidden dim，但存在KV cache压缩不足问题。
  • 剪枝校准：通过加mask训练优化损失和稀疏度，剪枝+少量恢复训练可超越同等规模的预训练模型。
  • TransAct剪枝：保留深度和hidden dim，减小MHA和MLP模块激活维度，显著降低KV cache占用。

LLM量化技术

• 定义：将浮点数值转化为定点数值，降低模型大小和计算需求。
• 关键问题：
  • Outlier影响：权重中的异常值会显著影响量化精度。
  • 优化方法：
    • 参数弥补：逐行量化并调整未量化权重弥补损失。
    • Outlier处理：裁剪或放缩Outlier值，结合硬件特性优化计算开销。
    • 放缩转移：将难量化值等价转移操作。

LLM解码加速技术

• 推理阶段：预填充阶段（数据访问搬运）和解码阶段（算力充足但带宽不足）。
• 解决方案：投机推理
  • 流程：Speculative Inference（高效生成候选）+ Verification（并行验证）。
  • Prompt优化：通过Prompt tokens生成投机词，利用Attention mask提升效率。

端侧推理效率优化

• 实践案例：MiLM端侧部署
  • 模型规模：1.3B~6.7B参数范围。
  • 平台支持：高通/天玑GPU及对应NPU平台。

04 总结与展望

• 核心结论：通过剪枝、量化、投机推理等技术，可显著优化LLM端侧部署性能，实现高效本地推理。
• 未来方向：持续探索模型压缩和硬件适配技术，推动端侧AI大规模应用落地。