Agent Muse Compute Demand 智能体 Muse 计算需求

核心观点与关键数据

• 估算目标：尝试估算服务1亿日活跃用户（DAU）所需的基础设施。
• 主要假设：存在多个变动假设，包括智能体活跃时长、CPU和内存超额分配程度、模型调用次数及服务效率。
• 基准结论：
  • 总功率需求：平均1-2 GW，其中CPU/VM层仅约0.1 GW。
  • 推理模型调用：3-4 GW完全合理，可能与Meta未来扩能（7-10 GW）相关。

基础设施构成分析

• Muse基础设施：分为虚拟机/沙盒层和Spark推理层。

  • 沙盒层：
    • 配置：每个用户分配2个vCPU、8 GB RAM、100 GB持久存储。
    • 虚拟机需求：
      • 平均DAU：800万同时在线虚拟机（假设每日活跃2小时，峰值/平均值比2.5倍，加20%余量）。
      • 基础设施需支持25% DAU同时在线（约2500万台预置虚拟机）。
    • 硬件效率：
      • CPU超额分配：代理沙盒适合CPU超配（等待期间低消耗），假设每个活跃虚拟机占0.3-0.75个物理核心（基准0.5），约相当于每物理核心运行2个Muse虚拟机。
      • 物理核心需求：1250万个（2500万台虚拟机 × 0.5核心/虚拟机），对应5-6.5万台CPU（256核/192核），硬件成本约8亿美元。
    • 内存需求：
      • 内存较难超配，实测虚拟机仅用约3GB/8GB，物理DRAM需求75-100 PB，硬件成本约20亿美元。
    • 沙盒算力：整个沙盒层约需0.1 GW电力。

• 推理层：

  • 架构：模型推理通过Meta外部基础设施（Spark）完成。
  • 能耗分析：
    • 微软研究：优化模型推理中位数0.31 Wh/查询，长推理（13倍量级）约4 Wh/查询，AI推理能耗显著更高。
    • Muse假设：每次重度等效推理5-10 Wh，每位DAU每日50次等效事件。
  • 功率需求：
    • 1亿DAU每日50次事件（每次5 Wh）需1.0 GW平均功率，仅推理环节可能需1-2 GW，3-4 GW完全合理。

研究结论

• 误区纠正：为每个用户提供2个vCPU和8GB RAM不会导致巨大CPU需求，关键在于逻辑虚拟机分配与物理资源的区别。
• 新需求驱动：消费者代理可能成为CPU和传统DRAM的新需求驱动，但推理仍是瓶颈。
• 未来趋势：随着智能代理工作负载增加、任务链路变长及代理生成加速，推理需求增长可能远超用户数增长。