礼物月之暗面发布Kimi K3模型
核心观点与数据
- 模型参数与能力:Kimi K3是全球首个开源的2.8万亿参数模型,支持100万token上下文,权重将于7月27日前放出。国产模型整体迭代速度加快,参数量和模型能力上限持续提升。
- 定价对比:K3输入输出分别为$3/$15,对标Sonnet 4.5,较K2.7提升3~4倍;与GPT-5.6 Sol($5/30美元)、Opus 4.8($5/25美元)相比,定价处于较高水平。
架构升级与效率提升
- 三处架构升级:
- KDA混合线性注意力:75%层使用Kimi Delta Attention(KV缓存降75%),25%层保留Gated MLA,实现百万上下文低成本部署。
- Attention Residuals:按内容加权读取前层输出,缓解深模型信息稀释。
- Stable LatentMoE:896个专家中激活16个。
- 扩展效率:上述优化使K3扩展效率较K2提升约2.5倍(官方数据)。
Agent集群能力与工程完整性
- 性能表现:
- 官方榜单:SWE Marathon 42分(领先),BrowseComp 91.2%、Automation Bench 30.8%均居首,Terminal Bench 88.3%仅落后Sol 0.5,Finance-Bench 62.6分领先Opus 4.8。
- 工程优化:针对Agent集群的权限隔离、奖励函数校验及rollout可靠性问题:
- 权限隔离:Agent与用户工具实现权限分离,抑制越权调用。
- 奖励校验:同时校验数据库状态与自然语言目标,避免任务“表面完成、状态未达”。
- 工程链路:PPO/GRPO等核心模块离线测试充分,真实Rollout与行为概率校验全链路接通。
研究结论
- Kimi K3在参数量、上下文能力及Agent集群工程完整性上显著领先,为国产大模型定价天花板级别。
- 官方内测显示K3已解决Agent集群的核心工程问题,具备真实生产场景应用能力。
- 后续测评及详情可关注太阳团队动态,联系方式:林起贤/任梦妮/王昊及tmt团队。