- 核心观点:美团发布并开源了【LongCat-2.0】大模型,实现架构创新和性能提升,同时验证了全国产芯片训练万亿参数量模型的可行性。
- 模型参数与架构:
- 采用LSA+MoE架构,总参数量1.6万亿,平均激活参数48B,预训练数据超过35万亿tokens。
- 支持百万上下文,未披露多模态输入能力。
- 架构创新:
- LSA:在DSA基础上引入流感知索引,优化索引器打分执行,采用跨层索引,推理时单次索引计算可复用多个连续注意力层,并扩展至三步MTP投机解码。
- Embedding:引入N=5的N-gram Embedding条件记忆模块,将embedding空间扩展超过100倍,更充分地建模局部上下文信息,提出后首家在旗舰模型应用此技术的厂商。
- 性能表现:
- Coding能力:Terminal-Bench 2.1、SWE-bench Pro得分分别为70.8、59.5,与GLM-5.2(81.0、62.1)相当,略落后于Qwen3.7-Max、Kimi K2.6、M3,达到国内主流大模型水平。
- 性价比:标准价输入/缓存命中/输出分别为0.75/0.015/2.95美元/百万tokens,限时优惠价0.30/0.006/1.20美元。
- 技术验证:
- LongCat-2.0训练运行在物理超节点上,每个超节点最多48台机器,节点内全互联高带宽、节点间走RoCE网络,高带宽通信域扩展至数百张卡,预训练吞吐提升约30%。
- 重大意义:验证全国产芯片能训练出万亿参数的MoE模型,从3000卡逐步拓展至5万卡。