大模型词元服务性能监测报告（2026年）

核心观察

• 吞吐与时延同步增加：Token服务调用成功率保持较高水平（8月均值99.18%），但监测频率提升后偶发性失败被捕捉概率上升导致成功率有所下降。每秒Token吞吐量（TPS）较2025年翻倍至78.23（个/秒），但仍低于国外（112.82个/秒）。首词时延（TTFT）有所增加，8月均值达1.26秒，国内外趋势一致，与模型参数量、上下文长度增加等因素有关。
• 价格回升与能力跃迁：2026年词元服务价格明显回升，国内均价从2025下半年6.8元涨至13.46元（涨幅98%），国外均价仍高于国内（约117.8元）。模型上下文长度不断扩展，1M（100万Token）模型占比达47.8%，200K及以上模型占比达95.7%。国产开源大模型成为全球诸多平台的主流选择，上线率达95%-100%。
• 开源模型性能提升显著：开源模型新版本性能较好，第三方MaaS平台服务性能持续提升。例如DeepSeek-V4-Pro TPS达DeepSeek-V3.2的2倍，Qwen3.5-397B-A17B TPS突破100个/秒。时延方面，6月起TTFT逐步回落至换代前水平，8月均值低于1秒。同一模型跨平台性能波动较大，部分第三方平台性能优于官方平台。

监测方法

• 监测对象：国内外原厂大模型Token服务（GPT、Claude、Gemini等）和DeepSeek、Qwen、GLM、Kimi四款开源模型在不同MaaS平台上的Token服务。
• 监测指标：调用成功率、TPS、TTFT、服务稳定性指数、开源模型上线率、模型服务价格、模型上下文。
• 监测参数设置：监测节点分布于不同国家和地区，请求参数采用平台默认设置（短文本场景），负载状态为正常公有负载，输出模式为流式输出。

原厂大模型监测结果

• 调用成功率：整体保持稳定，8月国内中位数为99.75%，国外三款模型中GPT-5.6和Gemini-3.1-pro-preview达到100%。
• TPS：国内多数新发布模型TPS提升，8月均值达78.23个/秒（较2025年翻倍），但中位数为62.36个/秒。国外8月均值112.82个/秒，是国内均值的1.4倍。
• TTFT：与模型参数量直接相关，国内8月均值为1.26秒（33.3%低于1秒），国外均值为2.08秒。
• 服务稳定指数：国内约38.9%模型达到80分以上，8月平均值为79.02。国外明显优于国内，8月均值为86.33分。
• 服务价格与费用：国内2026年以来均价13.46元（较2025下半年涨98%），仍低于国外（约117.8元）。国外模型Token消耗量少但价格高，国内消耗量高但价格低。
• 模型上下文：上下文长度向百万级扩展，8月47.8%模型达1M，200K及以上占比达95.7%，国外最新系列模型也已达到1M。

开源大模型监测结果

• 开源模型上线率：DeepSeek、Qwen、GLM系列上线率达100%，Kimi、MiniMax系列达95%、86%，已成各平台主力。
• DeepSeek：官方平台调用成功率、TPS、TTFT均表现优异，第三方平台性能持续提升。
• Qwen：阿里云百炼官方平台调用成功率稳定在100%，硅基流动平台TPS在8月超过阿里云百炼，TTFT经历波动后改善。
• GLM：调用成功率平稳，8月平均值为99.88%。TPS自6月起稳步提升，8月均值为62.75个/秒。TTFT自6月起持续降低，8月均值为1.05秒。
• Kimi：调用成功率相对平稳，8月平均值为99.88%。TPS总体提升，阿里云百炼平台表现突出。TTFT自5月更换版本后下降，8月均值为0.86秒。

总结

• 国内原厂模型在核心性能指标上表现稳健并持续提升，但模型规模增大导致时延增加，平台通过优化缓解了压力。
• 开源模型在第三方MaaS平台上的性能优化显著，部分平台性能已超官方，但跨平台性能差异反映平台能力不均衡。
• 行业整体大模型服务性能仍有较大提升空间。
• 未来将持续优化监测体系，扩大范围，深化合作，推动服务性能对齐与最佳实践共享，并探索多模态、长上下文场景下的评估方法。