2024年主流新型云端推理芯片市场分析及主要厂商产品对比

目前公开资料中提及的主流新型云端推理芯片相关信息整理如下：

1. 海外厂商代表产品
   谷歌2025年推出的TPU v7（Ironwood）是其首款主攻AI推理的TPU芯片，FP8峰值算力达到4614TFlops，能效比显著优于英伟达B200，性能功耗比较上一代Trillium提升近2倍，支持组建最高9216芯片规模、42.5 Exaflops（FP8）的算力集群，单芯片HBM显存提升至192GB，同等负载下推理成本比旗舰GPU系统低30%-40%，极端场景下优势更明显 【3】 【4】 【9】 。

2. 国内头部芯片厂商产品

• 寒武纪的MLU370系列在高密度云端推理领域优势突出，其中MLU370-X8的INT8峰值算力达256TOPS，性能高于英伟达L20，适配主流大模型推理场景 【6】 。
• 阿里自研的云端AI推理芯片含光800，峰值性能为每秒处理7.8万张照片，峰值能效达到500IPS/W 【6】 。
• 百度昆仑芯三代P800显存规格比同类主流GPU高出20%~50%，对MoE架构适配性更好，率先支持8bit推理，单机8卡即可运行671B参数大模型，可轻松完成DeepSeek-V3/R1全版本的推理任务 【6】 。
• 云天励飞推出的DeepEdge200是面向云端大模型推理的高性能SOC芯片，采用D2D的chiplet片上互联技术，实现单芯片算力灵活可扩展，可覆盖全边缘侧场景同时适配云端推理需求 【1】 。
• 腾讯自研了紫霄推理芯片，同时通过战略投资布局基于ASIC架构的推理解决方案 【6】 。

3. 国内GPU厂商布局方向
   沐曦股份在募投项目中规划投入5.78亿元研发新一代人工智能推理GPU，主打高算力、大容量显存特性，专门面向生成式AI场景，拓展云端推理市场 【14】 。

这类新型云端推理芯片普遍针对AI推理场景做了定向优化，相比通用GPU在性能、能效比、单位token推理成本上都有明显优势，更适配大模型落地的推理算力需求 【8】 。