猜你想问
英伟达GPU在高交互性方面表现如何？
英伟达GPU在高吞吐量和低至中等交互性方面表现优异，但在超低延迟推理存在瓶颈。TileRT通过软件优化解决了GPU执行瓶颈，专注于高交互性操作点，实现比传统引擎快3倍的交互性。在InferenceX GLM5FP8 744B基准测试中，TileRT在单个B200解码服务器上达到500 tokens/s/user，而GB300 NVL72运行传统推理引擎的速度仅为180.6 tokens/s/user。TileRT优势在于提供更高的每用户速度，但牺牲了传统引擎的聚合吞吐量。目前TileRT仅支持批量大小为1的用户，类似于私人火箭船，而传统引擎则像公共汽车，可以容纳更多乘客。
数据流芯片赛道发展趋势如何？
数据流芯片赛道因Nvidia GPU在超低延迟推理方面的瓶颈而兴起。TileRT通过软件模拟数据流思想，避免硬件设计复杂性，提供更高灵活性和可扩展性。与Cerebras/Groq/SambaNova等专用芯片相比，TileRT的发展速度较慢，主要原因是静态提前编译需要为每个新架构投入大量工程工作。未来，TileRT将扩展到多轮对话场景，并支持更大的批量大小，以确定其吞吐量-交互性帕累托前沿。在同等成本下，TileRT每百万输出令牌的成本比传统引擎低61%，而交互性提高了3.1倍。
本报告重点分析了哪些方面？
本报告重点分析了TileRT通过软件优化解决GPU执行瓶颈的技术路径，以及其在高交互性场景下的性能表现。报告对比了TileRT与传统推理引擎在InferenceX GLM5FP8 744B基准测试中的速度差异，并探讨了TileRT在小米MiMo V2.5 Pro UltraSpeed和Z.ai的GLM 5.1 HighSpeed中的生产应用。此外，报告还分析了TileRT与专用芯片的差异化优势，以及其发展面临的工程挑战和未来扩展方向。
当前AI推理市场现状如何？
当前AI推理市场存在Nvidia GPU在高交互性场景下的性能瓶颈，为数据流芯片创造了市场机会。TileRT通过软件优化解决了这一瓶颈，实现了高交互性操作点的性能突破。市场现状表现为传统推理引擎在聚合吞吐量上具有优势，但每用户速度较慢；而TileRT则提供更高的每用户速度，但牺牲了聚合吞吐量。目前TileRT主要应用于单用户场景，未来将扩展到多轮对话和更大批量大小，以进一步确定其市场定位。
本报告存在哪些风险提示？
本报告的风险提示在于TileRT的发展速度较慢，主要原因是静态提前编译需要为每个新架构投入大量工程工作。此外，TileRT目前仅支持批量大小为1的用户，未来扩展到多轮对话和更大批量大小仍面临技术挑战。虽然TileRT在同等成本下每百万输出令牌的成本比传统引擎低61%，但其在市场接受度和商业化进程方面仍存在不确定性。