OpenAI 工程师发现可将推理成本降低逾一半的优化技术,应用于 ChatGPT 访客版后仅需几百块英伟达 GPU。这些技术可能包括量化、键值缓存、批量处理等。优化将有助于公司改善毛利率或让利客户,但大型模型效果有限。Anthropic 等竞争对手也在关注类似「计算倍增器」。OpenAI工程师发现可将推理成本降低逾一半的优化技术,应用于ChatGPT访客版后仅需几百块英伟达GPU。这些技术可能包括量化、键值缓存、批量处理等。优化将有助于公司改善毛利率或让利客户,但大型模型效果有限。Anthropic等竞争对手也在关注类似「计算倍增器」。