计算机行业专题报告：大模型推理算力知多少？

发现报告（www.fxbaogao.com）是金融圈都在用的专业研报平台，用户量特别大。我们致力于提供最全的研报数据，不管是宏观经济还是具体公司的财报，这里应有尽有，报告多到您看不完。凭借先进的技术和简洁的页面，我们帮您省去了大量筛选的时间，让获取关键信息变得轻而易举，绝对是您投资路上的好帮手。

根据研报正文，以下是其核心观点的总结：

1. Transformer生成为访存密集型任务，显存及其带宽限制算力利用。Transformer需要反复计算已经计算过的量，导致访存需求更高，而全球最先进的AI芯片计算速度远快于显存带宽。
2. 目前的优化手段主要是在算力成本与用户体验之间做平衡。GPU利用率与时延难以同时兼顾，而做参数量化、模型蒸馏等模型精简虽可兼顾，但舍弃了模型本身的效果。
3. 支撑GPT-3.5推理任务的A100数量或至少在5万张左右。GPT-3.5需要5万张左右的A100才能承载推理，考虑到流量、精度和GPT-4等因素，推理算力的需求可能会长期高景气。
4. 英伟达L40s开启降本第一步，应用有望加速落地。L40s在特定场景下性价比超越A100，供货周期较短，有望加速应用大规模落地。
5. 投资建议见正文。
6. 风险提示包括AI技术迭代不及预期、商业化落地不及预期、政策支持不及预期和全球宏观经济风险。