猜你想问
这份研报主要讲了什么内容？
这份研报分析了当前AI推理场景中显存容量压力降低和互联需求提升成为新瓶颈的情况。长上下文场景下每token的KV值缩小至1KB以下，大幅降低了对HBM容量的需求，利好受出口管制影响且HBM容量普遍偏小的国产芯片。同时在大规模专家并行、mega MoE等场景下，瓶颈从显存转移至互联，主机与加速卡间的带宽和延迟成为关键，需要重点关注CPU与加速卡间的通信性能。
AI推理赛道未来发展趋势如何？
AI推理赛道未来发展趋势显示，显存容量需求下降利好国产芯片，但互联带宽和延迟将成为新的性能瓶颈。大规模专家并行与mega MoE等先进技术需要EP64以上并行和大规模高速互联域，对设备端通信提出更高要求。NPU路径优化通过调用昇腾的主机内存注册接口锁页提升通信性能，成为关键技术方向。
研报重点分析了哪些方向？
研报重点分析了AI推理场景下显存容量压力变化对国产芯片的影响，以及互联需求提升带来的新瓶颈。具体包括长上下文场景下KV值缩小对HBM需求的影响、大规模专家并行和mega MoE场景下对高速互联的需求、Engram的n-gram表在主机内存和设备端通信的实现，以及NPU路径优化通过锁页提升通信性能的技术方案。
当前AI推理市场现状如何判断？
当前AI推理市场现状判断为，显存容量压力降低为国产芯片带来发展机遇，但互联带宽和延迟成为制约性能提升的新瓶颈。随着大规模专家并行和mega MoE等技术的应用，对主机与加速卡间通信性能的要求日益提高。市场上需要重点关注CPU与加速卡间的通信性能优化，以及相关技术的研发和应用。
研报提示哪些风险需要注意？
研报提示的风险主要集中在互联带宽和延迟成为新瓶颈方面。随着AI推理场景向大规模专家并行和mega MoE等技术演进，对主机与加速卡间通信性能的要求将不断提高。如果通信性能无法满足需求，可能会成为制约AI推理性能提升的瓶颈。此外，国产芯片在HBM容量方面的限制也可能带来一定的挑战。