国泰海通电子中国LPU加速布局1LPU架构高度契合Agen

1、LPU架构高度契合Agent推理，推理吞吐速率较H100数量级增长。Agent推理具备多步骤、长上下文特点，要求极低推理时延与高推理吞吐速率。LPU采用近存架构，推理时延趋近于0，并基于静态调度编译器具备高推理速率。根据Groq官网，基于LPU的LLama-370B，推理吞吐量可达1600tokens/s，较H100高约1个 【国泰海通电子】中国LPU加速布局 1、LPU架构高度契合Agent推理，推理吞吐速率较H100数量级增长。Agent推理具备多步骤、长上下文特点，要求极低推理时延与高推理吞吐速率。LPU采用近存架构，推理时延趋近于0，并基于静态调度编译器具备高推理速率。根据Groq官网，基于LPU的LLama-370B，推理吞吐量可达1600tokens/s，较H100高约1个数量级。 NV费曼架构预计采用4层LPU堆叠，单层LPU具备6颗die，单颗LPUdie价值量约2000美金。 假设费曼出货量1000万颗，其中35%采用LPU堆叠架构，市场空间=1000万颗*35%*4层*单层6颗die*2000美金=1680亿美金市场。 3、元川微是中国LPU第一股，有望率先实现商业化落地。 LPU架构核心是高性能编译器+灵活好用的开发工具链。 元川微目前已完成LPU架构开发并在FPGA芯片部署测试，芯片测试性能对标GroqLPU，具备完备的编译器及配套开发工具链。