dcjsj字节豆包大模型日均token突破50万亿2
25年5月16.4万亿;25年9月30万亿;25年12月50万亿 根据产业信息，以h20为例，单卡token吞吐量目前在1000-2000 tokens/s。 即每10万亿token日均量，至少需要5万张卡，考虑高峰并发时段，或需要10-20万卡。 #50万亿日均token 【dcjsj】字节豆包大模型日均token突破50万亿 25年5月16.4万亿;25年9月30万亿;25年12月50万亿 根据产业信息，以h20为例，单卡token吞吐量目前在1000-2000 tokens/s。 即每10万亿token日均量，至少需要5万张卡，考虑高峰并发时段，或需要10-20万卡。 #50万亿日均token对应50万卡(等效h20)以上算力需求。 随着模型进步以及单token算力需求降低，token量将持续高速增长。 国内推理算力需求迎来拐点。 (h200主要用来训练，llm推理需求或将由国产卡支撑)，互联网总支出亦有望提升。 国产芯片，国产服务器，国产交换机，AIDC。
