豆包算力需求测算

计算机 豆包算力需求测算 字节豆包MAU近6000万，大模型调用量增长迅速。12月18日，字节召开火山引擎Force大会，火山引擎CEO谭待表示，截至目前，豆包大模型日均tokens使用量超过4万亿，发布7个月以来增长超过33倍。11月豆包MAU接近6000 万，在AI产品榜·全球总榜中仅次于ChatGPT2.87亿的MAU。11月豆包的MAU 增速达16.92%，考虑当前豆包增速，我们认为豆包在2025年的MAU有望接近 证券研究报告|行业点评 2024年12月22日 增持（维持） 行业走势 ChatGPT达到2亿。我们认为字节在算力端的投入有望高速增长，助推AI算力相关产业链加速扩张。 豆包调用量有望推动算力各环节价值量增长。根据上文对豆包2025年MAU及日 均token数的测算，我们认为豆包有望助推AI算力产业链需求扩张。以下为对豆 包大模型算力需求（非字节全部业务算力需求）对应产业链各环节需求测算： 30% 16% 2% -12% -26% -40% 计算机沪深300 2024 2025E 豆包月活（亿） 0.6 2 模型参数量（亿） 1300 1300 平均每秒并发token数（亿/s） 0.46 1.54 峰值token倍数（倍） 5 5 总算力需求（FLOPS） 1.20E+20 4.01E+20 GPU/服务器需求GPU需求（万张） 80.81 271.10 服务器需求（万台） 10.10 33.89 H20服务器售价（万元/台） 90.00 80.00 服务器价值（亿元） 909.12 2711.04 ——GPU+基板价值（亿元） 660.02 1968.22 ——服务器中DRAM价值（亿元） 26.36 78.62 ——服务器中NAND占价值（亿元） 11.82 35.24 数据中心相关设备光模块数量（万个） 242.43 813.31 数据中心存储价值（亿元） 144.93 432.20 电源价值量（亿元） 9.70 32.53 IDC年租金（亿元） 47.27 158.60 冷板式液冷价值量（亿元） 2.62 31.23 浸没式液冷价值量（亿元） 0.48 13.01 资料来源：财联社，36氪，百度智能云，腾讯技术工程公众号，深圳市电子商会，融资中国，芯智讯，半导体行业观察，中研网，曼陀咨询，爱采购，极云科技，电信运营商液冷技术白皮书，IDC，明德源能，国盛证券研究所 建议关注 芯片：寒武纪等； 电源：欧陆通等； IDC：润泽科技、亚康股份等； 服务器/主板：浪潮信息、华懋科技、软通动力、神州数码、拓维信息等；散热：英维克、申菱环境、高澜股份等； 潜在存储：兆易创新等。 风险提示：AI技术迭代不及预期风险；宏观经济风险；行业竞争加剧风险；关键假设有误差风险。 2023-122024-042024-082024-12 作者 分析师刘高畅 执业证书编号：S0680518090001邮箱：liugaochang@gszq.com 相关研究 1、《计算机：字节AI链哪些最持续》2024-12-15 2、《计算机：海外智能驾驶持续放大招》2024-12-14 3、《计算机：特种AI云建设有望加速》2024-12-08 请仔细阅读本报告末页声明 内容目录 字节豆包MAU近6000万，大模型调用量增长迅速3 豆包调用量有望推动算力各环节价值量增长3 建议关注8 风险提示8 图表目录 图表1：豆包算力需求测算3 图表2：豆包服务器需求测算4 图表3：豆包服务器需求对应数据中心设施测算6 图表4：豆包算力产业链各环节需求测算7 字节豆包MAU近6000万，大模型调用量增长迅速 12月18日，字节召开火山引擎Force大会，火山引擎CEO谭待表示，目前豆包大模型日均tokens使用量超过4万亿，自发布以来七个月增长超过33倍。 会上，字节跳动正式发布了豆包视觉理解模型、豆包3D生成模型，以及全面升级的豆 包通用模型pro、音乐模型和文生图模型等。其中，豆包视觉理解模型千tokens输入价格仅为3厘，一元钱就可处理284张720P的图片。火山引擎Force大会还宣布，字节跳动将在2025年春季推出具备更长视频生成能力的豆包视频生成模型1.5版，豆包端 到端实时语音模型也将很快上线。 据36氪，11月豆包MAU接近6000万，在AI产品榜·全球总榜中仅次于ChatGPT 2.87亿的MAU。我们认为，豆包作为国内大模型的代表，参数量或有千亿级别，叠加 其4万亿/天的token消耗，字节在算力端的投入或十分巨大、且仍在高速增长，有望助 推AI算力链公司加速扩张。11月豆包的MAU增速达16.92%，考虑当前豆包增速，我们认为豆包在2025年的MAU有望接近ChatGPT达到2亿，假设token数与月活成正比，对应每秒并发tokens数为1.54亿。据百度智能云，推理服务一个典型的负载模式是一天中峰谷波动明显，且会出现不可预期的短时间流量激增。这就出现了虽然峰值很高，但平均利用率却很差，均值经常不到30%甚至20%，因此我们估算豆包的峰值token数是平均token数的�倍。 图表1：豆包算力需求测算 20242025E备注 11月豆包APPMAU为0.60 豆包月活（亿）0.62 亿，ChatGPT约为2.87亿，11月豆包的MAU增速达16.92% 日均token数（亿）40,000133,333假设token数与月活成正比 平均每秒并发token数 （亿/s） 0.461.54一天有24*3600s 推理在一天中峰谷波动明显,平 峰值token倍数（倍）55 资料来源：财联社，36氪，百度智能云，国盛证券研究所 均利用率经常不到30%甚至20%， 豆包调用量有望推动算力各环节价值量增长 根据上文对豆包2025年MAU及日均token数的测算，我们认为豆包有望助推AI算力产业链需求扩张。以下为各环节需求测算： 服务器: 据腾讯技术工程公众号，大模型的推理过程中，主要计算量在Transformer解码层，这 一层对于每个token、每个模型参数是一个单位unit的计算量，所以推理过程每个token、每个模型参数，需要进行1unit×2flops=2次浮点运算。因此我们估算豆包大模型对应算力需求=2*参数量*每秒token数*峰值token倍数/算力利用率，该方法可能存在一定误差。 据融资中国，豆包（云雀）大模型参数规模为1300亿。根据百度智能云报道，一般情况下，在线服务的GPU使用率不高，在20%左右。另外，若部署其用户态方案，保证在线服务的SLA相同的情况下，可以将GPU资源利用率提升至35%。我们基于对算力需求保守估计的角度出发，假设字节对算力的利用率达到50%。以H20为例，其FP16算力为148TFLOPS，功耗为400W。以下测算用上述H20的FP16算力作为基准，可能存在一定误差。 据深圳市电子商会2024年5月消息，一台八卡英伟达H20服务器目前市场价可能下探至约100万元人民币，考虑随时间推移旧型号价格可能持续下降，以下测算以一台八卡英伟达H20服务器今年价格90万，明年价格80万为基准。 具体到服务器中部件成本，如果参考H100，据半导体行业观察，一个8GPU+4NVSwitch基板的NvidiaDGXH100服务器价格为268495美元，其BOM成本明细包括供电、内存、组装、冷却、GPU成本、CoWoS成本、裸片成本、成品率成本、HBM成本等。其中GPU+基板价值量为195000美元，占比72.6%存储占比为DRAM2.9%和NAND1.3%。 图表2：豆包服务器需求测算 20242025E备注 模型参数量（亿） 1300 1300基于云雀大模型 平均每秒并发token数（亿/s） 0.46 1.54一天有24*3600s 峰值token倍数（倍） 5 推理在一天中峰谷波动明 5 显 总算力需求（FLOPS） 1.20E+20 4.01E+20=2*参数量*每秒token数 *峰值token倍数/算力利 GPU需求（万张） 80.81 271.10以H20FP16算力 148TFLOPS为基准 服务器需求（万台） 10.10 33.89以八卡英伟达H20服务器 H20服务器售价（万元/台） 90.00 80.00 为基准假设明年价格略微下行 服务器价值（亿元） 909.12 2711.04 ——GPU+基板价值（亿元） 660.02 1968.22 参考H100中成本占比72.6% ——服务器中DRAM价值（亿元） 26.36 78.62 参考H100中成本占比2.9% ——服务器中NAND占价值（亿元） 11.82 35.24 参考H100中成本占比1.3% 总算力需求（FLOPS） 用率设为50% 资料来源：腾讯技术工程公众号，深圳市电子商会，融资中国，百度智能云，芯智讯，半导体行业观察，国盛证券研究所 数据中心存储 据中研网，数据中心IT设备成本中服务器成本占比为69%，存储成本占比为11%。 因此我们估算豆包算力所需数据中心存储的价值量为服务器价值量的11/69。 光模块 据曼陀咨询，大模型的参数规模越来越大，进而带来交换网络层数的提升，GPU和光模 块的配比提升。GPT-4在25K张GPU集群上训练需要75000个光互连。未来的10万个超大计算集群，需要50万个光互联，GPU与光模块的配比为1:5。我们假设豆包算力集群所需的光模块配比与GPT-4类似，则为1张GPU对应3个光模块。 电源 据半导体行业观察，每台DGXH100服务器正常运行时的预期平均功率(EAP)约为 10,200W，每台服务器8个GPU的每一个GPU的功率为1,275W。其中包括H100本身的700W热设计功耗(TDP)，以及双IntelXeonPlatinum8480C处理器的约575W（分 配给每个GPU）以及2TBDDR5内存、NVSwitches、NVLink、NIC、重定时器、网络收发器等加上整个SuperPOD的存储和管理服务器以及各种网络交换机的电力需求。参考H100服务器的功耗与GPU的功耗比例为10200/(700*8），我们保守按服务器功耗为 GPU功耗的1.5倍来测算豆包算力所需服务器功耗。 参考爱采购网U1A-D10800-DRBU1A-D10800-DRB-Z800W欧陆通服务器电源模块60 个起批价为1900元，对应电源价值量为1900元/800W,即2.375元/W。我们保守按 2000元/千瓦来测算豆包算力所需电源的价值量。 IDC租金 我们参考极云科技在成都IDC高电机柜的租金，40a电流8kw整柜租用年付优惠价为 78000元/年；各家IDC厂商定价以及不同地域IDC价格可能有所差别。 液冷 据三大运营商联合发布的《电信运营商液冷技术白皮书》，三大运营商规划于2023年开 展技术验证，2024年规模测试，新建数据中心10%规模试点应用液冷技术；而到2025年开展规模应用，50%以上数据中心项目应用液冷技术。我们假设豆包算力设施在2024年液冷渗透率10%，2025年液冷渗透率40%。 IDC数据显示，2023上半年，中国液冷服务器市场中，冷板式占到了90%，主要取决于传统数据中心对原有基础设施改造成本和难度的关注度，以及当前冷板式方案成熟度较高，商用基础较好。长远来看，浸没式在散热效率和单机柜功率、空间利用率等方面比冷板式具有显著优势。 据明德源能估计，浸没式液冷系统的建设成本大约在每千瓦1万元人民币以上，这还不包括可能的额外维护和更换冷却液的费用。冷板式液冷其建设成本平均每千瓦约在6000-8000元人民币，远低于浸没式液冷。参考IDC数据2023年冷板式占比90%，考虑到IDC指出长远来看浸没式具有优势，我们估算时假设浸没式明年加快推进，按浸没式液冷价值1万/千瓦，今年占比10%，到25年占比提升到20%；冷板式液冷价值6000/千瓦，今年占比90%，25年占比80%。