人工智能行业AI算力报告-穿越AI的基石，算力基建的起

姓名：王聪（分析师）邮箱：wangcong@gtjas.com 姓名：王彦龙（分析师）邮箱：wangyanlong@gtjas.com 姓名：舒迪（分析师）邮箱：shudi@gtjas.com 姓名：谭佩雯（分析师）邮箱：tanpeiwen@gtjas.com 电话：021-38676820 电话：010-83939775 电话：021-38038385 电话：0755-23976032 证书编号：S0880517010002 证书编号：S0880519100003 证书编号：S0880521070002 证书编号：S0880521040001 姓名：文紫妍（分析师）邮箱：wenziyan@gtjas.com电话：021-38038321证书编号：S0880523070001 姓名：黎明聪（研究助理）邮箱：limingcong@gtjas.com电话：0755-23976500证书编号：S0880121080014 姓名：刘校（研究助理）邮箱：liuxiao026731@gtjas.com电话：021-38038661证书编号：S0880122070050 01 02 03 04 05 2 /CONTENTS 01 02 03 04 05 3/ 4/ 1.1 算力是智能世界的基础，基础设施从云向算泛在演进 •智能世界三要素：数据、算力、算法是智能世界三要素，其中算力平台是核心基础。 •算力两大类：通用算力、HPC（高性能计算，High-performancecomputing）算力。其中通用算力计算量小，用于常规应用。HPC算力是一个计 算机集群系统，通过各种互联技术将多个计算机系统连接在一起，利用所有被连接系统的综合计算能力来处理大型计算问题。 •算力基础设施从云向算泛在演进，其位置的分布从中心向边缘和端侧泛在延伸，将出现云、边、端三级算力架构。 图：构建数据、算力、智能之间的互联网络 图：专用算力是算力中极为重要一环图：算力基础设施从云向算泛在演进 通用算力 算力类型 数据来源：国泰君安证券研究 专用算力 科学计算类：物理化学、气象环保、生命科学、天文探测等 工程计算类：计算机辅助工程/制造、电子设计自动化、电磁仿真等 智能计算类：机器学习、深度学习、数据分析等 5 1.1 AI大模型带动算力需求超越摩尔定律增长 •AI模型训练算力增长速度超越芯片摩尔定律。AI训练任务中的算力增长（所需算力每3.5个月翻一倍）已经超越摩尔定律（晶体管数量每18月翻一 倍）。 •ChatGPT仅推出两个月，月活跃用户数预计已达1亿。ChatGPT在2023年1月达到1亿月活跃用户，平均每天有1,300多万访客，用2个月时间达到1亿 月活数，成为史上最快达到1亿月活跃用户的应用，TikTok、Instagram、Facebook、Twitter则分别用了9个月、2年半、4年半、5年的时间。 图：大模型时代算力需求增长超越摩尔定律图：chatgpt仅用2个月月活用户突破1亿 数据来源：GoogleScholar，国泰君安证券研究 六年半 五年 四年半 三年半 两年半 9个月 2个月 ChatGPTTikTokInstagramWhatsAppMetaTwitteriTunes 数据来源：SensorTower，国泰君安证券研究 6 1.1 AI大模型核心在数据、算力与模型，需消耗大量算力 •预训练算力需求：训练一次13亿参数的GPT-3XL模型需要的全部算力约为27.5PFlop/s-day，而训练一次1,746亿参数的GPT-3模型需要的算力约为 3,640PFlop/s-day，对应的单次训练成本高达460万美元。 •日常运营算力需求：ChatGPT在日常与用户交互过程中需要大量的算力支持，结合访问量与内容量测算，单月运营算力约4,800PFlop/s-day；2023年1月ChatGPT官网总访问量已经达到6.16亿次，而ChatGPT每次交互产生的算力云服务成本约1~5美分，对应的单月运营成本高达千万美元。 •调优迭代算力需求：ChatGPT模型需要不断进行Finetune模型调优，以确保模型处于最佳应用状态；预计每月模型调优带来的算力需求为82.5~137.5 PFlop/s-day。 图：模型的尺寸在过去5年增长了5000倍表：不同NLP模型参数量及训练算力对比 模型总计算量 总计算量 参数量 令牌数量 T5模型 T5-Small 2.08E+00 1.80E+20 60 1000 T5-Base 7.64E+00 6.60E+20 220 1000 T5-Large 2.67E+01 2.31E+21 770 1000 T5-3B 1.04E+02 9.00E+21 3000 1000 T5-11B 3.82E+02 3.30E+22 11000 1000 BERT模型 BERT-Base 1.89E+00 1.64E+20 109 250 BERT-Large 6.16E+00 5.33E+20 355 250 ROBERTa-Base 1.74E+00 1.50E+21 125 2000 （PFlop/s-day）（Flops） （百万个） （十亿） ROBERTa-Large 4.93E+01 4.26E+21 355 2000 GPT模型 GPT-3Small 2.60E+00 2.25E+20 125 300 GPT-3Medium 7.42E+00 6.41E+20 356 300 GPT-3Large 1.58E+01 1.37E+21 760 300 GPT-3XL 2.75E+01 2.38E+21 1320 300 GPT-32.7B 5.52E+01 4.77E+21 2650 300 GPT-36.7B 1.39E+02 1.20E+22 6660 300 GPT-313B 2.68E+02 2.31E+22 12850 300 GPT-3175B 3.64E+03 3.14E+23 174600 300 数据来源：OpenAI，国泰君安证券研究7 1.1 MR、车载等数字经济新型应用场景带来新的算力需求 •MR的推出更带来对低延时网络传输和底层算力技术升级的需求。虚拟世界需要强大的图像实时渲染能力、计算和存储海量数据资源，头 显交互设备的出现将进一步增加对云计算和边缘计算的应用需求。云计算能将终端渲染逐步迁移至云端，基于规模效应摊低运算成本，提升服务器使用效率，提升虚拟世界的可进入性。而边缘计算则更能满足实时数据分析需求、缓解中心云的计算负载。 •汽车智能化需求持续升级带来数据流量的急剧飙升。随着自动驾驶等级提升，车载信息娱乐系统、长续航电池及5G网络的引入，车辆要面对的计算量越来越大，网络架构升级、本地实时处理能力、“大容量缓存和存储”规格将成为硬需求。 图：算力升级是支撑虚拟世界内容创作与真实交互的保障图：2025年L4等级无人自动驾驶数据存储需求 数据来源：中国信通院、华为，国泰君安证券研究 8 数据来源：CounterpointTechnologyMarketResearch，国泰君安证券研究 1.2 算力与经济水平直接挂钩，且具有倍增效应 •全球各国算力规模与经济发展水平呈现正相关。2021年算力规模前20的国家中有17个是全球排名前20的经济体，并且前五名排名一致。 •算力对经济有倍增效应。数字经济作为GDP的组成部分，占比正在逐年增加，而算力是数字化技术持续发挥效益的根本性要素。根据IDC的报告，计算力指数平均每提高1个点，数字经济和GDP将分别增长3.3‰和1.8‰。当一个国家的计算力指数达到40分以上时，指数每提升1点，对于GDP增长的拉动将提高到1.5倍；当计算力指数达到60分以上时，对GDP的拉动将进一步提升至2.9倍。 图：算力排名与经济排名较为吻合 数据来源：中国信通院信通院2022年算力白皮书 图：算力对经济有倍增效应 数据来源：IDC 9 1.2 中美算力布局较为领先，中国智能算力在追赶 •智能算力规模和增速亮眼。根据信通院算力白皮书，2021年全球算力增速超过40%，华为GIV预测2030年人类将迎来YB数据时代，全球算力平均年增速达到65%,其中基础算力平均年增速达27%;智能算力占大头,平均年增速超过80%;超算算力平均年增速超过34%。 •中美算力在全球属于领先地位。美国、中国、欧洲、日本在全球算力规模中的份额分别为34%、33%、14%和5%，其中全球基础算力美国份额达37%，中国以26%份额排名第二;智能算力方面，中国、美国分别占比为45%和28%；美国、日本、中国在超级计算综合性能指标方面份额分别为48%、22%、18%。 图：全球算力规模增长速度在40%以上 图：中美全球算力分布较为领先 图：中国占比较大为基础算力，智能算力当前快速赶上 数据来源：信通院算力白皮书 10 1.2 海外以互联网大厂为主导，资本开支向AI大幅倾斜 •美国人工智能公司在过去的五年间获得的投资占到了全球的56%,数百亿美元，谷歌、微软、亚马逊、Meta四家美国科技巨头在经历了2022和2023年初史无前例的大裁员之后，这些公司一边降本增效，一边AllinAI。 表：北美大厂积极自研和购买算力芯片 自研芯片 算力布局 2023Q1 2023年展望 投入领域 AWS Inferentia、trainium AWS宣布即将推出的EC2超级集群（EC2P5实例）可扩展至20000个互连的H100。 我们预计在数据中心建设和服务器的投入会在Q2以及后面持续的提升 我们预计总体资本开支会略微高于2022年，同时资本开支会在技术基础设施显著提升，而在办公室设施下降 数据中心，服务器，供应链 Google TPUv4 已经建成包含26000个H100的A3；当前已经部署了数十台TPUv4超级计算机，每台拥有4096个TPU芯片； 发布了专门用于推理或训练的机器学习定制化芯片 资本开支包括金融租赁，2023年预计资本开支会低于2022年的590亿美金，去年主要因为完善物流网络的投资，未来这个数字会逐步减少。我们将持续投入基础设施来支持AWS客户需求，包括支持LLM和生成式AI AWS Meta MTIA 已经包含有2000个DGXA100，配备16000个A100；semianalysis认为其是2023年H100GPU最大的买家，据专家交流可能采购了3万片H100以上。 投入的三个领域：1）非AI计算需求：计算和存储来支撑现有业务；2）核心的AI投资，支持Discoveryengine、排序广告等的建设；当我们评估ROI感觉可以的话，这些都会提高我们对AI的投入；3）支持生成式AI，现在虽然难评估，但我们未来会提高资本开支，同时平衡好AI能力的建设 我们预期资本开支在300-330亿元，与前次预测无异，我们继续建设AI能力来支持ADS、Feed和Reels，以及将提升我们在生成式AI的容量投资（earningtranscript） 数据中心 Microsoft Athena Azure云拥有10000个GPU和285000个CPU内核；据专家交流北美各家可能采购了3万片H100以上。 我们希望引领AI平台的浪潮并做相应投资来实现它 我们预计资本开支会有显著的后续环比增长，主要驱动为AzureAI基础设施。注意可能有正常的季度支出波动 AzureAI基础设施 数据来源：公司官网、国泰君安证券研究 11 1.2海外算力板块企业和国内对标 大模型 光模块/器件芯片 服务器 行业/细分领域 通用人工智能、自然语言处理、多模态模型自然语言处理、多模态模型、云计算 办公软件、自然语言处理 自然语言处理、多模态模型、计算机视觉光模块 光芯片 DSP芯片 GPU、AI加速器 FPGA、AI加速器 模拟芯片、功率管理芯片