计算机行业研究周报：英特尔发布高性价比Gaudi2加速卡GPT-4详细参数分析

——计算机行业研究周报 评级增持（维持） 投资摘要： 2023年07月16日 本周周报我们介绍GPT-4详细参数及英特尔发布Gaudi2加速器相关内容，对大模型及GPU生态进行探讨和展望。 曹旭特分析师SAC执业证书编号：S1660519040001 与国内大模型产品相比，chatGPT效果依然最优。根据InfoQ数据显示，chatGPT在大模型产品测评中分数最高，综合得分率为77.13%，国内大模型产品文心一言正迅速追赶，在国内大语言模型中位列第一。 行业基本资料 在这一背景下，市场普遍认为GPT-4的模型架构、基础设施、参数设计等具有一定程度的领先。由于官方并未公布GPT-4的详细参数，业内人士对GPT-4的详细参数进行了推断. 参数量：GPT-4的大小是GPT-3的10倍以上，包含1.8万亿个参数； 数据集：GPT-4的训练数据集将多个epoch中的token计算在内包含约13万亿个token；训练成本：OpenAI在GPT-4的训练中使用了大约2.15e25的FLOPS，使用了约25,000个A100 GPU，训练了90到100天，利用率（MFU）约为32%至36%。假定云端的每个A100 GPU的成本大约为每小时1美元，那么单次训练的成本将达到约6300万美元，如果使用约8192个H100 GPU进行预训练，用时约为55天左右，成本为2150万美元，每个H100 GPU的计费标准为每小时2美元；推理成本：GPT-4的推理成本是1750亿参数模型的3倍，这主要是因为GPT-4的集群规模更大，并且利用率很低。根据测算，在用128个A100GPU进行推理的情况下，8k版本GPT-4推理的成本为每1,000个token0.0049美分。如果使用128个H100 GPU进行推理，同样的8k版本GPT-4推理成本为每1,000个token 0.0021美分； 资料来源：iFind，申港证券研究所 相关报告 1、《计算机行业研究周报：世界人工智能大会顺利举行大模型及应用继续加速推进》2023-07-10 2、《计算机行业研究周报：AI大模型助力医疗信息化创新应用涌现》2023-07-033、《计算机行业研究周报：具身智能人工智能的下一个方向》2023-06-25 7月11日，Intel面向国内提出了新的解决方案，推出了第二代Gaudi深度学习加速器Habana Gaudi2。 在大语言模型GPT-3的评测上，Gaudi2也展示了其较优的性能。它是仅有的两 个 提 交 了GPT-3 LLM训 练 性 能 结 果 的解 决 方 案之 一（ 另 一 个 是 英伟 达H100）。在GPT-3的训练上，英特尔使用384块Gaudi 2加速器使用311分钟训练完成，在GPT-3模型上从256个加速器到384个加速器实现了近线性95%的扩展。 目前，已有部分厂商推出了基于英特尔AI加速卡的产品。在发布活动中，英特尔宣布Gaudi2首先将通过浪潮信息向国内客户提供，打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。其服务器集成了8块Gaudi2加速卡HL-225B，还包含两颗第四代英特尔至强可扩展处理器。 投资策略： 国内大模型在实际效果上已经逐渐靠近GPT-4，未来随着大模型在各领域的商业化落地，国内大模型将加速创新和迭代，推动数字经济发展，大模型方面建议关注科大讯飞、360。 目前，Gaudi2加速器发布后，英特尔正与浪潮信息合作，开发并发售基于Gaudi2深度学习加速器的AI服务器NF5698G7，同时新华三正与英特尔合作，开发适合大模型训练和推理的高性能AI服务器。 我们认为随着大语言模型及生成式AI的需求扩张，市场对高性价比加速器的需求也更加迫切，Intel推出的Gaudi2同时具备性能与性价比的领先优势，未来将具备较大的发展空间。 市场回顾： 本周申万计算机指数整体表现平稳，上涨0.82%，在申万一级行业中排名13/31。本周申万计算机行业指数前十大权重股恒生电子跌幅较大、浪潮信息、用友网络、紫光股份略有下跌，大华股份、海康威视、中科曙光涨幅较大。本周计算机板块涨幅前十大个股：华是科技、银信科技、航天智装、汇金股份、中孚信息、天迈科技、中新赛克、三维天地、彩讯股份及恒为科技。申万计算机行业指数当前滚动市盈率为69.16，近五年分位值81.95%。 风险提示：政策落地不及预期风险、技术落地不及预期、宏观经济波动风险等。 内容目录 1.每周一谈：英特尔发布高性价比Gaudi2加速卡GPT-4详细参数分析...............................................................................41.1投资策略...................................................................................................................................................................72.板块回顾..............................................................................................................................................................................73.本周要闻..............................................................................................................................................................................83.1行业新闻...................................................................................................................................................................83.2重要公司公告............................................................................................................................................................94.风险提示..............................................................................................................................................................................9 图表目录 图1：英特尔AI产品战略暨Gaudi2新品发布会...................................................................................................................5图2：Habana Gaudi2深度学习加速器.................................................................................................................................5图3：基于Gaudi2加速器的浪潮NF5698G7服务器............................................................................................................6图4：本周计算机板块涨跌幅.................................................................................................................................................7图5：申万计算机行业指数历史市盈率TTM..........................................................................................................................8 表1：大语言模型综合测试结果.............................................................................................................................................4表2：本周申万计算机行业前十大权重股票涨跌幅.................................................................................................................7表3：本周计算机板块涨幅前十名..........................................................................................................................................8 1.每周一谈：英特尔发布高性价比Gaudi2加速卡GPT-4详细参数分析 在本次结束的2023人工智能大会上，据统计，有24款大模型新品在大会上发布或升级，发布主体不仅包括互联网龙头企业，也包括移动联通等运营商、创业公司及各大高校。 与 国 内 大 模 型 产 品 相 比 ，chatGPT效 果依 然 最 优。根 据InfoQ数 据显示 ，chatGPT在大模型产品测评中分数最高，综合得分率为77.13%，国内大模型产品文心一言正迅速追赶，在国内大语言模型中位列第一。 在这一背景下，市场普遍认为GPT-4的模型架构、基础设施、参数设计等具有一定程度的领先。由于官方并未公布GPT-4的详细参数，业内人士对GPT-4的详细参数进行了推断： 参数量：GPT-4的大小是GPT-3的10倍以上，包含1.8万亿个参数； 混合专家模型：OpenAI使用混合专家（MoE）模型，依此保持相应的成本。混合专家模型使用了16个专家模型，每个模型大约有111B个参数，每次计算将其中两个专家模型通过前向传递的方式将结果进行反馈； 数据集：GPT-4的训练数据集将多个epoch中的token计算在内包含约13万亿个token； 推理：相较于纯密集模型每次前向传递需要大约1.8万亿个参数和约3700TFLOP的计算量，GPT-4每次前向传递（生成1个token）仅利用约2800亿个参数和约560 TFLOP的计算量； 并行策略：为了在所有A100 GPU上进行并行计算，GPT-4采用了8路张量并行，因为这是NVLink的极限。除此之外，GPT-4采用了15路流水线并行； 训练成本：OpenAI在GPT-4的训练中使用了大约2.15e25的FLOPS，使用了约25,000个A10