互联网算力专家交流纪要

0 显卡能够满足 GT4 至 4.5 级别的模型训练需求，适用于日常运行。然而，对于更高级的模型训练，H20 显卡在性价比上表现不佳，不太适合使用。H20 显卡，预计国内市场的总订单量有 公司正计划采购约 6 万张望达到 20 万张。在 训练 GPT4.0 模型方面，大约需要 2000 张 H100 芯片，而 H800 则需要2 至 3000 张。H20 显卡的定价大约为 7 万 人民币，折合 11.2 万多美金。 国内其他主要企业，如百度和字节跳动，也计划推出 GPT4.0 能 力。相较于海外的GPT4.0，国内模 型在处理中文语义方面具有明 显的优势。2. 算力需求与供给分析公司预测，今年推理端的需求将显著增长，并计划采购平头哥推理 卡及 相关服务器。平头哥推理 卡的性能提升了大约 70%，与海光和 寒武纪的性能相当，但具体价格尚未公开。 公司与华为合作，计划采购升腾卡，预计采购虽约为 1 万张。国内 算力市场预计将持续增长，尽管大模型技术的发展趋势存在不确定 性，但推理市场需求将持续迭代和增长。公司认为，推理端的发展 是大势所趋，未来可能会有更多的大型企业参与推理卡市场的竞争。二、详细介绍1.H20 显卡对国内模型应用和下游算力使用的影响H20 显卡能够满足当前 GPT4 水平的模型训练需求，可以作为未 来一年的主力训练芯片。然而，随 着规模的扩大，维护和采购成本 也将随之增加。对于更高级的大模型研发，H20 显卡可能不是最佳 选 择，因此公司计划在未来拓宽供应商范围，并探索国产化的可能 性。2.国内对H20 显卡的采购规模和预期 公司计划今年采购约 6 万张 H20 显卡，根据与英伟达的沟通，预计国内市场的总需求量可能达到20 万张。但是，最终能否达到这 一数字，还取决于国产芯片 ，特别是深圳触控芯片的发展情况。目 前预计今年的订单量将接近 20 万片。 训练 GPT4.0 模型大约需要 2000 张 H100 显卡，而 H800 显卡则需 要2 至 3000 张。H20 显卡的具 体需求量尚未确定，但预计将比现 有数量增加 3到 4 倍。H20 显卡的定价约为 7 万人民币，折合美金 约为 1.2 万多，略低于 8万美金。4.GPT4 模型的参数规模和未来参数需求的增长目前的GPT4 模型已达到万亿级别的 参数。预计未来模型的参数 规模将更大，可能会推迟到 5 月 发布，但计划在第二季度完成。5. 阿里集团对算力资源的储备和采购策略阿里集团的采购策略旨在满足训练卡的需求，并保证集 团其他业务单元的资源储备。目前面临的 压力较大，需要在对外租赁和集团内 部需求之间找到平衡。因此，不仅增加了新的采购量，也提高了 退役卡的采购量。6.国产卡的性能和生产现状国产卡主要基于 NV 的卡进行生产，目 前在生产和商务方面存在一 些挑战。H20 卡在推出初期，由于供应链未能及时跟上，导致订单延迟。但 目前生产已经启动，预计今年 的出货量至少可达 30 万张， 最高可 能达到 50 万张。商务关系仍在博弈中，深圳的下单量预计能达到 1 万张。对于 590 和寒武纪 等国产卡，测试结果尚未确定，采购量 不会特别大。软件生态和卡片堆叠效果有待提升，但随着供应 链和软件生态的成熟，性能差距将逐渐缩小。 7.国产卡与H200 的性能比较国产卡在单卡性能上不会逊色于 H200， 特别是升腾的单卡性能优于 H200。H200 的单卡性能大约 是9RNB 的一半，但其缓存带宽是GRNB 的两倍。在集群效果方面，HRO 优于 H200， 预计在千卡效H200 的70%左右。率 下能达到8.910C 芯片的测试和预期性能尽管 910C 芯片尚未进行前期测试，但其被宣传为能支持 5 万张卡 的大规模集群，性能预计能达到H100 的80%。G20C 的互联外 观将升级到 800G， 预计二季度将有更多信息发布。9. 国内友商的GPT4.0 进展情况国内友商的GPT4.0 进展与我们相当，百 度和字节等预计今年将 推出 GP4 能力。在特定垂直领域， 已有一些公司表现出色。整体 而言，国内主流玩家的节奏和差距并未明显拉开。 在中文语义处理方面，国产模型表现更佳。但在联想、检索和准确 率分析等方面，CPP4 仍领先。国产模型在个性化智能体方面表现 更好，而 GP4 在文本、图片、视频理解及应用拓展性上更强。目 前，GP4 可达到 90 分水平，国产模型大约在 75 到 80 分水平，差距正在缩小。 11. 公司对GPT4.5 的发布计划原计划在 3-4 月份发布GPT4.5，但由于供应链问题导致延迟。目 前看来，发布可能推迟到今年下 半年或明年上半年，具体还需视政 策而定。公司计划在第二季度推出 GPT4 级别的模型，并在第四季 度推出CBM 能力。12.GPT4.5 的性能提升和应用场景GPT4.5 相较于 GPT4 将有显著提升，特 别是在多模态能力，尤其 是 3G 方面的增强，以及复杂推理和跨模态理解能力的显著提高。这将为商业化和应用场景带来质的飞跃，例如软硬一体的机器人等 领域。GPT4.5 还将结合代码解释器，类似于panel，增强与动态模 态的结合，如使用Python 绘制视觉效果等。但目前具体的参数 量、训练细节和算力消耗等信息尚未明确。13.国内 Al 应用的现状和评价 距，但在特定场景下的能力并不 逊色，甚至优于一些大模型。例 如，kimi 在语言理解产品方面的表现优于其他产品。长期来看，国 内 独立厂商与大模型厂商之间是竞合关系，各自在特定领域有优 势。独立厂商在特定场景深耕的能力较 强，而大厂商则需要覆盖更 多行业和场景。我们对这些独立厂商的投资是出于对其在特定场景 能力的认可和未来潜力的期待。14. 公司最近推出的产品及其在行业中的地位公司最近推出的产品在特定领域内表现领先，特别 是在用户体验方 面，相较于同类产品有显著优势。虽然无法断言是行业第一还是第 二，但确实在某些方面比其他产品做得更好。15. 未来一两个季度，国内哪些应用类型可能会迎来爆发未来一两个季度，文本类和语音类应用 可能会迎来较大爆发，尤其 是在智能导购、文档管理、Al 编程等方面。Al 编程领域，公司目标 是让 Al 完成团队中五分之一的工作，目前Alcode 的代码通过率 已经达到 35%-40%。视频类应用虽然潜力巨大，但考虑到算力和效 果要求较高，公司会谨慎推进。自 动 驾驶方面，公司更多依赖算力 支持，而非自主研发。16. 公司在 Al 领域的未来规划和战略公司计划在今年将推理端的需求量提升，预计采购量 将达到训练和 推理的二八开比例。同时，公 司将继续推动文本和语音领域的应用，以及 Al 编程的市场效果。公司的战略是先在集团层面打造 C 端 爆款产品，然后基于这 些产品丰富自身的定制开发能力，最后对外 输出解决方案。此外，公司还将 推广数据分析等产品，进行商业化 尝试。 17. 华为和新卡H00 的订单预计何时能大批量交付完成 预计在六个月左右能完成大批量交付。 18. 公司对 Al 服务器的订单情况公司已经向华擎、御迅和浪潮下了 6 万台 Al 服务器的订单，这些订 单都是框架性质的。19. 选择华擎、御迅和立讯作为供应商的原因这次下单是集团层面的决定，可能是基于成本、规 模和整体战略考 量。立讯之前虽无合作，但可能因其他合作项目而被选中。20. 公司是否会考虑使用英伟达的新 GPU？ 液冷技术的应用情况如 何？ 区的应用较少。 21. 服务器组装的稳定性如何？服务器组装相对稳定，选择的供应商可能还有其他合作项目。22.对于双林租赁公司的 H100 租赁服务，公司有何考虑？ 会考虑租赁，但可能不会通过阿里云，而是通过集团其他业务部门 进行商业租赁。23.Al 板块的未来前景如何？ Al 板块的增长与模型的能力变化不完全匹配，但通过模型迭代可以 挖掘新的应用场景。目前 Al 技术仍在不断发展之中，需要行业上下 游的协作以推动其进步。尽管市场上出现了新的 Al产品，但 用户 体验方面仍有提升空间。24. 平头哥芯片的算力和带宽参数是什么？对服务器厂商是如何付费 的？ 平头哥芯片主要是退役卡，不专门用于训练。尽管没有公开具体的 参数，但其性能比上一代提升 了 约 70%，在行业中可与海光和寒武 纪相媲美。对服务器厂商的付费方式通常包括服务器组装和硬件 成 本，具体根据增量概念来确定。25. 平头哥芯片的性能是否可以与英伟达的芯片对标？ 平头哥芯片并未直接与英伟达芯片竞争，因为它们属于不同的体 系。平头哥芯片更多地是与前一 代 产品进行比较，而不是与其他厂 商直接竞争。 26. 为什么还会采购升腾芯片，尽管其性能可能不如H20？采购升腾芯片是基于多方面考虑，包括推动国产化的需求和应对可 能加剧的供应链风险。虽然升 腾 芯片的性能可能不及 H20， 但考虑 到长期利益和政策环境，公司仍会采购一定数量的升腾芯片。27.公司计划采购多少升腾芯片？具体的采购量将取决于升腾芯片的性能和供应链状况。如果性能达 到预期且供应链稳定，公司会 增 加采购量。虽然短期内可能无法超 越英伟达的市场份额，但采购量将持续增长。28. 公司今年计划下多少张 1000C 芯片？ 公司目前已经下了 6 万张 1000C 芯片的订单，预计全年在中国市场 的出货量将在 20 万张左右。后续可能会增加订单，但增加的数量不 会超过 20%。 海外模型和生态，其次是加强海外算力租赁解决方案。目前海外 业 务主要集中于东南亚和中东北非地区，营收约占阿里云的 10%，且主 要增长来源于这些区域。30.未来推理卡和服务器的市场需求和价格情况如何？ 推理卡的需求将随着用户规模的增长而激增，市场前景看好。目前 平头哥推理卡的价格与海光和 寒武纪相当，但具体价格尚未公开。31. 对于国内推理市场的展望 ，以及阿里云在推理端的布局和策略 是什么？推理市场需求将随着模型的迭代和市场的成熟而增长，预计未来几 求，同时保持对供应链的控制，以应对未来可能的芯片供应问题。32.OpenAl 和其他大厂是否会参与推理芯片的开发？ 随着市场规模的扩大，不仅是 OpenAl， 其他大厂也必然会参与推理 芯片的开发。尽管技术趋势 存在不确定性，但推理芯片的持续迭代和市场需求增长是必然的。 总结而言，本次会议深入探讨了互联网算力及 Al 算力的应用现状、需求供给情况、行业趋势与展 望 等多个方面。会议还详细讨论了 H20 显卡的市场影响、国内外 GPT 模型的比较、公司在 Al 领域的 未 来规划和战略等关键议题。通过这些讨论，公司能够更好地把握 市场动态，优化采购策略，并为未来 的产品开发和市场布局做好准 备。随着 Al 技术的不断进步和市场需 求的日益增长，公司将持续关 注 行业动态，积极探索创新，以保持在竞争激烈的市场中的领先地位。