2024 年人工智能基础设施 40 强单 ： AI 时基础基础设施市场关键 势与税收吸引力

目录 3I.执行摘要 4II.LAZARD VGB AI INFRA 40 列表 6III.报告范围和方法 IV.主要市场趋势 AI 基础设施的分割 14V. 附录一 ： 公司概况 21VI. 42VII.附录二 ： 参考资料 I. 执行摘要 我们很高兴介绍拉兹洛·VGB AI基础设施40强名单，该名单展示了我们通过与数百位CEO和投资者的讨论中识别出的一些最具发展前景的人工智能基础设施公司。 通过我们的研究和公司访谈 ， 出现了 4 个关键的市场趋势 ： 重新思考 AI 时代的堆栈 硬件、软件和相关工具的最佳架构出现为 AI 时代和技术效率而显著转变。架构将会越来越依赖于特定于边缘计算的应用场景的AI用例以及灵活的模型（不拘泥于底层芯片和基础模型）。 专注于 AI 可持续性 AI训练和推理不断增长的能量需求正促使人们关注架构级能源效率，并增加了优化能源和AI基础设施集成的需求。 隐现数据约束 高质量语言数据的有限供应导致了替代和合成数据源的机会。 自主 AI 代理人的黎明 副驾代理只是利用大型语言模型（LLM）为代理提供动力的起点。我们预见在接下来的12个月中，多代理和自主代理模型可能成为关键主题，展现出新兴的机会。 本报告将 AI 基础设施视为增长阶段潜在投资的空间。麦肯锡1估计生成式人工智能（GenAI）及其应用每年可为全球经济增加高达25.6万亿美元的经济价值，因此构建必要的AI基础设施对于实现这一潜力至关重要：“基础设施的命运“正如一位 OpenAI 高管最近所说的那样。2 当前阶段的AI基础设施增长正受到一系列严峻短缺的阻碍：硬件（GPU和其他AI芯片）、可持续能源源、高质量训练数据以及人才。我们相信，包括我们的VGB AI Infra 40名单在内的许多公司的技术专家正在以创新的方式重新思考硬件、软件、数据和工具堆栈，越来越多地由AI应用场景引领，包括日益增长的边缘计算需求。 II. Lazard VGB AI Infra 40 列表 我们很高兴介绍VGB AI Infra 40名单上的精选公司，按领域字母顺序排列。VGB AI Infra 40公司的详细资料可在附录中找到。 Lazard VGB AI Infra 40 列表 三、报告范围与方法 自2023年中我们在人工智能商业化和市场进入策略方面发布研究工作以来（详见报告），Lazard VGB Insights团队已经与超过100家私营人工智能公司的首席执行官进行了交流，覆盖了整个技术栈。 这份报告专注于我们选定的人工智能基础设施成长阶段公司，并附有一份针对企业就绪解决方案的补充报告。水平和垂直 AI 应用将在稍后的日期。 我们的筛选方法可以总结如下 ： 1我们利用了广泛公开的信息、行业报告和数据库（如PitchBook）筛选出了北美和欧洲核心市场中的2000多家公司，随后对这些公司进行了详细研究和访谈。 •2我们只包括被归类为 “以 AI 为中心 ” 的公司 ， 这意味着 AI 功能被评估为公司本土架构或产品组合的核心。我们排除了采用单一功能或增强功能的公司。 3我们未将我们认为现有的或主导的企业包括在内，也不包括基础模型构建者，如Anthropic或OpenAI，我们视其为一个成熟的市场细分领域。 • 4 我们的选择仅限于已知估值低于 15 亿美元的公司。 四、主要市场趋势 Introduction 人工智能时代的巨大潜力已经以惊人的速度被催化自 ChatGPT 推出以来的 18 个月。然而 ， 对于观察者来说 ， 阅读可能具有挑战性 signal versus noise amidst the use of both superlatives and prospictism. Indeed, arecent survey3专家表示 ， 对于与人工智能相关的公共股票是否处于泡沫状态存在分歧 ： 40% 的人说 “是 ” ， 45% 的人说“ 不是 ” 。 它可能是两者兼有。投资者比尔·詹埃伊（Bill Janeway，最近在我们的伦敦VGB T500会议上发表了主旨演讲）认为，并非所有的泡沫都相同，而在“生产性气泡“， 猜测依附于转型通用技术 Marc Benioff ， Salesforce 首席执行官 但具有创造新经济的真正潜力。4 然而，潜在的机会太大而不能忽视。生成式AI已经引发了质的飞跃，并代表了一个报道中的5到2032年，全球市场机会将达到1.3万亿美元，潜在地增至总全球技术支出的约12%。考虑到新用例和生产率提升的影响，麦肯锡估计，通用人工智能（GenAI）每年可为全球经济增加高达25.6万亿美元的经济价值。6 • 虽然在采用方面仍然存在着显著的挑战 ， 但我们看到了显著的企业拉动用例 ， 即 “主要是自上而下 ， 来自首席执行官 / 首席执行官或指导委员会“， 根据最近接受调查的高管中 71% 的人的数据。8 预计到 2026 年 ， 超过 80% 的企业将使用 GenAI ， 而 2023 年不到 5% 。9 • 我们AI Infra 40名单上的几乎所有公司都有付费的重要企业客户，通常为多年期的重复合同，并已在生产环境中部署。然而，我们还是例外地包括了几家尚未营收的公司。 如我们在之前的关于AI商业化报告中所述，我们注意到风险投资支持的AI公司继续通过带有股权投资支持的多年战略合作伙伴关系来拓展大型受众市场的趋势。 • 自上次报告以来，此类合作伙伴关系的一些近期例子包括亚马逊/Anthropic、Snowflake/Mistral以及Google/HuggingFace的合作。10 • 我们注意到，大型科技公司的合作伙伴关系方法可能因反垄断担忧而面临有限的发展空间。据报道，美国司法部和联邦贸易委员会已就对Nvidia、OpenAI和Microsoft（包括最近的Inflection AI交易）进行潜在调查的方式达成了一致意见。.11 而美国在 2023 年获得了绝大多数的风投投资 ， 占总投资的 70 ％12， 比欧洲多 3 倍13， 我们注意到加拿大 (多伦多和滑铁卢) 、英国和法国新兴的充满活力的生态系统。 • 尽管超出了本报告的详细范围 ， 但我们注意到朝着 “主权 AI”14为了某些国家的文化和语言保护、经济增长、人才发展以及网络安全的需要，未来几年可能对资金环境产生实质性影响。 • 有关 AI 地缘政治的更多信息 ， 请参阅 Lazard 地缘政治咨询的 2023 年 10 月报告。15 “数据中心目前价值 1 万亿美元的设备将不得不被 AI芯片取代。” 不断上升的潜在需求正在为未来的AI时代奠定基础。尽管Nvidia在第一阶段的AI时代中已经在制造运行生成式AI模型的专业芯片方面占据了主导市场地位，我们相信 JENSEN HOANG ， NVIDIA 人工智能基础设施sector（或“挖掘工具和铲子”）可能代表一个重要的投资机会，预计到2031年其价值将达到3.09万亿美元。16第二阶段的人工智能进化很可能涉及广泛的企业构建专门的人工智能相关基础设施， 涵盖软件和硬件、AIOps（使用机器学习和大数据自动化IT系统）、MLOps（标准化部署机器学习系统的流程）、数据基础设施等方面。 1. 重新思考 AI 时代的堆栈 AI基础设施栈将与历史数据中心、云和软件基础设施大不相同，这归因于AI工作负载的众多独特特性和需求。目前，训练占据了大部分计算需求，但随着市场需求的扩大，高效的实时推理和低延迟可能变得同样关键。 尽管从CPU向AI芯片（包括GPU、ASIC和TPU）的过渡显著提高了AI工作负载的效率，但仍有必要进行进一步的优化、创新，并重新考虑硬件/软件集成的需求。 • 在高峰时段，大部分GPU的使用率较低。提高有效GPU部署效率将在2024年至2025年间成为一个关键问题。17 • A令人震惊的是，74%的公司对当前的工作调度工具表示不满意，并且经常面临资源分配的约束，而GPU计算的有限按需和自助访问进一步抑制了生产效率。.18 为了优化GPU使用，互联技术及高带宽内存（HBM）等架构创新成为了AI堆栈的关键组成部分： Ayar Labs '光学I/O解决方案旨在解决AI系统中的数据移动瓶颈，从而实现更高的带宽、更低的延迟和更高的能效。我们在高性能计算领域即将迎来一个新的时代，因为光学输入/输出（I/O）已成为满足生成式AI等新兴技术指数级增长的数据密集需求的“必备构建块”。”.19 • 同时天体 AI 的光子结构互连解决了 “MemoryWall”20通过旨在使带宽直接传递到芯片内的计算点。 Cornelis Networks提供从端到端高性能互连解决方案，采用专有的横向扩展架构，集成基于遥测的自适应路由、低延迟拥塞控制，并增强了对大规模超大规模计算、云AI和本地AI/HPC环境中的消息传递、内存模型和AI优化的支持。 在硬件 / 硅层面 ， 新的和专业的也可能有很大的机会鉴于市场需求潜力 ， 鉴于英伟达估计 80% 市场份额的主导地位 ， 多样化供应基地的机会21以及潜在的未来供应链约束。22 “许多公司增长的瓶颈很快就不是客户需求 ， 而是从 Nvidia 访问最新的 GPU 。” SiPearl旨在为高性能计算（HPC）和AI工作负载提供一种高性能、低功耗的微处理器，该处理器集成了Samsung的HBM解决方案，以减少热阻来提高处理速度，而不是简单地增加更多的GPU。23 边缘加速将需要一系列为AI准备就绪且能效高效的解决方案集，无论是在汽车、国防还是企业领域，我们已经看到了这些方案的明显采用。 • 2023 年边缘计算市场规模估计为 160 亿美元 ， 预计到 2030 年将以 37% 的复合年增长率增长至 1560 亿美元。24 • 同时，Gartner预测到2026年底，100%的企业PC购买将为AI PC，其中集成有神经处理单元（NPU）。25 SiMa 的嵌入式边缘机器学习片上系统(MLSoC) 旨在允许客户在芯片上运行整个应用程序 ， 而Axelera 的AI加速平台旨在通过YOLO（You Only Look Once，用于实时物体检测的卷积神经网络）实现边缘AI计算机视觉应用中的推理处理。 大多数新兴的半导体 / 硬件我们采访的类别公司正在努力创新的技术方法来管理工作负载，认识到数据准备、训练和推理的计算需求存在显著差异。集成的硬件/软件解决方案以及计算资源的使用。 “我们正处于巨大的技术转变之中 - 创新在这个新兴的 AI 中基础设施堆栈正以前所未有的速度发展。” 贝塞创业合作伙伴 适当的模型也会因用例而异。 • 企业使用特定于行业或功能的生成式人工智能（GenAI）模型的比例预计从2023年的约1%增长到2027年的50%。26 2. 专注于 AI 可持续性 生成式AI的快速发展引发了对能源使用强度的担忧。国际能源署估计，到2026年，数据中心的全球电力消耗可能超过1000太瓦时，比2022年的消耗量高出一倍左右，并大致相当于日本的总能源消耗。27随着能源消耗从训练转向推理，特别是在大规模部署现代模型的情况下，整个模型生命周期的能效正受到越来越多的关注。28我们识别出两种潜在新兴趋势：能源与AI基础设施整合，以及能源效率硬件和模型的创新。 能源供应链和数据中心基础设施的相互依存关系正在显现。华丽 7” (Mag7)29整合能源基础设施，越来越多地将数据中心与可持续能源源 colocate。然而，尚不清楚足够的清洁能源资源能否满足需求。 • 据报道 ， 微软和 OpenAI 计划投资 1000 亿美元 ， 5GW星门“人工智能数据中心， 可能由包括核能在内的替代能源提供动力 ， 位于未指定的位置。30虽然微软在 2023 年与核电生产商星座能源签署了协议 ，31分析报告指出，这不会提供所需的规模效应，而且现有很少有全球核设施能