产业深度01期：算力产业中期关注当前AI架构上限——算力产业研究系列（二）

产业深度 2024.09.1902期 算力产业中期关注当前AI架构上限——算力产业研究系列（二） 摘要:以英伟达为例，理解算力时代三大技术优势 “思维链”破局更智能的推理 大模型时代来临，加速计算需求突破式增长。2023年至2028年加速计算CAGR约 32%。我们认为，目前还处于AGI大基建的早期阶段。 经过强化学习（ReinforcementLearning），OpenAIo1在推理能力方面取得了重大进展思维链是一种帮助AI模型进行推理的技术，属于强化学习的技术之一。 从产业发展趋势看，中期硬件迭代或进入瓶颈期 我们认为，每一轮新技术的发展规律都是相似的，其发展规律主要分为三阶段： （1）靠垄断发展，先在技术垄断期榨取每一代产品的利润 （2）有竞争对手出现，依然享受领先优势，但会加速换代，产品迭代立刻提速，为了享受更多的领先优势 （3）技术更新迭代变缓，硬件迭代进入瓶颈，软件龙头公司崛起 从产业生命周期曲线看： （1）从本轮技术进度看，这代架构下的AI能力已经接近瓶颈，潜力已几乎被挖尽，领 先者的领先地位将越来越不明显。 （2）从新一轮技术爆发看，未来竞争格局存在较大不确定性。 从技术原理看，2026年或达到这代AI架构上限 我们认为，在这代架构之下，增加更多特定算法如“MOE”、“Q*”等，或是增加参数 量与数据资源，可能只能将回溯记忆的过程做的越来越好，无法从根本上解决“聪明”问题，模型原来无法解决的“逻辑、因果问题”的理解，在这代架构之下或难以被解决 从大模型原理看，GPU能力、Transformer能力、与数据资源影响AI架构上限 （1）从GPU原理看，内存互连与架构设计决定能力上限 （2）从transformer原理看，算法不够“聪明” （3）从数据资源看，这代AI瓶颈在数据获取、全面标注、高质量数据 我们认为，中期看来，当前AI架构的上限或带来以下中期风险： （1）实用性AI角度，网络、内存等已看到明显技术上限，再花一倍的力气去提升20% 的性能性价比较低，中型厂商或更多转向推理，推理侧竞争格局存在不确定性。 （2）长期AGI明显是需要多轮次技术爆发才能到达的终极目标， 风险提示 算力场景落地不及预期，政策变动，产品研发不及预期等。 产品研究中心 李嘉琪(分析师) 010-83939821 lijiaqi026904@gtjas.com 登记编号S0880524040001 �浩(分析师) 0755-23976068 wanghao013539@gtjas.com 算力时代，关注芯片、软件、网络——算力产业研究系列（一） 2024.08.20 机器人产业深度（七）：机器人的大脑——具身智能 2024.08.20 低空经济系列（三）：全球适航认证的路线差异和三个共识 2024.07.22 铍，可控核聚变的“锂矿” 2024.07.21 全新生产工具：通用AI将引发的变革与产投机遇思考 2024.06.24 往期回顾 登记编号S0880513090004 目录 1.“思维链”破局更智能的推理3 1.1.大模型时代来临，加速计算需求突破式增长3 1.2.OpenAIo1“思维链”破局更智能的推理3 2.从产业发展趋势看，中期硬件迭代或进入瓶颈期6 2.1.类比智能手机，中期硬件迭代或进入瓶颈6 2.2.从产业生命周期，这代算力的壁垒或仅可持续较短时间7 3.从技术原理看，2026年或达到这代AI架构上限8 3.1.这代架构只能“回溯记忆”8 3.2.从GPU原理看，内存互连与架构设计决定能力上限12 3.3.从transformer原理看，算法不够“聪明”16 3.4.从数据资源看，这代AI瓶颈在数据获取、全面标注、高质量数据214.风险提示24 1.“思维链”破局更智能的推理 1.1.大模型时代来临，加速计算需求突破式增长 算力缺口越来越大。OpenAI公司在2018年对AI计算的趋势与硬件发展趋势做了分析，基于Transformer的AI模型的算力需求增速远大于传统的CNN模型，并远超依据摩尔定律的演进速度，硬件算力的增 长速度与大模型所需的算力水平之间的差距越来越大。 2023年至2028年加速计算CAGR约32%。我们认为，目前还处于AGI 大基建的早期阶段，而AI是一个供给驱动型的市场。我们仍然处于 scalinglaw的早期，模型的能力会随着模型参数的增加而提高。OpenAI、微软与Anthropic等头部公司的产品仍在你追我赶的过程中。在这种追赶的过程当中，我们认为头部公司不会突然停下对算力铺设的脚步，短期内北美大厂capex较为坚挺。 图1：Transformer对算力需求快速上升 数据来源：650Group,CignalAI,Dell’Oro,LightCounting,andAsterfusionestimates 1.2.OpenAIo1“思维链”破局更智能的推理 经过强化学习（ReinforcementLearning），OpenAIo1在推理能力方面取得了重大进展。北京时间9月13日，OpenAI发布了名为OpenAIo1的新模型，也是之前所传的“Strawberry”，但最初o1的代号为“Q*”。 OpenAI的CEO萨姆·奥尔特曼（SamAltman）则称它为“新范式的开始”。o1的特点表现为更大、更强、更慢、更贵。OpenAI研发团队观察到，随着训练时间（强化学习的增加）和思考时间（测试时的计算）的延长，o1模型的表现逐渐提升。这种方法的扩展所面临的挑战与大型语言模型 （LLM）的预训练限制截然不同。 图2：o1性能随着训练时间和测试时间计算而平稳提升 数据来源：OpenAI O1主要应用在文本交互问答，其回答前会像人类一样“深思熟虑”。据OpenAI官方，“虽然这款初期模型还没有像网上搜索信息、上传文件和图片这样的功能，但它在解决复杂推理问题上有了显著进步，这代表 了人工智能技术的新水平。所以我们决定给这个系列一个新的起点，将其命名为OpenAIo1。”据甲子光年总结，o1的主要应用还是集中在通过文本交互进行问题解答和分析，而不是直接控制浏览器或操作系统。与早期版本不同的是，o1模型在作出回答之前会像人类一样“深思熟虑”，用时约10—20秒，产生一个长长的内部思路链，并能够尝试不同的策略并识别自身的错误。这种强大推理能力使o1在多个行业中具有广泛的应用潜力，尤其是复杂的科学、数学和编程任务。在处理物理、化学和生物问题时，o1的表现甚至和该领域的博士生水平不相上下。在国际数学奥林匹克的资格考试（AIME）中，o1的正确率为83%，成功进入了美国前500名学生的行列，而GPT-4o模型的正确率仅为13%。 图3：在编程竞赛中进一步的微调提升了o1模型的表现 数据来源：OpenAI 思维链是一种帮助AI模型进行推理的技术，属于强化学习的技术之一。我们认为，思维链使得模型在“快思考”之外，学会“慢思考”。OpenAI的联合创始人之一布罗克曼介绍，OpenAI的模型原先进行的是系统一 型思维（快速、直观的决策）而思维链技术则启动了系统二型思维（慎重、分析性的思考）。系统一型思维适合快速应对，而系统二型思维则通过“思维链”技术，让模型能够逐步推理解决问题。实践表明，通过持续的试错，从头到尾完整训练模型（如在围棋或Dota等游戏中应用），可以极大提升模型的表现。 OpenAI表示，o1技术虽然仍在开发初期，但已在安全性方面表现良好。如通过增强模型对策略进行深入推理来提高其对抗攻击的鲁棒性和降低幻觉现象的风险。这种深层次的推理能力已经开始在安全性评估中显 示出积极的效果。它通过让模型在回答复杂问题时，逐步解释每一步的推理过程，而不是直接给出答案。因此模型在回答问题时就像是人类在解题时那样，先思考每一步的逻辑，再逐步推导出最终的结果。 强化学习通过自主优化反馈，解决人工数据标注不全面、标注贵等问题。但在AI训练的过程中，人工标注思维链耗时又昂贵，在scalinglaw主导下所需的数据量对人工而言基本是一项不可能完成的任务。强化学习 是更为实用的替代方案。强化学习可以让模型通过实践和试错自己学习，它不需要人工标注具体每一步怎么走，而是通过不断的实验和反馈来优化解决问题的方法。模型会在尝试解决问题的过程中，根据所采取行动的结果（好的或坏的）来调整自己的行为。这样，模型能够自主探索多种可能的解决方案，并通过不断试错找到最有效的方法。比如在游戏或模拟环境中，AI可以通过自我对弈不断优化策略，最终学会如何精确执行复杂任务，而无需人工逐一指导每一步。比如2016年横扫围棋界的AlphaGo，它就是结合了深度学习和强化学习的方法，通过大量的自 我对弈来不断优化其决策模型，最终能够战胜世界顶级的围棋选手李世石。o1模型就是用和AlphaGo相似的方法逐步处理问题。 2.从产业发展趋势看，中期硬件迭代或进入瓶颈期 2.1.类比智能手机，中期硬件迭代或进入瓶颈 我们认为，每一轮新技术的发展规律都是相似的，其发展规律主要分为三阶段： 1、靠垄断发展，先在技术垄断期榨取每一代产品的利润 2、有竞争对手出现，依然享受领先优势，但会加速换代，产品迭代立刻提速，为了享受更多的领先优势 3、技术更新迭代变缓，硬件迭代进入瓶颈，软件龙头公司崛起 类比上一轮智能手机的爆发，我们认为其技术爆发符合“三步”规律。关键的技术爆发节点至今共经历了4轮：（1）蒸汽机；（2）计算机；（3） 智能手机；（4）AI。智能手机的出现将电脑放进口袋。从触控屏出现，重新定义手机，8-9年内智能手机渗透率快速提升，规模提升近10倍，渗透率提升7倍。其技术爆发符合“三步”规律，具体表现如下： （a）硬件规格不够：2006年，IPhone1出现 智能手机的出现使得电脑变小、可折叠、放进口袋。但手机变电脑，不 是一开始就有的，一开始硬件规格达不到，当时的手机性能较差，加载过程非常卡、电池续航很低、游戏支持很少，因此智能手机刚开始和原先的普通手机，如诺基亚等，差别不大 （b）硬件性能跃迁，软件模式创新： （i）硬件的爆发：2010年，IPhone4出现 我们认为IPhone4代表了智能手机硬件技术出现明显跃迁，IPhone4的 模式为此后的IPhone系列奠定了坚实的基础，硬件能力在IPHONE4这代开始出现了跃升，同步伴随着3G-4G网络出现，只能手机芯片性能提升明显。我们随之看到了智能手机在人群中爆发，成为奇货可居的存在。 （ii）软件模式创新：2014年，微信普及 新技术时代的软件需要做模式创新，其存在形式与之前的软件都不同， 需要根据新技术的特点做更适合的模式创新的软件。软件刚出现时没有出现变现，处在积累用户阶段，如微信刚开始出现时功能很简单，只能发送简单的消息和表情包。在智能手机时代的软件模式创新包括手游、网购、外卖等。 （c）硬件迭代进入瓶颈，软件龙头公司崛起：2016年，IPhone7出现我们认为2016年iPhone7plus出现标志着智能手机硬件迭代进入瓶颈期。其手机迟迟不出下一代，显示了每代间硬件提升难度非常大。同时，硬 件价格在下降，手机在变便宜，1000-2000块就可以买到差不多的智能手机，说明硬件技术进入此轮技术爆发的成熟期，此时距离第一代iPhone10年。 我们认为硬件迭代进入瓶颈期后，软件开始出现变现，其中软件的龙头公司优势越发明显，如腾讯微信具有渠道优势、抖音6G视频具有流量优势，因此我们认为第三阶段机会将来到软件端，此时硬件机会需要等待新一轮的技术爆发，再做更迭升级。 我们认为现在的AI处在第二阶段，基座大模型是AI时代的“硬件”。 AI时代也会呈现相似的趋势： （a）硬件规格不够：2018年，英伟达将Transformer做进GPU底层架 （b）硬件性能跃迁，软件模式创新： （i）硬件性能跃迁： 我们认为基座大模型能力在2022年至2024年这两年内性能跃迁明显。2022年出现了Gpt3.5，2023年