计算机行业投资策略周报：Claude3发布，捅破GPT-4封锁的天花板

「Scaling Law」生成式AI的第一性原理。今年二月以来生成式AI的产业趋势出现了两个重要变化：（i）Anthropic发布的Claude 3系列模型，让我们看到被GPT-4封锁了长达一年的模型性能天花板开始被捅破、（ii）OpenAI发布的Sora模型，让我们意识到视频生成模型与语言模型一样也具有可扩展性（scalable）。这意味着无论是大语言模型这条主线，还是视频/图像生成这条支线，它们在Scaling Law这条第一性原则的有效性上都得到了进一步的佐证，这对于我们判断生成式AI的产业发展趋势而言有极为正面的意义。 「Claude 3」GPT-4的最大挑战者。3月5日，由前OpenAI高管Dario Amodei创立的模型公司Anthropic重磅发布Claude 3系列模型，包括Haiku、Opus、Sonnet三款模型，分别侧重于智能、平衡和速度。Claude 3或是第一个成功挑战GPT-4的模型。我们从测试基准、视觉能力、代码能力、长文本能力、模型训练等10个维度总结了Claude 3系列模型的亮点。 「Sora」构建世界的模拟器。2月15日，OpenAI推出首个视频生成模式Sora，并指出扩大视频生成模型的参数规模是迈向创建能够模拟物理世界的通用工具的有前途的一步 。Sora本质上是一个具有灵活采样尺寸的Diffusion-Transformer（DiT）。我们认为尽管模型的技术架构并非OpenAI原创，但始终致力于寻找最具有扩展性的技术方向可能正是OpenAI最大的禀赋。其次，Sora在训练过程中再次使用了GPT-4作为标注器，我们认为使用AI创造AI的“飞轮效应”已经出现。 「国产大模型」国人正在奋起直追。我们看到，国产基座模型在过去的一年中已经取得了显著的进步，它们在这场激烈的竞争中不仅没有“掉队”，甚至在某些方面还保持了领先，例如月之暗面的KimiChat对于大模型长文本能力的前瞻性判断。因此，随着国内资源进一步向头部厂商集中，人才和技术的加速平权，以及国产算力的崛起，我们有望看到国产基座模型对GPT-4的加速追赶。届时，我们无论是对国内模型、应用、还是算力相关的展望都会更加乐观。 投资建议：见正文 风险提示：AI技术迭代不及预期的风险，商业化落地不及预期的风险，政策支持不及预期风险，全球宏观经济风险。 1「ScalingLaw」生成式AI的第一性原理 Scaling Law是本轮AI革命的第一性原理。OpenAI在2020年发表的论文中指出，随着模型规模、数据集规模和训练所使用的计算资源的增加，语言模型的性能能够逐渐提高。自去年3月GPT-4发布以来，全球范围内掀起了一场大模型的“军备竞赛”热潮，显著加速了对AI芯片的需求，也让人们更多地期待AI原生应用的诞生。但在过去一年中，代表行业最高水准的SOTA模型（GPT-4）依然没有被超越，这在一定程度上加剧了市场对Scaling Law有效性的担忧，对于高质量语料的不足、训练硬件的瓶颈、是否需要Transformer的替代品等争论日益增加。值得欣喜的是，上述情况在今年二月以来出现了重要变化： 1)Anthropic发布的Claude 3系列模型，让我们看到被GPT-4封锁了长达一年的模型性能天花板开始被捅破。 2)OpenAI发布的Sora模型，让我们意识到视频生成模型与语言模型一样也具有可扩展性（scalable）。 总结来说，无论是大语言模型这条主线，还是视频/图像生成这条支线，它们在Scaling Law这条第一性原则的有效性上都得到了进一步的佐证，“大力出奇迹”持续自我验证，这对于我们判断生成式AI的产业发展趋势而言有极为正面的意义。这意味着，算力投入的隐含回报率在提高，更多的应用场景将随着模型能力提升被解锁，“硬件先行，软件/生态随后”的产业态势将持续保持。或许正如英伟达CEO黄仁勋在Q4财报电话会中提到的那样，“我们已经到达了生成式AI的引爆点”，投资上持续强化“先硬后软”的思路。 图1.OpenAI在2020年提出了ScalingLaw 2「Claude3」GPT-4的最大挑战者 Claude3或是第一个成功挑战GPT-4的模型。Anthropic由前OpenAI高管Dario Amodei于2021年创立，其创立团队还包括GPT-3论文的第一作者TomBrown等人。该公司分别于2023年的3月和7月推出了Claude1和Claude2系列模型，其中Claude2在当时已能够支持100k的上下文长度，成为了GPT-4强有力的竞争者，并在随后的9月获得了亚马逊40亿美金的投资。而在2024年3月5日，Anthropic又重磅发布Claude 3系列模型，包括Haiku、Opus、Sonnet三款模型，分别侧重于智能、平衡和速度。如下我们总结了Claude3的十大亮点。 图2.Claude3系列模型的十大亮点 图3.Claude3包括Haiku、Opus、Sonnet三款模型 图4.Claude3系列模型基准测试分数比较 图5.Claude3系列模型视觉能力基准测试分数比较 图6.Claude系列模型召回率（recall）对比 图7.Claude系列与主流模型API价格对比（单位：美金/一百万tokens） 3「Sora」构建世界的模拟器 视频生成模型作为构建世界的模拟器。2月15日，OpenAI推出首个视频生成模式Sora，该模型在视频的保真度、长度、稳定性、一致性等方面都做到SOTA性能。在此之前，大语言模型（LLMs）通过优化下一个词（token）预测，实现了对文本语料知识的无损压缩。与之对应，Sora的推出意味着视频生成模型可以通过去噪时空块（spacetime patches），实现了对物理世界中的时间、空间的抽象认知。作为一个Diffusion Transformer，Sora和LLMs中的Transformer一样，展现出了惊人的扩展性（Scalability），即随着训练算力的增加，生成的样本质量显著提升。因此，OpenAI认为，扩大视频生成模型的参数规模是迈向创建能够模拟物理世界的通用工具的有前途的一步。 图8.图片/视频生成模型发展历程 基于Diffusion-Transformer架构的视频生成模型。在模型架构上，Sora本质上是一个具有灵活采样尺寸的Diffusion-Transformer（DiT），其主要由三部分组成：（i）一个将视频从像素空间压缩到潜空间（latentspace）的时空压缩器、（ii）一个处理并输出去噪的潜空间表示的ViT、（iii）一个类似于CLIP的条件机制接收来自LLM的用户增强指令和潜在的视觉提示，以引导扩散模型生成指定样式或主题的视频。在完成多步去噪环节后，模型会得到生成的视频的潜在表示，然后用相应的解码器映射回像素空间，最后就得到了我们看到Sora生成的成品视频。从Sora模型的技术解读中，我们认为尽管模型的技术架构并非 OpenAI原创，但始终致力于寻找最具有扩展性的技术方向可能正是OpenAI最大的禀赋。或许正如SamAltman自己所说，任何“创造性”都是对过去发生的事情加上一个误差项（ε）的一种重新组合，乘以反馈循环的质量和迭代次数。 人们认为他们应该最大化误差项（ε），但实际上，诀窍在于最大化其他两个因素。 图9.Sora模型架构拆解图 AI模型训练已经是一个系统工程，GPT4基座模型在Sora的诞生中或功不可没。OpenAI使用了大量视频/图片数据进行训练，但其具体的量级目前尚不可知。但我们已知的是，OpenAI在数据工程上沿用了DALL·E的机器标注技术，这意味着合成数据在Sora的训练中再次发挥了重要作用。OpenAI在报告中提到，他们使用GPT-4作为视频数据的标注器和文字提示的扩充器，从而获得更高质量的视频标注数据和更加详细的提示。这与OpenAI在DALL·E 3上的工作完全相同。由此可见，LLMs已经成为连接人类世界和机器世界的桥梁，GPT-4这样的SOTA模型已经在成为训练其他模型的“设备”，这意味着未来的AI模型训练注定是一个愈发复杂的系统工程，使用AI创造AI的“飞轮效应”已经出现，这也许是Sora带给我们的另一个重要启示。 图10.DALLE-3内部与GPT-4V的互联互动 4「国产大模型」国人正在奋起直追 中国仍是大模型竞争中最具禀赋的选手。本轮大模型竞争的三大基本要素包括（i）人才、（ii）数据和（iii）算力，其中（iii）算力是我们的短板，我们当前一方面亟需以昇腾、海光为代表的国产AI芯片快速崛起，另一方面需要提高有限的存量算力的利用效率；（ii）数据或许并不构成显著竞争差异，考虑到国内外都面临可得的高质量数据即将用尽的情况，大家都站在挖掘合成数据价值这一新起跑线面前；（iii）人才的辨识度和密度低是国内的短板，但上述情况正在改善。 1)顶级人才正在加速聚集：首先，在人才方面我们看到依然有像「月之暗面」的创始人杨植麟这样的具有极高影响力的学者回国创业，多模态领域重要工作VideoPoet的项目负责人蒋路也在今年1月加入了「字节跳动」。其次，考虑到华人在AI行业的比重和影响力，我们有理由相信中国依然是技术平权趋势下最容易且最快速受益的国家。 2)产业各方参与者尝鲜一年后，资源正进一步向模型厂商集中：其次，在资源利用效率方面，2月底月之暗面完成了一笔阿里巴巴领头的10亿美金的巨额A轮融资，估值达到25亿美金。我们认为今年国内大模型的格局可能会开始向北美收敛，即可能会出现更多传统大厂退后一步进而转向支持某些初创模型厂商的情况（如微软投资OpenAI、Mistral，亚马逊投资Anthropic等）。如果上述情况发生，那么国内资源将加速向有能力的头部厂商集中，有望加速国内基座大模型的迭代。 3)国产大模型加速追赶全球顶流水平：事实上，自今年1月以来，国内大模型厂商纷纷对其基座模型进行了更新。我们看到，国产基座模型在过去的一年中已经取得了显著的进步：（i）「智谱AI」发布的GLM-4，其API是国内首个集齐100k+长上下文、Function Calling、System Prompt的商用API，标志着国产基座大模型又再上了一个台阶；（ii）「MiniMax」发布了国内首个千亿参数量以上的MoE大模型abab6；（iii）「百川智能」发布的Baichuan 3在中文任务上表现出色，尤其在中文医疗任务上表现最佳；（iv）「科大讯飞」发布的星火V3.5加入了高拟人度的语音交互能力，并开源了基于全国产化算力平台“飞星一号”的星火开源-13B；（v）「阿里通义」的Qwen1.5-72B-Chat已经在3月7日更新的LMSYS对战榜上爬升至第10位，是国内首个进入前十的模型。 我们认为，国产模型自2023年3月打响的这轮大模型竞争中不仅没有“掉队”，甚至在某些细分指标还保持了领先和前瞻判断，例如月之暗面的KimiChat对于大模型长文本能力的押注。因此，随着国内资源进一步向头部厂商集中，全球人才和技术的加速平权，以及国产半导体产业链韧性、算力性能/稳定性/集群能力的全方位提升，我们有望看到国产基座模型对全球顶尖大模型厂商的加速追赶。 届时，我们无论是对国内模型、应用、还是算力相关的展望都会更加乐观，当下AI产业的浪潮正加速袭来。 5投资建议 算力是AI大模型产业化落地的必备环节，建议关注AI服务器相关厂商以及国产AI芯片厂商：海光信息、协创数据、神州数码、浪潮信息、中科曙光等。 AI大模型赋能下游应用，C端标准化工具类产品有望率先享受产业红利，建议关注金山办公、科大讯飞、万兴科技、美图公司、同花顺、福昕软件、合合信息（IPO）等。教育垂直领域可能成为落地的先行领域，建议关注佳发教育、鸿合科技等。 Sora进一步强化对真实世界的理解，随着模型持续迭代未来其对自动驾驶、智慧城市等领域有望进一步带动，建议关注德赛西威、均胜电子、海康威视、大华股份、萤石网络等。 AI硬件创