Scaling Law 仍在加速智谱 AGI 摸高计划

00:00:01 Recording in progress.哎，各位投资人朋友，大家下午好，感谢大家在百忙之中参加今天的交流啊，我是公司的投资者关系负责人hoy啊。啊，今天其实主要是想借这个机会跟大家聊聊我们对行业最新进展的观察，以及智谱自身技术路线的思考啊。首先我们想说的是，过去这一年是整个行业令人振奋的一年，放眼全球，OpenAI和Anthropic。在过去一年里交替领先，每隔几个月就能把智能上界向前推进一步。那我们作为同行呢？我们也由衷地为此感到高兴，因为这说明通往AGI的道路远未收敛，天花板还远远没有到来，大家都在同一条向上的道路上探索，而今年。 00:00:54 我们更欣喜地看到。这种突破不再只是发生在海外啊，今年6月我们发布了GLM5.2，在7000亿的参数量级上已经实现了对标海外顶尖模型的全面能力，尤其在coding和Agent的场景上达到了业界的最强水平，并以显著的更优的推理成本和速度，让高水平智能第一次变得真正的用得起用得快。这也让我们更加确信高效率scaling这条路的价值。 00:01:22 那么前天啊，我们的友商月之暗面发布的K3，训练出了目前业界最大尺寸的开源模型，效果也已经非常接近海外最顶尖的闭源模型。那我们当然也要向Kimi团队表示真诚的祝贺，这是中国开源模型的成功，也是对scalinglaw这条路线的又一次有力的印证啊。参数的规模、数据的质量、训练方法的持续投入，仍然在稳定地兑换成智能的提升，这对包括质谱在内，所有坚持基座模型研发的团队都是非常巨大的鼓舞啊，因为这也告诉了我们后面的框架。 00:01:56 还很大。当然我们也注意到近期二级市场上整个AI板块也出现了比较大的波动。很多投资人朋友都会来问产业是不是在减速，甚至有些悲观的朋友可能甚至都怀疑产业会不会马上就要结束了。但其实从我们身处一线的体感来说，答案是恰恰相反的。 00:02:15 模型能力的迭代速度还在不断的加快，开源的生态繁荣程度也前所未有，那么当然下游对智能的需求，尤其是编程Agent等场景，正在以我们一年前难以想象的速度增长。资本市场的短期波动和产业的长期趋势之间，我们看到的是一个明显的预期差啊，技术演进和Scaling Law w正在加速而不是放缓。当然，我们深知在通往AGI的道路上没有任何一家公司可以宣称终局啊，但我们也有自己的坚持和积累。接下来，我们也想从技术角度跟大家分享一下我们对目前行业的一些看法，尤其对友商的一些模型，以及我们自己接下来的一些模型的规划的看法。 00:02:57 那么，我们今天请到了我们公司核心基模算法团队的两位非常优秀的啊同学，啊，我们的刘老师和我们的郑老师。那接下来我们会把我们的时间交给我们技术的同学，来给大家做接下来的分享啊，有请我们技术的同学，谢谢。 00:03:15 好的，呃，那么我们今天技术方面想分享的这个主题呢，就是Scaling Law仍然正在加速，那么回顾一下我们呃今年。 00:03:29 推出的一系列模型啊，首先我们在今年2月份的时候推出了GM5模型，这是我们呃新一代的规模的基座。那这一代模型呢，相相比于GM4.x时代的模型呢，它的参数量扩大了一倍。它在预训练上也充分训练了接近30T的token，在架构上我们使用了DSA的架构，并且跑通了agent IO的全面的一个技术站啊，这个slim呢也是我们开源的一个强化学习的框架。那么在呃这个基座呢，在当时也是呃开源在开源coding领域是第一名的这样的一个模型。那在这个基座的基础上，我们持续地优化我们的数据后训练以及infra等等的环节，相继的在4月份和6月份推出了5.1和5.2模型。 00:04:28 那么5.1模型呢？它是我们首次呃针对这个长城任务去进行优化，它可以最长8小时的持续执行一些复杂的长城任务。那并且在这样的一个长城任务能力，在真实的coding agent生产环境中是得到了验证的，它真正从一个呃智能体的模型，走向一个能够解决长城任务的这样的一个模型。 00:04:58 那么有了这样的一个尝试的基础呢，我们在5.2模型上进一步的优化，我们将200K的上下文扩充到100万上下文，并且呢这个100万上下文呢是业界呃可用性最强的100万上下文，它可以在复杂的真实场景的coding任务中。持续地去优化呃用户给出的目标，并且我们也引入了可控thinking的机制，可以对于更难的任务。模型可以思考更长的时间，那些简单的任务就使用一些更高效的处理方式。那这样的一个模型呢，它可以实现更长程的扣定工程的一个端到端的交付。 00:05:44 那么当然5.2模型呢？啊，这里可以看到这个是artificial analysis index中。呃，GM5.1模型到5.2模型的一个提升。呃，这个我们可以说GM5.2模型在业界呃，是让这个开源模型历史性地迈入了全球顶尖的水平，真正的可以和Claude和GPT模型去同台竞争。 00:06:12 这个是在呃开源模型的，应该是这个发展历史上是一个呃里程碑式的一个表现。 00:06:20 那么？那么呃当然GM5.2模型是在上个月发布了，那么前天我们也看到了呃友商发布了Kimi K3模型，那这是一个呃规模更大的一个模型，那么我们也想呃把GM5.2和Kimi K3再做一个对比。 00:06:40 那么首先呢呃这里是呃两个模型的一个呃参数表。嗯，那么GM5.2模型呢，它是有着呃7400亿左右的参数量，那么我们以这样的一个参数量去比肩像这个OPPO，像ChatGPT等等这样的一个闭源的模型，可以说在这样的一个参数量下，这样模型是站在了智能和效率的前沿。那么Kimi K3模型呢，在参数量上有一个巨大的呃巨大的这个提升，它达到了2.8万亿，那几几乎是这个GM5.2模型的4倍。那么在激活参数量上，这5.2是40B激活参数量有着呃256个专家啊，然后激活8个专家。那么Kimi K3模型呢，它的激活参数量还是未知的啊，但它有多达896个专家，激活16个专家啊。 00:07:39 在训练数据量上，这5.2呃有超过30T的token，那么Kimi K3还是未知啊，在上下文长度上都是一兆的上下文。 00:07:51 呃，K3是多了一个原生多模态，呃，核心架构上呢，这目的二是以这个sparse attention呃为基础，并且加上我们优化的index share等机制。那Kimi K3以这个linear attentionkta a以及加上一些像attention residual stable latent MoE等等的技术。在价格上，K3的价格是呃GLM的3倍到3倍多。对，那两者都是开源模型，那K3在7月27号前也会发布他们的开源权重。对部署要求来说，因为两者的两个模型的规模差距较大，呃所以在部署要求上呢，呃K3也会需要更多的呃更多的卡来部署，并且对这些卡还有一些要求，它必须是一种超节点形式互联比较好的这些硬件。 00:08:46 那在速度上来看，呃，GM5.2呢，平线上平均的速度有60TPS.呃，K3是只有20TPS,对这个也是受制于模型的这个规模。那我们GM也提供一个高速版的一个模型，那可以超过400TPS的速度。现在5.2在线上有平均450TPS的这样高速版的一个速度。 00:09:12 对，这这大概是两个模型的呃一些基础参数上面的一些对比。 00:09:20 对，首先我我我们想说的是，就是呃K3它确实是当前业界放出的一个最大尺寸的这个呃开源模型，并且它能达到的这个效果呢也是很接近海外顶尖的闭源模型。 00:09:35 对，这是一个呃可以说是国产模型开源模型的一个重要的一个里程碑，所以我们首先需要肯定K3在这个scaling参数量上面的这样的一个呃成功，这个也说明了Scaling Law这条的路线后续的空间依然很大啊。那这个。呃那在右边呢，我们也可以看到，就是这个是在呃权威的一个榜单code arena上，美国的这个模型和中国的模型在过去呃两年时间内的这样的一个对比，那么大家可以看到红色线这里啊。就是就是代表了国内模型呃在一个时间段中最好的一个水平。 00:10:21 可以看到从GM4.6模型开始，那G模型就持续一直是代表了国内coding的一个呃顶尖的一个水平。那直到这个GM5.2的时候，我们已经非常接近了呃cloud包括GPT这样的一个。 00:10:38 顶尖的这样的闭源的模型，那在K3这里又有了进一步的一些突破。那么呃值得注意的就是就是呃GM呃5.2模型呢，呃5系列的这个模型呢，它的参数量相比于所有的其他的，不管是开源的还是闭源这些顶尖的模型来说，它的参数量其实是呃比较少的。那它是在一个呃，智能水平和效率上达到了一个呃非常好平衡的这样的一个模型。 00:11:11 那么我们相信，当我们继续scaling到像K3这么大规模的参数甚至更大的参数的时候，我们的模型的效果会有呃超越他们模型效果的一个表现。 00:11:27 那么做完了呃两个模型的这样的一个对比，那么回到我们的呃这个主题就是sc in law它仍然在加速。那么一方面呢，像K3给我们展现的是对于参数量的一个scaling啊，但这个只是Scaling Law的其中的一个维度。那么那么我们还有很多其他的维度去做scaling，那么在这里呢，我们列出这样的一些维度。包括像scaling我们的这个数据啊，更多更好的数据，它可以带来智能上界的一个提升。啊，包括scaling我们的环境。那么环境。它代表着就是让这个大模型和外界去做这个交互，从中得到反馈。那这种环境可以有多种多样。 00:12:18 举一个例子，在呃coding的场景中，那这个环境它就是一个呃就是你的一个操作系统，然后你的一个代码库。然后模型在这个代码库上去做一些修改，并且它能够实际地去运行拿到反馈啊，这是这样的，这样就算是一个环境啊，或者说在一些其他的场景中啊。在一些呃像这个法律场景中，他这样一个案件它就是这样的一个呃环境，然后它也可以获得一些关于案件的一些反馈等等。那这是这是呃环境的部分，那么我们也可以scaling这个强化学习，我们可以让AI在这个推理的时呃推理的时候思考的时间更长， 00:13:04 用更多的计算或者是说搜索来找到更准确的一个解对，用这个推理时的这个时间来换取更高质量的结果。 00:13:14那么呃，最后一个也是非常重要的一个维度是scaling我们的infra。 00:13:21对，我们需要让用在这个算力都一定的情况下，我们需要用更高效的infra使我们的训练 速度迭代得更快，使我们的推理速度迭代更快。 00:13:37 那么接下来呢，我们会就展开讲讲这个每一个维度中，我们所积累的这样的一些呃技术和认知。 00:13:48 对那在数据的这个方面呢，从这个GM5到这个5.1再到5.2，再到我们接下来会发布的5.3模型，我们在数据上面是不断的在scaling这个高质量的这个数据量的啊，这张图里面呢表示这张图是这个GM5的这样的一个例子。那么我们在呃做预训练的这个阶段呢，首先会用通用的高质量的呃预训练的数据集啊，这里写的是这个15T这样的一个数据集。然后先会训练这些数据，然后再会呃到了这个第二个阶段呢，会训练一些专业知识专业领域的一些数据，像这个代码，然后包括这个推理数据等等。在这个继续预训练阶段啊，继续的扩增这个数据量。 00:14:40 那这个是GM5时候的这个情况，可以看到是15T+7T，那在后续的模型中呢。这部分数据量呢会不断的呃增长，我我们不断的更新，放入更多的高质量的这个数据。那么在呃后续的这个训练中呢，我们会呃采用一些更加复杂的知识密度更高的一些数据，比如说像这个仓库级别的代码数据。然后再到我们一些呃合成的一些推理的数据，在特定环境下合成的一些推理数据，以及一些这个呃长长城的长文本的数据以及这个A的数据啊。 00:15:20 可以看到这个当时在GM5的时候呢，呃我们最大的训练长度直到这个128K，在这个呃中呃中训练的这个阶段。那么在5.2