人工智能系统而非模型

我们门构建的不再是模型，而是一个系系统 “我们其实不再是构建一个模型了。在目前这这个阶段，我们真正在构建的是一个系统。SebastianBourjou 并非单一突破：Gemini3的卓越性能并非源于一两个重大变革，而是“一个庞大团队无数微小改进和变化的结晶”。 ，系统化思维：将神经网络架构本身，与围绕它的一切（基础设施、数据管道、评估体系、团队协作）视为一个整体，这才是理解前沿AI进展的关键。·持续的进步：这种系统性的、日复一日的改进正是AI进展并未放缓的核心原因。 解构Gemini系统：三大支柱 平台与整合(Platform & Integration) 理念与品味(Philosophy & Taste) 人员与流程(People & Process) 定义：如何组织和协调数百名顶尖人才，以实现共同目标。 定义：Google独特的全栈能力，从底层硬件到顶层研究的垂直整合优势。 定义：指导大规模研究的无形但至关重要的原则和直觉。 支柱一：研究的“品味”至关重要 1.协同性 2.对复杂性过敏（AllergictoComplexity） 你的研究成果必须能与他人的工作良好集成。一个让模型变好5%，但让其他所有人的使用难度增加10%的改进，可能是一个糟糕的权衡。 我们有一个“复杂性预算”。有时，为了未来的迭代速度和更多可能性，宁愿选择一个性能稍差但更简单的方案。 “你的研究不是孤立的。它必须和其他所有人的研究协同工作。”-Sebastian Bourjou 支柱二：协调200人的“预训练交响乐 集成与协调 如何将数百人的工作整合成一个有机的整体，而不是让少数人“单兵突进”，是决定长期成败的关键。 权衡的艺术 ·短期修复vS.长期探索：团队的精力需要在“关键路径”上的紧急修复(例如，模型中已知的次优部分）和可能在下一代模型中应用的探索性研究之间动态平衡。 ·周期性变化：在模型放大（scale-up）期间，探索性研究更多；而在版本发布前，则更侧重于执行和“排雷”。 支柱三：#垂直整合的平台优势 “真正的秘密是“研究、工程和基础设施的结合”。 ·可靠性与规模：构建超复杂系统时，一个可靠、可扩展的基础设施是研究和工程不被拖慢的关键。 ，全栈控制：从自研的TPU硬件，到上层的研究和工程，Google拥有完整的技术栈。 ·探索性研究的传统：Google 拥有进行广泛探索性研究的历史，这些研究成果（即使不在Gemini主线上）也能源源不断地为Gemini提供新的思路和技术。 深入引擎：Gemini3的核心架构 采用了混合专家模型（MixtureofExperts，MoE）。基础是Transformer架构。 关键特征：原生多模态（NativelyMultimodal） ·定义：不是将多个单模态模型拼接在一起，而是同一个神经网络从头开始就能够统一处理文本、图像、音频等多种模态的数据。 ·优势：尽管会增加研究的复杂性，但带来的能力提升远超成本。 规模定律并未消亡，而是在复合演进 最终性能=f（规模+架构创新+数据创新） 最终性能(Final Performance) 各要素的角色 ·规模（Scale）：依然是极其重要的因素，其优势在于“可预测性”。规模定律告诉我们，投入更多算力能带来多大的可预见的提升。 ，三者相辅相成：有时原始的规模扩张是最佳答案，有时架构或数据上的创新带来的收益更大。 预训练范式转变：从“数据无限”到“数据有限” “数据无限”时代（Past） “数据有限”时代（Present/Future） 带来的影响 ·研究重心的转移：这彻底改变了研究的思考方式。重点不再仅仅是扩大规，而是如何更有效地利用有限的数据。·效率为王：提升数据效率和算法本身的性能变得至关重要。历史的回归：许多在数据有限环境下（如早期ImageNet 时代）发展的技术和思想，可能重新变得有价值。 假设高质量的训练数据可以随心所欲地扩展。研究重点是如何用更多数据喂养更大的模型。 意识到全球高质量数据是有限的。 合成数据的双刃剑 核心观点：合成数据很强大，但必须非常谨慎地使用，因为它很容易被用错。 与“推理踪迹（reasoningtraces)”的关系：训练模型“展示其工作过程”并利用这些踪迹进行再训练，是合成数据应用的一个高级方向。 验证的困难”：通常用一个强大的模型A来生成合成数据，然后在小模型上验证其效果。 幕后英雄：预训练评估的“双重鸿沟” 评估（Evals）的进展是驱动模型进步的关键，但其难度常常被低估，尤其是在预训练阶段。 **实践中的挑战** ·污染问题：公开基准测试很快就会被污染（内容出现在网络上，被无意中训练） ·解决方案：必须构建和维护严格保密的内部评估集（held-out evals），以避免“自己欺骗自己” 展望未来：进展远超预期，且尚未看到尽头 “坦白说，我认为我们已经超越了我曾认为可能达到的水平。 “我真的看不到这类工作的进展有任何终点。”-Sebastian Bourjou 加速的轨迹：从2019/2020年开始研究LLM的视角来看，今天的模型能力和项目规模是难以置信的。 复合效应的威力：无数微小改进的持续累积，正在驱动着这种没有放缓迹象的进步。 对未来的期待：如果过去五年的进步速度得以延续，未来几年的发展将“非常非常酷”。 即将到来的研究前沿 3.检索的回归（TheReturnofRetrieval 2.长上下文（LongContext) 1.AI赋能Al(AlforAl) 利用模型加速研究本身，例如自动化实验分析、管理和"照看"实验等。通过智能体工作流(agenticworkflows）将研究者从重复性工作中解放出来。 这是实现更复杂、更具智能体能力任务的关键。Gemini 1.5在这方面取得了巨大飞跃，未来还会有更多创新。 核心思想：让模型学会从外部知识库中检索信息（Retro项目的核心）。在“数据有限"的时代，将知识存储与推理能力分离可能更高效。 新的超能力：系统性思维 在当今的前沿AI领域，能够贯穿整个技术栈进行思考，是一种创造巨大影响力的“超能力”。 这个是意味为： ·理解从底层TPU架构到顶层研究思想的全貌。·能够推断一个研究想法从上到下对整个系统的影响·在不同层次之间发现别人看不到的“缝隙”和机会。 研究者来说： ·不要只关注纯粹的模型架构研究。·将研究、工程和系统三个方面结合起来，培养跨领域的综合能力。