人工智能智能体与科研领域全新验证瓶颈

科学中的瓶颈 Don Wallace, Conor Griffin, SeanO’Neill, Thang Luong,Owen Larter 过去一年，代理人们改变了编码的含义。科学研究可能就是下一个目标——从提出新颖的假设，到设计实验，再到发现改进人类所设计最佳算法的算法。 这给政策制定者和科研资助者提出了紧迫的问题，其中最大的问题是，如何验证即将到来的由人工智能产生的想法。 需要新的方法来确保科学家能够获取工具，数据集能够为工具使用做好准备，以及同行评审能够持续进行。 我们与来自谷歌 DeepMind 的 10 位研究人员和工程师坐下来，试图弄清楚接下来会发生什么。 引言 伦敦帝国学院的微生物学家何塞·佩纳德斯及其团队花费了近十年时间研究超级细菌家族如何传播抗生素耐药性。该成果尚未发表，仅在其实验室内部为人所知。然后，在2024年，他将这个问题描述给了谷歌深度思维的AI代理——合作科学家。 两天之内，合著科学家提交了五项潜在解释，并按优先级排序。排名第一的是帕纳德斯团队花费了大量时间试图证明的同一假说：某些超级细菌从病毒中获取尾巴，并利用它们作为“钥匙”在宿主物种间跳跃。他惊呆了，第一反应是自己的电脑已被入侵，于是他给谷歌发邮件核实。核实结果：未被窥探。如果他能回到过去，这一见解将为他团队节省数年。 类似于Co-Scientist的人工智能代理是一个基于大型语言模型（LLM）的系统，它被赋予目标以及实现该目标的工具。与问答型聊天机器人不同，代理能够规划如何实现你给它的目标，将其分解为步骤，并行运行多个子代理和进程，并在过程中检测和纠正错误。它还可以与更广阔的世界互动，例如通过调用在线数据库和工具，或编写代码来控制机器人。 人工智能代理的到来恰逢其时。研究人员面临着快速增长的知识负担，在能够做出有意义贡献之前，他们还有许多需要学习。在药物发现、气候建模、材料设计和生物学等领域，那些真正重要的议题正变得过于复杂和跨学科，以至于人类团队难以及时应对。 科学在一定程度上依赖于一个逐渐演进而成的社会基础设施：实验室、团队、机构、同行评审、研究经费支持以及支持知识积累的网络。人工智能代理的时代将挑战这一基础设施，有时会要求快速变革——其中一些变革或许早已是时候了。 软件工程正经历着某种类似的情况。短短一年内，编码代理就重塑了工程师的工作实践。人工智能代理现在开始重塑科学。科学发展更为混乱，但也以某种方式适合代理：有大量可供文本使用的文献，庞大的数据库，以及一些已围绕代码构建的工作流程。科学还拥有现成的一代专业人工智能模型，代理可以加以利用，从蛋白质和材料设计工具到最先进的天气预报。 为什么AI代理突然变得如此有用？ 任何曾与早期人工智能代理合作过的人，可能对其在科学领域的效用持怀疑态度，因为在科学领域，严谨性和可靠性至关重要。但有三股力量正在使当今的代理更加有用：更强大的前沿模型、“脚手架”式的工具，它使代理能够从这些前沿模型中提取更强的能力，以及可定制性，允许科学家根据需求定制代理。 更强的前沿模型。目前领先的模型在要求高的科学知识基准测试上，例如《人类最后考试》和《前沿数学》，已经超越了人类专家。或许更显著的是它们新的思考深度，这得益于推理时的推理能力，这是一种模型通过扩展步骤解决问题、探索和修正后再做出答案的技术。 在数学和计算机科学领域，突破往往仅依赖于推理，而模型正产出令人印象深刻的结果。但更敏锐的推理能力有助于超越数学范畴，使人们能够发掘论文中常被埋没的“长尾”发现，实现跨领域的科学联系，判断何时以及调用何种工具，并在过程中发现自身的错误。 脚手架。这是一种“ harness”（套具），使 AI 代理能够更好地发掘基础模型中潜藏的能力，而这些能力默认是不会显现的。这段代码“包装”了一个前沿模型，赋予其结构、记忆，并具备访问和使用工具的能力，包括代码执行、科学软件以及文献检索。它还允许代理调用专门的 AI 模型，并与其他代理进行交互。 早期的智能体支架都是定制化的：它们为特定的智能体提供详细的指令，说明如何规划、执行任务以及使用工具。但这些支架往往难以迁移到其他智能体系统，甚至难以迁移到它们所依赖的前沿模型的后续版本。新的标准，例如智能体之间如何通信的协议，应该可以减少对如此多定制化支架的需求。 定制。代理（Agent）可以针对特定学科、实验室的工作流程或个人研究者的需求进行定制。其关键机制在于当前代理“技能”（Skills）的广泛普及，用户可以根据自己的详细规格来创建这些技能。 基础模型蕴含着大量显性的科学知识，即那些记载在论文和教科书中的知识。它们所缺乏的是隐性知识：这种难以言传的技艺，是多年实践与失败积累而成的，它使科学家能够引导细胞系生长或让模拟顺利运行。迄今为止，使用AI工具的科学家不得不费力地传达他们的方法论诀窍、流程和偏好：通过详细的提示、定制的脚手架或模型再训练。 代理技能使其中一部分专有技术能够便携化。它们是指令集，通常是简单的文本文件，用于告诉代理如何执行任务以及产出什么结果。技能相对容易创建、共享和积累。随着科学家更多地使用他们的代理，代理也可以利用这些交互，使体验更加个性化。科学实验室和机构也可以将其专有数据——例如旧实验室笔记本——安全地提供给其代理使用。 计算生物学家娜塔莎·拉蒂舍娃表示，她已将研究过程中的某些方面提炼为技能。“虽然人工智能代理目前还不够可靠，但我认为趋势很明确。科学研究将从动手执行转向高层协调，”她说。“我们将从回顾代理们昨晚进行的实验和分析开始一天的工作，调整它们的方向并引导它们的注意力。” 趋势很明显。“虽然人工智能代理目前还不完全可靠，但我认为” 人工智能代理如何改变（以及未改变）科学 对科学家而言，最直接的变化也是最平凡的：智能、不知疲倦的数字助理已变得触手可及。研究人员正将更多日常工作——筛选文献、查询数据库、协调分析、整理数据、撰写研究资助申请书——交给这些能在几分钟内而非数小时或数天完成工作并汇报结果的代理。 代理人也开辟了新的可能性。“研究人员突然能做以前完全做不到的事，”资深研究科学家马特伊·巴洛格说。例如，许多科学家缺乏构建他们所需软件工具和流程的技能。这 partly 是因为科学软件开发很困难。 But also because most scientists are not deeply trained in programming, and science has not traditionally provided competitive career paths for dedicated research software engineers in academic labs. 代理在编写代码方面尤其擅长，因为这是一个拥有海量训练数据的领域，通常可以自动检查正确性。现在，科学家只需用自然语言描述他们的需求——例如“给我写个脚本来清理和合并这三个数据集”、“为我构建一个交互式的基于浏览器的工具来探索这个输出”——几分钟内就能获得可用代码。 但最终，科学家面临的最大变化是结构性的。工具使得他们更容易提出自己正在解决的问题的创意和解决方案，但在验证这些方案方面，它们尚未提供同样的助力。 构思 大多数科学家并不缺乏想法。挑战在于知道该追寻哪些想法。这就是代理开始发挥作用的地方。代理可以消化一个领域可获取的文献，进行跨学科的连接，这是单个研究人员没有时间追踪的。现有的深度研究工具已经使用子代理来做到这一点。但针对创意优化的代理更进一步。例如，Co-Scientist 会指挥一批子代理来生成多样化的假设、评审它们、对它们进行排序并进行迭代——这模仿了人类研究小组运作的某些方面，但速度惊人。 斯坦福大学的加里·佩尔茨（Gary Peltz）使用该工具，寻找可用于治疗肝纤维化的现有药物。肝纤维化是导致每年140万人死亡的门静脉高压症（肝硬变）的瘢痕形成过程。根据他自己的文献综述和数十年的专业知识，他挑选了两种候选药物。共同科学家挑选了三种。佩尔茨的挑选在用活人肝细胞进行的检测中均未显示出任何益处。而共同科学家挑选的两种药物不仅阻断了纤维化，还促进了肝细胞再生。 这是一个正面案例，但任何基于LLM的系统都存在缺陷——即便是最强的推理者也可能编造事实。“输出第10页上的一个虚构主张就可能使整个内容无效，”一位联合科学家Vivek Natarajan表示。错失这类错误会浪费时间和资源，而发现它们可能需要一位具有深厚专业知识的科学家。这种缺陷使得科学家们对AI代理物理解地谨慎，而对于那些正在构建它们的人来说，减少这种缺陷是首要任务。 输出单页第10页的一个幻觉性主张就可能使整个内容无效。“ 要在研究环境中有效运作，智能体不能只做黑箱，输出答案；它们必须展示其推理过程，成为透明的合作者。 一个关键挑战是赋予智能体纳塔拉贾所谓的“认知谦逊”：即模型知道何时自己不知道，并明确说明。他指出，蛋白质结构预测器AlphaFold之所以备受推崇，部分原因在于它会报告其对每个预测各部分的置信度，因此研究人员知道何时可以信任它，何时需要采用其他方法。在更开放的科学推理中校准这种置信度仍然是一个尚未解决的问题。 展望未来，更棘手的问题可能是科学家们同时期望的两种事物之间的张力：既要基于文献且无谬误的假说，又要真正新颖。为谨慎而调优的智能体可能倾向于安全与已知；而为原创性而调优时，它们更有可能偏离方向。这项挑战本身也需要新的思路，例如更好地评估新颖性的方法，或者更有效地将智能体与更专业的模型（这些模型基于第一性原理科学数据进行训练）连接起来，以帮助生成既新颖又稳健的想法。 寻找最优候选解 代理人可以寻找最佳解决方案，而不仅仅是可行的方案。一名寻找新型催化剂的材料科学家面对着几乎无穷无尽的分子结构，每一种结构都昂贵且难以测试。一名寻找更高效算法的计算机科学家也面临着类似的可能性激增。 这类广阔的解决方案空间在科学和工业领域随处可见。AlphaEvolve 是一种能够在其中找到最佳候选者的智能体。给定一个用代码表示的问题以及一种评估潜在解决方案的方法，它会协调一组智能体来生成大量算法候选者，保留得分最高的那些，并从幸存者中繁衍下一代。它可无人值守地运行，在生成和改进候选者的规模上，远非人类团队能够匹敌。 AlphaEvolve 在代码层面工作，但其影响远不止于软件。正如 Balog 所指出的：“算法能够精确描述世界上许多科学和自然过程。”AlphaEvolve 已助力谷歌设计下一代 TPU 芯片，协助数学家陶哲轩解决开放型的埃尔德什问题，并提升了基因组学数据的分析能力。 但在材料科学等研究领域，AlphaEvolve中的顶尖得分者是研究负责人，而非最终结果。一种有前景的催化剂仍需在实验室中进行制备和测量。 验证 验证是一个缓慢且昂贵的业务，目的是测试一个想法在接触现实后是否能够存活下来。卡尔·波普曾说过，科学是通过猜想和反驳而进步的。自主式人工智能正在改变这种配对的经济学。人工智能代理是猜想机器，使得想法和候选解决方案变得丰富且相对廉价。而反驳仍然是物理性的和制度性的——因此，既昂贵又缓慢。 世界上许多科学和自然过程都可以被算法精确描述。 数学和计算机科学通常是 被视为重大例外，因为验证可以在计算机上完成。一个AI代理可以生成一个证明，用Lean等形式语言来表示它，并让计算机明确地验证它是正确的。 即使对于那些目前尚无法用形式语言描述的数学部分，验证工作也在不断推进。Aletheia将一个证明生成器与一个自然语言验证器配对使用，该验证器会检查其工作并反馈缺陷以便修改。今年2月，数学家们举办了首届“第一证明”挑战赛：包含10个研究问题，这些问题一直未公开发表，因此不会出现在任何训练数据中。在规定的时间内，Aletheia解决了其中的6个——这是最佳成绩。 数学家们需要吸收所有这些新成果。一些人已经抱怨人工智能生成的证明太长且难以理解（尽管某些人工智能生成的证明简短而优雅）。“我们正走向一