一款助力科学家编写专家级实证软件的人工智能系统

核心观点

该研报介绍了一种基于大型语言模型（LLM）和树搜索（TS）的AI系统，旨在自动创建专家级科学软件，以解决可评分的科学任务。该系统通过LLM重写软件来尝试提高其质量指标，并使用TS来决定哪些候选方案值得进一步探索。

关键数据和研究结论

• 可评分任务在科学中的普遍性： 研报认为，可评分任务在科学中普遍存在，几乎所有科学、应用数学和工程领域都依赖于软件，而其中大部分软件都是解决可评分任务的实证软件。
• 实证软件创建的挑战： 实证软件的创建通常是缓慢且困难的，需要繁琐的工作，并且缺乏对替代方法的系统搜索，导致设计选择往往受直觉或便利性影响。
• AI系统的有效性： 该AI系统在生物信息学、流行病学、地理空间分析、神经活动预测、时间序列预测和数值积分等领域都取得了专家级的结果。
  • 生物信息学： 发现了40种新的单细胞数据分析方法，其中一种方法（BBKNN(TS)）在公开排行榜上优于最先进的人工开发方法。
  • 流行病学： 生成了14个模型，其中10个模型在预测COVID-19住院人数方面优于美国疾病控制与预防中心（CDC）的集成模型和所有其他单个模型。
  • 地理空间分析： 在DLRSD基准测试中，生成的三种解决方案在语义分割方面显著优于最近发表在学术论文中的结果。
  • 神经科学： 在ZAPBench基准测试中，生成的模型在预测斑马鱼全脑神经活动方面优于所有其他基线方法。
  • 时间序列预测： 在GIFT-Eval基准测试中，生成的模型在时间序列预测方面具有竞争力，并且能够创建一个通用的预测库。
  • 数值分析： 生成的代码能够正确评估19个标准算法无法解决的积分，其中17个积分的误差小于3%。
• 系统的工作原理： 该系统使用LLM重写软件代码，并通过TS来探索解决方案空间。LLM还可以从高度引用的论文、专业教科书和搜索引擎中获取研究想法，并将其注入到代码生成过程中。
• 系统与其他方法的比较： 与传统的遗传编程、生成编程、自动机器学习（AutoML）和科学问题代理相比，该系统更具通用性，能够解决更广泛的科学问题，并且能够更有效地整合复杂的研究想法。

研究意义

该AI系统代表了科学进步的重要一步，它能够快速、系统地创建和改进科学软件，从而加速科学发现的过程。