超越Chatgpt的AI agent综述

核心观点与关键数据

1. 模型自改进

• 背景：LLMs 可通过提示进行自改进，但小型 LLM 在此过程中存在困难。
• 问题：小型 LLM 无法通过提示学习“自改进”，且错误会传播。
• 方法：TriPosT 通过 LLM/Python 脚本作为编辑模型，收集小型 LLM 与 LLM 的交互记录，进行交互式轨迹编辑。
• 数据后处理：将交互数据格式化为 (尝试, 反馈, 更新) 三元组，并进行过滤和平衡。
• 模型训练：使用加权 SFT，更侧重于反馈和更新标记，训练 LLaMA-1/LLaMA-2。
• 评估：Big Bench Hard 任务上，TriPosT 提升了小型 LLM 的整体性能和自改进能力。
• 结论：无需人类监督即可提升模型性能。

2. 基于树搜索增强模型能力

• 背景：许多对话任务本质上是决策问题，可使用棋类游戏的 look-ahead 搜索增强。
• 方法：使用 Prompt-Based Monte-Carlo Tree Search (MCTS) 进行对话策略规划。
• 评估：在 PersuasionForGood 数据集上，GDP-Zero 生成的对话策略比基础 LLM 更具说服力。
• 结论：树搜索是直接提升模型行为的有效方法。

3. AI 代理自改进

• 背景：VLM 在计算机任务上表现困难，因为交互并非其预训练内容。
• 方法：引入 R-MCTS，在推理时探索决策空间并自改进，并通过训练将搜索知识转移回 VLM。
• R-MCTS：包括 MCTS 与对比自反思，以及多代理辩论值函数。
• 评估：在 VisualWebArena 和 OSWorld 上，R-MCTS 优于其他搜索算法，并达到 SOTA。
• Exploratory Learning：通过训练树遍历进行探索、评估和回溯。
• 结论：GPT-4o 在 R-MCTS 树上进行探索性学习后，表现出计算扩展特性。

研究结论

• TriPosT：通过交互式轨迹编辑和训练，提升小型 LLM 的自改进能力。
• 树搜索：有效提升对话任务的性能和策略质量。
• R-MCTS 与 Exploratory Learning：提升 AI 代理在复杂任务上的性能和泛化能力。

未来工作

• 使用强化学习方法减少对树搜索的依赖。
• 使用模型预测控制 (MPC) 方法减少昂贵的环境交互。