超越ChatGPT的AI代理

AI Agent 技术进展与未来方向

1. 基于LLM的模型自改进技术

• 核心观点：通过LLM进行交互式教学，使小型语言模型具备自改进能力。
• 关键数据：在Big Bench Hard任务上，经过TriPosT训练的小型模型在未见过的子任务上表现出显著提升。
• 研究结论：改进模型性能无需人工监督是可行的，但需要强大的编辑LLM进行监督。
• 技术细节：
  • TriPosT方法：利用LLM/Python脚本作为编辑模型，收集小型LLM与LLM的交互记录，通过“尝试-反馈-更新”的迭代过程训练小型LLM。
  • 数据后处理：将交互数据格式化为（尝试，反馈，更新）三元组，并进行过滤和平衡。
  • 模型训练：使用加权SFT，更侧重于反馈和更新标记，在LLaMA-1/2上进行训练。
• 局限性：依赖强大的编辑LLM。

2. 基于树搜索的模型能力提升技术

• 核心观点：将对话决策视为树搜索问题，利用树搜索增强模型能力。
• 关键数据：在PersuasionForGood数据集上，GDP-Zero生成的对话策略比基线LLM更具说服力。
• 研究结论：树搜索是直接提升模型测试时行为的有效方法。
• 技术细节：
  • MCTS在对话中的应用：将LLM作为策略、模拟器或价值函数，进行零训练搜索或开环MCTS。
  • GDP-Zero方法：利用MCTS进行策略规划，并通过对比自反思和多智能体辩论价值函数提升性能。
• 局限性：目前主要应用于对话任务，如何扩展到AI Agent以及如何将搜索知识迁移回模型仍需研究。

3. 基于树搜索的AI Agent自改进技术

• 核心观点：结合R-MCTS和探索性学习，提升AI Agent在测试时的性能和训练时的泛化能力。
• 关键数据：R-MCTS在VisualWebArena和OSWorld数据集上取得SOTA性能，探索性学习使GPT-4o展现出计算规模扩展特性。
• 研究结论：R-MCTS和探索性学习是提升AI Agent性能的有效方法。
• 技术细节：
  • R-MCTS方法：在每个任务中进行树搜索，并通过对比自反思和多智能体辩论价值函数进行自改进。
  • 探索性学习：通过在树遍历上进行训练，使模型能够探索、评估和回溯。
• 未来工作：研究减少对树搜索依赖的强化学习方法，以及减少昂贵的环境交互的模型预测控制（MPC）方法。

4. Arklex框架

• 核心观点：Arklex是一个智能且可控的AI Agent框架。
• 技术特点：支持混合控制、动作图、NLU、任务组合、人工干预和持续学习。
• 优势：相比其他框架，Arklex在控制性、智能性、开放性和工作流方面具有优势。
• 组织框架：由Columbia University和Arklex AI共同组成，并得到多个知名机构和专家的顾问支持。