LLM-based Agents 优化方法综述
核心观点： 随着大型语言模型（LLMs）的快速发展，基于LLMs的智能体在自主决策和交互任务中得到广泛应用。然而，当前工作主要依赖提示设计或微调策略，在复杂智能体环境中往往效果有限。尽管LLM优化技术可以提高模型在许多一般任务中的性能，但它们缺乏针对长期规划、动态环境交互和复杂决策等关键智能体功能的专门优化。因此，本文对LLM-based智能体优化方法进行了全面综述，系统性地对方法进行了分类，并从整体角度进行比较。
关键数据和研究结论：
- 参数驱动优化：
- 常规微调优化： 通过构建高质量的轨迹数据，并使用各种微调技术（如指令微调和参数高效微调）来调整LLM参数，以增强智能体性能。轨迹数据构建方法包括专家标注数据、强LLM生成轨迹、自我探索环境交互轨迹和多智能体协作构建。数据评估和过滤方法包括基于环境、基于人类或规则和基于模型的方法。此外，利用低质量数据也是一个有效的策略，以增强训练数据集。
- 基于强化学习的优化： 通过与环境/人类反馈的交互，利用奖励和惩罚动态调整行为。方法分为基于奖励函数的优化和基于偏好对齐的优化。基于奖励函数的优化方法利用传统的强化学习技术（如PPO、Actor-Critic）来指导迭代学习过程，并使用多种奖励来源，包括环境反馈、模型生成信号和自定义奖励函数。基于偏好对齐的优化方法利用DPO等技术，通过偏好数据集直接对齐模型输出与人类偏好或任务特定目标，简化了训练过程。
- 混合微调优化： 结合SFT和RL的优势，创建一个更灵活有效的框架。大多数工作采用顺序方法，首先使用行为克隆SFT进行预热阶段，然后使用PPO或DPO等RL策略进行任务特定目标或动态环境的策略优化。一些研究采用迭代方法来改进混合微调范式，交替进行SFT和RL阶段，以增强性能。
- 参数无关优化： 通过调整模型的输入、上下文和任务交互来优化智能体行为，主要通过自然语言提示，在资源受限的环境中特别有效。方法包括基于经验的优化、基于反馈的优化、基于工具的优化、基于RAG的优化和多智能体协作优化。
- 数据集和基准： 数据集和基准对于评估和增强LLM-based智能体至关重要。评估数据集包括数学推理、问答、多模态、编程、工具使用、网络和环境交互等任务。多任务基准评估智能体在各种任务中的性能，测试其泛化能力和适应性。调优数据集专门设计用于增强智能体在多样化任务和环境中的能力。
- 应用： LLM-based智能体已应用于医疗保健、科学、具身智能、金融和编程等各个领域，展示了其解决复杂任务和增强生产力的潜力。
- 挑战和未来方向： 当前LLM-based智能体优化面临的主要挑战包括数据偏差、算法适应性和效率、跨领域适应、标准化评估指标和参数驱动多智能体优化。未来研究方向包括开发更鲁棒的数据集构建方法、探索混合方法以提高适应性和效率、开发更通用的优化方法、建立标准化的评估框架以及增强多智能体参数优化方法。
