在大规模语言模型时代构建自主系统

核心观点

本研报探讨了在大型语言模型（LLMs）时代构建智能自主系统的关键挑战和解决方案。作者 Charles Packer 认为，尽管 LLMs 具有强大的推理能力，但它们的无状态性质和固定上下文窗口限制了其作为自主代理的有效性。研报提出了两个关键进展来解决这些问题：

• 深度强化学习中的泛化评估框架：该框架通过引入标准化环境和指标，使得不同方法之间的比较成为可能，并表明“Vanilla”深度强化学习算法在泛化性能上优于其更为复杂的同类算法。
• 回顾性任务重新标记（HTR）：HTR 是一种新颖的元学习方法，使算法能够在稀疏奖励设置中学习适应策略，而无需在训练过程中使用密集的奖励信号。实验结果表明，HTR 能够在稀疏奖励环境中学习到与使用成型奖励函数相当的适应策略。
• MemGPT：这是一个受操作系统启发的框架，使 LLMs 能够管理自己的内存和状态，引入了虚拟上下文管理和自定向内存操作等概念。MemGPT 通过在主上下文和外部上下文之间协调数据移动，使 LLMs 能够有效地“调入”和“调出”信息，并利用外部存储进行数据管理。实验结果表明，MemGPT 能够克服 LLMs 的上下文限制，在文档分析和对话代理等领域取得优异表现。

关键数据和研究结论

• 实验结果表明，A2C 和 PPO 等深度强化学习算法在特定场景中可以取得显著成果，但学到的策略往往较为脆弱，并且难以泛化。
• EPOpt 能够超越 vanilla PPO 在插值和外推方面取得改进，但训练难度较大。
• RL2 在泛化性能上并未提供比 vanilla 深度强化学习算法或 EPOpt 明显的优势，且训练难度较大。
• HTR 能够在稀疏奖励环境中学习到与使用成型奖励函数相当的适应策略。
• MemGPT 能够克服 LLMs 的上下文限制，在文档分析和对话代理等领域取得优异表现。

未来工作

• 将 HTR 应用于其他元强化学习环境和任务。
• 进一步改进 MemGPT 的控制流和内存管理策略。
• 开发专门为构建可靠的基于 LLMs 的应用程序而设计的新编程模型和抽象。
• 将 MemGPT 应用于具有巨大或无界上下文的其他领域。