多环境下的LLM Agent应用与增强

大模型与智能体

• Agent定义：Agent是能够感知环境并通过传感器行动的系统，旨在智能地完成任务。
• Agent系统框架：基于LLM的自然语言处理，包括感知、决策和行动模块。
• 核心挑战：多模态输入信号表示与对齐、动态环境下的实时感知、处理不完整或噪声数据、复杂任务执行、未完成任务处理、领域知识学习与利用、有效行动执行、巨大动作空间搜索、工具设计与进化。

多模态具身智能体

• 目标：构建接近具身智能助手的多模态具身智能体。
• 现状对比：人类在多模态任务（如视觉字幕恢复VCR）中表现优异，而模型仍有较大差距。
• VCR任务分析：图像中被覆盖的文本恢复任务，需要图像、文字和自然语言三者对齐，挑战模型分辨率压缩、推理和常识利用能力。
• VCR-Wiki数据集：基于维基百科构建，包含简体中文和英文，简单和困难两种难度，用于评估模型性能。
• 实验观察：人类在VCR任务中准确率超过90%，模型仍有提升空间；开源模型整体弱于闭源模型，但部分开源模型表现优异。
• 结论：VCR任务有助于提升多模态表示学习，可成为视觉-语言模型（VLM）常用评测任务。

推理密集智能体

• 目标：提升Agent的推理能力，减少幻觉现象。
• ThinkThrice方法：通过记忆检索、细节增强和反思修改来验证和加强推理结果。
• Jubensha数据集：收集了1115个剧本杀游戏实例，用于研究社会智能AI。
• 实验结果：收集信息越多，Agent解决问题的能力越强；LLM的推理能力决定表现；“三思”显著提升推理能力。

科学领域智能体

• 目标：让Agent获取专业知识，解决复杂任务。
• HoneyBee模型：首个十亿参数规模的材料科学专用语言模型。
  • MatSci-Instruct数据集：通过指令生成器和验证器提升模型性能。
  • 实验结果：在低资源设置和零样本设置中均优于BERT和LLaMA家族模型。
• HoneyComb系统：基于LLM的灵活Agent系统。
  • 工具构造和使用：显著提升了MaScQA和SciQA上的准确率。
• Data Interpreter Agent：用于数据科学的LLM Agent。
  • 动态层次规划：适应数据变化，动态更新任务状态和代码。
  • 工具集成与生成：动态推荐和组织工具，自动化生成代码片段。
  • 自动验证：采用ACV技术验证代码输出的正确性。
  • 经验池与自动Debug：构建经验池存储过往任务经验，减少调试次数。
  • 实验结果：经验池有效提升任务执行效率和敏感度。

总结

• 多模态具身智能体瓶颈：多模态感知和动作执行。
• 新型多模态任务：VCR任务有助于提升多模态表示学习。
• 推理能力提升：多重思考检验有助于提高推理准确性和减少幻觉，剧本杀任务可作为推理评测任务。
• 科学领域知识获取：自动构造大量高质量数据集有助于提升专业知识。
• 复杂任务解决：化繁为简，层次图管理，复用经验的方式可提高成功率。
• 工具集：高质量的工具集能大大拓展智能体能力，应动态构造和优化累积。
• 经验池：高质量的经验池也能明显提高解决复杂任务的能力。