2024大模型工具学习（中英文）

秦禹嘉THUNLP 背景 工具和情报 •工具是人类能力的延伸，旨在提高生产力、效率和解决问题的能力 •纵观历史，人类一直是发明和操纵工具的主要媒介•问题：人工智能在工具使用方面能像人类一样有能力吗？ 工具和情报 •基础模型的答案是肯定的 •较强的语义理解•广泛的世界知识•强大的推理和计划能力... 工具和情报 •工具学习[1]：基础模型可以遵循人类指令和操纵工具来解决任务 工具学习的分类 •工具增强学习 •具有来自工具的执行结果的扩充基础模型•工具被视为有助于产生高质量产出的补充资源 工具学习的分类 •面向工具的学习 •利用模型来管理工具并代替人类做出顺序决策•利用基础模型的广阔世界知识和推理能力进行复杂的推理和规划 框架 框架 意图理解 •理解指令的基本目的 •学习从指令空间到模型认知空间的映射 •指令调整 •用不同的指令包装任务•监督微调•非凡的泛化能力 [1]精细语言模型是零分学习者[2]多任务提示训练可实现零镜头任务概括[3]OPT - IML：通过镜头扩展语言模型指令元学习泛化 意图理解 •扩大模型大小和指令调整数据集的多样性•泛化能力的增强 •挑战 •理解模糊指令：用户查询中的模糊和歧义 •理论上的无限指令空间：无限表达和个性化指令 工具理解 •通过提示激发工具理解 •零拍提示: •描述API功能，其输入/输出格式，可能的参数等。 •少量提示： •向模型提供具体的工具使用演示•通过从这些演示中模仿人类行为，模型可以学习如何利用这些工具 工具理解 •通过提示激发工具理解 规划与推理 •内省推理 •在不与环境交互的情况下生成静态计划 规划与推理 •内省推理 •如果提示适当，PLM可以有效地将高级任务分解为中级计划，而无需任何进一步的培训 规划与推理 •外向推理 •挑战：基础模型没有体现或扎根于物理世界•解决方案：约束模型提出既可行又符合上下文的自然语言动作 规划与推理 •外向推理 •内心独白[1]：将各种反馈来源的信息注入模型规划 规划与推理 •多步骤多工具方案 •人类不会坚持一个场景和一个工具 •了解不同工具之间的相互作用 •模型不仅要了解单个工具，还要了解它们的组合用法并对工具进行逻辑排序 •从顺序执行到并行执行•工具不必顺序执行，并行执行导致叠加效果 •从单代理问题解决到多代理协作 •复杂的任务通常需要多个代理之间的协作，每个代理都有其独特的专业知识 培训策略 •从演示中学习：通常涉及（人类）注释•从反馈中学习：通常涉及强化学习 WebGPT •监督学习• 克隆人类行为以使用搜索引擎•监督微调+强化学习•只需要6, 000个注释数据 WebCPM •动机 •WebGPT不是公开的，其内部运作仍然不透明 •我们的努力（WebCPM） •开源交互式网络搜索界面•第一个涉及交互式网络搜索的公共QA数据集，也是第一个中国LFQA数据集•框架和模型实现 WebCPM •接口（搜索模式）和预定义的操作 WebCPM WebCPM •我们的框架由两个模型组成： •1.搜索模型，包括：•行动预测模块•搜索查询生成模块•支持事实提取模块 •2.信息综合模型 WebCPM 对于T个步骤的动作序列,搜索模型执行动作以收集支持事实,这些支持事实被发送到合成模型以用于答案生成。 WebCPM 整体管道评价（基于人类偏好）模型生成的答案v. s.人类注释支持事实的三个来源被发送到综合模型(1)管道收集，(2)人工收集，(3)非交互式搜索(TF - IDF) Webshop •学习进行网上购物 Toolformer •自监督工具学习 •预定义的工具API•鼓励模型调用和执行工具API•设计自监督损失，看看工具执行是否可以帮助语言建模 工具创建 •从工具用户到工具创建者 •人类是从石器时代到21世纪创造和使用工具的主要媒介•大多数工具是为人类创造的，而不是AI •为模型制作的工具 •模块化：将工具组成较小的单元•新的输入和输出格式：更可计算且适用于AI 工具创建 工具创建 •现有工程的限制 •大多数现有工作往往集中在有限数量的工具上•用于确定工具最佳利用率的模型所采用的推理过程本质上是复杂的•当前管道在检索执行结果后缺乏错误处理机制 •我们不是让LLM充当工具的用户，而是让他们成为创造者[1] 工具创建 •四个程序 •创建•Decision•Execution•整改 工具创建 •实验 •数据:数学、TabMWP •对PoT和纯CoT的重大改进 应用程序 ChatGPT插件 •OpenAI官方工具库 •为ChatGPT提供更广泛的应用程序•通过简单地提供带有描述的API，ChatGPT能够调用应用程序并完成更复杂的任务 开源解决方案 •BMTools •一个开源存储库，可扩展语言模型以使用工具，并作为社区构建和共享工具的平台 开源解决方案 •特点: •用户可以通过编写python函数并使用外部ChatGPT - Plugins轻松构建新插件•用户可以托管其本地模型（例如LLaMA、CPM）以使用工具 开源解决方案 •特点: •支持30 +工具工具，欢迎投稿！ 天气API Huggingface模型 谷歌学者 开源解决方案 •特点: •支持BabyAGI和AutoGPT •100k +工具-使用SFT数据的方式! 开源解决方案 开源解决方案 •ToolBench •一种开源，大规模，高质量的指令调整SFT数据，以促进一般的工具使用能力•我们提供数据集，相应的训练和评估脚本，以及在ToolBench上微调的强大模型ToolLLaMA 开源解决方案 •功能 •支持单工具和多工具方案 •ToolBench提供的响应不仅包括最终答案，而且还包含模型的思想链过程，工具执行和工具执行结果 •多步骤决策和工具执行 •另一个值得注意的优势是我们的API的多样性，它是为现实世界的场景而设计的 •98k实例，312k API调用 开源解决方案 •施工工艺 •所有数据都由OpenAI API自动生成，然后进行过滤，整个数据创建过程易于扩展 开源解决方案 •创建过程 •我们提供数据集，相应的训练和评估脚本，以及一个强大的模型ToolLLaMA 开源解决方案 •评价 •ToolLLaMA与ChatGPT在工具使用方面的能力相匹配•ChatGPT自动评估（越高越好） Summary •传统的语言任务（几乎）得到了很好的解决 •句法分析、实体识别、情感分析... •我们面临着更具挑战性的任务！ •基础模型可以通过使用语言在复杂的场景中利用，性能可能在很大程度上依赖于LLM的有效性 •理论问题依然存在 •实际问题仍然存在 工具学习论文列表 https: / / github. com / thunlp / ToolLearningPapers 谢谢 秦禹嘉THUNLP Tool Learning 秦禹嘉 THUNLPqyj20@mails.tsinghua.edu.cn Background Tools and Intelligence •Tools are extensions of human capabilities designed toenhance productivity, efficiency, and problem-solving •Throughout history, humans have been theprimaryagentsin the invention and manipulation of tools •Question: canartificial intelligencebe as capable ashumans in tool use? Tools and Intelligence •The answer isyeswithfoundation models •Strong semantic understanding•Extensive world knowledge•Powerful reasoning and planning capabilities… Tools and Intelligence •Tool Learning [1]: foundation models can follow humaninstructions and manipulate tools for task solving Categorization of Tool Learning •Tool-augmented learning •Augment foundation models with the execution resultsfrom tools•Tools are viewed ascomplementary resourcesthat aid inthe generation of high-quality outputs Categorization of Tool Learning •Tool-oriented learning •Utilize models to govern tools andmake sequentialdecisionsin place of humans•Exploiting foundation models' vast world knowledge andreasoning ability for complex reasoning and planning Framework Framework Intent Understanding •Comprehending the underlying purpose of an instruction •Learning a mapping from the instruction space to themodel’s cognition space •Instruction Tuning •Wrap tasks with diverseinstructions •Supervised fine-tuning •Extraordinarygeneralization capability Intent Understanding •Scaling up the model size and the diversity ofinstruction-tuning datasets •Enhancement ofgeneralization capability •Challenges •UnderstandingVague Instructions: vagueness and ambiguity inthe user query •TheoreticallyInfinite Instruction Space: infinite expression andpersonalized instructions Tool Understanding •Eliciting tool understanding with prompting •Zero-shot prompting: •Describe API functionalities, their input/output formats,possible parameters, etc. •Allow the model to understand the tasks that each API cantackle •Few-shot prompting: •Provide concrete to