ChatGPT 机具人 - 设计和模型能力 2023 中文版 25 页

2023-2-20ChatGPT for 机器人技术:Design 原则 and 模型 能力Sai Vemprala*, Rogerio 博纳蒂*, 亚瑟 巴克 , and Ashish KapoorMicrosoft 自主 系统 and 机器人技术 ResearchThis paper 介绍 an 实验性 study 关于 the 使用 of OpenAI ChatGPT [ for机器人技术 应用。 我们 大纲 a 战略 那个 结合 设计 原则 for 提示工程 and the 创建 of a 高层 函数 图书馆 which 允许 ChatGPT to 适应to diffherent 机器人技术 任务, 模拟器, and 形式 因素。 我们 焦点 我们的 评价 上 theeff经济性 of diffherent 提示 工程 技术 and 对话框 策略 朝向 the执行 of 各种 类型 of 机器人技术 任务。 我们 探索 ChatGPT 的 能力 to 使用 自由形式对话框, 解析 XML 标签, and to 合成 代码, 在 加法 to the 使用 of 任务规格 fi c 提示函数 and 闭环 推理 通过 对话。 我们的 study 包含 a 范围 of任务 内 the 机器人技术 域, 从 基本 合乎逻辑, 几何, and 数学 推理all the 方式 to 复杂 域 such as 天线 导航, 操纵, and 具体体现 agents.我们 显示 那个 ChatGPT can be effecian 在 解决 几个 of such 任务, while 允许 用户 to交互 与 it 主要是 via 自然 语言 说明。 在 加法 to 这些 研究, 我们介绍 an 开源 研究 工具 called PromptCraft, which 包含 a 平台 where研究人员 can 协作 上传 and 投票 上 examples of 不错 提示 方案 for机器人技术 应用程序, as 良好的 as a 样本 机器人技术 模拟器 与 ChatGPT 一体化, makingit 更容易 for 用户 to 得到 开始 与 使用 ChatGPT for 机器人。视频 and 博客: aka. ms / ChatGPT - RoboticsPromptCraft, AirSim - ChatGPT 代码: https: / / github. com / microsoft / PromptCraft - Robotics1. IntroductionThe 快速 晋升 在 自然 语言 处理 (NLP) has led to the 发展 of 大 语言模型 (LLMs), such as BERT [ GPT - 3 [ and Codex [ 那个 are 革命性 a 宽 范围 of应用。 These 模型 have 已实现 非凡 结果 在 各种 任务 such as 文本 代,机器 翻译, and 代码 合成 ， 在 其他人。 A 最近 加法 to 这个 集合 of 模型 was theOpenAI ChatGPT [ a 预培训 生成 文本 模型 which was fi 网络调谐 使用 人类 反馈。 不像以前的 模型 which Operate 主要是 upon a 单 提示, ChatGPT 提供 特别是 令人印象深刻相互作用 技能 通过 对话框, 组合 文本 代 与 代码 合成。 我们的 目标 在 这个 paper is to调查 如果 and how the 能力 of ChatGPT can 概括 to the 域 of 机器人。机器人技术 系统, 不像 纯文本 应用程序, 需要 a 深 理解 of 真实世界 物理学, 环境 -ronmental context, and the 能力 to 执行 物理 actions. A 生成 机器人技术 模型 需要 to have a健壮 常识 知识 and a 复杂 世界 模型 ， and the 能力 to 交互 与 用户 to解释 and 执行 命令 在 方式 那个 are 物理 可能 and 那个 makes 感觉 在 the 真正的 世界。These 挑战 fall 超越 the 原始 范围 of 语言 模型 ， as they 必须 不是 仅 理解 the意义 of a 给定 文本, 但是 还 翻译 the 意图 into a 逻辑 序列 of 物理 actions.在 最近 年 There have 已被 diffherent 尝试 to 合并 语言 into 机器人技术 系统。 These* 相等 贡献, 随机 订单。©2023 微软。 All 权利 reserved. ChatGPT for 机器人技术图 1: Current 机器人技术 管道 需要 a 专业 工程师 在 the 回路 to write 代码 to 改进 the 过程。 我们的目标 与 ChatGPT is to have a (潜在 非技术性) 用户 上 the 回路, 交互 与 the 语言 模型 通过高层 语言 命令, and cable to 无缝 部署 各种 平台 and 任务。efforts have 很大程度上 聚焦 上 使用 语言 令牌 嵌入 模型 ， LLM 特点, and 多模态模型 特征 for fi c 形式 因素 or 场景。 Applications 范围 从 视觉语言 导航 [6 基于语言的 人类机器人 相互作用 [ 8 and 视觉语言 操纵 控制 [ 10 11然而, 尽管 the 电位 优势 of 使用 LLM 在 机器人, 最多 of the 现有 方法 are受限 由 a 刚性 范围 and limited 设置 of 功能, or 由 他们的 开环 性质 那个 does 不是 允许for fi uid 相互作用 and 行为 更正 从 用户 反馈。模型 such as GPT - 3, LaMDA, and Codex 还 显示 promise 在 零射 机器人技术 场景 when task与 高层 代理人 规划 [ 13 or 代码 代 [ 15 These 早期 演示 启发 我们to 调查 ChatGPT as a 潜在的 更多 多才多艺 工具 for the 机器人技术 域, as it 合并 the优势 of 自然 语言 and 代码 代 模型 沿着 与 the fi 灵活性 of 对话。 ChatGPT 的能力 to engage 在 a 自由形式 对话框 and 捕获 长 上下文 允许 用户 to 交互 与 the 模型 在 a更多 自然 时尚 ， 与 fi exible 行为 更正。在 这个 paper, 我们 aim to 演示 the 电位 of ChatGPT for 机器人技术 应用。 我们 大纲 a 键概念 那个 解锁 the 能力 to 解决 机器人技术 应用程序 与 ChatGPT, which is the 创建 of a高层 函数 图书馆。 给定 那个 机器人技术 is a 多样化 fi 场 where 几个 平台, 场景 ， and 工具存在, There 存在 an 广泛的 品种 of 图书馆 and API 。 相反 of 问 LLM to 输出 代码 fi cto a 平台 or a 图书馆, which 可能 涉及 广泛的 fi 网络调谐 ， 我们 相反 创建 a 简单 高层函数 图书馆 for ChatGPT to 交易 与 which can 然后 be 链接 在 the 后端 to the 实际 API forthe 平台 of 选择。 因此 ， 我们 允许 ChatGPT to 解析 用户 意图 从 自然 对话框, and 转换 那个to a 逻辑 链接 of 高层 函数 calls. 我们 还 大纲 几个 提示 工程 指导方针 那个帮助 ChatGPT 解决 机器人技术 任务。我们的 研究 显示 那个 ChatGPT is 有能力的 of 解决 各种 机器人相关 任务 在 a 零射 时尚 ，while 适应 to 多个 形式 因素 ， and 允许 for 闭环 推理 通过 交谈。 在addition, 我们 aim to 显示 电流 模型 局限性, and 提供 想法 上 how to 克服 他们。 我们的 主要捐款 are 已列出 下面:• 我们 演示 a 管道 for 应用 ChatGPT to 机器人技术 任务。 The 管道 涉及 几个 提示 -ING 技术 such as 自由形式 自然 语言 对话, 代码 提示, XML 标签, and 闭环推理。 我们 还 显示 how 用户 can 杠杆 a 高层 函数 图书馆 那个 允许 the 模型 to快速 解析 人类 意图 and 生成 代码 for 解决 the 问题;• 我们 实验 评估 ChatGPT 的 能力 to 执行 a 品种 of 机器人技术 任务。 我们 显示 the 模型的2 ChatGPT for 机器人技术图 2: 机器人技术 管道 employment ChatGPT 与 the 用户 上 the 回路 to 评估 the 输出的 质量 and 安全。能力 and 限制 when 解决 数学, 合乎逻辑, and 几何 操作, and 然后探索 更多 复杂 场景 涉及 具体体现 代理商, 天线 导航, and 操纵。 我们include 两者 仿真 and 真实世界 实验 那个 结果 从 ChatGPT 的 plans;• 我们 介绍 a 协作 开源 平台, PromptCraft, where 研究人员 can 工作 一起 to提供 examples of 正 (and 负) 提示 策略 when 工作 与 LLM 在 the 机器人技术context. 提示 工程 is a 主要是 经验 科学, and 我们 想要 to 提供 a 简单 接口for 研究人员 to 贡献 与 知识 as a 社区。 Over 时间 我们 aim to 提供 diffherent环境 where 用户 can 试验 他们的 提示, and 欢迎 新 捐款 ；• 我们 释放 a 仿真 工具 那个 builds 上 Microsoft AirSim [ 组合 与 a ChatGPT 整合。This AirSim - ChatGPT 仿真 包含 a 样本 环境 for 无人机 导航 and 目标 to be a启动 点 for 研究人员 to 探索 how ChatGPT can 启用 机器人技术 场景。With 这个 工作 我们 希望 to 打开 向上 新 机会 and 大道 for 未来 研究 熔断 LLM and机器人。 我们 相信 那个 我们的 fi 编码 将 启发 and 指南 进一步 研究 在 这个 令人兴奋 fi 现场 ， 铺路the 方式 for the 发展 of 新, 创新 机器人技术 系统 那个 can 交互 与 人类 在 a 自然,直观 方式。 For 更多 details, 我们 鼓励 读者 to 视图 详细 视频 of 我们的 实验 在 the项目 网页。2. 机器人技术 与 ChatGPT提示 LLM for 机器人技术 控制 姿势 几个 挑战, such as 提供 a 完成 and 准确描述 of the 问题, 识别 the 右 设置 of 允许 函数 calls and API, and 偏置 the答案 结构 与 特殊 arguments. To make effecian 使用 of ChatGPT for 机器人技术 应用程序, 我们construct a 管道 组成 of the following 步骤:1. 首先, 我们 de fi