具身智能综述：从模拟器到研究任务

核心观点

本文综述了具身智能（Embodied AI）领域，重点关注具身智能模拟器及其研究任务。具身智能是一种新的AI范式，其算法和智能体通过与环境交互来学习，类似于人类的感知方式。这种范式对于实现通用人工智能（AGI）具有重要意义。

模拟器评估

本文评估了九个具身智能模拟器，并根据七个特征进行分类：

• 环境：基于游戏场景构建（G）或基于真实世界扫描（W）
• 物理：基本物理特性（B）或高级物理特性（A）
• 对象类型：数据集驱动（D）或对象资产驱动（O）
• 对象属性：可交互对象（I）或多状态对象（M）
• 控制器：直接Python API控制器（P）、虚拟机器人控制器（R）或虚拟现实控制器（V）
• 动作：导航（N）、原子动作（A）或人机交互（H）
• 多智能体：基于化身（AT）或基于用户（U）

此外，本文还提出了三个二级评估特征：真实性、可扩展性和交互性。基于这些特征，AI2-THOR、iGibson和Habitat-Sim被认为是功能最全面、最受欢迎的模拟器。

研究任务

本文重点介绍了三种主要的具身智能研究任务：

• 视觉探索：智能体通过感知和运动收集环境信息，并构建内部环境模型，例如拓扑图、语义图或占用图。常用的方法包括好奇心驱动、覆盖率和重建。
• 视觉导航：智能体在3D环境中导航到目标点或目标对象。常见的任务包括点导航、对象导航、带先验知识的导航、视觉语言导航和视觉对话导航。评估指标包括成功率、路径长度加权、路径长度比、与目标的距离等。
• 具身问答（QA）：智能体在物理环境中通过感知和语言理解来回答问题。常见的任务包括单目标问答和多目标问答。评估指标包括答案的均值排名和准确率。

研究结论

• 具身智能模拟器在真实性和交互性方面取得了显著进步，但仍存在可扩展性方面的挑战。
• 具身智能研究任务正从简单的视觉探索发展到复杂的视觉导航和具身问答，对智能体的记忆和内部表示提出了更高的要求。
• 未来研究方向包括开发具有真实世界场景和高级物理特性的模拟器，以及探索基于任务的交互式问答（TIQA）。

关键数据

• 本文评估了九个具身智能模拟器，包括DeepMind Lab、AI2-THOR、CHALET、VirtualHome、VRKitchen、Habitat-Sim、iGibson、SAPIEN和ThreeDWorld。
• 本文介绍了多个具身智能研究任务的评估指标，例如成功率、路径长度加权、路径长度比、与目标的距离、答案的均值排名和准确率。
• 本文提到了多个具身智能研究任务的基准测试，例如iGibson Sim2Real Challenge、Habitat Challenge和RoboTHOR Challenge。