cosmos世界基础模型平台：面向物理ai的世界基础模型平台

核心观点： 该研报介绍了由 NVIDIA 开发的 Cosmos World Foundation Model (WFM) 平台，旨在帮助开发者构建定制的物理 AI 应用。WFM 平台通过构建数字孪生的物理世界模型，解决物理 AI 训练数据难以扩展的问题，从而推动物理 AI 的发展。

关键数据：

• 平台包含视频管理流程、预训练的 WFM 模型、后训练示例和视频分词器。
• 视频管理流程从 20M 小时的视频集合中提取了约 1 亿个视频片段，并使用视觉语言模型 (VLM) 为每个片段生成视频描述。
• 平台提供了两种可扩展的 WFM 构建方法：基于扩散的 WFM 和基于自回归的 WFM。
• 平台包含多种不同容量和压缩率的模型，并研究了它们在各种下游应用中的有效性。
• 平台开发了强大的护栏系统，以防止有害输入和输出。

研究结论：

• WFM 平台可以帮助物理 AI 开发者高效地构建定制的世界模型，并加速物理 AI 系统的开发。
• 预训练的 WFM 模型可以作为通用模型，通过微调适应不同的物理 AI 应用。
• 平台提供的视频管理流程、视频分词器和护栏系统，可以有效地提高物理 AI 开发的效率和安全性。

主要功能：

• 视频管理流程： 将长视频分割成片段，过滤低质量片段，使用 VLM 生成视频描述，并进行语义去重和分片。
• 视频分词器： 将视频转换为紧凑的语义标记，支持图像和视频的联合训练，并具有不同的压缩率。
• WFM 预训练： 探索了基于扩散和自回归的两种 WFM 构建方法，并使用大规模视频数据集进行训练。
• WFM 后训练： 将预训练的 WFM 模型微调，以适应不同的物理 AI 应用，例如相机控制、机器人操作和自动驾驶。
• 护栏系统： 防止有害输入和输出，确保 WFM 的安全使用。