该技术通过计算机模拟生成机器人动作数据,利用提示词生成长序列动作,结合场景生成和仿真环境,并随机修改光照、传感器噪点以提升泛化性。通过在仿真中复原现实世界的动作延时、电机输出与指令差异,使合成数据更贴近实际,从而减少对耗时费力的真机遥操数据的依赖。实验显示,模型在仿真和现实环境中的同类单任务成功率均达91%,基本解决简单任务的sim2real问题。
合成数据可辅助真机数据扩展训练规模,成为预训练主力,尤其对于摄像头视觉数据为主的训练。当前技术方案采用Qwen3.6和Qwen3.5模型结合扩散模型,强化分层架构,有效提升训练效率。但需注意,当前合成数据仅使用摄像头视觉数据,缺乏触觉等其他模态,无法评估用力精度等问题,其价值主要体现在扩展训练规模和降低成本方面。
机器人行业正从传统真机遥操数据依赖向合成数据辅助真机数据扩展的方向发展。随着仿真技术的进步,合成数据将更广泛地应用于机器人训练,推动行业向更高效率、更低成本的方向发展。同时,触觉、力传感等模态数据的加入,以及机器人本体与虚拟场景的强关联性,将进一步提升机器人智能化水平。
当前机器人市场处于技术快速迭代阶段,合成数据技术的出现正推动行业从传统数据获取方式向更高效的方式转变。虽然合成数据在精度和模态完整性上仍存在局限性,但已展现出在简单任务训练上的显著优势,市场整体处于积极探索和应用阶段。未来随着技术的成熟,合成数据将在机器人领域发挥更大作用。
本报告涉及的技术方案当前仅使用摄像头视觉数据,缺乏触觉等其他模态,无法全面评估机器人操作精度和安全性。此外,虚拟场景与现实对齐需要精确测量机器人电机、相机等参数,与本体强相关,需基于固定本体搭建数据集,这可能限制技术的普适性。投资者需关注技术局限性及未来发展方向。