这份研报主要探讨了物理AI与世界模型的关系,详细介绍了世界模型的定义、分类、应用现状以及未来发展趋势。报告重点分析了世界模型在物理AI中的作用,包括如何通过学习环境动力学预测未来状态,以及如何将海量视频数据转化为机器人汽车所需的经验和推理能力。此外,还讨论了世界模型的三种应用范式:训练场、策略骨干和行动权推演,并对比了物理AI与数字AI在数据处理和决策机制上的差异。报告还梳理了世界模型在云端和端侧的应用现状,以及行业发展的三个切换趋势:训练范式、数据和算力。
物理AI和世界模型的发展趋势主要体现在三个切换上。首先,训练范式从模仿人走向模型内试错和推演,这将突破传统数据依赖的限制,提升模型的能力上限。其次,数据需求从互联网视频和人类异构数据向部署失误和干预数据校准转变,这意味着未来更注重真实场景数据的积累和应用。最后,算力需求从云端训练走向云端训练和端侧推演并重,端侧推演对算力和内存带宽提出更高要求。在行业节奏上,汽车和机器人领域均处于数据积累和模型搭建阶段,未来将逐步实现端侧应用的落地。
研报重点分析了世界模型的定义与分类、应用范式以及行业应用现状。在定义与分类方面,报告介绍了表征式和预测生成式两种世界模型,并分析了它们的优缺点。在应用范式方面,报告归纳了训练场、策略骨干和行动权推演三种应用方式,并探讨了它们对算力、数据和部署场景的不同要求。在行业应用现状方面,报告梳理了世界模型在云端和端侧的应用案例,包括特斯拉、华为、理想、小鹏等企业的实践。此外,报告还分析了物理AI与数字AI在数据处理和决策机制上的差异,以及世界模型在机器人领域的应用前景。
当前市场对世界模型的应用情况呈现多元化趋势。在云端,世界模型已广泛应用于仿真与测评、数据生成与强化学习等领域。例如,特斯拉神经模拟器用于闭环测评,华为ADS5引入多智能体博弈,理想用Word Engine做强化学习,小鹏XWord用于闭环仿真等。在端侧,世界模型的应用尚处于起步阶段,智远GAct2.0在机器人方向进行了零样本测评,但尚未规模化部署。此外,一些研究机构也在探索世界模型在决策式规划中的应用,如套林WMWordModel等。总体来看,世界模型在云端的应用已相对成熟,但在端侧的应用仍需克服算力、数据和算法等方面的挑战。
研报提示了世界模型发展过程中可能存在的风险。首先,数据积累和校准是关键挑战,目前仍需大量互联网视频和人类异构数据,未来部署失误和干预数据的校准更为重要。其次,算力需求持续提升,端侧推演对算力和内存带宽提出更高要求,这可能限制部分企业的应用能力。此外,世界模型的应用效果受限于算法成熟度和场景复杂性,目前仍处于研究和探索阶段,大规模商业化应用尚需时日。最后,物理AI与数字AI在数据处理和决策机制上的差异,也可能导致世界模型在特定场景下的适用性问题。