最近做机器人算法岗位时,会发现一个词出现得越来越频繁:世界模型(World Model)。

有意思的是,自动驾驶在讲世界模型,具身智能也在讲世界模型。

于是招聘里经常出现一个问题:

自动驾驶做世界模型的人,能不能直接转具身智能?

答案是:能转,但两边解决的问题差异很大。

世界模型的底层思路相通——让模型学会理解当前世界,并预测“接下来可能发生什么”。可一旦进入具体场景,自动驾驶和具身智能面对的“世界”,复杂度完全不一样。


一、先把世界模型说简单一点

世界模型可以理解成:

模型在内部建立一个关于环境如何变化的预测能力。

比如现在看到一个杯子放在桌上。

如果机器人伸手推它,杯子接下来往哪里移动?

如果汽车前方车辆突然减速,几秒后的交通场景会怎样变化?

世界模型关注的,就是这种:

当前状态 + 行为 → 未来状态

如果模型能预测未来,就可以帮助系统提前规划。

所以它真正有价值的地方,在于让AI从“识别现在发生了什么”,进一步走向“理解接下来可能发生什么”。


二、自动驾驶世界模型:重点是预测道路世界

自动驾驶里的世界模型,面对的是一个高速变化的交通环境。

它需要理解:

车辆、行人、道路、红绿灯、车道线、遮挡关系,以及其他交通参与者未来可能怎么运动。

比如自动驾驶车辆准备变道。

模型需要判断:

旁边车辆会不会加速?

后车会不会减速?

前方道路结构有没有变化?

几秒以后车辆之间的位置关系会怎样?

因此自动驾驶世界模型经常重点处理:

时序预测、场景生成、Occupancy、视频预测、轨迹预测、驾驶行为建模。

它的很多数据来自:

摄像头、激光雷达、毫米波雷达、车辆状态以及大规模真实道路数据。

自动驾驶这些年积累的大量数据闭环,也给世界模型提供了很好的训练基础。

所以自动驾驶世界模型很强的一项能力,就是:

预测一个动态交通世界未来会发生什么。


三、具身世界模型:机器人需要预测“我动手以后会怎样”

到了具身智能,问题开始变得更“物理”。

机器人不只是在环境里观察。

它还会:

推、拉、抓、拿、旋转、碰撞、行走。

这意味着机器人每一个动作,都可能直接改变环境。

比如机器人准备抓一个水杯。

它需要理解的内容可能包括:

杯子在哪里;

手应该从哪个方向接近;

抓住以后杯子会不会滑;

用多大的力;

抬起来以后重心会怎样变化;

如果杯子里面有水,运动状态还会不会发生变化。

这时候世界模型关注的已经不只是视觉里的“下一帧”。

还要理解:

动作、接触、力、物体状态和机器人自身状态之间的关系。

所以具身世界模型通常会更加接近:

Action-conditioned Prediction。

也就是:

“如果机器人做这个动作,物理世界会发生什么?”

这也是具身智能里最难的一部分。


四、两边最大的差别:机器人真的会“改变世界”

自动驾驶里,车辆当然也会影响环境。

但绝大部分场景仍然围绕车辆在道路空间里的运动展开。

具身机器人面对的动作空间更加复杂。

机械臂可能有7个自由度。

人形机器人可能有几十个自由度。

再加上灵巧手,动作空间还会继续扩大。

机器人还会直接和物体发生接触。

于是世界模型需要面对一个非常麻烦的问题:

物理交互。

视觉上看起来只有几厘米的误差,到了机器人操作里,可能意味着:

抓不到;

撞到物体;

插不进去;

或者直接把东西推倒。

所以具身世界模型对真实物理世界的精度要求会非常高。

这也是为什么具身智能一直强调:

真机数据。


五、两类世界模型的数据,也完全不一样

简单放在一起看会比较直观。

维度自动驾驶世界模型具身世界模型
核心场景道路交通真实物理操作
主要对象车辆、行人、道路物体、机器人、环境
Action加速、减速、转向关节、末端、抓取、行走
数据视频、雷达、轨迹视频、机器人状态、Action、力/触觉
重点能力时序预测、场景预测动作后果预测、物理交互
典型任务驾驶规划Manipulation、导航、操作
最大难点动态交通预测接触、物理规律、具身差异

这里还有一个具身领域非常特殊的问题:

Embodiment。

同一个模型放到不同机器人上,可能完全不是一回事。

两台机器人:

手臂长度不同;

关节数量不同;

灵巧手结构不同;

电机性能不同。

Action Space就会发生变化。

所以具身世界模型未来还需要解决:

跨本体泛化。

这在自动驾驶里没有那么突出。


六、为什么自动驾驶世界模型人才,会成为具身智能重点挖的人?

虽然两边差别不少,但自动驾驶人才依然是目前具身智能很重要的人才来源。

原因很简单。

自动驾驶已经积累了一批非常接近的能力:

多模态感知、时序建模、视频预测、3D空间理解、Planning、大规模数据训练、仿真以及数据闭环。

这些能力迁移到具身智能以后,有很强的基础。

尤其是做过:

视频生成、Occupancy、预测规划、端到端驾驶、多模态模型

的人,和具身世界模型的距离通常比传统CV算法工程师更近。

但真正转过去以后,还要补不少东西。

比如:

机器人学基础;

Action Space;

机械臂/人形机器人;

Policy Learning;

Manipulation;

真机部署;

接触和物理交互。

所以从猎头角度看,我一般不会简单判断:

“他做过自动驾驶世界模型,所以适合具身。”

我更关注他过去做的模型,到底有没有:

状态预测、Action条件、Planning以及真实系统闭环。


七、具身公司真正想抢的是哪一批人?

现在具身世界模型的人才来源,我大致会看几类。

第一类,自动驾驶世界模型、预测规划和端到端人才。

第二类,视频生成和多模态生成模型人才。

第三类,Model-Based RL和机器人学习人才。

第四类,VLA、Manipulation和机器人Policy人才。

真正比较稀缺的,是这些能力开始交叉的人。

比如:

World Model + Planning

World Model + RL

World Model + VLA

进一步再加上:

Robot Data + 真机

这种候选人的市场价值会明显提高。

因为企业最终需要世界模型解决的,还是机器人任务。


David的一个观察

自动驾驶和具身智能都在做世界模型,但两边的发展路径其实很有意思。

自动驾驶已经积累了非常成熟的感知—预测—规划—数据闭环能力。

具身智能则进一步把问题推进到了:

感知—预测—动作—物理交互。

所以自动驾驶世界模型人才进入具身智能,确实有很大的迁移空间。

不过真正决定候选人价值的,还是他能不能从“预测一个世界”,继续走到:

预测机器人做完这个动作以后,世界会变成什么样。

这一步跨过去以后,世界模型才真正进入具身智能。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐