猎头分享:世界模型|具身与自动驾驶的区别
最近做机器人算法岗位时,会发现一个词出现得越来越频繁:世界模型(World Model)。
有意思的是,自动驾驶在讲世界模型,具身智能也在讲世界模型。
于是招聘里经常出现一个问题:
自动驾驶做世界模型的人,能不能直接转具身智能?
答案是:能转,但两边解决的问题差异很大。
世界模型的底层思路相通——让模型学会理解当前世界,并预测“接下来可能发生什么”。可一旦进入具体场景,自动驾驶和具身智能面对的“世界”,复杂度完全不一样。
一、先把世界模型说简单一点
世界模型可以理解成:
模型在内部建立一个关于环境如何变化的预测能力。
比如现在看到一个杯子放在桌上。
如果机器人伸手推它,杯子接下来往哪里移动?
如果汽车前方车辆突然减速,几秒后的交通场景会怎样变化?
世界模型关注的,就是这种:
当前状态 + 行为 → 未来状态
如果模型能预测未来,就可以帮助系统提前规划。
所以它真正有价值的地方,在于让AI从“识别现在发生了什么”,进一步走向“理解接下来可能发生什么”。
二、自动驾驶世界模型:重点是预测道路世界
自动驾驶里的世界模型,面对的是一个高速变化的交通环境。
它需要理解:
车辆、行人、道路、红绿灯、车道线、遮挡关系,以及其他交通参与者未来可能怎么运动。
比如自动驾驶车辆准备变道。
模型需要判断:
旁边车辆会不会加速?
后车会不会减速?
前方道路结构有没有变化?
几秒以后车辆之间的位置关系会怎样?
因此自动驾驶世界模型经常重点处理:
时序预测、场景生成、Occupancy、视频预测、轨迹预测、驾驶行为建模。
它的很多数据来自:
摄像头、激光雷达、毫米波雷达、车辆状态以及大规模真实道路数据。
自动驾驶这些年积累的大量数据闭环,也给世界模型提供了很好的训练基础。
所以自动驾驶世界模型很强的一项能力,就是:
预测一个动态交通世界未来会发生什么。
三、具身世界模型:机器人需要预测“我动手以后会怎样”
到了具身智能,问题开始变得更“物理”。
机器人不只是在环境里观察。
它还会:
推、拉、抓、拿、旋转、碰撞、行走。
这意味着机器人每一个动作,都可能直接改变环境。
比如机器人准备抓一个水杯。
它需要理解的内容可能包括:
杯子在哪里;
手应该从哪个方向接近;
抓住以后杯子会不会滑;
用多大的力;
抬起来以后重心会怎样变化;
如果杯子里面有水,运动状态还会不会发生变化。
这时候世界模型关注的已经不只是视觉里的“下一帧”。
还要理解:
动作、接触、力、物体状态和机器人自身状态之间的关系。
所以具身世界模型通常会更加接近:
Action-conditioned Prediction。
也就是:
“如果机器人做这个动作,物理世界会发生什么?”
这也是具身智能里最难的一部分。
四、两边最大的差别:机器人真的会“改变世界”
自动驾驶里,车辆当然也会影响环境。
但绝大部分场景仍然围绕车辆在道路空间里的运动展开。
具身机器人面对的动作空间更加复杂。
机械臂可能有7个自由度。
人形机器人可能有几十个自由度。
再加上灵巧手,动作空间还会继续扩大。
机器人还会直接和物体发生接触。
于是世界模型需要面对一个非常麻烦的问题:
物理交互。
视觉上看起来只有几厘米的误差,到了机器人操作里,可能意味着:
抓不到;
撞到物体;
插不进去;
或者直接把东西推倒。
所以具身世界模型对真实物理世界的精度要求会非常高。
这也是为什么具身智能一直强调:
真机数据。
五、两类世界模型的数据,也完全不一样
简单放在一起看会比较直观。
| 维度 | 自动驾驶世界模型 | 具身世界模型 |
|---|---|---|
| 核心场景 | 道路交通 | 真实物理操作 |
| 主要对象 | 车辆、行人、道路 | 物体、机器人、环境 |
| Action | 加速、减速、转向 | 关节、末端、抓取、行走 |
| 数据 | 视频、雷达、轨迹 | 视频、机器人状态、Action、力/触觉 |
| 重点能力 | 时序预测、场景预测 | 动作后果预测、物理交互 |
| 典型任务 | 驾驶规划 | Manipulation、导航、操作 |
| 最大难点 | 动态交通预测 | 接触、物理规律、具身差异 |
这里还有一个具身领域非常特殊的问题:
Embodiment。
同一个模型放到不同机器人上,可能完全不是一回事。
两台机器人:
手臂长度不同;
关节数量不同;
灵巧手结构不同;
电机性能不同。
Action Space就会发生变化。
所以具身世界模型未来还需要解决:
跨本体泛化。
这在自动驾驶里没有那么突出。
六、为什么自动驾驶世界模型人才,会成为具身智能重点挖的人?
虽然两边差别不少,但自动驾驶人才依然是目前具身智能很重要的人才来源。
原因很简单。
自动驾驶已经积累了一批非常接近的能力:
多模态感知、时序建模、视频预测、3D空间理解、Planning、大规模数据训练、仿真以及数据闭环。
这些能力迁移到具身智能以后,有很强的基础。
尤其是做过:
视频生成、Occupancy、预测规划、端到端驾驶、多模态模型
的人,和具身世界模型的距离通常比传统CV算法工程师更近。
但真正转过去以后,还要补不少东西。
比如:
机器人学基础;
Action Space;
机械臂/人形机器人;
Policy Learning;
Manipulation;
真机部署;
接触和物理交互。
所以从猎头角度看,我一般不会简单判断:
“他做过自动驾驶世界模型,所以适合具身。”
我更关注他过去做的模型,到底有没有:
状态预测、Action条件、Planning以及真实系统闭环。
七、具身公司真正想抢的是哪一批人?
现在具身世界模型的人才来源,我大致会看几类。
第一类,自动驾驶世界模型、预测规划和端到端人才。
第二类,视频生成和多模态生成模型人才。
第三类,Model-Based RL和机器人学习人才。
第四类,VLA、Manipulation和机器人Policy人才。
真正比较稀缺的,是这些能力开始交叉的人。
比如:
World Model + Planning
World Model + RL
World Model + VLA
进一步再加上:
Robot Data + 真机
这种候选人的市场价值会明显提高。
因为企业最终需要世界模型解决的,还是机器人任务。
David的一个观察
自动驾驶和具身智能都在做世界模型,但两边的发展路径其实很有意思。
自动驾驶已经积累了非常成熟的感知—预测—规划—数据闭环能力。
具身智能则进一步把问题推进到了:
感知—预测—动作—物理交互。
所以自动驾驶世界模型人才进入具身智能,确实有很大的迁移空间。
不过真正决定候选人价值的,还是他能不能从“预测一个世界”,继续走到:
预测机器人做完这个动作以后,世界会变成什么样。
这一步跨过去以后,世界模型才真正进入具身智能。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)