最近，RoboTwin 2.0 Leaderboard 更新了，有一组结果值得关注。

这次浮到榜前的是一个名叫欧拉万象OLA Dimensions的团队。它提交的两种模型路线，同时进了榜单前列：

OLA-Sem，Average 综合71.3%，排第一；

OLA-Geo，clean2clean下83.0%，排第一；

同时，OLA-Sem 在更强调环境变化与泛化能力的 clean2random 设置下取得 67.6%，排第二。

但如果往模型设计里面多看一步，更有意思的问题其实是：同一个团队，为什么要同时做 OLA-Sem 和 OLA-Geo 两条路线？

一个偏语义，一个偏几何。

看起来是两个方向，但放进真实机器人任务里，它们都在为一个问题服务：机器人怎么从“会生成动作”，走到真正理解并作用于物理世界？

原文链接：“听懂”还不够，“看见”也不够：榜首的OLA具身操作模型在探索什么？

01 Action Prediction 之外，机器人还得搞清楚任务到底是什么

先看 OLA-Sem在解决什么。

如果指令永远是“抓起桌上的红色杯子”，事情其实不复杂。

目标明确、属性明确，机器人很容易把语言和动作对上号。

但现实用户并不会永远用这种标准表达。更可能是“把我刚才喝水那个拿过来”——“刚才那个”是谁？指令里没写目标，意图全在上下文里。

机器人需要持续把用户的任务意图、当前环境以及接下来应该执行的行为联系起来。

这正是 OLA-Sem 想解决的。

技术上，OLA-Sem 尝试在统一模型中联合动作预测、图像生成和文本推理，让视觉、语言和动作共享统一表征；预训练则联合使用第一视角视频、视觉问答和机器人操作数据，希望模型同时学习人与环境如何交互、如何进行语义推理，以及如何将这些信息进一步转化成动作。

说得更直接点：OLA-Sem 不只是希望机器人学会“下一步怎么动”，而是加强任务意图、当前观察与动作之间的关联。

OLA-Sem 尝试在统一模型中联合动作预测、未来状态预测、连续图像生成与文本语义推理。

这次 RoboTwin 2.0 的结果，可以看成这个方向的一次阶段性验证。

在 clean2clean 与 clean2random 两种不同设置下保持较高表现，并最终取得综合排名第一，至少说明这种设计在“标准任务执行”与“环境变化”之间展现出了相对均衡的表现。

但理解任务还不够。机器人真正要动手的时候，还有第二道题。

02 Recognize ≠ Manipulate：认出杯子，不代表拿得到杯子

今天的视觉语言模型已经可以回答很多问题：桌面上有什么？哪个是杯子？用户想拿什么？

但对于一个真正要伸手完成操作的机器人来说，这只是开始。把问题从“桌上有没有杯子”，换成：“从遮挡物后面把杯子拿出来”，机器人面对的就不只是语义了——因为“认出来了”和“拿得到”，是两回事。同一个杯子，离机械臂 20 厘米还是 50 厘米、被没被挡住、抓取方向上有没有障碍，都会决定下一步怎么动。

所以，从“看懂图像”到“真正作用于物理世界”之间，还隔着一个很具体的问题：几何。这就是 OLA-Geo 想解决的。

OLA-Geo 的思路，不是在一个已经训练好的 VLA 后面再简单外挂一个独立的 3D 模块，而是让几何空间信息从预训练阶段开始就参与模型表征的形成。

在训练时引入了一个空间感知基础模型当“老师”：同一组多视角 RGB 图像，分别进入 VLA 和空间模型，通过特征层面对齐，将位置、深度、尺度、遮挡等几何信息逐渐融入 VLA 自身的视觉表征。

这个“空间老师”只在训练阶段提供监督，模型真正执行任务时无需额外参与推理。

OLA-Geo 尝试让几何空间信息从预训练阶段进入模型表征，而非仅在后训练阶段增加独立的空间模块。

所以 OLA-Geo 希望模型最终掌握的，不只是“这是一个杯子”，而是**“杯子是什么、在哪里，以及应该如何作用于它”。**

03 Sem 和 Geo，不是两条互相竞争的路线

**Sem 更接近回答：我要做什么；Geo 更接近回答：世界现在是什么状态，目标在哪里。**到最后，两种能力都必须落到动作上。

欧拉万象基础模型：语义几何并行，迭代自我提升。

所以对 OLA 来说，这两条路线不是两个各管各的 Benchmark 项目，而是在回答同一个问题：怎样让机器人获得足以真正作用于物理世界的模型能力。

04 模型之外，OLA 真正在搭的是一套 Real-world RSI System

但就算这两条路线都跑通，它依然没有解决真实机器人面对的全部问题。

一个复杂需求，怎么被拆成一串连续任务？不同技能怎么调度？机器人怎么一边移动一边操作？失败之后如何恢复？真实执行过程中产生的新数据，又怎么重新进入训练里？

如果说 OLA-Sem 和 OLA-Geo 解决的是机器人“这一轮如何做得更好”，那么 OLA 更长期想解决的问题是：机器人在真实世界里完成一次任务之后，能不能通过新的数据和反馈，让下一轮做得更好。

这也是 OLA 把 Model、Agentic OS、Embodiment 和 Data & Model Infra 放在同一套体系里考虑的原因。

其中：

Model 持续增强机器人对语义、空间与行动的理解；

Agentic OS 连接用户意图、任务规划、技能调度与执行过程，让机器人从“完成一个动作”走向“完成一个任务”；

Embodiment 围绕 AI-native 的机器人本体与 Mobile Manipulation 持续优化，让系统能力真正落到物理世界；

Data & Model Infra 则承担整个闭环中的关键角色：把真实执行中的成功、失败和异常案例持续回收到数据处理、训练、评测与部署中，让真实世界攒下的经验进入下一轮迭代。

最终，这套系统形成的是一个不断循环的过程：真实任务 → 执行 → 反馈 → 数据 → 训练与评测 → 再部署 → 新的真实任务。

当这个循环持续发生，机器人就不再只是被“一次性训练出来”，而是在真实世界中持续获得新的数据、反馈和能力提升。

这就是 OLA 所理解的 Real-world RSI。

所以更准确地说，RoboTwin 2.0 验证的，是这套体系里模型层的一次阶段性探索，不是整套系统已经完成。

Benchmark 里可以定义 clean2clean 和 clean2random，真实家庭里没有这样的按钮。

当模型离开榜单，进入不断变化的物理世界以后，还能不能通过一次次执行和反馈持续变得更好，才是 OLA 最终要回答的问题。

Benchmark 是一次考试。Real-world RSI，关注的是下一轮能力从哪里来。