机器人不仅要预判未来，还要知道哪些变化值得相信

——Bridge-WA

目录

01    看懂场景之后，为什么动作还会失败？

02    整体架构

LWDM：把真实未来拆成“结果、位置、运动”

WorldBridge：世界先验不是越强越好

面对视觉扰动，训练也要保持动作一致

03    四类仿真基准、两种真实机器人：提升落在哪里？

04    方法小结

05    写在最后

---

视觉语言动作模型（VLA）已经能够理解“拿起什么、放到哪里”，但到了真实操作现场，背景、光照或相机视角稍有变化，动作仍可能失误。问题不只是模型有没有看懂指令，还在于它能否预判动作会给场景带来什么变化，并把真正与任务相关的变化用于控制。

Bridge-WA 给出一种 world-action 框架：

不要求机器人在每次决策时生成未来视频，而是从当前观测预测未来状态、变化区域和局部运动，再通过可靠性门控将这些先验用于动作生成。方法在四类仿真基准与两种真实机器人上验证，重点考察外观扰动和视角变化下的泛化能力。

01    看懂场景之后，为什么动作还会失败？

对机器人操作而言，有用的“未来”不一定是一段逼真的画面，而可以是三个更直接的问题：

最终会变成什么样、哪里会改变、变化会朝哪个方向发生。

Bridge-WA 不仅预测这些信息，还判断它们在当前动作决策中是否可靠。

▲图 | 视觉扰动下的操作挑战与 Bridge-WA 方法总览

机器人接到“打开抽屉，把碗放进去”的指令，首先需要识别抽屉和碗；但真正完成任务，还要判断抽屉怎样运动、夹爪将与哪里接触，以及当前画面里哪些变化只是纹理或相机位置造成的。

普通 VLA 大多从当前图像和指令直接预测动作。这个路径高效，却容易把训练场景中的背景、颜色、视角当作判断依据。

论文中的例子显示，任务语义没有改变，仅仅更换外观或视角，就可能出现碗掉落、机械臂碰撞等失败。

世界模型提供了另一种思路：先推测场景的未来，再决定怎么行动。但完整生成未来图像或视频需要处理大量与控制无关的像素，部署大规模生成模型也会增加在线计算成本。

Bridge-WA 因此把问题收窄为：动作真正需要从未来知道什么？

02    整体架构

LWDM：把真实未来拆成“结果、位置、运动”

训练时，研究者直接使用机器人示范中已经观察到的未来帧，构造三类监督信号：

LWDM 再从当前多视角图像、语言和机器人状态编码出的上下文中，预测这些未来先验。

论文采用五组可学习查询头，分别预测 WAN/DINO 的未来特征、两类变化图和运动光流。运行时无需看到真实未来帧，也无需调用训练时的目标编码器或计算光流。

框架图中的“World Teacher Target”只承担训练监督：冻结的特征提取器和光流把真实未来转成学习目标；在线推理时，这部分不参与计算。

▲图 | Bridge-WA 框架：LWDM、WorldBridge 与动作专家

WorldBridge：世界先验不是越强越好

预测出未来信息，只完成了第一步。

一个先验可能在某个任务里很有用，在另一个视角或遮挡条件下却不够准确。如果不加区分地把它送入动作模型，错误预测也会被放大。

WorldBridge 负责连接世界表示与 action transformer。它把未来状态、变化区域、运动信息组织成三路记忆，让动作 token 在不同层读取不同先验：

较早层侧重整体未来状态，后续层逐步利用变化位置和局部运动。变化强度与运动幅度还会作为注意力偏置，提示模型优先关注可能发生交互的区域。

更关键的是可靠性门控。

WorldBridge 根据世界先验与当前动作特征的匹配程度，调节注意力更新和 FiLM 特征调制的强度：先验有帮助时使用它，先验与当前决策不相容时减弱它。这并不是给未来预测输出一个经过校准的“正确概率”，而是让世界指导能够随输入自适应变化。最终，flow-matching 动作专家在这些条件下生成动作片段。

消融实验说明门控并非可有可无：在 LIBERO-Plus 的对应设置中，完整模型得分为 82.45；去掉所有可靠性门控后降至 71.34，相差 11.11 个百分点。这表明让模型“有未来感”之外，还必须控制未来先验如何影响动作。

面对视觉扰动，训练也要保持动作一致

训练阶段，Bridge-WA 还对同一条示范构造匹配的干净观测与增强观测：

两者共享动作标签，并使用相同的 flow-matching 噪声和插值时间。增强可以改变外观、语言表述或机器人状态的轻微扰动，但不会移动目标物体，也不会改变正确动作。

训练时，模型既要在两种观测下学习动作速度，也要让增强分支的动作输出、视觉特征和世界记忆与干净分支保持一致。这样，桌布、背景或光照改变时，策略仍应围绕同一个任务目标行动，而不是跟随外观噪声改变计划。

可视化中，预测的 Change Maps 更多落在夹爪、被操作物体和目标区域，Flow Maps 给出与真实未来运动一致的局部方向；

诊断实验还显示，WorldBridge 在视觉扰动下能降低未来变化区域的预测误差。

▲图 | 仿真与真实机器人中的变化区域和运动方向可视化

▲图 | 视觉扰动与不同未来时距下的预测分析

03    四类仿真基准、两种真实机器人：提升落在哪里？

论文在 LIBERO-Plus、LIBERO-Dynamic、RoboTwin 2.0、VLABench 四类仿真基准，以及 Dobot Nova 2、Franka 两种真实机器人上评估。

设置覆盖静态外观变化、动态相机视角、双臂操作、语言泛化和真实世界的干扰物、光照与桌布变化。

▲图 | 四类仿真基准与真实机器人任务设置

几组结果尤其值得注意：

这些数字来自不同基准和对应骨干的比较，不能把各项增益简单相加。它们共同说明：

世界先验不仅能帮助特定模型，在 Florence-2、PaliGemma 和 Qwen3.5 等不同视觉语言骨干上也可以作为动作接口发挥作用。

真实机器人结果同样支持这一点。

在 Dobot 上，Bridge-WA 的 Easy 平均成功率为 73.6%，包含视觉扰动的 Hard 设置为 69.1%；后者比 X-VLA 的 58.0% 高 11.1 个百分点。

▲图 | Dobot、Franka 结果与世界先验分辨率分析

值得注意的是，VLABench 的平均意图分提升远小于成功率和进度分提升。换言之，Bridge-WA 的收益主要体现在把已经理解的任务意图落实为有效动作，而不只是更准确地复述或识别指令。

04    方法小结

Bridge-WA 把世界建模与动作生成连接起来：先从示范中实际发生的未来提取监督，再让 LWDM 学会仅凭当前上下文预测三类世界先验。部署时，当前观测经视觉语言骨干、LWDM 和 WorldBridge，最终由动作专家输出动作片段；无需在线生成未来图像或视频。

方法的另一层改进在于：世界先验不被当作永远正确的指令。

三类先验负责描述结果、位置和运动，WorldBridge 则负责选择性读取并调节其影响。消融结果显示，三类信息具有互补作用，而可靠性门控是把预测信息稳定转成动作指导的关键。

05    写在最后

Bridge-WA 提醒我们，世界模型对机器人最重要的价值，不一定是生成一段像真的未来视频，而是提供能帮助动作决策的预测结构：

哪些物体会改变、改变在哪里发生、局部运动将如何展开，以及这些预测此刻能被信任到什么程度。

Bridge-WA 在视觉和视角变化下展示了跨骨干、跨仿真与真实平台的收益；它也有清晰的边界：先验质量依赖示范覆盖，图像空间的变化与光流还难以完整表达遮挡后的三维动力学。如何把这种“行动相关的未来”扩展到更复杂的几何关系和跨机器人数据，是下一步值得探索的问题。

Ref

论文题目：Bridge-WA: Learning Action-Relevant World Dynamics for Robotic Manipulation

论文地址：https://arxiv.org/abs/2607.02195

项目主页：https://hcplab-sysu.github.io/BRIDGE-WA