2026，世界动作模型（WAM）走到哪一步了？

可以简单理解为：不押注任何一种特征，而是都学。它基于 RDT，在 Mid-Training 阶段先用多视觉模型蒸馏得到的 Theia 表征做全参数适配，让模型学会预测未来观测的隐空间表示而非像素。随后在 Post-Training 阶段将网络扩展为多个并行专家，每个专家拥有独立的 Prefix 和 LoRA，分别对齐不同视觉基础模型的表征，最后由轻量 router 汇总各专家的动作特征。推理时所有视觉教师均可移除。

这项设计真正有意思的地方，是世界模型从"预测唯一正确的未来图片"，转向了"学习多种对未来可能有用的描述"。

它隐含的判断是：机器人不一定需要把未来"生成出来"，只需要拥有足够丰富的未来表征。

▲FRAPPE 先在 Mid-Training 阶段学习未来表征，再通过多个 Prefix/LoRA 专家分别对齐不同视觉基础模型，让世界建模监督从单一像素或单一特征空间扩展为多种未来表示。

（ACM MM 2026 Oral）MMaDA-VLA：从预训练开始统一理解、生成和动作

UD-VLA 把视觉和动作放入统一离散扩散过程之后，MMaDA-VLA 则把“统一”向前推到了预训练阶段。

很多 VLA 的统一仍然带有明显的拼装痕迹。

例如先用一个自回归 VLM 获得视觉语言能力，再增加动作头；或者先生成未来图像，再使用额外策略网络把视觉未来转换成动作。

MMaDA-VLA 希望从模型出生时就不再区分这些任务。

它建立在原生离散扩散模型之上，把语言、图像以及连续机器人控制都映射到共享的离散 token 空间，再利用单一 backbone，通过 masked token denoising 同时学习多模态理解、未来视觉生成和动作生成。

其中一个很关键的变化是，未来 goal observation 和 action chunk 并不是严格按照“先图像、再动作”的顺序生成。

两者都可以从 mask 状态开始，并在多轮去噪中并行恢复。这样，未来目标图像不断约束动作，而动作也不是一次性定死，而是在迭代过程中逐渐收敛。

这项工作代表的方向，是把世界建模从一个额外功能进一步变成 VLA 自身的生成范式：

模型不是“先学会看和说，再加一个会行动的头”，而是一开始就在同一种表示和同一种生成机制里学习理解世界、想象未来和产生动作。

▲MMaDA-VLA 从预训练阶段开始，将语言、视觉和连续动作统一离散化，并通过同一个扩散骨干并行恢复未来目标图像与动作 token。

（CVPR 2026）HiF-VLA：与其记住过去每一帧，不如记住发生了什么运动

前面三项工作主要讨论未来和动作怎么耦合，但机器人还有另一个绕不开的问题：未来预测本身依赖过去。

只看当前单帧，模型很容易产生时序短视：

例如一个杯子现在在桌面左边，但它是静止还是正在被推向右侧，单帧看不出来。解决方式看起来很简单，把过去多帧RGB全塞进VLA。但视觉token会迅速膨胀，延迟和显存都扛不住。

HiF-VLA的思路是：不记住"过去长什么样"，只记录"过去发生了什么运动"。

它将历史RGB压缩为运动表征，再编码成Hindsight tokens。当前观测和语言提供Insight，Foresight queries预测未来运动，另一分支预测动作。

模型内部的 Joint Expert 保留两条流，一条处理运动，一条处理动作。

通过cross-stream attention交换信息，历史运动信息则通过AdaLN对两条分支进行调制。

简单说，模型不需要回放一长串"录像"，只拿着一份压缩过的运动历史，推演接下来东西怎么动、机器人该怎么动。

这种压缩在长历史输入下尤其明显。HiF-VLA在多视角LIBERO-Long上达到96.4%成功率，相比直接堆叠历史帧，推理延迟减少58.3%。

从这一点看，HiF-VLA 的重点并不是单纯“加入光流”。它代表的是一种更根本的取舍：

如果历史最终是为了帮助预测未来，就不需要保存过去的全部像素，只需要保留真正描述变化的信息。

▲HiF-VLA 不再直接堆叠大量历史 RGB，而是把过去压缩为运动表征，并利用 Hindsight、Insight 与 Foresight 联合建模历史动态、当前观测和未来运动。

UD-VLA 让视觉未来和动作一起去噪， FRAPPE 用多个视觉老师定义未来， MMaDA-VLA 从预训练开始把理解、生成和动作放进统一扩散框架， HiF-VLA 则进一步压缩过去并显式预测运动。
它们都在缩短“想象未来”和“决定动作”之间的距离。

02 未来应该用什么表征？像照片，还是必须和行动有关？

（ECCV 2026）S-VAM：让慢模型教会快模型“一眼看懂未来”

世界模型用于机器人控制时，一直存在一个很现实的速度和质量矛盾。

完整视频扩散质量高，但多轮去噪计算代价太大；一步diffusion速度快，但早期特征噪声强，几何和语义信息纠缠在一起。

结果是——看得清就来不及动，来得及动又未必看得清。

S-VAM的思路是把两种方案揉在一起。

它先让视频扩散模型完整生成多步未来，从中分别提取几何和语义两类表征作为teacher target；再训练一个轻量decoupler，让一步diffusion的早期噪声特征直接映射到这两类稳定的foresight特征上。

换句话说，S-VAM 没有让机器人每次执行动作前都花时间“做完整的未来梦”，而是先用慢速多步生成教会模型：

一个好未来最值得保留下来的几何和语义结构是什么。

正式部署时，只需一次前向即可拿到这份压缩后的"未来蓝图"。效率上，S-VAM整体控制频率可保持在约25Hz，满足实时控制需求。

这项工作的核心不是"蒸馏"本身，而是一种新的未来观：机器人未必需要未来的每一个像素，它可能只需要一张稳定的几何和语义蓝图。

▲S-VAM 用模型自身的多步未来生成作为教师，将一步扩散中噪声较大的特征解耦为几何与语义 foresight，在避免完整视频生成开销的同时保留对动作有用的未来信息。

Robust-WAM：既保留视频生成先验，又别被灯光和纹理骗走

S-VAM 重新组织了一步 diffusion feature，Robust-WAM 面对是则是另一个基础矛盾：

世界模型究竟应该活在生成空间，还是语义空间？

当前多数 WAM 继承自预训练视频生成模型，天然工作在 VAE latent space。好处是继承了大规运动先验；但 VAE 以像素重建为目标，对颜色、纹理、光照格外敏感。

测试环境换一盏灯、背景材质变一下，这些视觉波动就可能被误判为重要的状态变化。

换成 DINO 这类 semantic latent 固然对视觉扰动更鲁棒，但视频生成模型积累的动态先验又无法继承。

Robust-WAM 则不做二选一：保留 VAE 的生成通路，同时在动作流中额外加入语义未来监督。

具体而言，它在每个未来时间步和视角对应的位置插入 learnable query，经 Action DiT 处理后对齐真实未来帧的 DINOv3 语义特征；每个 query 复用对应 action token 的时序位置编码，让模型知道"这是未来第几步"。

最关键的是，DINOv3 和对齐 head 只在训练阶段存在，部署时完全删除。

这种轻量修改在干净环境下收益不大，但 OOD 场景下效果明显。

因此，Robust-WAM 的答案因此非常明确：

生成先验和语义鲁棒性没有必要二选一。未来可以继续在生成空间里学习，但动作应该锚定到对外观变化不敏感的语义动态。

▲图6 | Robust-WAM 希望同时保留 VAE 世界模型继承视频生成预训练的优势，以及语义表征对光照、纹理等外观变化更鲁棒的特性。

PSG-JEPA：世界模型预测得准，不代表它知道机器人在哪里

如果说前几项工作还在讨论视觉未来应该怎么表示，那么 PSG-JEPA 提出了一个更尖锐的问题：

一个世界模型把未来 latent 预测得非常准确，就说明这个 latent 真正理解物理世界了吗？

答案可能未必。

JEPA 类世界模型不生成像素，而是在 latent space 中学习“给定当前状态和动作，下一个 latent 应该是什么”。这看起来已经绕开了视频生成的大量冗余。但作者发现，一个 forward prediction loss 很低的模型，其 latent 中依然可能无法可靠读出一些很基础的机器人状态。

最典型的例子是末端执行器 yaw。在研究分析中，从 forward-only JEPA latent 中恢复这项物理状态的能力很弱。换句话说，模型很会猜下一个 latent，却未必知道机器人自身的真实物理状态发生了什么。

PSG-JEPA 将这个问题进一步转成 physical grounding，并增加两种训练监督。

第一种是 state grounding，要求单个 latent 能够回归机器人本体状态；
第二种是 transition grounding，给定两个不同时刻的 latent，模型需要预测这段时间里多个关节角究竟发生了多少变化。

重要的是，这些本体状态从来不会作为世界模型输入，它们只是训练时用来塑造 latent；两个 grounding head 在训练完成后也全部删除。

因此部署阶段不会增加额外推理成本。

实验中，PSG-JEPA 在 LIBERO-Goal 上相较 LeWM 提升 7.6 个百分点，相较 DINOv2 提升 5.2 个百分点；真实机器人平均成功率则相较 LeWM 提升 19.3 个百分点。

世界模型过去习惯以“未来预测误差低不低”判断表征好坏，但机器人最终关心的是控制。如果一个 latent 连机器人自身状态都无法稳定识别，那么它即使非常容易预测，也未必是好的控制表征。

因此 PSG-JEPA 给出的判断是：

Predictable，不等于 physical。一个真正服务机器人的世界模型，不只需要预测未来，还需要让未来中的物理状态可以被识别。

▲PSG-JEPA 指出，仅依靠未来 latent 预测并不能保证表征真正对应机器人的物理状态，因此进一步加入 state 与 transition 两类 grounding 监督。

4D-WAM：机器人活在动态三维世界，而不是一串二维图片里

PSG-JEPA 让 latent 对机器人自身物理状态负责，4D-WAM 则把视角转向外部世界。

传统 WAM 基本沿用视频模型的思路，把世界看成连续二维图像。后来一些方法加入 depth 或 3D 特征，但很多时候仍然是在每个时间点分别恢复空间结构，再让时间沿着帧序列往前走。

问题在于，机器人实际行动的环境不是“一连串独立的 3D 快照”，而是一个三维结构不断随时间变化的四维世界。

4D-WAM 因此把 3D trajectory field 作为新的监督信号。

它没有要求 WAM 直接生成轨迹场，而是在训练过程中用 4D foundation model 提取物体和场景随时间变化的轨迹表示，再用它约束 WAM 中间 feature。

方法分成两部分：

Motion Alignment 描述相邻时刻之间的局部运动变化；
Destination Alignment 则从起点和最终目标之间的相似度分布出发，提供更长程的目标约束。

这里还有一个很值得注意的设计。研究发现，直接让 WAM feature 对齐 4D foundation model 的绝对 feature 并不理想。原因在于两个模型拥有完全不同的预训练目标，它们的表示空间本身并不对应。最终 4D-WAM 对齐的是feature 在时间上的变化，而不是 feature 本身。

换句话说，与其强迫两个模型对“这个物体是什么”达成一致，不如让它们首先对“这个东西怎么动”达成一致。

如果把这一类路线和前面的工作放在一起看，就会发现未来表征正在从“图像”越来越靠近机器人真正生活的物理世界：

图像告诉模型未来看起来怎样，而 trajectory field 更接近告诉它，未来的三维世界将怎样运动。

▲4D-WAM 使用 3D trajectory field 为 WAM 注入时空监督，将逐帧视觉预测进一步推进到对动态三维结构及其长程运动的联合建模。

走完这四项工作，路线的变化已经非常明显。

S-VAM 把未来拆成几何与语义， Robust-WAM 为动作引入外观不敏感的 semantic foresight， PSG-JEPA 要求 latent 明确承载机器人物理状态， 4D-WAM 则进一步用 trajectory field 描述动态三维世界。

世界模型开始不再执着于“把未来完整画出来”，而是在寻找一种更直接服务控制的未来工作语言。

接下来剩下的问题就是：这些未来表征离真正复杂的机器人行动还有多远？

03 把这些能力带向移动操作和测试时决策

MobileWAM：桌面机械臂加一个底盘，并不等于移动操作

当前大部分WAM在桌面操作场景上验证：机械臂固定，视角稳定，动作范围受限。

但移动操作不是"在桌面下面加个底盘"那么简单，譬如：

机器人一旦移动起来，相机会随着底盘持续发生 ego-motion；
同一个任务可能存在大量不同的 base-arm 协同路径；
移动通常涉及大尺度低频运动，抓取和接触却需要小尺度高精度控制。

原本相对稳定的视觉和动作分布一下变得复杂得多。

MobileWAM 正是针对这一缺口，把视频生成模型中的世界动态先验扩展到 mobile manipulation（移动操作）。

它以 Wan 视频扩散 Transformer 作为 World Expert，再配置一个更轻量的 Action Expert。两者在每一层通过联合注意力发生交互，但注意力是非对称的：动作 token 可以读取视觉 token，视觉 token 却不会读取动作。

这种设计带来一个实用的效果：部署时World Expert 可退化成一个 current-frame encoder，当前视觉 feature 只需要计算一次并缓存，而后面的 action denoising 可以不断复用。

此外，MobileWAM设计了Chain-of-Foresight：让多个中间层串联预测一段future latent chain，提供长程未来监督。

但最关键的一点发生在部署阶段：未来生成和 CoF 全部删掉，只保留被这些监督塑造好的当前表征和动作策略。

这暗示了一个值得注意的趋势：未来不一定要在推理时生成，也可以只存在于训练阶段，作为监督把动态理解压回当前表征。

▲MobileWAM 将大型视频扩散 Transformer 作为 World Expert，与轻量 Action Expert 联合建模，并通过 Chain-of-Foresight 和 Mobile MoE 处理移动操作中的长程动态与底盘、机械臂协同。

DreamTrajectory：行动之前，先问一句“这个动作真的能走成我想的轨迹吗？”

MobileWAM 让 WAM 从固定机械臂迈向移动机器人，而 DreamTrajectory 又往前走了一步：

世界模型不仅参与训练，还开始直接参与测试时选择动作。

移动操作的第一个难点，是 whole-body action space 太大。

底盘的位置、朝向和机械臂多个关节一起变化，直接从图像和语言搜索一整个动作块非常困难。

但机器人真正想实现的任务往往可以用一个更低维、更明确的目标描述，例如“末端执行器沿着这条轨迹靠近把手，然后拉开抽屉”。

第二个问题是 open-loop action chunk。

VLA 一次预测数步动作之后，通常直接连续执行。但真实接触、摩擦、底盘误差都会让动作实际产生的轨迹偏离模型原本的计划。

也就是说，模型以为自己会走到 A，执行之后却可能到了 B。

DreamTrajectory 针对两个问题分别加入一层显式结构。

首先，Action Expert 不只生成 whole-body action，同时预测一个 intention-level end-effector trajectory，用这条任务空间轨迹引导底盘和机械臂联合动作。其次，它再训练一个轻量 trajectory world model：输入候选 action chunk，预测这个动作真正执行之后会产生什么末端轨迹。

因此测试时就可以进行：search → predict → score → execute

策略先采样多个候选动作，世界模型预测这些动作可能造成的结果，再比较哪一个结果最接近最初规划的轨迹，最后才把对应动作发给机器人。世界模型在这里已经不再只是一个训练辅助，而更像真正进入了决策循环的“后果模拟器”。

如果说早期世界模型的逻辑是：“预测未来，所以我可能学会更好的动作。”

DreamTrajectory 已经变成：“我有几个动作可以做，先预测每个动作会发生什么，再决定真正执行哪一个。”

这可能也是世界模型距离“决策模型”最近的一步。

▲DreamTrajectory 先显式生成末端执行器轨迹来引导全身动作，再利用轻量轨迹世界模型预测候选动作的实际后果，在测试阶段完成搜索、预测、评分与执行。

04 “未来”正在被不断拆解

从香港科技大学（广州）李昊昂课题组的近期研究中，可以看出一个非常明显的变化：

世界动作模型正在逐渐摆脱“未来一定要被完整生成出来”的执念。

最初引入世界模型，一个非常直觉的逻辑是，让机器人先想象下一帧甚至未来几秒的图像，再用这段视觉未来指导行为。

但机器人逐渐进入更复杂的任务之后，这种做法暴露出两个问题：

一方面，高质量视频生成本身太慢；另一方面，像素真实度和动作有效性之间并没有简单的等号。

一个对机器人有用的世界模型，不需要把所有未来都预测得一样好，它需要把和行动真正相关的未来预测对。

另一个变化，则发生在 world model 和 policy 之间。

过去比较直观的系统结构是“世界模型先预测，再把预测结果交给策略”。

在 UD-VLA、MMaDA-VLA 里，视觉未来和动作已经进入同一个生成过程；
在 MobileWAM 中，未来甚至只作为训练监督存在，部署时 world generation 可以整个被拿掉；
DreamTrajectory 又走向另一个极端，让 world model 在测试阶段亲自参与候选动作选择。

因此 World Action Model 可能并不是一种固定架构，而更像是一种正在快速形成的方法论：

机器人不应该只根据当前观测回答“下一步做什么”，还应该拥有某种能力去表示“接下来可能发生什么”，并让这个未来参与行动。

至于这个未来究竟是一张图、一组语义 token、几何结构、物理状态、四维轨迹，还是一个用来检验动作后果的轻量模型，目前仍然没有统一答案。

而这或许恰好解释了为什么最近会同时出现如此多不同的 WAM 路线。

Ref

1. Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process, ICLR 2026.（https://github.com/OpenHelix-Team/Unified-Diffusion-VLA）

2. FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment, 2026.（https://github.com/OpenHelix-Team/frappe）

3. MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation, ACM MM 2026 Oral 2026.（https://github.com/yliu-cs/MMaDA-VLA）

4. HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models, CVPR 2026.（https://github.com/OpenHelix-Team/HiF-VLA）

5. S-VAM: Shortcut Video-Action Model by Self-Distilling Geometric and Semantic Foresight（https://github.com/Haodong-Yan/S-VAM）

6. Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models

7. Is Forward Prediction Enough? Physical State Grounding for JEPA World Models

8. 4D-WAM: Infusing Spatiotemporal Awareness into World Action Models through Trajectory Fields（https://github.com/lishanyqy/4DWAM）

9. MobileWAM: Bridging World Action Models to Mobile Manipulation with Chain-of-Foresight

10. DreamTrajectory: Trajectory-Guided Action Generation with World Model Alignment for Mobile Manipulation

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐