26年9月来自港科大（广州）、牛津大学、普林斯顿大学、腾讯、中山大学、上海交大、北大、清华、阿里巴巴、新加坡管理大学和南洋理工的论文“World Models for Embodied Intelligence: From Plausible to Controllable to Actionable”。

这篇综述最有价值的地方，是提出了一套判断世界模型是否真正有用的标准：它能否持续保留关键状态，能否正确预测动作造成的变化，以及这些预测能否让智能体做得更好。 它的主要贡献在于组织研究问题和评测证据；对具体方法的定量比较与能力核验，则相对不足。

如图 1 本综述论文概览：

---

论文讨论的核心，是“什么样的预测能力能够改善具身行为”。

机器人所处的环境通常具有三个特点：只能观察到部分状态；动作与物体接触后会产生复杂变化；当前动作的影响可能很久以后才显现。因此，仅凭当前图像和语言指令直接输出动作，往往不足以支持长时序规划、比较不同选择，以及在失败后调整行为。

世界模型承担的作用，是根据已有交互历史和候选动作，预测环境中与任务有关的未来变化。它可以预测：

• 图像、视频或视觉特征；
• 物体、位置、占据空间及三维运动；
• 接触、力、摩擦、形变等物理变量；
• 奖励、价值、风险、任务进度等决策变量。

世界模型不必重建完整世界，也不必生成可观看的视频。 只要预测状态保留了任务所需的信息，就可能支持有效决策。论文回顾的 Dreamer、MuZero 等方法，正是理解这一点的重要基础。（第 2 节，第 6—8 页）

这里也需要区分世界模型与 VLA：

概念	主要功能	在本文中的边界
世界模型	预测环境或任务状态如何演化	预测必须与具身推理、交互或决策有关
VLA，即视觉—语言—动作模型	根据观察和指令产生动作	纯反应式 VLA 不自动属于世界模型
世界—动作模型，WAM	将未来预测与动作生成紧密结合	可以采用级联、共享表示或联合生成
学习型模拟器	提供可以反复交互的预测环境	是世界模型的一种使用方式

同一系统可以同时属于多个类别。架构名称、参数规模、输出形式，都不能单独证明其能力。

---

全文的主线是三个递进的能力要求，而不是三种互斥的模型架构。

论文将它们称为 Plausible、Controllable、Actionable。为避免“Actionable”被误解为仅仅能输出动作，下面分别译为“状态可信”“干预可控”和“决策有效”。（第 3 节，第 10—12 页）

能力层级	核心问题	以机器人推杯子为例	需要的证据
Plausible：状态可信	模型是否保留了正确、持续的任务相关状态？	杯子保持身份和位置连续，不穿过桌面，遮挡后仍然存在	状态误差、几何和物理一致性、随预测时长变化的漂移
Controllable：干预可控	改变动作，模型是否预测出对应的正确变化？	从同一起点向左推和向右推，应产生符合实际的不同结果	同一初始状态下的动作分支实验，并与实际执行比较
Actionable：决策有效	使用预测后，系统是否取得可测量的收益？	机器人比较推法，选择更容易成功且不易碰撞的方案	在匹配数据、控制器和计算预算的条件下，任务表现提升

这三个要求对应三种常见误判：

1. 视频逼真，不代表状态正确。 杯子的纹理可以很漂亮，但物体身份、遮挡关系或接触状态可能已经出错。
2. 输入了动作，不代表模型理解动作后果。 模型可能忽略动作，只生成训练数据中最常见的后续情节。
3. 能够预测动作后果，不代表值得用于控制。 预测可能太慢，也可能在决定行动优劣的细微差异上出错。

此外，作者明确强调：某项研究展示了下游收益，不能据此推断它已经验证了所有状态一致性和动作干预能力。这一点对阅读后文分类非常重要。

几何、物理和动作，是贯穿三个层级的三类“现实对应关系”。

论文用 grounding 表示：模型中的预测，应当与真实交互中可以检验的属性对应。

• 几何对应：有什么、在哪里，以及物体身份、位置、遮挡、多视角关系是否一致。
• 物理对应：状态能否通过合理的动力学过程发生变化，包括碰撞、接触、摩擦、力和材料响应。
• 动作对应：指令的方向、大小、时机、坐标系及机器人形态，是否与实际后果正确关联。

作者将这三类内容与四条改进路径交叉，得到全文另一个核心框架——3×4 矩阵。下表是对原文表 2 的压缩整理：

预测所对应的内容	数据改进	奖励与评价改进	策略改进	世界模型自身改进
几何	补充新视角、遮挡和空间变化数据	评价碰撞、可达性和空间进度	选择可行路径与物体关系	修正地图、身份和持久场景状态
物理	收集接触、滑移、形变和失败过程	评价稳定性、力限制及物理可行性	学习稳定、可执行的动作	修正动力学与接触预测
动作	收集不同方向、幅度、时机的配对干预	评价指令遵循、价值和风险	根据候选动作后果选择行为	修正动作语义、延迟和转移偏差

这个矩阵回答的是：模型预测了什么，这些预测又改变了系统的哪个部分。 一个方法占据其中某个格子，只能说明它具有相应接口，并不能证明已经带来实际收益。

关于“状态可信”，论文梳理了四条相互补充的技术路线。

如图 3 所示合理可信的世界模型：

第 4 节并非按照发表时间排列，而是按照“预测状态增加了哪些可检验属性”组织。（第 12—16 页）

技术路线	主要思路与代表方法	解决的问题及剩余局限
紧凑潜状态与物体中心表示	C-SWM、SlotFormer 用对象及关系表示场景；V-JEPA 等在特征空间预测	降低对像素重建的依赖；但潜在特征正确与否，不一定能直接换算成位置、接触等物理误差
具有尺度的场景状态	OccWorld 预测三维占据；GaussianWorld 建模场景演化；PointWorld 使用三维点运动	可以用距离、占据或位移检验预测；但空间范围和时间跨度扩大时，成本也会上升
物理约束与交互保真	PhyDNet 引入物理结构；ParticleFormer 预测多物体、多材料动力学；PIN-WM 结合可微物理	让支撑、碰撞、接触等成为显式建模对象；短时可行性仍不保证长期稳定
持久记忆与长时一致性	持久世界模型、长期空间记忆，以及长上下文架构	保留离开视野后的物体和场景；真正要验证的是身份与状态保持，而非单纯生成更多帧

这里最值得记住的是：长视频不等于长时记忆，多视角一致也不等于离开场景后再回来仍然正确。

作者提出的典型检查是：遮住一个物体，改变场景中其他部分，随后重新观察它。模型应当恢复正确的身份和状态；如果信息不足，应保留不确定性，而不是凭空补出确定答案。

---

关于“干预可控”，关键是证明模型确实响应了动作。

如图 4 所示干预可控的世界模型：

第 5 节按照动作如何进入模型，整理了四种发展方向。（第 16—20 页）

第一种是显式动作条件预测。 给定电机命令、末端轨迹或车辆控制，预测未来状态。IRASim、驾驶领域的 Vista 等属于相关代表。它们建立了动作到未来的接口，但动作标签往往依赖特定机器人和数据集。

第二种是潜在动作、语言和目标条件。 Genie 从无动作标注的视频中学习潜在控制变量；LAPA 尝试将潜在动作映射到机器人动作；语言条件模型则允许以“拿起物体”等高层指令描述干预。这扩大了数据来源与控制方式，却也引出问题：一个潜在向量或语言表达，究竟对应多大的、什么方向的物理变化？

第三种是将控制表达为可测量的结构变量。 例如相机轨迹、物体三维运动、关节配置、接触力。3DFlowAction 用物体运动表达跨形态动作，DreMa 将场景重建与物理模拟结合，OmniVTA 引入视觉和触觉。这使“要求发生什么”和“实际发生什么”更容易比较，但依赖额外感知、重建或标定。

第四种是交互式预测与联合世界—动作建模。 Ctrl-World 等支持策略在预测环境中持续行动；GR-1、GR-2、PAD、Unified World Models 等将未来预测与动作生成耦合。难点随之从“复现记录中的动作序列”，变成“面对策略自己选出的动作，预测是否依然可靠”。

因此，控制能力的关键实验应当是：固定初始状态，改变动作，再核对预测变化与真实变化是否一致。 将动作遮蔽、打乱或替换成错误动作，可以进一步检查模型有没有真正利用动作输入。

---

关于“决策有效”，论文区分了预测进入系统的四个位置。

如图 5 所示可操作决策有效的世界模型：

第 6 节是整篇综述与机器人实际使用联系最紧密的部分。（第 20—25 页）

使用方式	世界模型怎样发挥作用	代表工作	最需要验证什么
规划、搜索与候选排序	预测不同候选动作的后果，再选择更好的方案	DINO-WM、Drive-WM、WorldPlanner	候选排序是否正确，收益是否值得额外预测成本
策略学习与动作解码	从想象轨迹生成动作，或用未来预测训练更好的策略表示	Dreamer、FLARE、DreamZero	改善来自预测结构的哪一部分，运行时是否需要显式生成未来
学习型模拟器	在模型中训练策略，或预测不同策略的实际表现	LUMOS、WMPO、WorldEval、WorldGym	策略是否利用模型漏洞，模拟结果能否对应真实结果
运行时验证、纠正与恢复	比较预测与执行结果，决定继续、重规划或回退	CheckVLA、VLA-Corrector、CycleVLA	是否及时发现偏差，误报有多大代价，干预后是否真正恢复任务

其中有三个很实用的判断。

首先，训练时利用预测，不等于执行时必须生成视频。 预测目标可以改善策略内部表示，运行时直接输出动作，从而减少延迟。

其次，一个模型既用于训练策略，又用于评价该策略时，评价可能失去独立性。 策略可能只是学会了利用该模型的错误，因此需要真实系统或独立评测来核验。

最后，论文区分了“诊断、检测、纠正、恢复”：解释哪里错了、执行中发出警报、修改剩余动作，以及回到能够继续任务的状态，是四种不同能力。仅能检测失败，并不意味着能够恢复。

四条改进循环既能提升系统，也可能放大错误。

第 7 节将前面的单次使用扩展为反复更新。（第 25—28 页）

循环	预期收益	可能形成的自我强化错误
数据循环	生成、筛选或主动收集更有价值的交互	数据越来越集中于模型已经擅长生成的情况，覆盖范围变窄
奖励与评价循环	从预测中获得进度、价值、可行性和风险信号	策略优化模型的评分，却没有完成真实任务
策略循环	用想象经验训练或规划，减少真实交互	在模型中表现越来越好，在真实系统中表现下降
模型自身循环	根据执行偏差修正参数、状态、记忆或不确定性	适应当前策略时遗忘少见动力学，并吸收策略偏差

作者特别强调：一次更新有效，不足以证明持续改进。要检验多个循环之后，成功率、覆盖范围、旧能力保持和真实交互成本是否共同改善。

不同具身领域共享上述问题，但决定成败的状态变量不同。

第 8 节讨论了这一点，也提醒读者不要直接比较不同领域的单个成绩。（第 28—31 页）

领域	最重要的预测内容	更有意义的结果指标
机器人操作	物体状态、接触、摩擦、力和可恢复状态	任务及子任务成功、接触质量、恢复效果
自动驾驶	道路结构、自车动作、其他参与者的多种可能行为	路线完成、碰撞、舒适性、违规及干预次数
导航与探索	遮挡后的空间、持久地图、可通行性和目标进度	到达能力、探索收益、地图一致性
运动与控制	身体动力学、地形接触、稳定性及快速动作响应	回报、跌倒率、约束违反和适应能力

跨机器人迁移还要分别考察四件事：表示能否迁移、动力学能否迁移、动作语义能否迁移、决策逻辑能否迁移。

例如，“将杯子向右移动”这一目标可以共享，但不同机械臂实现它所需的关节动作、力度和时间并不相同。论文因此要求报告冻结了哪些模块、调整了哪些模块，以及消耗了多少真实交互数据。

---

论文在数据和评测上的建议，比单纯罗列模型更值得用于研究设计。

第 9 节及表 4 的核心，是让数据、指标和对照实验对应具体能力主张。（第 31—33 页）

在数据方面，作者强调：

• 视频需要与动作、时间、坐标系、控制频率和标定信息对齐；归一化后的动作向量不自动拥有统一语义。
• RoboNet、Open X-Embodiment、BridgeData V2、DROID 等提供不同范围的真实交互数据。
• RLBench、CALVIN、LIBERO 等可复现环境，有利于从同一状态执行不同动作，获得分支结果。
• 成功示范不足以训练失败检测和恢复；还需要失败发生时刻、原因、纠正动作及最终结果。
• 合成失败可以补充覆盖，但应检查物理和任务有效性。

在评测方面，作者要求分别回答：

1. 状态是否正确？ 除 SSIM、LPIPS、FVD 等视觉指标外，还要检查身份、位置、占据、接触和长期漂移。
2. 动作后果是否正确？ 做共享初始状态的配对干预，并加入遮蔽、打乱和错误动作对照。
3. 预测是否改善真实结果？ 测量任务收益、策略排序、失败检测或恢复效果，同时报告模型调用次数和延迟。

评测必须控制观察历史、候选动作和决策预算。多用了相机、特权状态、训练数据或推理计算，都应该被明确计入比较条件。

---

如果只提炼这篇综述的要点，最重要的是以下六条。

1. 研究目标是改善具身行为。 预测质量最终需要与决策收益建立联系。
2. 表示形式与能力必须分开评价。 视频、潜在状态、三维结构各有用途，没有一种形式天然更高级。
3. 动作条件输入不等于因果干预能力。 必须用改变动作后的真实结果检验。
4. 记忆的核心是状态持续性。 生成时长和上下文长度只是实现条件。
5. 世界模型的作用超出规划。 数据选择、奖励构造、策略训练、评价、纠正和恢复都在其范围内。
6. 闭环与实时预算是最终检验。 延迟、误报、模型漏洞和反复更新中的偏差，可能抵消预测收益。

作者指出的领域难题，集中在六个方面。

这些是第 10 节提出的研究问题。（第 33—35 页）

领域难题	为什么难	作者建议关注的检验方式
持久状态与漂移	长期预测会丢失身份、几何和物理属性	遮挡后重现、状态修复，以及误差随时间变化
真实动作效应	示范中的动作与场景、目标相互关联，模型容易利用相关性	固定起点、改变动作，加入扰动与失败分支
预算内的决策收益	准确预测也可能太慢，或无法正确区分候选方案	固定计算预算下的选择损失、成功率和延迟
几何、物理、动作的一致性	几何可达的抓取可能不稳定；物理可行的动作可能违反指令	专门构造三类要求相冲突的情境
不确定性与循环稳定性	策略更新会改变访问状态，原来的置信度可能失效	按动作、时长和更新轮次检验校准与退化
评测与复现	私有数据、大模型和真实机器人实验成本高	公布动作接口、预算、时延、随机种子和失败案例

---

这篇综述本身的不足，则主要体现在“框架提出得很清楚，证据整理尚未达到同样的细致程度”。

1. 最关键的问题：它没有把自己的能力标准系统地应用到每篇被综述工作上。

图 2 的说明明确表示，论文放在某个位置，是因为它在叙述中承担该主题的主要角色，并不意味着所有对应能力都已被检验。（第 9 页）

因此，读者看到某方法位于 Actionable 部分，不能直接推断它同时具备充分的状态一致性、配对干预证据和预算匹配的下游收益。

更有价值的补充应当是一张逐方法的证据表：是否做过状态测试、动作对照、真实闭环实验、预算匹配，以及哪些能力尚未验证。当前分类图更适合作为文献导航。

2. 缺少足够的定量综合，难以支持方法选型。

全文主要是概念、机制与研究方向的整理，没有形成系统的跨方法比较表，将成功率、真实数据量、模型调用成本、延迟、预测时长和硬件要求放在一起。

作者在结论中承认，不同评测设置限制了直接比较。但仍可以在较小的同类任务组内进行比较，或明确标注不可比因素。

因此，读完之后能理解“应该考虑哪些路线”，却很难回答“在某种数据量、硬件和控制周期下，应该选择哪种路线”。

3. “递进阶梯”作为评价原则有用，作为普遍必要关系还需要限定。

论文把三个层级定义为累积要求，但决策所需的正确性通常是局部、任务相关的。一个抽象模型可能只保留价值排序，就能改善决策；一个被动预测器也可能用于失败预警，而无需支持广泛的候选动作干预。

作者已经通过“任务相关状态”和“下层能力可能未测试”等表述处理了部分问题，所以不能简单说框架自相矛盾。但仍应进一步明确：

• 需要在哪个任务和动作范围内成立？
• 哪些状态与干预必须正确？
• 哪些性质只需足以支持特定用途？

更稳妥的呈现方式，是同时报告“状态一致性、干预保真度、决策收益”三个维度及其测试范围，避免被读成一个脱离任务条件的统一等级。

4. 文献选择过程不够透明，属于叙述性综述。

正文没有提供可复现的检索数据库、查询词、检索截止日期、纳入排除标准和筛选流程，也没有统一区分不同工作的证据成熟程度。

这并不否定作者对领域的整理，但会限制读者判断覆盖是否充分、是否存在选文偏向，以及某项趋势有多强的证据支持。对更新很快、包含大量预印本的领域，这一点尤其影响综述的可审计性。

5. 四条“改进循环”更多是分析框架，持续改进的证据尚不充分。

第 7 节纳入的工作横跨静态预训练、一次性数据生成、针对性修正和模型—策略共同更新。作者也承认，这些并不都证明了多轮、误差驱动的持续改进。

此外，更新记忆、修正状态和重新训练模型参数，被放在同一“模型自身循环”中，但三者的成本、风险和评测方式不同。

如果进一步区分更新对象、反馈来源、循环次数及独立验证结果，这一部分会更有操作性。模型和策略同时变好时，也需要交叉冻结实验，才能判断收益来自哪一方。

6. 跨领域框架统一，但领域覆盖深度不均衡。

操作任务、视频生成和世界—动作模型的讨论较丰富；运动控制部分较多依托通用潜在动力学与模型式强化学习工作，对真实高频控制、复杂接触及不同身体形态的展开较少。

作者自己也指出，近期世界—动作研究偏重操作任务。因此，框架可以跨领域使用，但不能据此认为它已经在各类具身系统中获得同等程度的验证。

7. 部分方法描述压缩了关键的数据与监督条件。

一个具体例子是第 25 页对 V-JEPA 2 使用“无标注机器人视频”的描述。这与其原论文用语一致，但容易被读成“只需要视频”。

原论文第 3.1 节明确说明：这里的“无标注”指不使用任务、奖励和成功标签；训练仍使用末端状态，并根据相邻状态变化构造动作。对机器人世界模型而言，这一区别直接影响数据采集成本和动作学习假设。

这不构成该综述的事实性错误，但说明其方法介绍还需要更细致地区分：纯视频、带状态视频、带动作轨迹、任务标签、奖励标签和额外物理传感器。否则，读者容易高估某些路线从无动作信息中学习控制的能力。