World Models 与 Embodied AI：从视频预测到可交互环境建模

系列：AI 论文盘点 / 技术趋势
日期：2026-07-13
适合读者：研究生、具身智能与机器人研究者、多模态生成与强化学习方向读者、有工程背景的技术读者
检索日期：2026-07-13

目录

• 研究背景
• 核心科学问题
• 近一年论文路线图
• 代表论文分组解读
• 方法对比表
• 实验与 benchmark 如何看
• 可复现性与数据问题
• 局限与争议
• 适合研究生继续做的选题
• 总结
• 参考资料

研究背景

“世界模型”并不是新概念。Ha 和 Schmidhuber 2018 年的 World Models 把视觉观测压缩成潜变量，用循环模型预测未来，再让控制器在“梦境”中训练策略。PlaNet 和 Dreamer 系列进一步把模型化强化学习做成从像素到潜空间规划的路线：先学环境动力学，再在模型内部 rollout，最后把想象轨迹转化为行动策略。

过去两年概念明显扩张：视频生成模型让研究者重新思考“视频预测是否可以成为世界模拟”；机器人 foundation model 需要大量交互数据，而真实采集昂贵、慢且有安全风险；LLM/VLM 能处理语言和高层语义，但对接触、遮挡、惯性、空间约束和长时因果仍不稳定。因此，world model 正成为“语言智能如何落到物理世界”的关键补块。

核心科学问题

第一，预测什么才算理解世界。像素级预测能产生漂亮画面，但可能不守恒、不因果；表示空间预测更高效，却难以直接检查细节。研究者需要区分视觉逼真、动力学正确、任务有用三件事。

第二，动作如何进入模型。传统 RL 的动作由 simulator 定义；真实机器人有高维关节、末端执行器、相机视角、语言指令和人类示范。2026 年关于 world action model 的讨论，本质上是在追问：世界模型怎样连接到可执行动作？

第三，长时一致性如何评估。交互式世界模型比普通视频生成更难，因为每一步误差都会被下一步继承。Genie 3 官方页面强调实时交互、几分钟一致性和一分钟尺度视觉记忆；这些能力关键，但独立复现仍有限。

第四，仿真是否真的帮助真实机器人。如果合成轨迹只是视觉多样，策略可能学到错误接触动力学；如果仿真太保守，又无法覆盖真实长尾。DreamGen、Cosmos、OSCAR 的价值，是开始把“生成视频”与下游策略收益联系起来。

近一年论文路线图

交互式视频世界模型 是最热主线。GameNGen 证明扩散模型可以在 DOOM 中做实时 next-frame simulation；Genie 用无动作标签视频、latent action 和可控环境生成建立范式；Genie 3 官方介绍则把目标推进到文本提示生成可实时导航、长期一致的动态世界。2026 年综述把难点归纳为动作可控、长时记忆和实时响应。

具身世界模型与机器人规划 是第二条主线。V-JEPA 2 用大规模视频自监督学习，再用少量 DROID 机器人视频训练动作条件模型。Lifting Embodied World Models 关注高维动作难以搜索的问题，用高层 waypoint 作为低维接口。World Action Models 教程则整理 observation-space、state-space、imagine-then-execute、joint video-action modeling 等范式。

Physical AI 平台 是第三条主线。NVIDIA Cosmos 把 world foundation model 定义为可后训练的通用平台；Cosmos-Predict2.5 报告把 Text2World、Image2World、Video2World 统一到物理 AI 场景。GR00T N1 虽更接近 VLA 策略模型，但“视觉语言理解 + 实时动作扩散”的双系统架构，代表了高层推理与低层控制结合的趋势。

机器人合成数据与虚拟评估 是第四条主线。DreamGen 生成 synthetic neural trajectories 并恢复伪动作训练策略；OSCAR 用 skeleton-conditioned world action model 统一不同 embodiment 的动作条件；Qwen-RobotWorld 以语言作为动作接口，覆盖操作、驾驶、导航和 human-to-robot transfer。其排名和数据细节发表前应再次核验。

代表论文分组解读

1. 模型化强化学习传统

World Models、PlaNet、DreamerV3 的共同范式是：压缩观测、学习动态、在潜空间预测未来、用预测训练策略。优点是目标清晰，可看任务回报和样本效率；局限是环境受控，开放世界多样性远低于互联网视频和真实机器人。

2. 生成式交互环境

Genie 的关键是 latent action model：没有真实动作标签时，模型仍要发现视频中可被控制的变化方向。GameNGen 走强约束场景，先用 RL agent 玩 DOOM 收集轨迹，再训练扩散模型预测下一帧。Genie 3 展示了 general purpose world model 的目标，但科研写作应区分官方演示、技术报告和第三方复现。

3. 表示预测路线

V-JEPA 2 代表 JEPA 思路：预测抽象表示而不是每个像素，避免把算力花在无关细节上。它连接了大规模视频理解、物理推理 benchmark 和机器人 image-goal planning。开放问题是可解释性：规划失败时，很难判断是表征、动作条件、搜索还是控制器出错。

4. 合成数据与 world action model

Cosmos、DreamGen、OSCAR、Qwen-RobotWorld 都在处理“世界模型如何变成机器人研究工具”。关键不再是生成好看视频，而是能否产生可信 rollout、可恢复动作、跨 embodiment 泛化，并在真实策略训练或评估中带来收益。

方法对比表

路线	典型工作	预测对象	动作条件	主要用途	主要风险
模型化 RL	World Models、PlaNet、DreamerV3	潜状态、reward、未来观测	simulator 动作	样本高效 RL、潜空间规划	开放世界泛化弱
交互式视频生成	Genie、GameNGen、Genie 3	下一帧或视频潜变量	latent action、用户动作、文本	可交互环境、agent training	物理不守恒、长时漂移
表示预测	V-JEPA 2	视频表征、未来 embedding	少量机器人后训练	视频理解、机器人规划	错误不直观
Physical AI 平台	Cosmos、Cosmos-Predict2.5	Text/Image/Video-to-World	文本、图像、视频条件	合成数据、policy evaluation	数据许可、算力、sim-to-real 偏差
World action model	DreamGen、OSCAR、Qwen-RobotWorld	未来视频 + 动作表示	语言、骨架、waypoint、robot state	策略训练、跨 embodiment 评估	动作真实性、评价相关性

实验与 benchmark 如何看

不要只看视频质量指标。FVD、CLIPScore、人工偏好能说明视觉质量，但 world model 更应看动作响应、物体持久性、遮挡后恢复、因果干预、物理约束、长时一致性和下游策略收益。

WorldModelBench 的价值在于把视频生成模型当作世界模型审视，加入指令遵从和物理遵从维度。DreamGen Bench 试图验证视频生成质量与机器人策略成功率的相关性。DROID、Open X-Embodiment、RoboMIND 等数据集是重要基础，但相机标定、控制频率、硬件差异、接触动力学和失败恢复仍会造成偏差。

对 Genie 3 这类闭源系统，应区分三层证据：官方演示、技术报告或论文、第三方可复现实验。官方博客可以说明方向和能力边界，但不能直接替代开放 benchmark。

可复现性与数据问题

World model 的数据问题比 LLM 更复杂。视频数据涉及版权、隐私、地点和平台许可；机器人数据还涉及硬件配置、标定参数、控制器、遥操作质量和失败轨迹。论文只写“使用若干小时机器人视频”并不足以复现，研究者还需要知道采集频率、动作空间、相机布置、任务分布和过滤规则。

对于研究生，更现实的复现路线不是从头训练通用世界模型，而是选择小型环境或公开机器人数据集，固定动作接口，比较像素预测、表示预测和状态预测在控制收益上的差异。

局限与争议

第一，视频模型是否真的理解物理仍有争议，尤其在接触、守恒、液体、遮挡和多 agent 交互上。第二，机器人策略从合成视频获益的机制还不清楚：是学到了动力学，还是获得了视觉增强和任务先验？第三，闭源演示正在拉高预期，但社区缺少统一、开放、抗 cherry-picking 的交互式 benchmark。

适合研究生继续做的选题

1. 动作响应评测：测同一初始观测下不同动作是否产生可区分、物理合理的未来。
2. 遮挡与物体持久性：构造长时交互场景，测试模型是否记得离开视野的物体和状态改变。
3. World model 与 VLA 接口：研究 rollout 如何作为 VLA 策略的 verifier、planner 或 data augmenter。
4. 合成轨迹可信度：比较 latent action、inverse dynamics 和真实动作标签对 synthetic trajectory 质量的影响。
5. 小算力复现：基于 DROID 子集、RoboMIND 子集或简单模拟器，系统比较不同预测目标的控制收益。

总结

World Models 与 Embodied AI 的交汇点，是让 AI 不只描述世界，而能在内部模拟“行动之后会发生什么”。2025-2026 年的进展说明，视频生成、机器人策略、仿真平台和 VLA 控制正在汇合。但开放评测不足、闭源演示难复现、物理一致性难量化、合成数据收益不稳定。下一步应把 world model 放进可验证的感知-预测-规划-行动闭环里检验。

参考资料

检索日期：2026-07-13。以下优先列出论文、官方项目页、arXiv 和机构官方说明；快速变化的模型开放状态、benchmark 排名、数据规模和代码仓库链接，发表前建议再次人工核验。

1. David Ha, Jürgen Schmidhuber. World Models. arXiv, 2018. https://arxiv.org/abs/1803.10122
2. Danijar Hafner et al. Learning Latent Dynamics for Planning from Pixels. arXiv, 2018. https://arxiv.org/abs/1811.04551
3. Danijar Hafner et al. Mastering Diverse Domains through World Models. arXiv, 2023. https://arxiv.org/abs/2301.04104
4. Jake Bruce et al. Genie: Generative Interactive Environments. arXiv, 2024. https://arxiv.org/abs/2402.15391
5. Dani Valevski et al. Diffusion Models Are Real-Time Game Engines. arXiv, 2024. https://arxiv.org/abs/2408.14837
6. Google DeepMind. Genie 2: A large-scale foundation world model. Official blog, 2024. https://deepmind.google/blog/genie-2-a-large-scale-foundation-world-model/
7. Google DeepMind. Genie 3: A new frontier for world models. Official blog, 2025. https://deepmind.google/blog/genie-3-a-new-frontier-for-world-models/
8. Mido Assran et al. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning. arXiv, 2025. https://arxiv.org/abs/2506.09985
9. Meta AI. Introducing the V-JEPA 2 world model and new benchmarks for physical reasoning. Official blog, 2025. https://ai.meta.com/blog/v-jepa-2-world-model-benchmarks/
10. NVIDIA et al. Cosmos World Foundation Model Platform for Physical AI. arXiv, 2025. https://arxiv.org/abs/2501.03575
11. NVIDIA et al. GR00T N1: An Open Foundation Model for Generalist Humanoid Robots. arXiv, 2025. https://arxiv.org/abs/2503.14734
12. Joel Jang et al. DreamGen: Unlocking Generalization in Robot Learning through Neural Trajectories. arXiv, 2025. https://arxiv.org/abs/2505.12705
13. Dacheng Li et al. WorldModelBench: Judging Video Generation Models As World Models. arXiv, 2025. https://arxiv.org/abs/2502.20694
14. Jiuming Liu et al. Towards Interactive Video World Modeling. arXiv, 2026. https://arxiv.org/abs/2606.01164
15. Xiaoxiong Zhang et al. From World Models to World Action Models. arXiv, 2026. https://arxiv.org/abs/2607.00836
16. Alex N. Wang et al. Lifting Embodied World Models for Planning and Control. arXiv, 2026. https://arxiv.org/abs/2604.26182
17. Jie Zhang et al. Qwen-RobotWorld Technical Report. arXiv, 2026. https://arxiv.org/abs/2606.17030
18. Zhuoyuan Wu, Jun Gao. OSCAR: Omni-Embodiment Skeleton-Conditioned World Action Model for Robotics. arXiv, 2026. https://arxiv.org/abs/2606.04463
19. Google DeepMind. Gemini Robotics brings AI into the physical world. Official blog, 2025. https://deepmind.google/blog/gemini-robotics-brings-ai-into-the-physical-world/
20. Alexander Khazatsky et al. DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset. arXiv, 2024. https://arxiv.org/abs/2403.12945
21. Kun Wu et al. RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation. arXiv, 2024. https://arxiv.org/abs/2412.13877