世界模型与预测式学习演进路线图与趋势判断

禅与计算机程序设计艺术

44人浏览 · 2026-11-03 23:09:49

禅与计算机程序设计艺术 · 2026-11-03 23:09:49 发布

世界模型与预测式学习演进路线图与趋势判断

title: “世界模型与预测式学习演进路线图与趋势判断”
authors: “[DeepThink.ai]”
affiliations: “[AI Genius Institute]”
keywords: “世界模型；预测式学习；基于模型的强化学习；联合嵌入预测架构；生成式模拟；演进路线图；趋势判断”

论文类型与证据约定：本文是综述—立场型论文（survey–position paper），不报告新实验，也不主张任何新系统的性能优势。文中所有定量结果均来自已发表论文或公开技术报告，并在引用处标注来源；凡属作者判断而非实证结论的内容，均标记为“判断”，并给出置信度与可证伪信号。文献核验截止日期为 2026-10-19。受检索工具限流影响，部分元数据通过公开摘要页与 DOI 记录交叉核验；无法独立核验的细节不写入正文。

标题解释假设：本文将“世界模型与预测式学习”解释为一组相互关联但不等价的研究传统：前者强调学习环境的可预测内部表征，后者强调以预测目标驱动的表征学习与决策学习。本文将“演进路线图”解释为对研究范式变迁的重构，而非对真实历史因果的唯一叙述；“趋势判断”是带置信度与证伪条件的分析判断，不是对未来结果的保证。

Abstract

智能体要在开放环境中行动，就需要在行动前估计后果；世界模型与预测式学习因此成为具身智能、视频模拟与通用智能体研究的交汇点。然而，现有讨论常把潜动力学、视频生成、特征预测与策略序列建模放在同一标签下比较，导致能力主张不可比、评测口径相互错位。本文以“预测目标—动作接口—决策耦合”三轴坐标系重构该领域的演进，将其划分为思想奠基、深度潜变量模型、想象训练与序列化、生成式与联合嵌入双轨分化、世界基础模型再融合五个阶段，并识别两次关键分叉与一次再融合。本文不报告新实验，而是按证据等级复核代表性系统的定量结果，进而给出十条带置信度、反证条件与可观测信号的趋势判断。核心判断是：世界模型的竞争焦点正从视觉保真度转向任务相关的预测状态、动作可控性与闭环决策效用；生成式与联合嵌入路线将长期并存并在混合架构中收敛；动作接口与长时程因果一致性仍是主要瓶颈。

关键词：世界模型；预测式学习；基于模型的强化学习；联合嵌入预测架构；生成式模拟；演进路线图；趋势判断

你离拥有一支永不停歇、持续进化的 AI 超级研发团队，只差一次 git clone——DeepThink 是 AI Genius Institute & 光剑AI 打造的开源、免费、可自由使用的私有 AI 操作系统（AI OS）：在安全隔离的沙箱中自主执行代码、管理文件、完成超复杂长程任务，作为自托管、多用户、本地优先的 AI Agent Loop Engineering 系统，支持桌面端+浏览器+移动端，让 DeepThink 成为你的全能数字助手；它不止让你使用 AI，更要让你从工具使用者进化为代码创造者，最终成长为可自我繁衍的超级智能体，让每家企业都拥有自己的 AI 超级研发团队，一起走向 AGI——现在就去 git clone，顺手点亮 Star：你收藏的不是一个仓库，而是通往 AGI 的入场券。🚀

DeepThink，开源企业级自主 Agent 超级智能体自进化平台，是从 Harness Engineering 到 Loop Engineering 范式的先行者，面向企业客户的新一代 AI 基础设施（AI Infra）。DeepThink 平台以多 Agent 协作框架为核心，融合 AI 自主编程（AI Coding）、自主进化（Self-Evolving）、全栈可观测性（Full-Stack Observability）、Bug 自修复闭环（Bug Auto-Fix Loop）与程序员-Agent 共生协作（Human-Agent Symbiosis），构建一个能持续学习、自我改进、最终成长为超级智能体的企业级 AI 系统。

DeepThink 项目开源代码（如果你觉得好玩，就一起来玩， Star 一下）：
Gitcode: https://gitcode.com/AIGeniusInstitute/deepthink
Github: https://github.com/AIGeniusInstitute/deepthink

1 Introduction

1.1 预测是行动的前置条件

智能体在未知环境中每执行一个动作，都在消耗不可逆的真实资源：机器人可能碰撞，自动驾驶车辆可能偏离车道，软件智能体可能删除错误文件。若智能体能够在行动前推演“如果这样做，接下来会发生什么”，就可以用计算换安全、用想象换试错。这一能力在经典强化学习中被形式化为基于模型的控制：智能体学习环境的转移与奖励结构，再用模型进行规划或生成想象经验 [1]。在认知科学中，类似思想表现为预测编码与自由能原理：大脑不断生成对感觉输入的预测，并用预测误差更新内部模型 [2,3]。

世界模型是这一思想在机器学习中的系统化载体。它试图把高维观测压缩为可推演的内部状态，把“理解世界”转化为“预测并查询”。如果世界模型足够准确，智能体就可以在模型中比较多个行动方案，进行反事实推演，在稀疏奖励场景中进行前瞻探索，并把仿真经验迁移回真实环境。正因如此，世界模型被视为具身智能、自动驾驶、游戏智能体与通用智能体的共同基础设施。

但“预测”并不是单一能力。预测什么、以什么接口接受动作、预测结果如何进入决策，是三个彼此独立的问题。不同的回答对应不同的模型形态：潜动力学模型预测紧凑状态，值等价模型只预测规划所需的奖励、策略与价值，视频生成模型预测未来像素，联合嵌入模型预测抽象特征，策略序列模型直接预测动作。它们都可以被称为“世界模型”，却在能力边界、数据需求、计算成本与评测指标上差异巨大。术语的统一掩盖了设计空间的异质性。

1.2 术语漂移导致比较失真

当前文献中的“世界模型”至少包含五类对象。第一类是重建式潜动力学模型，以循环状态空间模型（Recurrent State-Space Model, RSSM）为代表，学习从观测到潜状态的编码器、潜空间转移模型与解码器 [5-9]。第二类是值等价模型，以 MuZero 为代表，不重建观测，只预测与规划相关的奖励、策略与价值 [10]。第三类是生成式像素或视频模拟器，以 Sora、Genie、UniSim、GameNGen、GAIA-1 与 Cosmos 为代表，直接生成未来帧或未来视频 [18-23]。第四类是联合嵌入预测架构（Joint-Embedding Predictive Architecture, JEPA），在特征空间预测被掩码或未来的表示，而不重建像素 [14-17]。第五类是策略即预测，以 Decision Transformer 与 UniPi 为代表，把动作或视频计划本身作为预测目标 [24,25]。

这些系统共享“预测未来”的外壳，却回答不同的问题。一个视频生成模型可以在视觉保真度上领先，却对动作几乎不敏感；一个控制基准上的潜动力学模型可以取得高回报，却无法生成人类可检查的未来画面；一个特征预测模型可以学到强语义表示，却可能丢弃精细操作所需的物理量；一个策略序列模型可以直接输出动作，却没有显式的环境模型可供反事实查询。若用同一把尺子衡量它们，结论必然失真。

术语漂移还带来了投资与研究的错配。把视频生成的视觉进步等同于世界模型的能力进步，会高估生成式路线在决策任务上的成熟度；把控制基准的回报提升等同于通用世界理解，会低估开放世界中的分布外风险；把特征预测的线性探针准确率等同于因果世界模型，会混淆“可解码”与“可干预”。因此，领域需要一个能够同时刻画预测目标、动作接口与决策耦合的坐标系。

1.3 现有综述留下的空白

现有综述大致分为三类。第一类以基于模型的强化学习（Model-Based Reinforcement Learning, MBRL）为中心，系统梳理动力学模型学习、规划与学习的耦合方式，以及不确定性、部分可观测性与时间抽象等问题 [28]。第二类以生成式世界模型为中心，按应用领域（自动驾驶、机器人、游戏、社交模拟）或按功能（理解世界与预测未来）组织文献 [29]。第三类以表征学习为中心，讨论预测编码、自监督学习与联合嵌入架构 [14-17]。这些工作为理解各自领域提供了清晰的地图，但较少回答三个跨领域问题：为什么世界模型会在特定时间点发生范式分叉？分叉后的路线为何能够长期共存？下一次再融合可能沿着什么机制发生？

更重要的是，许多趋势判断以定性断言的形式出现，例如“视频生成将通向通用世界模型”“联合嵌入将取代像素重建”“世界模型是通用人工智能的必经之路”。这些断言缺少可证伪条件：没有说明在什么观测下应当放弃判断，也没有区分“已经发生的证据”与“对未来的推测”。对于研究者与工程团队而言，这种判断难以转化为可执行的研究议程或投资决策。

1.4 本文的主张与方法

本文的核心主张是：世界模型的演进不是单一指标的单向爬坡，而是预测目标、动作接口与决策耦合三者之间的协同演化；每一次范式转移，都由“预测什么”与“为何预测”之间的错配驱动。为展开这一主张，本文使用一个三轴坐标系：

预测目标轴（P）：模型预测的是像素或 token（P0）、潜状态（P1）、抽象特征（P2），还是奖励、价值、动作等决策变量（P3）。
动作接口轴（A）：模型是否接受动作条件（A0 无动作、A1 潜在动作、A2 显式动作、A3 语言或目标条件、A4 跨具身统一动作）。
决策耦合轴（D）：模型如何进入决策闭环（D0 仅表征、D1 规划、D2 想象训练、D3 策略即预测、D4 数据引擎或评估器）。

在这一坐标系中，PlaNet 与 Dreamer 位于（P1, A2, D1/D2），MuZero 位于（P3, A2, D1），Genie 位于（P0, A1, D4），Sora 位于（P0, A0, D0），V-JEPA 2 位于（P2, A1/A2, D1），Decision Transformer 位于（P3, A2, D3）。坐标不是质量排名，而是能力契约：它说明模型承诺预测什么、接受什么动作、为谁服务。不同的任务需要不同的坐标，因而不同路线可以长期共存。

本文进一步将演进划分为五个阶段：S0 思想奠基（1990–2010）、S1 深度潜变量世界模型（2013–2019）、S2 想象训练与序列化（2019–2022）、S3 生成式与联合嵌入双轨分化（2022–2024）、S4 世界基础模型再融合（2024–2026）。在这一叙事中，两次关键分叉分别是“重建观测还是预测值等价变量”（B1）与“生成像素还是预测抽象特征”（B2）；一次再融合则是“预训练—动作后训练—规划/执行—可选渲染”的分层架构（C1）。

本文不报告新实验。所有定量证据均来自已发表论文或公开技术报告；所有趋势判断均标注置信度、反证条件与可观测信号。这样的写法有两个目的：第一，把“已经知道什么”与“我们相信什么”分开；第二，为后续研究提供可被证伪的靶子，而不是一份不可检验的乐观清单。

1.5 贡献

本文的贡献如下：

提出 P–A–D 三轴分析框架。 用预测目标、动作接口与决策耦合三个维度刻画世界模型，解释为何潜动力学、视频生成、特征预测与策略序列模型不能直接用同一指标比较。该框架是描述性的，不预设某一轴上的“更高级”答案。
给出五阶段演进路线图。 将 1990 年以来的关键工作组织为 S0–S4 五个阶段，识别两次范式分叉（B1、B2）与一次再融合（C1），并解释分叉的成因、共存的条件与再融合的机制。
按证据等级复核代表性结果。 对 Dreamer 系列、MuZero、IRIS、DIAMOND、TD-MPC2、V-JEPA 2、Genie、GameNGen、UniSim、Sora、Cosmos 等系统的定量结果进行来源核验，明确其基准、条件与外部效度边界；不把不同基准上的数字直接排序。
给出十条可证伪的趋势判断。 每条判断包含主张、主要依据、反证或风险、可观测信号、置信度与时间窗，并附一张总览表。这些判断覆盖预测目标、路线共存、价值定位、动作接口、长时程一致性、语言融合、评测、安全、规模定律与生态格局。
提出研究议程。 围绕因果表征、长时程误差、跨具身动作接口、跨范式评测、不确定性、计算经济性、语言接口与理论边界，给出可执行的研究问题与最小验证单元。

1.6 结构

第 2 节按技术流派梳理相关工作，并在每段末尾说明与本文的差异。第 3 节给出术语界定、形式化、P–A–D 坐标系、演化压力与证据分级。第 4 节展开五阶段路线图与两次分叉、一次再融合。第 5 节分析技术谱系与代表系统。第 6 节按证据等级复核定量结果。第 7 节给出十条趋势判断。第 8 节讨论开放问题与研究议程。第 9 节讨论适用边界、伦理影响与本文局限。第 10 节总结。附录给出符号表、误差累积界的示意性推导、证据分级细则与复现说明。

2 Related Work

2.1 基于模型的强化学习：规划与学习的耦合

基于模型的强化学习把环境模型置于学习循环的中心。Dyna 架构同时维护模型、价值函数与策略，用真实经验更新模型，再用模型生成的想象经验加速价值学习 [1]。这一框架奠定了此后三十年的基本结构：模型不是为了描述世界而描述世界，而是为了更省样本地做决定。PlaNet 把观测压缩为潜状态，用 RSSM 同时建模确定性路径与随机性路径，并通过潜在 overshooting 进行多步预测 [5]。Dreamer 进一步在潜空间中展开想象轨迹，用解析梯度训练演员与评论家 [6]。DreamerV2 使用离散潜变量，在 Atari 55 个任务上报告了达到人类水平的表现 [7]。DreamerV3 通过 symlog 变换、KL 平衡、free bits 与回报归一化，用一套超参数覆盖 150 多个任务 [8,9]。MuZero 则放弃观测重建，只学习对规划有用的奖励、策略与价值，并结合蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）在 57 个 Atari 游戏以及围棋、国际象棋与将棋上取得强结果 [10]。TD-MPC2 使用无解码器的隐式世界模型，在潜空间中进行局部轨迹优化，并在 104 个连续控制任务上报告了单一超参数配置下的稳定结果 [12]。

这条路线的主要成就是“闭环可用”：模型不是用来观看的，而是用来做决定的。其主要局限是域窄：多数结果集中在游戏、连续控制与固定任务族；开放世界的语义组合、长尾物理与跨具身迁移仍是难点。与本文相比，MBRL 综述关注的是规划与学习的算法耦合 [28]；本文关注的是预测目标与动作接口如何随决策需求演化，因而把 MuZero、JEPA 与生成式模拟器放在同一坐标系中比较，而不只讨论规划算法。

2.2 生成式世界模型：从视频生成到交互式模拟

生成式世界模型把未来观测的生成作为核心任务。Sora 的技术报告把视频压缩为时空 patch，用扩散 Transformer 生成最长约一分钟的高保真视频，并展示了 3D 一致性、长程连贯与简单物理交互等涌现行为，同时承认在玻璃破碎、物体持久性等场景中仍会失败 [21]。Genie 从无动作标注的互联网视频中学习潜在动作模型，构建可逐帧交互的生成式环境；作者报告了 110 亿参数模型与约 3 万小时游戏视频的训练规模 [18]。UniSim 把真实世界交互建模为条件视频生成，支持高层指令与低层控制，并展示纯仿真训练后的零样本真实世界迁移 [23]。GameNGen 用扩散模型充当 DOOM 的实时游戏引擎，报告单张张量处理单元（Tensor Processing Unit, TPU）上超过 20 帧每秒（Frames Per Second, FPS）、峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）29.4，以及人类评审在短片段上接近随机的判别表现 [22]。GAIA-1 把自动驾驶世界建模为离散 token 的下一 token 预测，接受视频、文本与动作输入 [19]。Cosmos 把世界基础模型平台化，提供视频策展、预训练世界基础模型、后训练示例与视频 tokenizer，并以开放权重发布 [20]。

这条路线的主要成就是“可看、可交互、可扩展”：视觉先验来自大规模视频，生成接口直观，适合数据合成、人机沟通与场景编辑。其主要风险是把“看起来真实”误认为“因果正确”：视觉逼真并不保证动作敏感，也不保证长时物理一致。与本文相比，生成式世界模型综述通常按应用或生成模态分类 [29]；本文把生成式路线视为 P0/A0–A2/D0–D4 区域的一种设计选择，并强调它与特征预测路线在决策耦合上的差异。

2.3 预测式表征学习：从预测编码到 JEPA

预测式表征学习的核心思想是：与其预测高维观测的全部细节，不如预测更有语义、更可预测的抽象目标。Rao 与 Ballard 提出，视觉皮层的高层区域向低层区域发送预测，低层区域返回预测误差；这种层级预测编码可以解释感受野的非经典效应 [2]。Friston 的自由能原理把感知、行动与学习统一为对意外或预测误差的最小化 [3]。在机器学习中，这一思想演化为自监督预测：I-JEPA 从图像的一个上下文块预测多个目标块的表示，避免手工数据增强，并在 ImageNet 上展示了可扩展性 [14]。V-JEPA 在视频上仅使用特征预测目标，不依赖预训练图像编码器、文本、负样本或像素重建；作者报告 ViT-H/16 在 Kinetics-400 上 81.9%、Something-Something v2 上 72.2%、ImageNet-1K 上 77.9% 的冻结主干结果 [15]。V-JEPA 2 把无动作视频预训练与少量机器人视频的动作条件后训练结合：在超过 100 万小时互联网视频上预训练，再用不到 62 小时的机器人视频训练动作条件世界模型，并在 Something-Something v2 上报告 77.3 的 top-1 准确率、在 Epic-Kitchens-100 上报告 39.7 的 recall@5，同时展示零样本机器人抓放规划 [16]。LeCun 的位置论文把这些思想组织为联合嵌入预测架构与分层规划蓝图，主张用非生成式的预测表征支撑自主智能 [17]。

这条路线的主要洞见是“不要为不可预测的像素细节付费”：把建模容量集中在语义与物理相关的特征上，可能更接近决策所需的状态。其主要未解问题是抽象层级的选取：哪些特征足以支撑精细操作？语义特征是否会丢弃任务相关的物理量？动作可控性如何在特征空间中被度量？与本文相比，表征学习文献关注“学到什么特征” [14-17]；本文进一步追问“这些特征如何进入决策闭环”，并把动作接口作为区分“表征”与“世界模型”的关键条件。

2.4 序列建模与策略学习：当预测直接产出动作

当预测目标从状态转向动作，世界模型与策略的边界开始模糊。Decision Transformer 把强化学习抽象为条件序列建模：给定目标回报、过去状态与动作，自回归地预测未来动作；作者报告其在 Atari、OpenAI Gym 与 Key-to-Door 等离线任务上匹配或超过强模型无关基线 [25]。UniPi 把顺序决策重写为文本条件视频生成：先合成描绘未来计划的视频，再用逆动力学模型提取低层动作；这种“策略即视频”的接口把不同状态与动作空间统一到图像空间 [24]。这类方法把预测能力直接转化为行为，避免了显式规划器的在线搜索成本，但也带来了分布偏移、因果混淆与误差累积的问题：如果预测的动作分布与真实数据偏离，闭环执行会放大错误。

这条路线的主要成就是“接口统一、训练目标直接”：序列模型可以用成熟的 Transformer 基础设施，动作、状态、奖励可以被编码为同一序列。其主要局限是“模型不可查询”：策略序列模型通常不提供显式的环境动力学，难以进行反事实推演或安全约束下的规划。与本文相比，序列建模文献关注序列架构与离线强化学习算法 [24,25]；本文把“策略即预测”视为 D3 耦合的一种特殊形态，并强调它不能替代 D1/D2 意义上的世界模型。

2.5 与本文的差异

现有工作为世界模型的各个分支提供了深入的技术细节，但缺少一个跨分支的演化叙事。本文的差异体现在三点。第一，本文用 P–A–D 三轴坐标系描述不同系统的能力契约，避免把“预测未来”当作单一能力。第二，本文把范式分叉解释为预测目标与决策需求之间的错配，而不是简单的“新旧方法替代”。第三，本文给出带证伪条件的趋势判断，把“未来会怎样”转化为“出现什么信号时应当相信或放弃某一判断”。因此，本文不是对现有综述的替代，而是对其的补充：它提供的是一个可比较、可检验的演化框架。

3 概念框架与形式化

3.1 术语界定

本文采用以下工作定义：

世界模型（world model）：一个学习得到或人工指定的预测模型，接受历史观测与动作，输出对未来状态、观测、奖励或任务的预测，并支持多步推演。世界模型可以是生成式的（重建观测），也可以是非生成式的（预测潜状态、特征或决策变量）。
预测式学习（predictive learning）：以预测为训练信号的机器学习范式。预测目标可以是像素、token、潜状态、抽象特征、奖励、价值或动作。预测式学习不等于世界模型：前者是训练方式，后者是系统能力。
模拟器（simulator）：能够从初始状态出发，按动作序列生成未来轨迹的系统。世界模型可以作为模拟器的内核，但模拟器还需要动作接口、状态初始化与 rollout 机制。
规划器（planner）：使用模型选择动作的算法，例如模型预测控制（Model Predictive Control, MPC）、MCTS 或轨迹优化。规划器不是模型的一部分；同一个模型可以搭配不同规划器。
表征（representation）：从观测中提取的特征或状态编码。预测式表征可以用于分类、检索与控制，但它本身不承诺动作条件动力学。

这些区分的实践意义在于：当我们说“世界模型提升了样本效率”时，必须说明提升来自更好的动力学、更好的表征、更好的规划器，还是更好的动作接口。否则，因果归因无法成立。

3.2 世界模型的形式化

把环境建模为部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）：

$\mathcal{P} = \left( \mathcal{S}, \mathcal{A}, \mathcal{O}, T, \Omega, R, \gamma \right)$

其中 $\mathcal{S}$ 是状态空间， $\mathcal{A}$ 是动作空间， $\mathcal{O}$ 是观测空间， $T(s_{t+1}\mid s_t,a_t)$ 是转移分布， $\Omega(o_t\mid s_t)$ 是观测分布， $R(s_t,a_t)$ 是奖励函数， $\gamma\in[0,1)$ 是折扣因子。智能体在时刻 $t$ 拥有观测历史

$h_t = \left( o_1, a_1, \ldots, o_t \right)$

世界模型 $\mathcal{M}_\theta$ 由编码器 $E_\theta$ 、转移模型 $T_\theta$ 、观测解码器 $O_\theta$ 与奖励头 $R_\theta$ 组成：

$\mathcal{M}_\theta = \left( E_\theta, T_\theta, O_\theta, R_\theta \right)$

其核心预测分布可以写为

$p_\theta(s_{t+1}\mid h_t,a_t), \qquad p_\theta(o_{t+1}\mid s_{t+1}), \qquad p_\theta(r_t\mid s_t)$

规划器在模型中进行 $H$ 步 rollout，选择使期望回报最大化的动作序列：

$a_{t:t+H-1}^{\star} = \arg\max_{a_{t:t+H-1}} \mathbb{E}_{\mathcal{M}_\theta} \left[ \sum_{k=0}^{H-1} \gamma^k R_\theta(\hat{s}_{t+k}, a_{t+k}) \right]$

这组公式适用于 D1 规划与 D2 想象训练，但不适用于 D0 纯表征或 D3 策略即预测。后两者的决策耦合不同，不能用同一目标函数描述。

3.3 预测式学习的目标谱系

预测式学习的目标可以写为

$\mathcal{L}_{\mathrm{pred}}(\theta) = \mathbb{E}_{(c_t,y_t)\sim\mathcal{D}} \left[ \ell\left(f_\theta(c_t), y_t\right) \right]$

其中 $c_t$ 是上下文， $y_t$ 是预测目标， $\ell$ 是损失函数。不同的 $y_t$ 定义了不同的目标谱系：

目标类型	典型 $y_t$	代表系统	主要优势	主要风险
观测重建	$o_{t+1}$ 或离散 token	World Models、IRIS、Genie、Sora	可生成、可检查、可用于数据合成	计算昂贵；可能被不可预测细节主导；视觉逼真不等于因果正确
潜状态预测	$s_{t+1}$	PlaNet、Dreamer、DreamerV2/V3	紧凑、适合控制、样本效率高	可能丢失任务相关细节；需要设计潜变量结构
抽象特征预测	$g(o_{t+1})$	I-JEPA、V-JEPA、V-JEPA 2	避免像素细节；语义表示强；计算经济	抽象层级难选；动作条件与精细物理可能不足
决策变量预测	$r_t$ 、 $v_t$ 、 $\pi_t$ 、 $a_t$	MuZero、Decision Transformer	与决策直接对齐；可绕过重建	难以作为通用模拟器；任务特化；反事实查询受限

这张表解释了为什么“预测未来”不是单一目标：同样是预测，预测像素、预测特征与预测价值所保留的信息不同，适用的决策耦合也不同。

3.4 P–A–D 三轴坐标系

预测目标轴 P。 P0 预测像素或离散 token；P1 预测紧凑潜状态；P2 预测抽象特征或表示；P3 预测奖励、价值、策略或动作等决策变量。P0 保留最多可观察细节，但计算成本最高，且容易被高熵、低决策相关性的细节占据容量。P1 在压缩与可预测性之间折中，适合控制。P2 进一步抽象，试图只保留语义与物理相关的因素。P3 最接近决策，但牺牲了通用性与可检查性。

动作接口轴 A。 A0 不接受动作条件，模型只做被动预测；A1 使用从视频中发现的潜在动作，无需人工动作标签；A2 接受显式动作；A3 接受语言、目标或任务描述；A4 支持跨具身、跨动作空间的统一接口。动作接口决定了模型能否回答“如果我这样做会怎样”。一个 A0 模型即使能生成逼真视频，也不能直接用于闭环控制；一个 A2 模型即使预测精度一般，也可能因为动作条件明确而在控制中更有用。

决策耦合轴 D。 D0 仅提供表征，不进入决策；D1 进入在线规划；D2 用于想象训练；D3 直接输出策略或动作；D4 作为数据引擎、评估器或仿真环境。D 轴决定了模型的价值标准：D0 看表征质量，D1 看规划回报，D2 看样本效率，D3 看策略性能，D4 看数据覆盖与评估保真度。把不同 D 的系统放在同一排行榜上，是把“工具”与“产品”混为一谈。

一个系统的坐标可以写成三元组 $(P, A, D)$ 。例如：

PlaNet： $(P 1, A 2, D 1)$ ；
Dreamer： $(P 1, A 2, D 2)$ ；
MuZero： $(P 3, A 2, D 1)$ ；
IRIS： $(P 0, A 2, D 2)$ ；
DIAMOND： $(P 0, A 2, D 2)$ ；
TD-MPC2： $(P 1/ P 3, A 2/ A 4, D 1/ D 2)$ ；
I-JEPA： $(P 2, A 0, D 0)$ ；
V-JEPA 2： $(P 2, A 1/ A 2, D 1)$ ；
Genie： $(P 0, A 1, D 4)$ ；
Sora： $(P 0, A 0, D 0)$ ；
UniSim： $(P 0, A 2/ A 3, D 4)$ ；
Decision Transformer： $(P 3, A 2, D 3)$ 。

坐标不是固定不变的。一个系统可以通过后训练改变坐标：V-JEPA 2 在无动作预训练之后，用机器人视频做动作条件后训练，从而从 $(P 2, A 0, D 0)$ 移动到 $(P 2, A 1/ A 2, D 1)$ 。这种“坐标迁移”是 S4 阶段再融合的重要机制。

3.5 演化压力与适应度

世界模型的演化可以看作在六种选择压力下的多目标优化：

数据效率：在有限真实交互下学到可用模型。MBRL 的核心卖点。
动作可控性：模型对动作差异的敏感度，以及在不同动作空间中的可接口性。
长时程一致性：多步 rollout 的误差是否可控，是否保持物理与因果一致。
跨域与跨具身泛化：从游戏到机器人、从仿真到真实、从一种形态到另一种形态的迁移能力。
计算经济性：训练与推理成本，尤其是视频生成与长 rollout 的成本。
安全与可验证性：不确定性是否校准，失败是否可检测，行为是否可审计。

这些压力并不总是一致。P0 生成式模型在“可检查、可合成数据”上占优，却在计算经济性与长时程一致性上承压；P2 特征模型在计算经济性与语义抽象上占优，却在精细物理与动作可控性上承压；P3 值等价模型在决策对齐上占优，却在通用模拟与反事实查询上受限。不同任务对压力的权重不同，因而不同坐标可以同时成为局部最优。这正是路线长期共存的根本原因。

3.6 证据分级与可证伪判断

本文把证据分为四级：

E1（强证据）：同行评审发表，使用公开基准，报告多随机种子或多领域结果，且有可复现的实验设置。
E2（中等证据）：同行评审或 arXiv 发表，使用公开基准，但种子数、领域数或基线覆盖有限，或主要来自单一实验室。
E3（弱证据）：技术报告、演示、定性案例或人类主观评估，缺少系统性基线。
J（判断）：作者基于证据的推断，不是实证结论。

正文中每个定量数字都尽量标注来源与条件。本文不把不同基准上的数字直接排序，也不把“报告了某个结果”写成“证明了某种能力”。对于趋势判断，本文采用统一模板：主张—依据—反证/风险—可观测信号—置信度—时间窗。其中“可观测信号”是可被未来研究检验的指标或事件；如果信号与主张相反，主张应被修正或放弃。

关于检索与核验，需要说明一个限制：本次写作尝试调用 arXiv 检索服务时遇到限流，部分检索请求返回 429。为避免中断写作，本文使用公开摘要页、DOI 记录与本地下载的关键论文 PDF 进行交叉核验；关键 PDF 包括 World Models、DreamerV3、V-JEPA 2、Genie、DIAMOND、TD-MPC2 与世界模型综述。无法独立核验的细节不写入正文。这一限制不影响本文的框架性结论，但读者应把文献覆盖视为“有选择性的代表性样本”，而非穷尽性元分析。

3.7 图 1：P–A–D 坐标系

下图用纯文本绘制三轴坐标系的示意。横轴是动作接口 A，纵轴是预测目标 P；决策耦合 D 用括号标注在代表系统之后。图中只放置代表性系统，不代表穷尽列表。

                          预测目标 P
                               ^
                               |
          P3 决策变量          |  [MuZero (D1)]      [Decision Transformer (D3)]
                               |
          P2 抽象特征          |  [I-JEPA (D0)]      [V-JEPA 2 (D1)]
                               |
          P1 潜状态            |  [PlaNet (D1)]  [Dreamer (D2)]  [TD-MPC2 (D1/D2)]
                               |
          P0 像素 / token      |  [World Models (D2)]  [IRIS (D2)]  [DIAMOND (D2)]
                               |  [Genie (D4)]  [Sora (D0)]  [Cosmos (D4)]
                               |
                               +----------------------------------------------> 动作接口 A
                                  A0 无动作   A1 潜在动作   A2 显式动作   A3 语言/目标   A4 跨具身

读图时需要注意三点。第一，同一系统可以占据多个坐标：TD-MPC2 同时使用潜状态与决策变量，既可用于规划也可用于想象训练；V-JEPA 2 既可作为表征模型，也可作为动作条件世界模型。第二，坐标位置不表示性能高低，只表示能力契约。第三，向坐标系的右上方移动通常意味着更强的动作条件与更直接的决策耦合，但也意味着更高的数据、计算或标注要求。

3.8 图 2：五阶段演进路线图

 S0 思想奠基            S1 深度潜变量           S2 想象训练与序列化       S3 双轨分化             S4 再融合
 1990–2010              2013–2019               2019–2022                 2022–2024               2024–2026
+----------------+     +----------------+      +------------------+      +------------------+    +----------------------+
| 预测编码       |     | VAE / E2C      |      | DreamerV2        |      | JEPA / I-JEPA    |    | DreamerV3            |
| 自由能原理     | --> | World Models   | ---> | MuZero           | ---> | V-JEPA           | -> | TD-MPC2              |
| Dyna           |     | PlaNet         |      | IRIS             |      | Sora / Genie     |    | V-JEPA 2             |
| 基于模型控制   |     | Dreamer        |      | Decision TF      |      | UniSim/GameNGen  |    | Cosmos / 世界基础模型 |
+----------------+     +----------------+      +------------------+      +------------------+    +----------------------+
        |                       |                        |                         |                        |
        | 预测 → 比较 → 更新     | 像素 → 潜状态           | 重建 vs 值等价（B1）      | 像素 vs 特征（B2）        | 预训练 → 动作后训练（C1）
        | 手工模型 / 浅层模型    | 单域、短时程             | 序列化、离散 token        | 两条路线并存              | 数据引擎 / 评估器 / 混合架构

这张路线图不是严格的历史分期，而是按“主导性设计问题”划分的分析阶段。阶段之间存在重叠：MuZero 与 DreamerV2 几乎同期，JEPA 与 Sora 也并非先后替代。分期的目的是突出每个阶段的核心张力，而不是抹平同时发生的多样化探索。

4 演进路线图：五个阶段、两次分叉与一次再融合

4.1 S0 思想奠基：预测编码、自由能与基于模型的控制（1990–2010）

S0 阶段的核心遗产是三个思想。第一，预测是感知与行动的统一原则。Rao 与 Ballard 的层级预测编码模型把反馈连接视为预测、前馈连接视为预测误差，并用自然图像训练出类似简单细胞的感受野 [2]。Friston 进一步把感知、行动与学习统一为自由能最小化，即对意外或预测误差的最小化 [3]。第二，模型可以参与控制。Dyna 架构把学习到的模型、规划与反应式策略放入同一个循环，用模型生成的想象经验加速价值学习 [1]。第三，预测可以压缩。经典控制与状态估计强调用低维状态摘要高维观测，这为后来的潜变量世界模型提供了概念原型。

S0 的局限也很明显：模型多是手工设计或浅层的，感知与动力学分离，缺乏从高维原始观测中端到端学习的能力；规划与学习的耦合主要在小规模、低维任务中验证；没有大规模数据与算力支撑。S1 的突破，来自深度学习、变分推断与大规模交互数据的结合。

4.2 S1 深度潜变量世界模型：从像素到潜状态（2013–2019）

S1 阶段的标志性问题是：能否从高维像素中学习一个紧凑的潜动力学模型，并在其中训练策略？World Models 给出了一个清晰的工程答案：用变分自编码器（Variational Autoencoder, VAE）压缩每一帧，用混合密度循环神经网络（Mixture Density Recurrent Neural Network, MDN-RNN）预测潜状态的下一时刻分布，再用协方差矩阵自适应进化策略（Covariance Matrix Adaptation Evolution Strategy, CMA-ES）训练一个紧凑控制器；作者展示了在 CarRacing 与 VizDoom 环境中把策略完全放在“梦”中训练并迁移回真实环境的可行性 [4]。这项工作的意义不在于某个基准分数，而在于把“世界模型”拆成可组合的三件套：表征、动力学、控制器。

PlaNet 把这一思路推向更严格的概率建模。它使用 RSSM：确定性循环路径捕捉长期信息，随机潜变量捕捉不确定性；通过潜在 overshooting 进行多步预测训练；在潜空间中做在线规划，而不是训练一个独立的策略网络 [5]。PlaNet 在多个连续控制任务上展示了从像素学习的模型可以支撑规划，并且比强模型无关基线需要更少的交互。Dreamer 则把在线规划换成想象训练：在潜空间中展开多条轨迹，用价值函数的解析梯度更新演员与评论家；作者报告在 20 个视觉控制任务上，Dreamer 在数据效率、计算时间与最终性能上超过了此前的若干方法 [6]。

S1 的核心转变是“从重建像素到预测潜状态”。这不是说像素不重要，而是说决策所需的信息可以被压缩到更小的状态中。潜状态模型的计算重心从“生成好看的画面”转向“预测与控制相关的动力学”。但 S1 仍有两个瓶颈：其一，潜状态通常由重建目标驱动，可能保留大量与任务无关的细节；其二，模型多在单一领域、较短时程内验证，跨域与跨具身能力有限。

4.3 S2 想象训练与序列化：离散潜变量、Transformer 与策略即序列（2019–2022）

S2 阶段出现了两条重要分支。第一条是离散潜变量与想象训练的工程化。DreamerV2 使用离散潜变量，报告在 Atari 55 个任务上达到人类水平，并在 200M 帧预算下超过了当时最强的单 GPU 智能体 [7]。这项工作把世界模型从“研究原型”推进到“可与模型无关方法正面比较”的阶段。第二条是值等价模型。MuZero 不重建观测，只学习一个在规划中等价于环境的模型：给定动作，预测奖励、策略与价值，并用 MCTS 搜索 [10]。它在 57 个 Atari 游戏以及围棋、国际象棋与将棋上取得强结果，且不依赖游戏规则。这是第一次明确的分叉（B1）：重建观测，还是只预测决策所需的变量？

与此同时，Transformer 进入世界模型。IRIS 用离散自编码器把帧压缩为 token，再用自回归 Transformer 建模 token 序列；在 Atari 100k 基准上，作者报告平均人类归一化分数 1.046，并在 26 个游戏中的 10 个上超过人类 [11]。这项工作把世界模型与语言模型的序列建模基础设施连接起来：世界模型可以是“视觉 token 的下一 token 预测器”。Decision Transformer 则把强化学习本身重写为条件序列建模：给定目标回报、过去状态与动作，预测未来动作；作者报告其在多个离线强化学习基准上匹配或超过强基线 [25]。这是另一条重要分支：预测的终点不一定是状态，也可以是动作。

S2 的核心张力是“重建 vs 决策对齐”。重建式模型提供了可检查的未来观测，但把容量花在像素细节上；值等价模型与策略序列模型直接对齐决策，却牺牲了通用模拟与反事实查询能力。IRIS 与 Decision Transformer 则展示了序列化接口的统一潜力：一旦把观测、动作、奖励都变成 token，世界模型、策略与规划器可以在同一架构中表达。但 token 化也带来了信息损失、长序列计算成本与自回归误差累积的问题。

4.4 S3 双轨分化：生成式像素模拟 vs 联合嵌入预测（2022–2024）

S3 阶段的核心事件是第二次分叉（B2）：预测像素，还是预测抽象特征？ 这条分叉与 B1 不同。B1 问的是“要不要重建观测”，B2 问的是“如果要预测，应该在什么空间预测”。两条路线都承认“不是所有像素细节都重要”，但给出的答案不同。

路线 A：联合嵌入预测。 LeCun 的位置论文提出联合嵌入预测架构，主张在表示空间预测未来，而不是重建像素；其论点是，像素级细节包含大量不可预测的随机因素，预测这些细节会浪费容量 [17]。I-JEPA 在图像上验证了这一思想：从上下文块预测目标块的表示，不需要手工数据增强，且在 ViT-Huge/14 上展示了可扩展性 [14]。V-JEPA 把目标扩展到视频：仅用特征预测训练，不使用预训练图像编码器、文本、负样本或像素重建；作者报告了强冻结主干结果 [15]。V-JEPA 2 进一步把无动作视频预训练与少量机器人视频的动作条件后训练结合，展示了从被动观察到零样本机器人规划的路径 [16]。

路线 B：生成式像素与视频模拟。 Sora 的技术报告把视频生成推向“世界模拟器”的叙事：时空 patch、扩散 Transformer、最长约一分钟的高保真视频，以及在规模扩大后出现的 3D 一致性与简单物理交互 [21]。Genie 从无动作标注视频中学习潜在动作，构建可逐帧交互的生成式环境；作者报告 110 亿参数与约 3 万小时游戏视频的训练规模 [18]。UniSim 把真实世界交互建模为条件视频生成，支持高层指令与低层控制，并展示纯仿真训练后的零样本真实世界迁移 [23]。GameNGen 用扩散模型实时生成 DOOM 帧，报告超过 20 帧每秒、PSNR 29.4 与人类评审接近随机的判别表现 [22]。GAIA-1 把自动驾驶世界建模为离散 token 的下一 token 预测 [19]。DIAMOND 则把扩散世界模型用于强化学习，在 Atari 100k 上报告平均人类归一化分数 1.46，并强调视觉细节对智能体性能的影响 [13]。

两条路线的分歧可以用一句话概括：路线 A 认为“预测什么”比“生成什么”更重要，路线 B 认为“能生成、能交互”本身就是能力。 路线 A 的优势是抽象、经济、语义强；劣势是动作条件与精细物理可能不足，且“表征质量”不等于“可干预的世界模型”。路线 B 的优势是可检查、可合成数据、接口直观；劣势是计算昂贵、长时程漂移、视觉逼真不等于因果正确。两者在不同决策耦合下各有价值，因而在 S3 阶段同时繁荣，而不是一方迅速取代另一方。

4.5 S4 再融合：世界基础模型、跨具身动作接口与数据引擎（2024–2026）

S4 阶段的特征是“再融合”（C1）。再融合不是把两条路线合并成一个模型，而是把不同能力拆成可组合的层：无动作或弱动作的大规模预训练、少量动作数据的后训练、规划或策略执行、可选的生成式渲染、作为数据引擎或评估器的部署。这一分层在多个系统中出现。

DreamerV3 是“通用控制”方向的代表。它用一套固定超参数覆盖 150 多个任务，涵盖连续与离散动作、视觉与低维输入、稠密与稀疏奖励、不同奖励尺度、2D/3D 世界与程序生成环境；作者报告它是首个在没有人类数据或课程的情况下从零开始在 Minecraft 中收集钻石的算法 [8]。该工作后来以“Mastering diverse control tasks through world models”为题发表于 Nature [9]。DreamerV3 的关键不是某个新模块，而是把归一化、KL 平衡、free bits 与回报归一化等工程技巧组合成跨域稳定的训练配方。这标志着潜动力学路线从“单域调参”走向“通用配置”。

TD-MPC2 是“可扩展连续控制”方向的代表。它使用无解码器的隐式世界模型，在潜空间中进行局部轨迹优化；作者报告在 104 个在线强化学习任务、4 个任务域上使用单一超参数配置取得稳定结果，并训练了一个 3.17 亿参数的智能体执行 80 个任务 [12]。它通过任务嵌入与动作掩码支持多具身、多动作空间，这使“跨具身”从口号变成了可操作的工程接口。

V-JEPA 2 是“预测式表征 + 动作后训练”方向的代表。它在超过 100 万小时互联网视频上做无动作预训练，再用不到 62 小时的机器人视频训练动作条件世界模型；作者报告在 Something-Something v2 上 77.3 的 top-1 准确率、在 Epic-Kitchens-100 上 39.7 的 recall@5，并展示在 Franka 机械臂上的零样本抓放规划 [16]。这条路径的意义在于：大规模被动视频提供了物理与语义先验，少量动作数据提供了可控性，二者不必在同一次训练中同时获得。

Genie 与 Cosmos 代表“世界基础模型平台”方向。Genie 从无动作标注视频中学习潜在动作，构建可逐帧交互的生成式环境 [18]。Cosmos 提供视频策展、预训练世界基础模型、后训练示例与视频 tokenizer，并以开放权重发布，试图把世界模型变成物理 AI 的基础设施 [20]。UniSim 与 GameNGen 则展示了生成式模拟器作为数据引擎与评估环境的潜力 [22,23]。

S4 的再融合可以概括为一条流水线：

大规模无动作/弱动作视频  →  预测式预训练（像素、特征或潜状态）
                                  ↓
少量动作数据 / 机器人轨迹  →  动作条件后训练（显式动作、潜在动作或语言目标）
                                  ↓
规划器 / 策略执行器  →  闭环决策
                                  ↓
可选生成式渲染  →  人机检查、数据合成、评估

这条流水线不是唯一答案，但它解释了为什么 S3 的两条路线可以在 S4 共存：特征预测适合做预训练与状态抽象，生成式模型适合做渲染、数据合成与评估；动作后训练把两者接入决策闭环。再融合的关键不是“谁赢了”，而是“接口是否对齐”。

4.6 两次分叉的成因

B1：重建观测还是预测值等价变量。 分叉的根源是预测目标与决策目标的不一致。重建目标要求模型解释所有可观察细节，包括与任务无关的纹理、光照与噪声；值等价目标只要求模型保留影响奖励、策略与价值的信息。当任务固定、规划器强大时，值等价模型更经济；当任务开放、需要人机检查或数据合成时，重建模型更有用。B1 不是技术路线之争，而是“模型为谁服务”之争。

B2：生成像素还是预测抽象特征。 分叉的根源是“可预测性”与“可用性”的权衡。像素空间保留了最多信息，但包含大量高熵、不可预测的细节；特征空间丢弃了这些细节，却可能连任务相关的物理量一起丢弃。生成式路线押注“规模可以学会物理”，特征路线押注“抽象可以过滤噪声”。两种押注都有道理，也都有失败模式：前者可能生成视觉逼真但因果错误的世界，后者可能学到语义强但不可控的表征。

4.7 一次再融合的机制

C1 再融合之所以可能，是因为三个接口逐渐标准化。第一，动作接口标准化：潜在动作、显式动作、语言目标与跨具身动作掩码，使不同预训练模型可以接入同一决策循环。第二，表征接口标准化：视觉 Transformer、tokenizer 与特征预测目标，使像素、特征与潜状态之间可以转换。第三，评估接口标准化：从单一的视觉指标，转向动作敏感性、反事实一致性、长时稳定性与决策效用的多维评估。接口标准化降低了“换模型”的成本，也使混合架构成为理性选择。

但再融合仍处于早期。多数系统只在一个或两个接口上做了验证；跨具身的零样本迁移仍局限在少量任务与实验室；长时程因果一致性缺乏统一基准；生成式渲染的计算成本仍然很高。因此，S4 更像“再融合的开始”，而不是“再融合的完成”。

4.8 路线图的边界条件

这条路线图有三个边界条件。第一，它主要覆盖以视觉与连续控制为主的研究，对语言、音频、触觉与多模态世界模型的覆盖有限。第二，它偏向英文 arXiv 与主流会议文献，可能低估工业界未公开的系统。第三，阶段划分是分析工具，不是历史定律；同一时期可能存在多条路线并行，也可能出现跨阶段的跳跃。读者应把路线图当作“比较不同系统的坐标系”，而不是“预测未来的时间表”。

5 技术谱系与代表系统

5.1 重建式潜动力学：RSSM 家族

RSSM 家族的核心是把环境状态分为确定性部分 $h_t$ 与随机部分 $z_t$ 。确定性路径捕捉长期记忆，随机路径捕捉不确定性。一个典型的更新可以写为

$h_t = f_\phi\left(h_{t-1}, z_{t-1}, a_{t-1}\right), \qquad z_t \sim q_\phi\left(z_t \mid h_t, o_t\right)$

其中 $q_\phi$ 是编码器给出的后验，先验为 $p_\phi(z_t\mid h_t)$ 。观测与奖励由解码器与奖励头给出：

$\hat{o}_t = D_\phi\left(z_t, h_t\right), \qquad \hat{r}_t = R_\phi\left(z_t, h_t\right)$

训练目标通常由重建、KL 正则、奖励预测与继续预测组成：

$$
\mathcal{L}{\mathrm{WM}} =
\sum{t}
\left(
\beta_{\mathrm{rec}}\mathcal{L}_{\mathrm{rec}}

\beta_{\mathrm{KL}}\mathcal{L}_{\mathrm{KL}}
\beta_{\mathrm{rew}}\mathcal{L}_{\mathrm{rew}}
\beta_{\mathrm{cont}}\mathcal{L}_{\mathrm{cont}}
\right)
$$

DreamerV3 在这个骨架上加入了 symlog 变换、KL 平衡、free bits 与回报归一化，以提升跨域稳定性 [8,9]。RSSM 的优点是结构清晰、样本效率高、适合想象训练；缺点是重建目标可能保留任务无关细节，且长时程 rollout 仍会漂移。RSSM 家族的代表系统包括 PlaNet（D1 规划）、Dreamer（D2 想象训练）、DreamerV2/V3（离散潜变量与跨域配置）[5-9]。

5.2 值等价模型：MuZero 路线

MuZero 的核心是“值等价”：模型不需要重建观测，只需在规划中预测与决策相关的量。它由表示函数、动力学函数与预测函数组成：

$s_t = h_\theta\left(o_1, a_1, \ldots, o_t\right), \qquad s_{t+1}, r_t = g_\theta\left(s_t, a_t\right), \qquad \pi_t, v_t = f_\theta\left(s_t\right)$

训练信号来自 MCTS 的搜索目标：策略目标、价值目标与奖励目标。MuZero 在 57 个 Atari 游戏以及围棋、国际象棋与将棋上取得强结果，且不依赖游戏规则 [10]。值等价路线的优点是决策对齐、计算经济、无需生成高维观测；缺点是模型难以作为通用模拟器使用，反事实查询受限于训练分布，且通常需要任务特定的搜索与奖励设计。

5.3 序列化生成世界模型：IRIS、Genie、GAIA-1、Sora、Cosmos

序列化生成路线把世界建模为 token 序列的预测问题。IRIS 用离散自编码器把帧压缩为 token，再用自回归 Transformer 预测下一 token；动作与奖励也被编码进序列 [11]。Genie 在此基础上引入潜在动作模型：从相邻帧推断潜在动作，使模型能够在没有动作标签的视频上学习可控的交互环境 [18]。GAIA-1 把视频、文本与动作映射为离散 token，用下一 token 预测建模驾驶场景 [19]。Sora 使用时空 patch 与扩散 Transformer，生成高保真视频，并把视频生成叙事推向“世界模拟器” [21]。Cosmos 把 tokenizer、预训练世界基础模型与后训练流程平台化 [20]。

这条路线的一般形式可以写为

$p_\theta\left(x_{1:T}\right) = \prod_{t=1}^{T} p_\theta\left(x_t \mid x_{<t}, a_{<t}, c\right)$

其中 $x_t$ 是视觉 token 或连续潜变量， $a_{<t}$ 是动作或潜在动作， $c$ 是文本、图像或轨迹条件。训练目标可以是交叉熵（离散 token）或扩散损失（连续潜变量）。优点是生成接口统一、可利用大规模视频、可合成数据；缺点是自回归误差累积、动作敏感性难以保证、计算成本高、视觉保真度与因果正确性可能脱钩。

5.4 联合嵌入预测：JEPA 家族

JEPA 的核心是在表示空间做预测，而不是在观测空间做重建。一个简化的目标可以写为

$$
\mathcal{L}{\mathrm{JEPA}}(\theta) =
\mathbb{E}{x,y}
\left[
\left|
P_\theta\left(E_x(x), z\right)

\mathrm{sg}\left(E_y(y)\right)
\right|_2^2
\right]
$$

其中 $E_x$ 与 $E_y$ 是上下文与目标编码器， $P_\theta$ 是预测器， $z$ 是潜在变量， $\mathrm{sg}(\cdot)$ 表示停止梯度。实际系统会使用非对称架构、掩码策略、EMA 目标编码器或多尺度预测来避免表示坍缩。I-JEPA 在图像上预测目标块的表示 [14]；V-JEPA 在视频上做特征预测 [15]；V-JEPA 2 在此基础上加入动作条件后训练，形成可用于规划的潜世界模型 [16]。

JEPA 的优点是避免为不可预测的像素细节付费、语义表示强、计算经济；缺点是抽象层级难选、动作条件需要额外数据、精细物理与接触动力学可能被过度压缩。JEPA 不是“无重建”的同义词：它仍然需要某种目标表示，只是目标不是像素。JEPA 与 RSSM 的区别在于预测空间；与 MuZero 的区别在于 JEPA 通常保留更通用的表征，而不是只保留任务特定的价值。

5.5 策略即预测：Decision Transformer 与 UniPi

策略即预测把动作或计划作为预测目标。Decision Transformer 把轨迹表示为 $(R_1, s_1, a_1, R_2, s_2, a_2, \ldots)$ ，用因果 Transformer 在给定目标回报的条件下预测动作 [25]。UniPi 把计划表示为视频：给定文本目标与初始帧，生成未来帧序列，再用逆动力学模型提取动作 [24]。两者的共同点是“预测直接产出行为”，不同点是 Decision Transformer 预测动作 token，UniPi 预测视觉计划。

这条路线避免了显式环境模型的在线搜索，适合离线数据与多任务序列建模。但它也牺牲了反事实查询与安全约束下的规划能力：如果模型只预测动作，就很难在行动前评估“另一个动作会怎样”。因此，策略即预测更适合 D3 耦合，而不是 D1/D2 意义上的通用世界模型。

5.6 混合架构与世界-动作模型

S4 阶段的混合架构通常包含三个部分：预测 backbone（特征、潜状态或视频）、动作接口（显式动作、潜在动作或语言目标）、决策头（规划器、策略或评估器）。世界-动作模型（World-Action Model, WAM）是其中一种形态：它同时预测未来状态与动作，用视频或特征作为稠密监督，并保留语言规划接口。与纯视频生成相比，WAM 更强调动作条件与决策对齐；与纯策略学习相比，WAM 更强调可推演的未来表征。本文不主张 WAM 是唯一方向，但认为“预测 backbone + 动作后训练 + 决策头”的分层是再融合的合理工程形态。

5.7 表 1：代表系统的 P–A–D 坐标与证据

系统	年份	预测目标 P	动作接口 A	决策耦合 D	训练信号	代表性验证结果（来源）	证据等级
Dyna	1991	P1/P3	A2	D1	模型 + 规划	概念架构；后续大量 MBRL 工作继承 [1]	E3
World Models	2018	P0/P1	A2	D2	VAE + MDN-RNN + CMA-ES	CarRacing、VizDoom 中的梦境训练与迁移 [4]	E2
PlaNet	2018	P1	A2	D1	RSSM + 潜在 overshooting	多个连续控制任务；样本效率优于若干模型无关基线 [5]	E2
Dreamer	2019	P1	A2	D2	潜空间想象 + 演员-评论家	20 个视觉控制任务；数据效率、计算时间与最终性能优于若干此前方法 [6]	E1/E2
DreamerV2	2020	P1	A2	D2	离散潜变量	Atari 55 任务达到人类水平；200M 帧 [7]	E1
MuZero	2019	P3	A2	D1	值等价模型 + MCTS	57 个 Atari 游戏；围棋、国际象棋、将棋 [10]	E1
IRIS	2022	P0/P1	A2	D2	离散自编码器 + 自回归 Transformer	Atari 100k 平均人类归一化分数 1.046；26 个游戏中 10 个超过人类 [11]	E1
Decision Transformer	2021	P3	A2	D3	条件序列建模	在 Atari、Gym、Key-to-Door 等离线任务上匹配或超过强基线 [25]	E1
TD-MPC2	2023	P1/P3	A2/A4	D1/D2	无解码器隐式模型 + 局部轨迹优化	104 个任务、4 个域、单一超参数；317M 参数智能体执行 80 个任务 [12]	E1
DIAMOND	2024	P0	A2	D2	扩散世界模型	Atari 100k 平均人类归一化分数 1.46；作者称为完全在世界模型中训练的新最佳 [13]	E1
I-JEPA	2023	P2	A0	D0	图像特征预测	ViT-H/14 在 ImageNet 上可扩展；线性分类、计数、深度预测 [14]	E1
V-JEPA	2024	P2	A0	D0	视频特征预测	ViT-H/16：Kinetics-400 81.9、Something-Something v2 72.2、ImageNet-1K 77.9（冻结主干）[15]	E1
V-JEPA 2	2025	P2	A1/A2	D1	视频预训练 + 动作条件后训练	Something-Something v2 77.3；Epic-Kitchens-100 recall@5 39.7；零样本 Franka 抓放 [16]	E1/E2
Genie	2024	P0	A1	D4	潜在动作 + 自回归动力学	11B 参数；约 3 万小时游戏视频；逐帧交互 [18]	E2
UniSim	2023	P0	A2/A3	D4	条件视频生成	高层指令与低层控制；纯仿真训练后的零样本真实世界迁移 [23]	E2
GameNGen	2024	P0	A2	D4	扩散下一帧预测	单 TPU 超过 20 FPS；PSNR 29.4；人类评审接近随机 [22]	E2
GAIA-1	2023	P0	A2/A3	D4	离散 token 下一 token 预测	视频、文本、动作条件的驾驶场景生成 [19]	E3
Sora	2024	P0	A0	D0	扩散 Transformer + 时空 patch	最长约一分钟高保真视频；3D 一致性与简单物理交互的涌现现象；存在物理失败 [21]	E3
Cosmos	2025	P0	A2/A0	D4	世界基础模型平台	视频策展、预训练、后训练与 tokenizer；开放权重 [20]	E2/E3
Othello-GPT	2022	P2/P3	A0	D0	序列模型	非线性棋盘状态表示；干预实验与潜在显著性图 [26]	E2
Llama-2 空间/时间	2023	P2	A0	D0	语言模型表示分析	空间与时间的线性表示；跨尺度、跨实体类型；空间/时间神经元 [27]	E2

5.8 小结：没有免费午餐

技术谱系的分析指向一个朴素结论：没有一种预测目标、动作接口或决策耦合在所有任务上占优。P0 生成式模型在数据合成与人机检查上占优，P2 特征模型在语义抽象与计算经济上占优，P3 值等价模型在决策对齐上占优，P1 潜状态模型在控制与样本效率之间折中。A0 模型可以学习世界先验，但不能直接闭环控制；A1 模型可以从无标注视频中发现可控性，但动作语义可能不透明；A2 模型动作明确，但需要动作标注；A4 模型跨具身，但接口设计困难。D1 规划灵活但计算昂贵；D2 想象训练高效但依赖模型精度；D3 策略直接但不可查询；D4 数据引擎价值大但评估困难。

因此，判断一个世界模型是否“先进”，必须先问它在什么坐标上、为谁服务、用什么证据验证。脱离坐标的横向比较，和脱离任务的平均分数一样，都会掩盖真正的失败模式。

6 证据复核：哪些结论有支撑，哪些仍是主张

6.1 样本效率与闭环控制

在样本效率方面，最有力的证据来自 Atari 100k 与连续控制基准。IRIS 在 Atari 100k 上报告平均人类归一化分数 1.046，并在 26 个游戏中的 10 个上超过人类 [11]。DIAMOND 在同一基准上报告 1.46，并强调扩散世界模型保留视觉细节对智能体性能的帮助 [13]。这两个数字不能直接与 DreamerV2 的 200M 帧结果比较，因为预算、基准与评估协议不同；它们说明的是“在极低数据预算下，世界模型内部训练可以具有很强的样本效率”，而不是“某个架构普遍优于另一个架构”。

在连续控制方面，PlaNet、Dreamer、TD-MPC2 与 DreamerV3 提供了不同层次的证据。PlaNet 展示了从像素学习模型并进行在线规划的可行性 [5]；Dreamer 展示了潜空间想象训练的效率 [6]；TD-MPC2 展示了无解码器模型与局部轨迹优化在 104 个任务上的稳定性 [12]；DreamerV3 展示了单一超参数配置跨 150 多个任务的泛化 [8,9]。这些结果的共同指向是：当任务分布相对固定、奖励可观测、环境可交互时，潜动力学世界模型可以显著提升样本效率。它们没有证明世界模型在开放世界、长尾物理或安全关键场景中同样有效。

6.2 跨域泛化与统一超参

DreamerV3 是最强的跨域证据之一。作者报告用一套固定超参数覆盖 150 多个任务，涵盖连续与离散动作、视觉与低维输入、稠密与稀疏奖励、不同奖励尺度、2D/3D 世界与程序生成环境，并在 Minecraft 中从零开始收集钻石 [8]。Nature 版本以“Mastering diverse control tasks through world models”为题发表 [9]。TD-MPC2 报告在 104 个在线强化学习任务、4 个任务域上使用单一超参数配置，并训练 3.17 亿参数智能体执行 80 个任务 [12]。这些结果说明“通用配置”在模拟任务集合上是可行的。

但“跨域”需要谨慎定义。DreamerV3 与 TD-MPC2 的域仍然是游戏、连续控制与操作任务；它们证明了模型容量与训练配方可以跨这些域迁移，但没有证明跨真实世界、跨具身、跨安全约束的通用性。Minecraft 钻石是一个长时程、稀疏奖励的里程碑，但它仍是封闭规则系统，不等于开放世界智能。跨域泛化的真正考验是：模型能否在新动作空间、新物理规律、新传感器配置下快速适应，而不是在同一套基准家族内换任务。

6.3 视频生成、交互式模拟与数据引擎

生成式路线的证据分为三类。第一类是视觉质量与长时一致性。Sora 报告最长约一分钟的高保真视频，并展示了 3D 一致性、长程连贯与简单物理交互等涌现现象，同时承认在玻璃破碎、物体持久性等场景中失败 [21]。GameNGen 报告单 TPU 上超过 20 FPS、PSNR 29.4，以及人类评审在短片段上接近随机的判别表现 [22]。第二类是交互可控性。Genie 从无动作标注视频中学习潜在动作，支持逐帧交互 [18]；UniSim 支持高层指令与低层控制，并展示纯仿真训练后的零样本真实世界迁移 [23]；GAIA-1 接受视频、文本与动作输入 [19]。第三类是平台化与数据引擎。Cosmos 提供视频策展、预训练、后训练与 tokenizer，并以开放权重发布 [20]。

这些结果支持一个有限结论：生成式世界模型可以作为数据合成器、场景编辑器、评估环境与人机接口。它们不足以支持“生成式模型已经理解物理”的强主张。视觉逼真度、动作敏感性与因果正确性是三个不同的维度；当前多数系统只在前两个维度上提供了系统证据，第三个维度仍以定性案例为主。长时程漂移、反事实一致性与分布外动作的泛化，仍是生成式路线的主要缺口。

6.4 预测式表征与物理理解

JEPA 路线的证据主要在表征质量与迁移能力上。I-JEPA 在 ImageNet 上展示了无需手工增强的可扩展表示学习 [14]；V-JEPA 报告 ViT-H/16 在 Kinetics-400 上 81.9%、Something-Something v2 上 72.2%、ImageNet-1K 上 77.9% 的冻结主干结果 [15]；V-JEPA 2 报告 Something-Something v2 上 77.3 的 top-1、Epic-Kitchens-100 上 39.7 的 recall@5，并展示零样本机器人抓放规划 [16]。这些结果说明特征预测可以学到对运动、物体与场景有用的表示。

但“表征质量”不等于“世界模型”。线性探针准确率高，说明信息可解码；它不说明模型能预测干预后果，也不说明模型能支持长时程规划。V-JEPA 2 的动作条件后训练与零样本机器人结果是重要进展，但其任务范围、实验室条件与动作空间仍然有限。JEPA 路线需要更多“干预—预测—决策”的闭环证据，才能与 MBRL 路线的控制结果直接比较。

6.5 语言模型中的世界知识

语言模型是否拥有世界模型，是一个独立但相关的问题。Othello-GPT 在只预测合法落子的训练中，出现了非线性的棋盘状态表示；干预实验表明这种表示可以影响输出，并可用于生成潜在显著性图 [26]。Llama-2 的分析发现，模型在空间与时间数据上学习到线性表示，跨尺度、跨实体类型，并存在对空间或时间坐标敏感的“神经元” [27]。这些结果支持一个有限结论：序列预测可以诱导出结构化的内部表示。

但它们不支持“语言模型因此拥有物理世界模型”的强主张。棋盘状态是封闭符号系统，空间/时间表示是文本共现的统计结构；它们与接触力学、物体持久性、动作后果等物理世界模型不是同一类对象。语言模型的世界知识更可能是“世界知识的部分投影”，而不是可交互的因果模拟器。将语言模型与显式世界模型结合，可能比争论“谁才是世界模型”更有建设性。

6.6 证据强度与外部效度

把上述证据放在一起，可以得到三个判断。第一，控制与样本效率的证据最强：MBRL 路线在模拟控制基准上有大量可复现结果，DreamerV3 与 TD-MPC2 进一步展示了跨域配置的可行性。第二，生成式模拟的证据在视觉与交互层面较强，在因果层面较弱：Sora、Genie、GameNGen、UniSim 展示了令人印象深刻的生成与交互能力，但长时程因果一致性缺乏统一基准。第三，特征预测与语言模型世界知识的证据在表征层面较强，在决策层面较弱：JEPA 与大语言模型（Large Language Model, LLM）分析提供了内部表示的证据，但闭环决策与干预验证仍有限。

外部效度还受到四个因素限制：基准异质性（不同论文使用不同环境、预算与评估协议）、计算不可比（训练与推理成本差异巨大）、发表偏差（成功案例更易发表）、以及“世界模型”定义漂移（不同论文对同一术语的使用不一致）。因此，本文在引用数字时尽量保留条件，不进行跨基准的直接排序。

6.7 表 2：关键定量证据与适用条件

主张	关键证据（来源）	适用条件	不应外推到的范围
潜世界模型可提升样本效率	IRIS：Atari 100k 人类归一化分数（Human-Normalized Score, HNS）1.046 [11]；DIAMOND：Atari 100k HNS 1.46 [13]	离散动作、固定游戏集、低数据预算	开放世界、连续真实机器人、安全关键任务
单一超参数可跨域控制	DreamerV3：150+ 任务、一套配置、Minecraft 钻石 [8,9]	模拟任务集合、可交互环境	真实世界跨具身、非平稳环境
隐式世界模型可扩展到多任务	TD-MPC2：104 任务、317M 参数、80 任务 [12]	连续控制、多任务训练、模拟环境	开放词汇任务、长时程语言规划
特征预测可学到强视频表示	V-JEPA：K400 81.9、SSv2 72.2、IN-1K 77.9 [15]	冻结主干评估、视频分类与检索	精细操作、接触物理、闭环控制
特征预测可支持零样本规划	V-JEPA 2：SSv2 77.3、Epic-Kitchens 39.7、Franka 抓放 [16]	少量机器人数据后训练、特定实验室任务	任意具身、任意任务、开放环境
生成式模型可交互模拟	Genie：11B、3 万小时、逐帧交互 [18]；GameNGen：20+ FPS、PSNR 29.4 [22]	游戏/固定场景、短时程交互	高精度物理、长时程因果、安全关键
生成式模拟可支持真实迁移	UniSim：高层/低层控制、零样本真实迁移 [23]	受控真实环境、特定任务族	开放世界、多机器人、非结构化场景
序列预测可诱导结构化表示	Othello-GPT：棋盘状态表示 [26]；Llama-2：空间/时间表示 [27]	封闭符号任务、文本共现数据	物理因果、可交互世界模型

7 趋势判断：十条可证伪的判断

7.1 判断模板

以下每条判断采用同一模板：主张（我们相信会发生什么）、依据（已有证据）、反证/风险（什么会推翻它）、可观测信号（未来 1–5 年可检验的指标或事件）、置信度（高/中高/中/低）与时间窗。置信度是作者的主观评估，不是统计概率；时间窗是研究判断，不是承诺。

7.2 T1：预测目标从“重建观测”转向“预测决策相关变量”

主张。 世界模型的主目标将从尽可能重建观测，转向预测与决策相关的状态、特征、奖励与价值；重建会退居辅助正则、可选渲染或数据合成接口，而不再是唯一的训练目标。依据。 MuZero 用值等价模型绕开重建 [10]；TD-MPC2 使用无解码器的隐式模型 [12]；DreamerV3 通过归一化与平衡技巧提升跨域稳定性，而非单纯增加重建精度 [8,9]；JEPA 在特征空间预测 [14-17]；DIAMOND 表明视觉细节在任务相关时重要，但并非所有细节都重要 [13]。反证/风险。 大规模视频生成可能证明“像素预测本身就能学到足够好的决策表征”；如果 Sora/Cosmos 类模型在控制任务上直接用像素预测超过特征/潜状态方法，T1 应被削弱。可观测信号。 新系统在报告控制性能时同时报告动作敏感性与反事实一致性；重建权重的消融显示降低重建不影响决策；无渲染器的世界模型在标准控制基准上持续竞争力。置信度。 高。时间窗。 1–3 年。

7.3 T2：生成式与联合嵌入路线长期并存，并在混合架构中增加交集

主张。 生成式像素模拟与联合嵌入预测不会在短期内互相取代；两者会在“特征/潜状态动力学 + 可选生成式渲染”的混合架构中增加交集。依据。 两条路线对应不同的决策耦合：生成式模型适合数据合成、评估与人机检查（D4），特征模型适合控制与规划（D1/D2）；V-JEPA 2 与 DIAMOND 分别展示了“特征 + 动作后训练”与“扩散 + 控制”的混合潜力 [13,16]；Genie、UniSim、Cosmos 展示了生成式模型作为环境与数据引擎的价值 [18,20,23]。反证/风险。 如果统一的端到端视频-动作模型在控制、数据合成与评估上同时占优，混合架构的必要性会下降。可观测信号。 出现同时使用特征空间动力学与扩散渲染器的系统；跨范式基准上两种路线被直接比较；动作接口在两类系统间复用。置信度。 高。时间窗。 2–5 年。

7.4 T3：世界模型的主要价值从“生成内容”转向“具身智能的数据引擎、评估器与规划器”

主张。 世界模型的产业与研究价值重心，将从生成可观看的内容转向为具身智能提供可交互的训练数据、可复现的评估环境与可查询的规划器。依据。 UniSim 用生成式模拟器训练策略并展示零样本真实迁移 [23]；Cosmos 把世界模型平台化为物理 AI 基础设施 [20]；V-JEPA 2 用世界模型做零样本机器人规划 [16]；Genie 展示从视频学习交互环境 [18]。反证/风险。 内容生成市场在近期可能更大；世界模型可能长期作为视频工具的功能，而不是独立基础设施。可观测信号。 机器人训练管线中世界模型生成数据的占比上升；出现以世界模型为核心的评估服务；sim-to-real 指标成为标准报告项。置信度。 高。时间窗。 1–3 年。

7.5 T4：动作接口的统一与跨具身泛化是核心瓶颈，优先于视觉逼真度

主张。 制约世界模型落地的主要因素，不是画面是否逼真，而是动作接口是否统一、动作条件是否敏感、模型能否跨具身迁移。依据。 Genie 用潜在动作从无标注视频中学习可控性 [18]；V-JEPA 2-AC 用少量机器人视频做动作条件后训练 [16]；TD-MPC2 用任务嵌入与动作掩码支持多具身、多动作空间 [12]；UniSim 支持高层指令与低层控制 [23]。反证/风险。 无动作预训练可能已经学到足够的可供性，动作接口的重要性被高估；语言模型可以提供动作先验，降低对显式动作数据的依赖。可观测信号。 跨具身零样本/少样本结果成为常规报告；出现标准化动作 schema 或动作中间表示；动作敏感性指标进入排行榜。置信度。 高。时间窗。 2–5 年。

7.6 T5：长时程一致性与因果可控性仍是主要技术门槛

主张。 长时程一致性与因果可控性不会仅靠扩大参数规模解决；误差累积、分布偏移与反事实不可识别是结构性限制。依据。 自回归生成存在漂移；Sora 技术报告承认物理失败 [21]；GameNGen 在数分钟交互中保持稳定，但场景与动作空间有限 [22]；Dreamer 系列的长时程任务仍依赖模型精度与奖励设计 [5-9]；附录 B 给出一个示意性误差累积界，说明多步误差可能随 horizon 放大 [本论文附录]。反证/风险。 更大的模型、更好的 tokenizer、记忆机制与测试时校正可能显著缓解漂移；如果出现跨小时级、开放动作空间的稳定生成，T5 应被削弱。可观测信号。 长时程干预基准；反事实一致性指标；漂移曲线随 horizon 的变化；层级模型与记忆机制的系统消融。置信度。 高。时间窗。 3–5 年。

7.7 T6：世界模型与语言模型将形成“语言先验 + 物理模拟”的混合架构

主张。 纯视频世界模型难以独立承担高层规划；更可行的形态是语言模型提供目标、抽象与常识，世界模型提供物理推演与动作后果。依据。 V-JEPA 2 与语言模型对齐后展示视频问答能力 [16]；UniPi 用文本条件视频生成计划 [24]；Othello-GPT 与 Llama-2 分析显示语言模型可以诱导结构化世界知识 [26,27]；语言提供了目标分解与跨任务接口。反证/风险。 端到端多模态世界-动作模型可能吸收语言能力；如果单一视频-动作模型在语言指定任务上表现良好，混合架构的必要性下降。可观测信号。 出现“LLM 规划器 + 世界模型执行器”的系统；语言指定目标的基准；失败分析显示语言 grounding 是主要瓶颈。置信度。 中高。时间窗。 2–4 年。

7.8 T7：评测从视觉保真度转向多维决策效用矩阵

主张。 世界模型的评测将从 Fréchet 视频距离（Fréchet Video Distance, FVD）、PSNR、视觉主观评分等单一指标，转向动作敏感性、反事实一致性、长时稳定性、决策效用与计算经济性的多维矩阵。依据。 DIAMOND 表明视觉细节在任务相关时重要，但视觉指标本身不足以预测控制性能 [13]；Genie/GameNGen 使用人类判别与交互稳定性作为补充 [18,22]；MBRL 与生成式路线使用不同指标，导致无法直接比较 [28,29]。反证/风险。 视觉指标易于报告，排行榜可能继续以视觉质量为主；多维矩阵的计算成本高，难以标准化。可观测信号。 新基准同时报告动作敏感性、反事实误差与决策回报；论文附录报告计算成本；出现跨范式排行榜。置信度。 高。时间窗。 1–3 年。

7.9 T8：安全、不确定性与可验证性成为部署前提

主张。 随着世界模型进入机器人、自动驾驶与工业控制，安全、不确定性与可验证性将从“附加项”变为“部署前提”；风险从生成错误内容扩展到错误预测导致错误行动。依据。 模型误差会在闭环中放大；Sora 等生成模型的物理失败说明视觉可信不等于因果可信 [21]；MBRL 的规划依赖模型精度与不确定性估计 [28]；安全关键场景需要可审计的失败模式。反证/风险。 能力优先的文化可能压过安全投入；监管滞后；开源生态可能降低安全门槛。可观测信号。 校准误差、分布外（Out-of-Distribution, OOD）检测、保守规划与运行时监控成为标准模块；出现世界模型的红队测试与认证流程；保险与责任框架开始区分“预测失败”与“执行失败”。置信度。 中高。时间窗。 2–5 年。

7.10 T9：规模定律从“参数规模”转向“交互数据 × 容量 × 想象时程 × 动作多样性”

主张。 世界模型的 scaling law 将不再是单一参数规模，而是交互数据量、模型容量、想象时程与动作多样性的联合函数；动作数据与高质量交互数据成为瓶颈。依据。 V-JEPA 2 用超过 100 万小时视频预训练，再用不到 62 小时机器人数据后训练 [16]；Genie 使用约 3 万小时游戏视频 [18]；DreamerV3 与 TD-MPC2 展示了模型/数据规模与多任务能力的关系 [8,9,12]；动作标注数据远少于被动视频。反证/风险。 被动视频可能足以学到多数物理先验；合成动作标签与潜在动作学习可能缓解数据瓶颈。可观测信号。 报告 scaling 曲线时同时变化动作多样性与想象时程；出现合成动作数据管线；潜在动作预训练成为标准步骤。置信度。 中。时间窗。 2–5 年。

7.11 T10：开源生态加速，但算力门槛导致分层格局

主张。 世界模型的开源生态与标准化接口会加速，但基础模型的算力门槛会导致“基础模型层—行业微调层—应用层”的分层格局；完全平权的“人人训练世界模型”在短期内不现实。依据。 Cosmos 以开放权重发布世界基础模型平台 [20]；DreamerV3 与 TD-MPC2 开源代码与检查点 [8,12]；Genie 等系统未完全开放 [18]；视频生成与大规模预训练需要显著算力。反证/风险。 高效架构、蒸馏与开源社区可能降低门槛；闭源模型可能通过 API 主导市场。可观测信号。 开放检查点与许可证的演化；行业微调层的出现；标准化动作/表征接口；基础模型层的算力集中度。置信度。 中。时间窗。 1–3 年。

7.12 表 3：趋势判断总览

编号	判断摘要	置信度	主要依据	关键可观测信号	时间窗
T1	预测目标转向决策相关变量	高	MuZero、TD-MPC2、JEPA、DIAMOND	动作敏感性/反事实指标；重建消融	1–3 年
T2	生成式与 JEPA 长期并存、混合增加	高	V-JEPA 2、DIAMOND、Genie/Cosmos	混合架构；跨范式比较	2–5 年
T3	价值转向数据引擎/评估器/规划器	高	UniSim、Cosmos、V-JEPA 2	机器人数据管线；sim-to-real	1–3 年
T4	动作接口与跨具身是核心瓶颈	高	Genie、V-JEPA 2-AC、TD-MPC2	跨具身零样本；动作 schema	2–5 年
T5	长时程与因果一致性仍是门槛	高	生成漂移；Sora 物理失败；误差界	长时程干预基准；漂移曲线	3–5 年
T6	语言先验 + 物理模拟混合	中高	V-JEPA 2+LLM、UniPi、LLM 世界知识	LLM 规划器 + 世界模型执行器	2–4 年
T7	评测转向多维决策效用	高	DIAMOND、Genie/GameNGen、基准分裂	跨范式排行榜；动作敏感性	1–3 年
T8	安全与可验证性成为前提	中高	闭环误差；安全关键部署	校准/OOD/监控/红队	2–5 年
T9	联合 scaling：数据×容量×时程×动作	中	V-JEPA 2、Genie、DreamerV3/TD-MPC2	scaling 曲线；合成动作数据	2–5 年
T10	开源加速但分层格局	中	Cosmos、DreamerV3、TD-MPC2、Genie	开放检查点；许可证；算力集中	1–3 年

7.13 一个元判断：世界模型是必要条件，不是充分条件

在上述十条判断之外，本文给出一个元判断：在本文的立场中，世界模型是通用智能体的重要组件，但并非已被证明的必要条件；它更不是充分条件。 它提供“预测内核”，但通用智能还需要记忆、因果推理、持续学习、社会认知、语言 grounding、自我监控与价值约束。把世界模型等同于通用人工智能，会重复“更大模型即更通用智能”的线性外推错误。反过来，忽视世界模型，也会让智能体停留在反应式策略，难以在开放环境中进行长时程规划。更合理的立场是：把世界模型视为智能体架构中的一个模块，而不是全部。

8 开放问题与研究议程

8.1 因果表征与干预

当前世界模型大多学习观测的条件分布，而不是干预后的因果效应。一个模型可以准确预测“在数据中同时出现的下一步”，却无法回答“如果我强制改变这个变量，会发生什么”。研究议程包括：定义可用于控制的最小因果状态；构建干预式基准；比较相关性预测与因果预测在分布外动作上的差异；把不变性、工具变量与结构因果模型引入世界模型训练。最小验证单元是“同一状态、不同干预”的反事实对，要求模型在干预后仍能预测结果，而不是复现训练分布。

8.2 长时程误差累积与记忆

附录 B 的示意性误差界说明，多步预测误差可能随 horizon 放大。缓解路径包括：层级时间抽象、记忆机制、测试时校正、滚动重新规划、以及不确定性感知的模型选择。研究议程包括：区分 aleatoric 与 epistemic 误差；设计能在长 rollout 中保持物理守恒的架构；比较“更长 horizon 的训练”与“更频繁的重新规划”的性价比；建立跨小时级的漂移基准。最小验证单元是固定动作序列下的长时程预测误差曲线，以及闭环任务中误差与回报的相关性。

8.3 统一动作接口与跨具身

跨具身是世界模型从“游戏/仿真”走向“物理 AI”的关键。研究议程包括：设计可复用的动作中间表示；比较显式动作、潜在动作与语言目标的条件效率；研究动作空间缺失时的零样本迁移；建立跨机器人形态的数据标准与评估协议。TD-MPC2 的动作掩码与任务嵌入、Genie 的潜在动作、V-JEPA 2-AC 的动作条件后训练，提供了三种不同的起点 [12,16,18]。最小验证单元是“在未见具身上执行未见任务”的零样本或 few-shot 成功率，而不是同一机器人上的任务内插值。

8.4 跨范式评测与可复现性

当前评测的碎片化是世界模型研究的主要障碍。研究议程包括：建立同时覆盖 P0–P3、A0–A4、D0–D4 的基准矩阵；报告动作敏感性、反事实一致性、长时稳定性、决策效用与计算成本；统一随机种子、数据划分与计算预算的报告格式；鼓励失败案例与负结果发表。最小验证单元是一个“跨范式对照实验”：在同一环境、同一数据预算下比较潜动力学、生成式、特征预测与策略序列模型，报告各自在多维指标上的 Pareto 前沿。

8.5 不确定性与安全

世界模型的不确定性包括偶然不确定性、认知不确定性与模型结构不确定性。研究议程包括：校准多步预测的不确定性；检测分布外动作与状态；在规划中引入保守约束；设计运行时监控与回退策略；建立世界模型失败模式分类学。安全关键场景还需要可审计的假设、可解释的预测与人类监督接口。最小验证单元是“模型高置信错误”的检测率，以及保守规划在分布外场景中的后悔界。

8.6 计算与数据经济性

生成式世界模型的计算成本是落地的现实约束。研究议程包括：更高效的 tokenizer 与蒸馏；缓存与增量推理；按需渲染（只在需要人机检查时生成像素）；数据策展与去重；以“每次决策成本”而非“训练 FLOPs”作为报告指标。最小验证单元是单位决策的延迟、显存与能耗，以及在相同预算下与替代方案的性价比。

8.7 与语言模型 / 视觉语言模型的接口

语言模型提供目标、抽象与常识，世界模型提供物理推演与动作后果。研究议程包括：语言 grounding 的可验证接口；把世界模型作为工具调用；让语言模型生成可执行的计划并交给世界模型验证；避免“语言模型假装是世界模型”的过度声明。最小验证单元是“语言指定目标 + 世界模型执行”的端到端任务，要求同时评估语言理解、计划可行性与执行成功率。

8.8 理论问题

世界模型的理论仍不成熟。值得研究的问题包括：什么样的预测目标足以支持最优控制？世界模型的样本复杂度如何随 horizon、状态维度与动作维度变化？在部分可观测与随机环境中，因果状态是否可识别？多步预测误差与规划后悔之间是否存在可证明的界？不同预测目标之间的信息权衡能否形式化？本文附录 B 的误差界只是一个示意，不是完整理论。最小验证单元是“可证明的界 + 可构造的反例”，而不是仅靠基准分数。

8.9 表 4：研究议程与最小验证单元

研究方向	核心问题	第一步	成功标准
因果表征	预测是否支持干预	构建反事实对基准	干预后预测误差显著低于相关性基线
长时程	误差如何随 horizon 增长	固定动作的长 rollout 测试	漂移曲线可预测；闭环回报与误差相关
跨具身	动作接口能否迁移	统一动作中间表示	未见具身上的零样本/few-shot 成功率
评测	如何跨范式比较	同环境、同预算的对照实验	多维 Pareto 前沿；可复现报告
安全	如何检测高置信错误	校准与 OOD 测试	高置信错误检测率；保守规划后悔界
经济性	每次决策成本	延迟/显存/能耗报告	相同预算下的性价比优势
语言接口	语言目标如何落地	LLM 计划 + 世界模型验证	端到端任务成功率与失败可解释性
理论	预测目标与控制的关系	构造可证明的界与反例	可检验的样本复杂度/后悔界

9 Discussion

9.1 为什么需要路线图

路线图的价值不在于预测哪一条技术路线“赢”，而在于帮助研究者和工程团队提出正确的问题。一个团队如果只问“我们的视频生成 FVD 是否更低”，可能会忽略动作敏感性与决策效用；如果只问“我们的控制回报是否更高”，可能会忽略模型是否可检查、是否可迁移、是否安全。P–A–D 坐标系迫使团队明确：我们预测什么？接受什么动作？为谁服务？这三个问题比“是否世界模型”更有信息量。

路线图还揭示了“局部最优”的合理性。生成式路线在数据合成与人机接口上占优，特征路线在抽象与效率上占优，潜动力学路线在控制与样本效率上占优，值等价路线在决策对齐上占优。它们不是同一赛道上的不同选手，而是不同赛道上的工具。政策与投资如果只奖励单一指标，可能会抑制互补路线的探索。

9.2 适用边界

本文的结论适用于以视觉、控制与视频为主的世界模型研究。对于语言、音频、触觉、多模态融合、社会模拟与科学发现，本文的覆盖有限；这些领域可能有不同的预测目标、动作接口与评估标准。本文的证据主要来自模拟环境与受控真实环境，不能直接外推到开放世界、安全关键系统或长期自主运行。本文的趋势判断是分析性的，不是统计预测；它们应该随着新证据被修正。

9.3 伦理与社会影响

世界模型的能力提升带来三类伦理与社会风险。第一，合成数据的真实性风险：高质量视频生成可以被用于虚假信息、深度伪造与证据伪造；需要来源标注、水印、检测与治理。第二，预测错误的责任风险：当世界模型驱动机器人、自动驾驶或工业控制时，错误预测可能导致物理伤害；需要不确定性校准、保守规划、运行时监控与责任框架。第三，算力与环境的成本：大规模视频训练与推理消耗大量能源与水资源；需要效率研究、透明报告与可持续部署。此外，世界模型可能被用于模拟社会行为、操纵舆论或规避监管；这些用途需要明确的伦理与法律边界。

9.4 本文局限

本文有四个局限。第一，不报告新实验，因此所有结论都是对已有证据的综合，而不是对某一系统的独立复现。第二，文献覆盖有选择性：以英文 arXiv 与主流会议为主，可能低估工业界未公开系统与非英语研究。第三，证据分级与置信度是作者判断，存在主观性；不同读者可能对同一证据给出不同权重。第四，趋势判断的时间窗与信号是分析性的，不是承诺；领域发展可能因新架构、新数据或新监管而快速变化。读者应把本文当作“可修正的地图”，而不是“最终答案”。

10 Conclusion

本文以“预测目标—动作接口—决策耦合”三轴坐标系重构了世界模型与预测式学习的演进。我们将该领域划分为五个阶段：思想奠基、深度潜变量模型、想象训练与序列化、生成式与联合嵌入双轨分化、世界基础模型再融合；识别了两次关键分叉（重建 vs 值等价、像素 vs 特征）与一次再融合（预训练—动作后训练—规划/执行—可选渲染）。我们按证据等级复核了代表性系统的定量结果，并给出十条带置信度、反证条件与可观测信号的趋势判断。

核心结论可以概括为三点。第一，世界模型的竞争焦点正在从视觉保真度转向任务相关的预测状态、动作可控性与闭环决策效用。第二，生成式与联合嵌入路线将长期并存，并在混合架构中增加交集；不存在单一范式通吃所有决策耦合。第三，动作接口、长时程因果一致性与跨范式评测仍是主要瓶颈；在本文的立场中，世界模型是通用智能体的重要组件，但并非已被证明的必要条件，更不是充分条件。

未来工作可以从三个方向推进。其一，建立跨 P–A–D 坐标的标准化基准，同时报告动作敏感性、反事实一致性、长时稳定性、决策效用与计算成本。其二，研究统一动作接口与跨具身迁移，把“潜在动作”“显式动作”“语言目标”纳入同一实验框架。其三，把因果干预、不确定性校准与安全约束纳入世界模型的训练与评估，让世界模型从“能预测”走向“可信任地预测”。这些工作不需要等待某个单一范式胜出；它们本身就是推动领域走向成熟的公共基础设施。

References

说明：以下条目的标题、作者、编号与 DOI 于 2026-10-19 通过公开摘要页、DOI 记录或本地下载的 PDF 交叉核验；未核验的卷期、页码一律省略，不以推测补齐。

[1] Sutton, R. S. Dyna, an integrated architecture for learning, planning, and reacting. ACM SIGART Bulletin, 2(4):160–163, 1991. DOI: 10.1145/122344.122377.

[2] Rao, R. P. N., Ballard, D. H. Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects. Nature Neuroscience, 2(1):79–87, 1999. DOI: 10.1038/4580.

[3] Friston, K. The free-energy principle: a unified brain theory? Nature Reviews Neuroscience, 11(2):127–138, 2010. DOI: 10.1038/nrn2787.

[4] Ha, D., Schmidhuber, J. World Models. arXiv:1803.10122, 2018. https://arxiv.org/abs/1803.10122

[5] Hafner, D., Lillicrap, T., Fischer, I., Villegas, R., Ha, D., Lee, H., Davidson, J. Learning Latent Dynamics for Planning from Pixels. arXiv:1811.04551, 2018. https://arxiv.org/abs/1811.04551

[6] Hafner, D., Lillicrap, T., Ba, J., Norouzi, M. Dream to Control: Learning Behaviors by Latent Imagination. arXiv:1912.01603, 2019. https://arxiv.org/abs/1912.01603

[7] Hafner, D., Lillicrap, T., Norouzi, M., Ba, J. Mastering Atari with Discrete World Models. arXiv:2010.02193, 2020. https://arxiv.org/abs/2010.02193

[8] Hafner, D., Pasukonis, J., Ba, J., Lillicrap, T. Mastering Diverse Domains through World Models. arXiv:2301.04104, 2023. https://arxiv.org/abs/2301.04104

[9] Hafner, D., Pasukonis, J., Ba, J., Lillicrap, T. Mastering diverse control tasks through world models. Nature, 2025. DOI: 10.1038/s41586-025-08744-2.

[10] Schrittwieser, J., Antonoglou, I., Hubert, T., Simonyan, K., Sifre, L., Schmitt, S., Guez, A., Lockhart, E., Hassabis, D., Graepel, T., Lillicrap, T., Silver, D. Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. arXiv:1911.08265, 2019. https://arxiv.org/abs/1911.08265

[11] Micheli, V., Alonso, E., Fleuret, F. Transformers are Sample-Efficient World Models. arXiv:2209.00588, 2022. https://arxiv.org/abs/2209.00588

[12] Hansen, N., Su, H., Wang, X. TD-MPC2: Scalable, Robust World Models for Continuous Control. arXiv:2310.16828, 2023. https://arxiv.org/abs/2310.16828

[13] Alonso, E., Jelley, A., Micheli, V., Kanervisto, A., Storkey, A., Pearce, T., Fleuret, F. Diffusion for World Modeling: Visual Details Matter in Atari. arXiv:2405.12399, 2024. https://arxiv.org/abs/2405.12399

[14] Assran, M., Duval, Q., Misra, I., Bojanowski, P., Vincent, P., Rabbat, M., LeCun, Y., Ballas, N. Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture. arXiv:2301.08243, 2023. https://arxiv.org/abs/2301.08243

[15] Bardes, A., Garrido, Q., Ponce, J., Chen, X., Rabbat, M., LeCun, Y., Assran, M., Ballas, N. Revisiting Feature Prediction for Learning Visual Representations from Video. arXiv:2404.08471, 2024. https://arxiv.org/abs/2404.08471

[16] Assran, M., Bardes, A., Fan, D., Garrido, Q., Howes, R., Komeili, M., Muckley, M., Rizvi, A., Roberts, C., Sinha, K., Zholus, A., et al. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning. arXiv:2506.09985, 2025. https://arxiv.org/abs/2506.09985

[17] LeCun, Y. A Path Towards Autonomous Machine Intelligence. OpenReview, 2022. https://openreview.net/forum?id=BZ5a1r-kVsf

[18] Bruce, J., Dennis, M., Edwards, A., Parker-Holder, J., Shi, Y., Hughes, E., Lai, M., Mavalankar, A., Steigerwald, R., Apps, C., et al. Genie: Generative Interactive Environments. arXiv:2402.15391, 2024. https://arxiv.org/abs/2402.15391

[19] Hu, A., Russell, L., Yeo, H., Murez, Z., Fedoseev, G., Kendall, A., Shotton, J., Corrado, G. GAIA-1: A Generative World Model for Autonomous Driving. arXiv:2309.17080, 2023. https://arxiv.org/abs/2309.17080

[20] NVIDIA, et al. Cosmos World Foundation Model Platform for Physical AI. arXiv:2501.03575, 2025. https://arxiv.org/abs/2501.03575

[21] OpenAI. Video generation models as world simulators. Technical report, 2024. https://openai.com/index/video-generation-models-as-world-simulators/

[22] Valevski, D., Leviathan, Y., Arar, M., Fruchter, S. Diffusion Models Are Real-Time Game Engines. arXiv:2408.14837, 2024. https://arxiv.org/abs/2408.14837

[23] Yang, S., Du, Y., Ghasemipour, K., Tompson, J., Kaelbling, L., Schuurmans, D., Abbeel, P. Learning Interactive Real-World Simulators. arXiv:2310.06114, 2023. https://arxiv.org/abs/2310.06114

[24] Yang, M. J., Du, Y., et al. Learning Universal Policies via Text-Guided Video Generation. arXiv:2302.00111, 2023. https://arxiv.org/abs/2302.00111

[25] Chen, L., Lu, K., Rajeswaran, A., Lee, K., Grover, A., Laskin, M., Abbeel, P., Srinivas, A., Mordatch, I. Decision Transformer: Reinforcement Learning via Sequence Modeling. arXiv:2106.01345, 2021. https://arxiv.org/abs/2106.01345

[26] Li, K., Hopkins, A. K., Bau, D., Viégas, F., Pfister, H., Wattenberg, M. Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task. arXiv:2210.13382, 2022. https://arxiv.org/abs/2210.13382

[27] Gurnee, W., Tegmark, M. Language Models Represent Space and Time. arXiv:2310.02207, 2023. https://arxiv.org/abs/2310.02207

[28] Moerland, T. M., Broekens, J., Plaat, A., Jonker, C. M. Model-based Reinforcement Learning: A Survey. arXiv:2006.16712, 2020; Foundations and Trends in Machine Learning, 16(1), 2023. DOI: 10.1561/2200000086.

[29] Li, N., et al. Understanding World or Predicting Future? A Comprehensive Survey of World Models. arXiv:2411.14499, 2024. https://arxiv.org/abs/2411.14499

Appendix

A. 符号表

符号	含义
$\mathcal{S}$	状态空间
$\mathcal{A}$	动作空间
$\mathcal{O}$	观测空间
$h_t$	时刻 $t$ 的观测历史
$s_t$	时刻 $t$ 的状态或潜状态
$o_t$	时刻 $t$ 的观测
$a_t$	时刻 $t$ 的动作
$r_t$	时刻 $t$ 的奖励
$\gamma$	折扣因子
$\mathcal{M}_\theta$	参数为 $\theta$ 的世界模型
$E_\theta$	编码器
$T_\theta$	转移模型
$O_\theta$	观测解码器
$R_\theta$	奖励头
$P$	预测目标轴
$A$	动作接口轴
$D$	决策耦合轴
$\mathcal{L}_{\mathrm{pred}}$	预测损失
$\mathcal{L}_{\mathrm{WM}}$	世界模型训练损失
$\Delta_{\mathrm{act}}$	动作敏感性指标
$\Delta_{\mathrm{dec}}$	决策效用差距

B. 误差累积界的示意性推导

设真实动力学为 $s_{t+1}=f(s_t,a_t)$ ，学习模型为 $\hat{s}_{t+1}=\hat{f}(\hat{s}_t,a_t)$ 。假设 $f$ 关于状态是 $L$ -Lipschitz 的，且单步模型误差满足

$\left\| f(s_t,a_t) - \hat{f}(s_t,a_t) \right\| \le \epsilon$

则误差 $e_t=\|s_t-\hat{s}_t\|$ 满足

$$
e_{t+1}
\le \left| f(s_t,a_t)-f(\hat{s}_t,a_t) \right|

\left| f(\hat{s}_t,a_t)-\hat{f}(\hat{s}_t,a_t) \right|
\le L e_t + \epsilon
$$

从 $e_0=0$ 展开 $H$ 步，得到

$$
e_H \le \epsilon \sum_{k=0}^{H-1} L^k

\begin{cases}
\epsilon \dfrac{L^H-1}{L-1}, & L \neq 1, \[6pt]
\epsilon H, & L = 1.
\end{cases}
$$

当 $L > 1$ 时，误差上界随 $H$ 指数增长；当 $L < 1$ 时，误差上界有界；当 $L = 1$ 时，误差线性增长。这个界说明：长时程一致性不仅取决于单步误差 $\epsilon$ ，还取决于动力学的稳定性 $L$ 与 horizon $H$ 。真实系统可能不满足全局 Lipschitz 条件，且存在随机性与部分可观测性，因此该界是示意性的，不是对任何具体系统的性能保证。它支持本文 T5 的判断：仅靠降低单步误差，未必能保证长时程稳定；需要同时控制动力学敏感性与 horizon。

C. 证据分级细则

等级	定义	典型情形	本文使用方式
E1	同行评审，公开基准，多随机种子或多领域，可复现	主流会议论文，开源代码与检查点	作为强证据；仍注明基准与条件
E2	同行评审或 arXiv，公开基准，但种子/领域/基线有限	单实验室、单任务族、有限基线	作为中等证据；不作为跨域结论的唯一依据
E3	技术报告、演示、定性案例、人类主观评估	工业技术报告、演示视频	作为弱证据；只用于说明可行性或现象
J	作者判断，不是实证结论	趋势判断、适用范围推断	明确标注，并给出反证条件与可观测信号

D. 复现与数据可用性说明

本文不包含新实验，因此没有新的代码或数据需要发布。写作过程中下载的关键论文 PDF 存放于同一目录下的 refs-world-models/，包括：

world_models_2018.pdf（arXiv:1803.10122）
dreamerv3.pdf（arXiv:2301.04104）
vjepa2.pdf（arXiv:2506.09985）
genie.pdf（arXiv:2402.15391）
diamond.pdf（arXiv:2405.12399）
tdmpc2.pdf（arXiv:2310.16828）
world_models_survey_2024.pdf（arXiv:2411.14499）

这些 PDF 用于核对标题、作者、摘要与关键数字。本文的定量结果均可在对应论文的摘要或正文中找到；若读者发现引用条件与原文不一致，应以原文为准。受 arXiv 检索服务限流影响，本次写作未能对所有条目执行逐篇深度解析；未核验的细节未写入正文。

E. 术语中英对照

中文	英文	本文用法
世界模型	world model	学习得到或指定的环境预测模型，可生成或非生成
预测式学习	predictive learning	以预测为训练信号的范式，不等同于世界模型
基于模型的强化学习	model-based reinforcement learning (MBRL)	使用学习模型进行规划或想象训练的强化学习
循环状态空间模型	recurrent state-space model (RSSM)	确定性循环路径 + 随机潜变量的世界模型
联合嵌入预测架构	joint-embedding predictive architecture (JEPA)	在表示空间做预测的非生成式架构
值等价模型	value-equivalent model	只预测规划所需奖励、策略与价值的模型
模型预测控制	model predictive control (MPC)	基于模型 rollout 的在线规划
蒙特卡洛树搜索	Monte Carlo tree search (MCTS)	结合模型与搜索的规划算法
想象训练	imagination training	在世界模型生成的潜轨迹中训练策略
动作敏感性	action sensitivity	模型预测对动作差异的响应程度
反事实一致性	counterfactual consistency	干预后预测与真实干预结果的一致性
决策效用	decision utility	模型支撑的决策在真实环境中的回报
数据引擎	data engine	用世界模型生成训练数据或评估环境

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

VLANIF接口详解：三层交换机如何做网关

DAMO开发者矩阵

三层交换机配置：SVI与路由口（L3 Interface）核心差异与实战

DAMO开发者矩阵

三层交换机下的DHCP中继（DHCP Relay）配置：跨VLAN网络自动分配IP方案

DAMO开发者矩阵

所有评论(0)

查看更多评论

禅与计算机程序设计艺术

@universsky2015

已为社区贡献2204条内容

世界模型与预测式学习演进路线图与趋势判断

禅与计算机程序设计艺术

世界模型与预测式学习演进路线图与趋势判断

Abstract

1 Introduction

1.1 预测是行动的前置条件

1.2 术语漂移导致比较失真

1.3 现有综述留下的空白

1.4 本文的主张与方法

1.5 贡献

1.6 结构

2 Related Work

2.1 基于模型的强化学习：规划与学习的耦合

2.2 生成式世界模型：从视频生成到交互式模拟

2.3 预测式表征学习：从预测编码到 JEPA

2.4 序列建模与策略学习：当预测直接产出动作

2.5 与本文的差异

3 概念框架与形式化

3.1 术语界定

3.2 世界模型的形式化

3.3 预测式学习的目标谱系

3.4 P–A–D 三轴坐标系

3.5 演化压力与适应度

3.6 证据分级与可证伪判断

3.7 图 1：P–A–D 坐标系

3.8 图 2：五阶段演进路线图

4 演进路线图：五个阶段、两次分叉与一次再融合

4.1 S0 思想奠基：预测编码、自由能与基于模型的控制（1990–2010）

4.2 S1 深度潜变量世界模型：从像素到潜状态（2013–2019）

4.3 S2 想象训练与序列化：离散潜变量、Transformer 与策略即序列（2019–2022）

4.4 S3 双轨分化：生成式像素模拟 vs 联合嵌入预测（2022–2024）

4.5 S4 再融合：世界基础模型、跨具身动作接口与数据引擎（2024–2026）

4.6 两次分叉的成因

4.7 一次再融合的机制

4.8 路线图的边界条件

5 技术谱系与代表系统

5.1 重建式潜动力学：RSSM 家族

5.2 值等价模型：MuZero 路线

5.3 序列化生成世界模型：IRIS、Genie、GAIA-1、Sora、Cosmos

5.4 联合嵌入预测：JEPA 家族

$$ \mathcal{L}{\mathrm{JEPA}}(\theta) = \mathbb{E}{x,y} \left[ \left| P_\theta\left(E_x(x), z\right)

5.5 策略即预测：Decision Transformer 与 UniPi

5.6 混合架构与世界-动作模型

5.7 表 1：代表系统的 P–A–D 坐标与证据

5.8 小结：没有免费午餐

6 证据复核：哪些结论有支撑，哪些仍是主张

6.1 样本效率与闭环控制

6.2 跨域泛化与统一超参

6.3 视频生成、交互式模拟与数据引擎

6.4 预测式表征与物理理解

6.5 语言模型中的世界知识

6.6 证据强度与外部效度

6.7 表 2：关键定量证据与适用条件

7 趋势判断：十条可证伪的判断

7.1 判断模板

7.2 T1：预测目标从“重建观测”转向“预测决策相关变量”

7.3 T2：生成式与联合嵌入路线长期并存，并在混合架构中增加交集

7.4 T3：世界模型的主要价值从“生成内容”转向“具身智能的数据引擎、评估器与规划器”

7.5 T4：动作接口的统一与跨具身泛化是核心瓶颈，优先于视觉逼真度

7.6 T5：长时程一致性与因果可控性仍是主要技术门槛

7.7 T6：世界模型与语言模型将形成“语言先验 + 物理模拟”的混合架构

7.8 T7：评测从视觉保真度转向多维决策效用矩阵

7.9 T8：安全、不确定性与可验证性成为部署前提

7.10 T9：规模定律从“参数规模”转向“交互数据 × 容量 × 想象时程 × 动作多样性”

7.11 T10：开源生态加速，但算力门槛导致分层格局

7.12 表 3：趋势判断总览

7.13 一个元判断：世界模型是必要条件，不是充分条件

8 开放问题与研究议程

8.1 因果表征与干预

8.2 长时程误差累积与记忆

8.3 统一动作接口与跨具身

8.4 跨范式评测与可复现性

8.5 不确定性与安全

8.6 计算与数据经济性

8.7 与语言模型 / 视觉语言模型的接口

8.8 理论问题

8.9 表 4：研究议程与最小验证单元

9 Discussion

9.1 为什么需要路线图

9.2 适用边界

$$
\mathcal{L}{\mathrm{JEPA}}(\theta) =
\mathbb{E}{x,y}
\left[
\left|
P_\theta\left(E_x(x), z\right)

$$
e_H \le \epsilon \sum_{k=0}^{H-1} L^k