基于决策中心立场重新审视具身智能中的世界模型评估体系

论文来源： How Should World Models Be Evaluated for Embodied Decision-Making? A Decision-Making-Centric PositionarXiv:2606.15032v2 [cs.LG]

世界模型（World Models）已成为当代人工智能领域的核心抽象概念之一。从模型强化学习中的环境动力学模型，到能够生成未来视频序列的生成式模型，再到作为合成数据引擎的交互式神经模拟器，同一术语下涵盖的研究对象日益多元。然而，评估实践的多样化也带来了声明与证据之间的错配问题：部分研究以视频逼真度或物理合理性作为核心指标，却将其用于支撑更强的决策效用声明。近期一项来自南京大学的研究工作系统梳理了这一领域的评估现状，并提出了面向具身决策的评估框架与基准协议，为社区提供了重要的方法论参考。

一、世界模型的六种研究传统

在具身智能与决策制定的语境下，"世界模型"这一术语的渊源可追溯至模型强化学习（Model-Based Reinforcement Learning）中的环境模型传统。该传统下的核心对象是一个以动作作为条件的预测模型，用于回答如下形式的问题：若智能体从历史状态出发执行特定动作，接下来可能发生什么，这一选择对累积回报或任务完成度将产生何种影响？

随着大规模生成式建模与具身智能的成熟，这一术语的内涵经历了显著的扩展。根据该论文的梳理，当前文献中至少存在六种部分重叠但又不尽相同的研究对象，它们共同构成了世界模型的谱系：

动作条件环境模型隐式想象模型未来视频预测器交互式神经模拟器隐式预测表征合成数据引擎

第一种动作条件环境模型主要服务于规划、控制、离策略评估与基于想象的策略学习，其代表性工作包括经典的世界模型架构与Dreamer系列方法。第二种隐式想象模型强调在部分可观测环境下对紧凑预测状态的长期建模需求。第三种未来视频预测器受益于大规模视频数据的可用性，将具身任务自然地表达为未来视觉预测问题。第四种交互式神经模拟器将自回归动作条件视频模型重新用作替代环境，模糊了"视频预测器"与"世界模拟器"之间的边界。第五种隐式预测表征以JEPA风格方法为代表，其建模目标并非像素重建，而是未来的抽象结构。第六种合成数据引擎则将生成模型工具化地用于创建训练轨迹、演示或规划方案。

表1：世界模型术语的简要谱系。同一标签如今涵盖若干部分重叠的研究对象，这也解释了为何评估实践呈现出显著差异。（来源：论文Table 1）

该论文指出，这种术语的泛化本身具有生产性，但也使得评估变得模糊。不同传统下的世界模型在输出模态、接口设计与预期用途上存在本质差异，因此其评估方式也不应一概而论。当一项研究将其模型呈现为用于具身决策的世界模型时，最为关键的问题并非该模型能否生成视觉上令人信服的视频，而是它是否支持可靠的干预式推理、策略评估、规划以及策略优化。

二、评估实践的现状与四种评估文化

为了系统理解当前领域内的评估实践，该论文对近期文献进行了逐篇梳理，依据每篇论文实际评估的内容而非其声称的目标进行分类。通过这一梳理，研究者们识别出四种主要的评估文化，它们在世界模型文献中并存，却常常在同一术语下被混为一谈。

2.1 基准与诊断文献

第一类文献以EVA-Bench、WorldSimBench、EWMBench、DreamGen Bench、WorldModelBench、PBench、RBench、WorldScore等为代表。这类工作主要评估生成的产物本身，包括视频的真实性、语义对齐、物理合理性、轨迹正确性与逻辑一致性。它们采用的指标涵盖FVD、PSNR、SSIM、LPIPS、CLIPScore、VLM/LLM评判分数以及人类偏好等。这些基准在视频生成质量与物理常识理解方面提供了有价值的诊断，但其评估重心仍停留在产物层面。

表2：基准与诊断文献的评估实践梳理。该表格列举了近期基准工作所声称的对象、实际评估内容、代表性指标及其在L0-L7阶梯中的主要层级。（来源：论文Table 2）

2.2 环境模型与策略优化文献

第二类文献更接近世界模型在决策制定中的原始用途，包括WHALE、ACEM、ADM-v2、PCM、DayDreamer、UniSim、World4RL、WMPO等。这些工作评估模型在想象、微调或规划循环中实际带来的策略表现，涉及价值估计质量、完整周期推出质量、策略条件建模、下游离线策略优化收益等。值得注意的是，该家族中的许多论文将低层级的视频诊断指标与最终策略成功指标配对报告，这使得世界模型本身的具体贡献与优化器、奖励模型及数据流程的贡献纠缠在一起。

表3：环境模型与策略优化文献的评估实践。该家族因评估模型在想象、微调或规划中的实际效用而更接近决策制定端。（来源：论文Table 3）

2.3 策略评估、可执行性与合成数据文献

第三类文献代表了从产物质量向决策效用迈进的重要尝试，包括WorldGym、Vid2World、dWorldEval、DreamDojo、IRASim、RoboWM-Bench、Ctrl-World等。这些工作关注模型能否正确排序候选策略、生成的未来能否被转换为可执行动作、以及合成数据能否提升下游学习。这类评估已经触及决策核心，但许多指标仍属于流程层面的度量：可执行性依赖于逆动力学或重定向模块，合成数据价值取决于下游学习者，策略评估相关性则受奖励检查器与待排序策略集合的影响。

表4：策略评估、可执行性与合成数据文献。该家族包含当前最强有力的尝试，将世界模型作为功能性对象而非单纯的生成器来评估。（来源：论文Table 4）

2.4 隐式与基础模型文献

第四类文献以V-JEPA 2、V-JEPA 2.1、LeWorldModel等为代表，它们展示了世界模型无需成为像素生成器即可具备规划效用。这些模型主要通过规划、探测与下游效用来评估，呼应了价值等价原理的直觉：一个模型可以通过捕获与价值相关的子空间来支持决策，而无需建模每一个像素。与此同时，Vafa等人的研究则指出，强大的下一步预测或表面层预测可能掩盖状态抽象层面的缺陷。

表5：隐式与基础模型文献。这些研究表明，规划效用可以在不具备照片级重建能力的情况下存在。（来源：论文Table 5）

综合上述四类文献，该论文发现了一个显著的分布偏斜：开环重建（L1）与最终策略成功（L7）是两个最常见的评估层级，而固定策略排序一致性（L6）仅在约十余项工作中出现，至于可利用性差距（XGap）——即针对模型优化的策略在真实环境中的表现落差——在 surveyed 的文献中几乎从未被报告。这一发现揭示了领域内在重新遭遇目标错配问题时，尚未充分采纳已有的决策感知诊断工具。

三、声明与证据的错位：目标错配问题的再现

该论文将上述现象置于模型强化学习中的经典讨论框架下加以理解。在模型强化学习领域，目标错配（Objective Mismatch）问题早已指出，用于训练动力学模型的目标——通常是一步预测似然或重建误差——与实际重要的目标，即下游控制性能，往往是不同且弱相关的。一个全局准确的模型足以支持规划，但在有限容量下既不必要也不总是可实现；相反，一个仅在任务相关区域准确的模型同样可以支持强有力的控制。

“现代对FID、FVD、PSNR或VLM物理分数的依赖，在我们看来正是这一问题的再次实例化。”

决策感知与价值等价模型学习是应对这一问题的互补思路。价值感知模型学习根据模型误差对价值估计的影响来加权，而非平等对待所有预测误差。价值等价原理则进一步形式化了一个相关直觉：若两个模型对一组策略和价值函数诱导相同的贝尔曼更新，则它们对该集合是等价的。这意味着模型只需在价值相关的子空间中保持准确，而该子空间通常随着策略与函数集合的增长而缩小。

基于上述理论背景，该论文识别出文献中反复出现的一种失败模式：声明与证据的错位。具体而言，较低层级的证据被非正式地用于支撑更强的决策制定声明，而干预式与可利用性诊断却大体缺失。

表6：声明与证据的错位是文献中反复出现的问题。较低层级的证据有时被用于支撑更强的世界模型声明，而这正是目标错配问题在评估层面的再现。（来源：论文Table 6）

该论文强调，其论点并非否定低层级指标或纯生成式世界模型研究的价值。如果模型的预期用途是未来视频生成，那么视频质量与语义合理性自然是合法的首要目标。困难在于，适用于某一声明的证据被用于支撑更强的声明。当一项研究将其模型呈现为用于具身决策的世界模型时，更为关键的问题是：从该历史状态出发，若智能体执行这些动作，在任务相关意义上将会发生什么？

四、L0-L7评估阶梯：从视觉合理性到策略优化效用

为了系统组织评估目标，该论文提出了一个从L0到L7的评估阶梯。需要特别说明的是，该阶梯并非严格的标量尺度，而是跨越若干正交轴的证据层级：产物质量与决策效用、观测性与干预性、开环与闭环、固定策略与优化诱导。尽管如此，它仍然大致追踪了关于世界模型对具身决策支持力度的提问强度。

表7：L0-L7世界模型评估阶梯。层级按照其回答世界模型对具身决策有用性问题的强度排序，但跨越若干正交轴。（来源：论文Table 7）

4.1 诊断性层级：L0至L3

**L0（视觉合理性）**询问输出是否看起来像真实的图像或视频。这是视频生成评估中的主导层级，指标包括FID、FVD、美学分数、图像质量与人类偏好。L0对于调试模型崩溃、时间伪影或条件化失败具有价值，但它只是决策效用的间接证据：一个模型可以通过生成平滑视频、复制背景或产生语义合理但动作不敏感的未来来获得良好的L0分数。

**L1（记录未来预测）**询问预测的未来是否与行为分布中的留未来相匹配。这是标准的开环世界模型设置，指标包括MSE、PSNR、SSIM、LPIPS、DreamSim、隐式L2、时间SSIM或光流准确度。L1是一个有用的合理性检查：一个完全无法预测留未来的模型不太可能支持更高层级的用途。然而，L1仍然是观测性的，且正是目标错配文献发现与控制性能弱相关的那个量。它衡量的是模型是否匹配了实际发生的事，而非在不同动作或策略下将会发生的事。

**L2（语义对齐）**评估推出是否与指令、任务、物体与场景语义相匹配。该层级通过CLIPScore、标题重叠度、VLM/LLM评判与任务完成标签来度量。对于语言条件系统而言，L2尤为重要，因为误解任务的模型不太可能支持有意义的下游用途。但L2仍然以产物为中心：VLM评判与语义相似度分数可能奖励合理的叙事而非忠实的动力学。

**L3（物理合理性）**询问推出是否遵循直觉物理与几何一致性：物体永存性、连续性、重力、非穿透、接触、深度或轨迹一致性。相对于L0与L2，L3是一个有意义的进步，因为它惩罚物理上不可能或因果不连贯的伪影。然而，除非与干预相联系，L3仍不足以支持决策用途：许多物理基准询问的是视频看起来是否物理合理，或模型是否正确回答了物理问题，这并不直接测试模型是否预测了智能体所选动作在状态-动作空间中重要区域的后果。

4.2 决策核心层级：L4至L7

**L4（动作可控性与干预保真度）**询问改变动作是否产生了正确的任务相关变化。这是第一个清楚区分决策世界模型与未来视频先验的层级。典型证据包括动作-效果测试、末端执行器或物体轨迹准确度、Δ-LPIPS、往返一致性或干预式离策略评估诊断。如果一个模型对动作不敏感或产生了错误的动作依赖变化，那么强大的L0-L3分数对决策用途的保障是有限的。

**L5（奖励、价值与结果保真度）**询问模型是否足够准确地预测成功、奖励、进度、约束违反或价值以支持决策。这包括奖励准确度、精确率/召回率/F1、成功概率校准、价值误差或进度排序的Kendall’s tau。一个视觉上不完美的模型如果保留了决定奖励的变量，仍然可以是有用的；而一个照片级真实的模拟器如果幻觉了成功，则可能对策略优化构成风险。

**L6（策略评估与排序）**询问基于模型的评估是否与真实或模拟器策略性能一致。这通过Pearson或Spearman相关性、成对排序准确度与MMRV（Mean Maximum Rank Violation）来度量。这是当前文献中最强的固定策略标准之一：它直接测试模型是否保持了策略的排序，而这通常比图像相似度更具决策相关性。但L6仍弱于L7，因为优化器可以将策略驱动到固定策略集合从未测试过的空间区域。

**L7（策略优化与规划效用）**询问一个务实的问题：使用该模型是否改善了决策？这包括基于模型的规划、基于模型的强化学习、可执行视频规划与合成数据驱动的收益。L7为声称用于具身决策的世界模型提供了最直接的证据。同时，L7是纠缠的：它不仅取决于世界模型，还取决于奖励模型、优化器、推出范围、不确定性处理与周围的数据流程。因此，L7通常在与L4-L6分解配对时更容易解释，而非作为独立数字对待。

对于决策制定声明，低层级的成功并非高层级成功的可靠替代，尽管低层级指标在实践中仍然有用，且在某些领域可能与高层级性能相关。该论文建议，在聚合低层级与高层级指标时保持谨慎：一个模型不应仅仅因为拥有良好的FVD或基于VLM的物理合理性就在决策世界模型排名中占据高位，如果它在动作可控性、奖励保真度或策略排序方面表现不佳。

五、以决策为中心的评估框架

基于上述阶梯，该论文进一步提出了一个面向具身决策的世界模型评估框架。该框架的核心思想是：不存在单一的使用无关的世界模型分数；模型保真度只有相对于一组声明的策略与价值函数才是良定义的。因此，评估的首要步骤是明确声明决策契约。

一个完整的决策契约应包括：任务家族（环境、具身形态、观测模态、任务定义、奖励/成功规范）、策略类别（行为克隆、VLA、扩散策略、MPC规划器、强化学习策略等）、动作接口（关节控制、末端执行器命令、动作块、轨迹、语言动作或隐式动作）、决策用途（预测、策略评估、规划、策略优化、安全测试、合成数据或表征）、任务相关特征映射Φ（用于判断动作效果与结果的变量）、范围（单步、短程、完整周期或规划范围）、部署制度（离线、在线、模拟器、真实机器人、真实到模拟或混合）以及允许使用的监督信号。

表8：世界模型声明在明确了决策契约后变得更易解读。该表格列出了建议的声明字段。（来源：论文Table 8）

在该框架下，若干评估维度被特别强调。干预式动作保真度通常是最具区分性的首要要求：一个被动的视频预测器估计数据分布下的可能未来，而决策世界模型则应能回答干预式查询，区分条件于历史的观测分布与条件于历史及外部设定动作序列的干预分布。策略诱导的分布偏移也值得纳入评估：行为策略数据与目标策略推出通常来自不同的状态-动作分布，一个模型可能在行为策略下误差很低，但在目标策略下误差很高。对于许多决策用途，完整周期的结果保真度比短程重建更具信息性：小的局部误差可能累积，而视觉上大的误差可能与奖励无关。闭环推出与占用保真度同样重要，因为策略作用于模型生成的历史上，而非仅作用于教师强制的真实前缀上。

在策略优化方面，该框架引入了可利用性差距（XGap）作为关键诊断指标。若固定优化器使用世界模型产生优化策略，则系统级核心量为策略提升（Lift）与优化遗憾（OptRegret）。互补的可利用性指标XGap衡量模型预测值与真实值之间的差距：一个大的正向可利用性差距表明优化器找到了对模型而言看起来很好但在环境中失败的轨迹。这正是模型强化学习中早已注意到的模型利用失败模式，但在近期生成式世界模型文献中几乎从未被报告。

此外，不确定性与弃权机制也被纳入考量。一个用于优化的世界模型如果能够指示其不可靠之处，则更容易获得信任。理想情况下，不确定性度量应在结果或价值误差方面得到校准：给定不确定性分数低于某一阈值时，真实值与预测值之差以高概率落在某一误差范围内。在实践中，这可以通过风险-覆盖曲线、误差-不确定性相关性、弃权性能、悲观规划结果、Brier分数与ECE来报告。

六、基准测试协议与评估报告卡

为了使上述框架可操作化，该论文提出了一个模块化的基准测试协议模板，包含八个步骤，并针对真实机器人场景给出了最小可行变体。

**步骤零：声明世界模型契约。**明确任务家族、策略类别、动作接口、决策用途、任务相关特征映射、范围、部署制度与允许使用的监督信号。

**步骤一：构建策略与干预分割。**将评估分解为四个策略集合：行为策略、固定锚点策略（覆盖弱、中、强性能）、诱导分布偏移的目标策略、以及在世界模型内部优化产生的策略。同时构建匹配的历史与动作分支干预集合。

**步骤二：将L0-L3诊断作为诊断报告。**开环诊断报告仍然有用，但对于决策基准，它们最好作为辅助诊断而非主要分数。

**步骤三：评估干预式动作保真度。**对每一对历史与动作序列，评估干预预测误差IPE与动作效果一致性。这包括匹配动作分支、单维动作扫描、往返或可逆性测试、机器人/物体轨迹保真度以及接触/事件预测。

**步骤四：评估闭环固定策略推出。**对锚点策略与偏移策略，在真实环境与模型中分别进行闭环推出，报告闭环推出保真度或占用不匹配、完整周期价值误差、成功概率校准、奖励/进度预测以及Pearson/Spearman相关性、成对排序准确度与MMRV。

**步骤五：在固定预算下评估策略优化。**固定优化器、数据制度、计算预算与交互预算，在真实环境或可信模拟器中评估优化后的策略，报告相对于固定基线的策略提升、相对于强参考的优化遗憾、样本效率与计算成本、以及安全改进概率与约束违反率。

**步骤六：对抗可利用性与不确定性。**在对抗使用下测试模型：搜索在模型下最大化预测值的动作序列或策略，在真实环境或可信模拟器中执行安全子集，报告可利用性差距与失败率。若模型提供不确定性，评估在高不确定性推出上弃权是否改善校准与优化安全性。

**步骤七：隐藏任务、保留策略与统计报告。**为减少基准过拟合，保留部分任务或物体直到最终评估；在保留的策略家族上评估；在任务、种子、初始状态与策略集合上报告置信区间；发布每任务指标而非仅平均值。

**步骤八：报告决策效用轮廓而非单一标量。**建议报告一个轮廓而非单一平均数字。若排行榜需要标量，可使用门控机制：仅当模型通过动作可控性、结果保真度与策略评估有效性测试时，才将其纳入决策中心分数计算。

表9：面向决策中心的世界模型评估建议报告卡。该表格列举了在评估中应回答的关键问题及对应报告内容。（来源：论文Table 9）

针对真实机器人场景，该论文提出了一个最小可行变体：在少量桌面任务上执行一小组重置匹配的动作分支，对低维特征映射（如末端执行器与物体姿态）评分动作效果一致性；对三至五个强度明显不同的锚点策略进行闭环成功校准与排序，并在 modest 数量的试验上报告置信区间；以及至少进行定性的可利用性探测，报告优化器在模型中评分最高的轨迹在实际执行时是否成功。该论文坦诚地指出，这一最小变体确实弱于完整协议，但它仍然代表了相对于当前实践的有意义进步，因为在 surveyed 的真实机器人论文中，即使是部分L4与定性XGap也几乎从未被报告。

七、结语

该论文的核心贡献在于将模型强化学习中已有的目标错配与决策感知模型学习教训，系统地引入现代生成式世界模型的评估讨论中。通过对近期文献的广泛梳理，研究者们量化了评估实践中的分布偏斜，识别出声明与证据错位的反复模式，并提供了一个可操作的评估框架与协议，使得缺失的证据变得具体且可报告。

该论文的立场是条件性的而非普遍性的：并非每一个被称为世界模型的系统都应由策略优化来评判。如果预期用途是未来视频生成，那么视频质量与语义合理性是合法的首要目标。然而，当模型的声明用途是具身决策时，动作、结果与策略层级的评估通常提供比产物质量更强的证据。视觉保真度、语义对齐与物理合理性仍然是有价值的诊断工具，但它们本身并不足以解决更强的决策效用问题。

对于具身智能、自动驾驶与自主代理等领域而言，这一区分具有实际意义。一个误导性的世界模型可能导致不安全的策略更新、错误排序候选策略，或产生关于分布偏移鲁棒性的虚假信心。通过采用以决策为中心的评估框架，社区可以确保世界模型的优化目标与其最终用途保持一致，从而推动具身决策领域的稳健发展。

最终，核心问题不是"该模型能否生成真实的未来视频？"，而是"在何种意义上，该模型支持更好的决策？"对于具身决策而言，最具信息量的证据来自模型是否保留了干预式、长程、与奖励相关的结构，以支持策略评估、规划与策略优化。

具身智能&世界模型blog： https://jinxindeep.github.io/blog/blog2026.html