一个操作策略训出来之后，最贵的一步往往不是训练，而是那句「它到底行不行」。要给出这句话，通常得把它放回真机，一遍遍跑，一遍遍失败，一遍遍人工把场景复位、把物体摆回去。机器人时间是钱，重置场景的时间也是钱，而这两样东西恰恰是没法压缩的。

于是很自然的想法是：能不能用一个学到世界模型代替真机，让策略在里面自己跑、自己撞墙，我们从里面读出一个成功率？这个想法这两年已经不新鲜了，生成式视频模型确实能把动作之后的画面续出来，也确实有人拿它当闭环评测环境。但真正的问题是：我们到底在衡量什么？如果生成出来的画面好看，却把「没抓起来」画成了「成功举起来」，那么这个环境给出的成功率不但没有参考价值，还会系统性地高估策略。

这篇论文把问题重新摆了一遍。它不满足于「生成得像」，而是要求世界模型作为测试环境时必须做到两件事：把策略下一步动作所需的完整观测还给它（多路相机画面 + 关节位置这类本体感知状态），并且忠实保住失败动作的后果。围绕这两条，作者搭了 ProWorld：一个联合预测多视角视频与机器人状态、并把两者都回灌给冻结策略的世界模型。

图 1｜把世界模型当成闭环评测环境：策略每一步的动作都交给模型推演，再把多视角画面与本体状态回灌给策略；右侧雷达图给出它在两个生成质量基准上与对照方法的对比。

评测缺的从来不是视频质量

论文在开篇把既有做法的共同缺口点得很明确（§1）：只回视频是不够的。真实的操作策略——无论是视觉语言动作模型还是扩散策略——吃的是多路相机画面加本体状态，关节位置、夹爪开合这些量直接参与它的下一步决策。一个只吐画面的世界模型，等于逼着策略用一半的输入去做判断，这样的评测即使画面再真，测的也不是原来那个策略。

第二个缺口更隐蔽。成功示教数据里几乎全是「做对了」的样子，模型见不到失败长什么样。一次漏抓在数据分布里是很稀疏的事件，而生成模型在不确定时倾向于补出一个「看起来合理」的结局——物体被拿起来了。论文给这种现象起了个名字：交互幻觉（interaction hallucination）。它预测了一个动作并不支持的成功结果（§1）。

我认为这个定义下得很准，因为它把问题从「画质」挪到了「因果」。评测器的职责是把动作的真实后果报出来，一旦它在失败处作弊，测出来的成功率就不再是策略能力的下界，而是一个被生成模型乐观偏差污染的估计。作者给出的闭环设定、联合流预测与失败数据增广，本质上都是在为这两条要求服务（图 1）。

闭环的定义：只有第一帧是真的

ProWorld 把自己放在一个反复 observe–act 的循环里，只有初始观测来自真实环境（§3.1）。在决策时刻 t，策略收到同步的多视角图像、本体状态和任务指令，返回一个动作块；世界模型随后预测接下来若干步的画面与机器人状态，预测结果直接成为策略的下一步输入，如此往复。用一句话概括就是：策略拿到的是预测出来的执行反馈，而不是它自己上一条指令。这句话看着朴素，但正是「闭环」与「开环回放」的分水岭——开环里策略其实没有在反应。

作者还专门强调了动作与观测按物理时间对齐（式(1)）。这件事在工程上很容易出错：视频采样率、控制率、状态记录率常常不一致，如果按数组下标对齐，模型学到的就是错位的因果关系。论文给出的做法是按各自的采样率把下标映射回源帧号（附录 A.2，式(6)）：视频第 j 帧与控制第 k 步都从同一个起始帧 b 出发、按频率比例取整落到同一个源帧网格上，于是状态目标总是读在它自己那一步控制的源帧上；采样率相同时，控制与状态正好对齐到目标图像。第一个速度样本被置零、夹爪保留绝对值，历史使用同一套网格，越过片段起点的控制索引被夹到初始样本。这些规则琐碎，但正是它们决定了模型学到的「动作→后果」是不是真的因果。评测协议里这一条同样被执行得很干净——评测录像只提供初始帧，之后的观测与动作都不再提供给世界模型或策略，所有后续动作都由策略在线产生；一次交互回合定义为「一次策略查询 + 一次世界模型转移」（附录 A.5）。

图 2｜左侧是整体结构：元数据、各相机独立编码的画面与本体状态进入同一个共享主干，动作块经自适应层归一化调制视觉动态；右侧对比三种多视角组织方式，本文给相机编号单独的旋转坐标，与共享时间轴分离。

一条主干，同时预测画面与状态

ProWorld 的做法是用共享 transformer 把视频和状态两路输出一起学出来（§3.2）。每个相机视角的画面先经视频 VAE 编码成 latent token；归一化后的本体状态经一个轻量投影投到主干宽度，再由单独的输出头预测它的流场；动作块按所属 latent 区间分组，投影成自适应层归一化的调制参数。文本与元数据（数据集、机器人型号、控制频率、部署域、相机列表）以一段紧凑 JSON 指定任务与形态（附录 A.3，图 2 左）。

两路输出用的是联合流匹配：对视觉与状态分别做噪声插值，同一次动作条件下的前向里预测两个流场，损失是两路均值平方误差按权重相加（式(4)），干净上下文不计入预测损失。状态项的权重取 λs = 2，作者在 {0、0.05、0.1、0.5、1、2、5、15、100} 上扫过一遍，2 给出最低的 LPIPS 与视频–状态一致性误差、最高的夹爪准确率；权重到 15 和 100 时画质与一致性都会变差（附录 B.3）。

更值得说的一处细节是非对称注意力。视频和状态共享主干，但可见性不同：状态查询可以去读视频 token 与状态 token，而视频查询不读带噪的状态流。这个设计让状态预测变成一次「视觉读出」——状态必须从可见的运动里被解释出来，同时状态损失又反过来训练主干保留机器人运动信息（§3.2）。我认为这一步是整篇里最见功力的地方：它没有把状态当成一个并列的预测任务，而是给它安排了一个解释性的位置。

顺带一个工程细节也很漂亮：末端执行器用的是速度式控制特征——对平滑后的位姿按控制率做差分再拼接夹爪开度（式(2)），而不是直接把绝对位姿喂进去。消融里这一点值 0.42 dB（PSNR 从 21.21 到 22.18，表 4）。原因是速度天然对应「画面里应该发生什么变化」，绝对位姿则要求模型自己去学一次未必成立的求导。

让相机身份和时间轴各归各位

多视角输入怎么组织，是一个容易被当作实现细节跳过、实际影响很大的问题。论文对比了三种做法（§3.3，图 2 右）：一种是把各相机图在编码前拼成一张大画布（像素拼贴），它会引入人为的空间接缝；另一种是各相机独立编码、把 token 沿时间维拼接，代价是相机身份变成了时间偏移；第三种是本文的 Shared-Time View Encoding。

它的做法是给 token 四个互不重叠的旋转坐标 (t, h, w, v)：同步的画面共享时间 t，空间坐标 (h, w) 留在各自相机内部，v 单独标识是哪一路相机（式(5)）。于是注意力既能区分视角，又不会产生接缝，也不会让不同相机带上时间偏移；历史与生成块用同一套坐标。更关键的是它不增加 token，也不需要额外的跨视角注意力模块，并且对已有的视频主干是兼容的——MiniMax-H3 用注意力头里未旋转的尾部，Wan 让出一小部分空间旋转通道，时间维的分配保持不变。

消融结果很有意思：把时间拼接换成它，PSNR 从 21.56 升到 22.60、SSIM 从 0.809 升到 0.829、LPIPS 从 0.1266 降到 0.1069；而像素拼贴只有 17.95 / 0.619 / 0.2843，差距很大（表 5）。我也不得不佩服作者在同一个表里把这个改动的边界写清楚：状态侧并不是全面变好——视频–状态一致性误差上，时间拼接是 13.3 mm，STVE 是 14.2 mm。也就是说它实打实改善的是视觉预测，作者没有把它包装成万能解。

图 3｜四阶段训练流程与注意力可见性设计。双向微调先学动作条件下的视频与状态预测，分块教师强制把生成拉长，再做域适应与少步蒸馏；右侧色块画出各阶段查询能看到的键，自回归训练把干净历史与带噪目标分开。

把「没抓起来」变成监督信号

论文最核心的一处方法论选择，是承认成功数据教不会模型失败长什么样。作者在 GenieSim 高保真仿真里造了一批失败轨迹（§3.4）：从成功轨迹出发做扰动物理重放，恢复场景与初始位姿后，给主动臂叠加一个笛卡尔偏移去跟踪原本的关节轨迹，用阻尼最小二乘的雅可比更新把偏移映射成关节修正，在夹爪闭合前渐入、抬起过程中保持。目标物体保持动态刚体，让接触和重力自己决定结果——不是人为把物体按住。

标注规则也很克制：只有当目标相对重放首帧的最大垂直位移低于某个阈值时才记为漏抓，而那个阈值在采集过程中调整、上界是 5 厘米；达到阈值的重放会被排除在失败集之外（附录 A.4）。这点我很认可，因为它把「失败」定义成了一个可复现的物理量，而不是一次主观判断。这批数据规模不大——71 小时的 GenieSim 失败轨迹，混在约 6,486 小时的预训练数据里（§4.1），在闭环评测前的微调混合里占 10%（附录 A.5）。

效果直接体现在成败判定上。论文给了一个很具体的例子：空着抬升，香蕉留在原处；只夹住衣物一侧，折叠就只有一侧被折过去。这些区分最终换来完全不同的闭环结果。我认为这正是「失败样本增广」在这类评测模型里的位置——它不是数据增强技巧，而是在补一类决定成败标签的因果样本。换句话说，模型在这里学到的不是「失败看起来更难看」，而是「这个动作不会让物体移动」，后者才是评测时真正被查询的那条因果。

整个训练走四个阶段（§3.4，图 3）：先做双向监督微调，学动作条件下的视频与状态预测；再用分块教师强制把生成拉长到长时段；然后针对目标机器人与观测配置做域适应；最后蒸馏成少步生成。每一步解决一个不同的问题，作者也把各阶段查询能看到的键画出来了——自回归训练时，每个带噪块只读干净的更早块和自己的带噪 token，不读本块的干净目标，也不读未来块。

图 4｜训练数据与闭环评测设置。最左是从二十多种机器人形态采样的多形态数据，中间对比长时段生成后的跨视角几何一致性，右侧是真机评测场景与六个公开任务，下方散点显示生成环境里的成功率跟着真机成功率走。

怎么确认它真的在测那个策略

实验设置上，预训练混合了约 6,486 小时的异构操作数据，主要来自公开数据集的组合，另有 652 小时私有数据（§4.1）；主干用了两个视频模型，一个做全参微调、一个走低秩适配。表示层面的消融在 AgiBotWorld-Alpha 上做，每个设置 108 条评测片段（附录 B）。

闭环评测分两条线（图 4）。本地线是 3 个策略 × 4 个任务，共 12 个策略–任务对，同时用 Ctrl-World 与 Cosmos 3 Nano 作为替代的滚动环境；真机参照来自 200 条真机轨迹，任务大约需要 25 次交互回合。第二条线是六个公开的挑战性任务，用两个有公开微调权重的策略，任务是双臂搬运、放置、清扫、堆叠与打结这类；真机参照直接取官方公布的成功率，另外从官网收集了 120 条评测轨迹，只用来提供初始帧；多数任务需要 80 次以上的交互回合（附录 A.5）。

视频质量用 PSNR、SSIM、LPIPS 测。此外作者定义了一个视频–状态一致性误差：先在数据上训一个逆动力学模型，从视频反推末端轨迹，再减掉这个模型在参考视频上的固有误差（约 9.1 毫米），剩下的差额以毫米计，越低越好（附录 B.1）。这个校准动作很小，但少了它，毫米级的比较就没有意义——我把它看作这篇论文在度量上的自觉。与之配套的还有两个直接来自状态序列的指标：预测轨迹与真值轨迹之间的运动方向余弦相似度，以及夹爪开合的判别准确率，两者都不经过逆动力学模型，避免误差被同一个中间件吸收。

图 5｜四个环境下的策略成功率对照：横轴是真机成功率，纵轴是生成环境成功率，颜色区分四个任务、形状区分三个策略。前两个对照环境的点散布很宽，本文加入失败交互数据后拟合线最贴近对角线。

成功率相关性 0.95，以及那条被压下来的截距

最关键的证据是生成环境里的策略成功率与真机成功率之间的关系（§4.2，图 5）。把 12 个策略–任务对画在散点图上，横轴是真机成功率、纵轴是世界模型里的成功率，ProWorld 拿到 Pearson r = 0.95、Spearman ρ = 0.94。Spearman 这个数尤其重要：它说明的不只是数值接近，连策略之间的排序都被保住了——而排序恰恰是评测最常被用来做的判断（哪个策略更好）。

两个替代环境的差距非常直观：Ctrl-World 是 0.33 / 0.26，Cosmos 3 Nano 是 0.67 / 0.54（§4.2）。同一个散点图上，它们的点散布得很开，几乎没有可用的线性关系。

滚动环境	Pearson r	Spearman ρ
Ctrl-World	0.33	0.26
Cosmos 3 Nano	0.67	0.54
ProWorld 去掉失败数据	0.93	0.91
ProWorld 完整	0.95	0.94

我特别想请读者注意第三行。作者专门训了一个去掉失败数据的版本做对照：它的相关性已经有 0.93 / 0.91，相当高了。加上失败数据只把这两项推到 0.95 / 0.94——涨幅看起来不大，但真正的变化藏在拟合关系里：拟合线从 y = 0.76x + 18.41 变成 y = 0.82x + 10.53（§4.2）。斜率更接近 1，截距从 18.4 降到 10.5，意思是低真机成功率处的系统性高估被压下去了。这一点我认为是全文最有价值的单条数字：相关性只告诉你排得对不对，截距才告诉你它是不是一直在替策略说好话。

图 6｜从同一初始观测出发、让同一个策略在各环境里交互约二十秒后的画面。对照环境出现物体模糊、物体消失、抓取点消失，腕部视角直接判为失败；完整模型里物体与抓取点都还在，接触关系也保持一致。

生成质量上的数字，和一组不好看但诚实的结果

在动作条件三视角预测的基准上，ProWorld 拿到最高的总分 53.68，超过最强对照的 51.72（表 2）。拉开差距的主要是三视角一致性那一栏：三项视觉语言模型一致性协议的均值是 84.07，对照是 79.53；任务跟随 62.32；视角一致性 74.82。单视角基准上，它在轨迹准确度 62.19、光度一致性 35.34 与语义对齐 90.41 上表现突出（表 3）。

方法	三视角总分	VLM 一致性均值
DreamDojo	51.72	79.53
Motus	42.35	72.82
Genie Envisioner	40.73	68.15
Ctrl-World	38.98	64.20
ProWorld	53.68	84.07

同一张表里还有一处值得单独拎出来：交互质量这一栏，ProWorld 是 28.24，而 DreamDojo 是 28.28——它的总分领先并没有覆盖所有子项。论文没有藏这个数。我认为这种把「赢在哪、哪里没赢」一起摊开的写法，比一个总分更能支撑后面的结论。

长交互下的定性差别更能说明问题（§4.3，图 6）。从匹配的初始观测出发、让同一个策略各跑约 20 秒：有的环境里物体逐渐模糊，有的直接把物体画没了，有的把抓取点画没了，腕部视角里甚至判成了失败；ProWorld 完整模型里物体与抓取点都还在，接触关系也保持一致。论文还给出一个很关键的观察：不带失败数据时，错误集中在接触附近——把手、抓取点、夹爪与物体的相对位置，正好就是决定成败的那些像素（§4.3）。

另外两处消融也值得记下来。去掉状态监督会让视觉预测掉 1.36 dB（附录 B.2）；混合分辨率训练把 480p 输出的 PSNR 提高 2.11 dB、把一致性误差降低 5.29 毫米、运动方向相似度从 0.247 提到 0.403，代价是 288p 上不如专用模型（附录 B.6）。在一个更细的层面，作者还扫过控制接口与状态监督的形式：直接用自适应层归一化注入动作，比把动作做成速度 token 高出 3.48 dB 的 PSNR（19.03 对 15.55，附录 B.2），说明动作进入视觉动态的通道本身值得单独挑；而视频与状态使用不同的噪声日程时，只要让两者的去噪进度对齐，一致性误差是 7.83 毫米，改成各自独立采样就升到 8.91 毫米（附录 B.5）——同一批噪声水平，协调与否差出 1 毫米以上，这个细节在别处很少被单独提。还有一条我读到时顿了一下：单视角基准里的运动质量指标对帧率极其敏感，调低评测帧率就能显著抬分，而画面质量并没有真的变好；作者因此直接省略了运动质量与聚合总分，而不是靠调帧率把分数做上去（附录 C）。在一个人人报总分的领域里，主动不报对自己有利的那一栏，我认为是这篇论文可信度的重要来源。

图 7｜生成环境里的成功与失败三视角样例。上行是成功夹起香蕉；中行是没夹住、香蕉留在原处；下行是夹爪只抓住衣物一侧，于是只折起一半。这些区分直接决定闭环任务的成败判定。

我认为最有价值的发现：评测器的可信条件

把整篇读下来，我最认可的一句话是：世界模型要当评测器，问题不在于它生成得像不像，而在于它在失败处老不老实。这篇论文用两组证据把这件事说透了。

第一组是「完整观测空间」。策略的输入里包含本体状态，如果环境不还这个状态，策略就必须自己猜，测出来的成功率反映的是「被削了一半输入的策略」，与真机上的表现没有可比性。这也解释了为什么去掉状态监督时视觉预测会变差——状态损失会反向训练主干保留运动信息，两路输出不是加法关系，而是互相约束。

第二组是「失败后果的保真」。生成模型有一个天然倾向：在信息不足时补出一个更常见的结局，而成功轨迹在训练数据里远比失败轨迹常见。失败数据的价值不在于数量——71 小时相对 6,486 小时几乎可以忽略——而在于它显式地把「动作不发生效果」这件事写进了监督信号。回到 §5 举过的那两个例子，空着抬升之后香蕉留在原处、只夹住衣物一侧就只折一半，这两条续写直接决定那一次交互被判成成功还是失败（图 7）。这也解释了为什么它的收益主要体现在截距上而不是相关性上：相关性衡量排序，截距衡量系统偏差，而交互幻觉恰恰是一种系统偏差。

由此我得到一个可以带走的判断标准：一个世界模型评测器是否可信，看它在低成功率区间是不是在替策略说好话。如果生成环境里的成功率总是比真机高一截，无论相关性多高，它都不能用来做「这个策略能不能上线」的决策。ProWorld 的拟合线还在对角线上方一些（0.82x + 10.53），但至少这个偏差被显式量出来了，而不是藏在画质指标后面。

适用边界

论文自己把边界交代得很清楚（§5）。物体形变与超长时段的漂移仍是限制，改善几何持久性与滚动稳定性可以降低累积的评测误差。这一点我理解为：闭环回合越多，误差越会累积，所以它的可信区间是有限的，不是无限长地平推。

评测成立还有两个前提条件（附录 A.5）：闭环前需要针对目标形态与任务做微调，并且需要本地可部署的策略权重与对应的真机成功率。也就是说，这个方法降低的是「反复试」的成本，而不是替代真机——它仍然要求你先有一批真机数据来定标。这一点值得在采用前想清楚。

度量本身也有适用范围：一致性误差只覆盖头部视角，而且不度量任务成败，它的参考误差是一次经验标定、不是保证的下界（附录 B.1）。STVE 的收益也集中在视觉预测上，状态侧并非全面领先（表 5）。此外论文那张能力对照表把长时段生成、多视角、免标定、免正运动学、状态输出、闭环评测与多形态适配都列了出来，ProWorld 是唯一全部具备的，但这些能力是在不同实验里分别验证的，读者最好按需取用。

我读完之后的几点提炼

一是先问「我要的是排序还是绝对水平」。如果评测只用来选策略，Spearman 相关性是主指标，0.94 这个数已经足够支撑大多数模型选型；但如果要用它决定「成功率到没到上线线」，就必须看拟合截距，并且接受它偏高这一事实。ProWorld 把两个数都给出来了，用起来才有分寸。

二是把失败样本当「标签资产」，而不是数据增强。一次漏抓长什么样，直接决定了闭环里那一次交互被判成成功还是失败。与其扩充成功轨迹的多样性，不如按物理条件（这里是最大垂直位移、上界 5 厘米）批量造失败样本，让标签本身变得可复现。

三是多模态输出要共享主干，但可见性要设成不对称。让状态去读视觉、不让视觉读带噪状态，等于强制状态从可见运动里被解释出来。这个套路在做任何「一个模态解释另一个模态」的建模时都可以直接借用。

四是位置编码上，别把来源身份混进时间来编码。多路输入（多相机、多传感器、多主体）的常见做法是沿时间维拼 token，代价是身份变成了时间偏移。给来源单独一个旋转子空间，既不增加 token 也不增加注意力模块，还能兼容已有主干——这个改动很小，但换来的是一致的视角语义。

结语

ProWorld 的价值不在于它生成的视频更好看，而在于它把「世界模型能不能当评测器」这个问题拆成了两个可以验证的条件——观测是否完整、失败是否被如实保留——然后用 0.95 与 0.94 的相关性、以及从 18.41 降到 10.53 的截距，证明这两条不是口号。如果一个策略评测环境只能在成功轨迹上可信，那它终究只是一个演示器；这篇论文给出的，是把它变成量具的那几步。