前言

World Action Models（WAM，世界动作模型）通过联合建模动作和未来视觉观测 来提升机器人策略学习，将未来场景演化作为对物理约束动作生成的密集监督

然而，现有WAM 的一个常见设计是在推理阶段显式生成未来视频，这会带来巨大的计算开销，并阻碍其实时闭环部署

1. GigaWorld-Policy 通过一种以动作为中心的建模方式来解决这一问题：在训练阶段利用未来视觉动态，而在推理阶段仅进行动作解码
2. 在此框架基础上，作者提出 GigaWorld-Policy-0.5，这是一种为更高效机器人控制而设计的增强型动作中心WAM

我们也实际测试了下该模型的效果，发现

1. 在不断加强数据与工程优化的前提下(注意，这个前提 必不可少，没有这个前提 成功率也不会高，换言之，任何模型都只是个基础)
   基于该WAM叠未事先摊平的衣服，连推9次，成功率已经到了80 90%
   且有希望进一步提升至95%以上
   
   单就叠衣服这个任务而言，世界动作模型相比『vla加RL』，更有泛化优势
2. 我个人仔细看了一下policy的原理，其
   →  推理时，基于『对当前观测的物理理解 + 人类指令 + 机器人状态』，生成动作
   →  训练时，想象执行当下动作后，未来会变成什么样，即在policy 0.5里，这个“未来视觉预测”是作为动作执行后果的预测
   然后相机实际拍到的真实视觉数据，则作为对“未来视觉预测”的监督信号

第一部分  GigaWorld-Policy-0.5: A Faster and Stronger WAMEmpowered by AutoResearch

1.1 引言与相关工作

1.1.1 引言

如原论文所述，世界模型近年来在利用大规模视觉数据学习物理世界的预测式表征方面取得了显著进展[1,2,20,24,38,41,45,46,62,68]

其通过对场景随时间演化的过程进行建模，这类模型能够捕获关于物体运动、交互动力学以及长时程状态转移的丰富时空先验。这种预测能力天然适用于机器人控制场景，在此类场景中，策略不仅需要识别当前观测，还必须预判自身动作将如何改变环境

1. 受这一进展的推动，近期的视觉-语言-动作（Vision-Language-Action, VLA）模型开始利用世界模型来提升策略学习 [8,16,27,34,36,37]
   
   相比于以往主要依赖来自机器人演示的稀疏动作监督的 VLA 方法[5,6,14,15,31,36,37,50,53,58]，世界模型能够提供关于场景可能如何演化的补充性预测信息
2. 将这类预测信息融入 VLA 策略中，可以为动作预测提供更丰富的时间上下文，并有助于将策略学习锚定在未来场景的演化上
   这一研究方向表明，预测性的世界知识是构建更强大机器人策略的重要组成要素

除了将世界模型的预测纳入 VLA 策略之外，另一条研究路线是通过世界动作模型（WorldAction Models, WAMs）探索一种更加统一的表述形式，这类模型对机器人动作与未来观测进行联合建模 [4, 22,28,40,54]

WAMs 并非将未来预测视为策略模型的外部输入或辅助信号，而是在同一框架中整合了动作生成与未来动力学建模。这样的表述使得动作表征能够与其视觉后果一同学习：模型不仅预测应该执行什么动作，还预测在该动作作用下场景将如何演化。由此，未来的视觉动力学可以作为一种稠密监督信号，用于学习具有物理依据的动作

1. 尽管这种统一表述通过将动作生成与未来场景演化相耦合，使 WAM 能够获得一定的零样本泛化能力 [56]，但它也带来了实际部署方面的挑战
   
   即，在许多现有的 WAM 方法中，用于训练的同一套联合建模过程在推理阶段也会被调用，这就要求在部署时显式生成未来视频、进行迭代去噪或执行预测式 rollout [33,56]。由于视频 token 比动作 token 显著更昂贵，这种设计会引入巨大的计算开销，并限制实时闭环控制
2. 此外，在设想的未来帧中产生的误差可能在长时间尺度上不断累积，从而削弱后续的动作生成效果

因此，一个关键挑战在于：如何在避免推理阶段昂贵的未来 rollout 的同时，仍然保留动作与动力学耦合所带来的泛化优势

1. 此前，提出GigaWorld-Policy [55]，其通过一种高效的、以动作为中心的 World Action Model 来应对这一挑战，延续了在训练和推理之间解耦未来预测的整体研究方向 [55,57]
   它利用未来视觉动态在训练阶段提供稠密监督，同时在推理阶段允许策略跳过显式的未来视频生成，直接解码动作
2. 通过一种以动作为中心的因果 token 结构，将动作预测与未来视频预测解耦，在保留 WAM 训练优势的同时，大幅降低闭环部署时的推理时延
   由此，GigaWorld-Policy 证明了 WAM 既可以实现与高效 VLA 策略相当的低时延动作生成，又能保留由未来视觉动态带来的更强监督信号和物理约束

在 GigaWorld-Policy 的基础上，来自的研究者提出了 GigaWorld-Policy-0.5。GigaWorld-Policy-0.5 继承了 GigaWorld-Policy 的核心设计范式：

1. 在训练过程中利用未来的视觉动态提供密集监督，而在推理阶段则可以仅通过动作解码完成决策，无需显式生成未来视频
2. 它同样保留了以动作为中心的因果 token 结构：动作 token 是基于当前观测、机器人状态以及语言指令进行预测的，而未来视觉 token 则是在给定动作序列的条件下进行预测
   这样的掩码策略可以防止未来视觉信息泄漏到动作预测中，并使得在部署时未来视频的预测保持为可选步骤，从而继续保留 GigaWorld-Policy 在低时延控制方面的优势

与 GigaWorld-Policy 相比，GigaWorld-Policy-0.5 在模型架构和训练流水线上进行了多项更新

1. 首先，它采用了 Mixture-of-Transformers（MoT，混合 Transformer）架构，将视觉动力学建模与动作生成拆分为各自专门的专家模块，同时保留了以动作为中心的 WAM 设计
   
   尽管 MoT 增加了模型的总参数量，但通过专家的专业化分工，使其在推理时可以仅走“动作通路”，从而避免不必要的视觉动力学计算，在 NVIDIA RTX 4090 上实现了约 85 毫秒的推理时延，大幅提升了部署效率
2. 其次，在预训练阶段，作者采用了一种将 Action-Conditioned World Modeling（AC-WM，动作条件世界建模）与 World Action Model 训练相结合的混合训练策略，从而这促使模型更好地捕捉视觉动态与机器人动作之间的关系
   同时学习到场景的普遍演变以及由动作引发的未来变化，从而增强其动作建模能力
3. 最后，作者采用基于智能体的 AutoResearch [18]流水线，使实验搜索过程更加系统且高效
   该流水线会自动发起试运行、监控验证指标、比较候选配置，并将表现出前景的设置提升为更长时间的训练
   
   通过这一迭代过程，AutoResearch在减少人工干预的前提下，帮助为 GigaWorld-Policy-0.5 推导出一套可靠的训练方案

1.1.2 相关工作

首先，对于作为机器人数据引擎的世界模型

1. 近期在世界模型方面的进展 [21,30,47,60,63,65] 推动了机器人视频生成与预测能力的提升 [11,25,31,42,64]，并日益作为可扩展的数据引擎或用于机器人学习的学习型模拟器[3,17,25,38,44]
   
   其核心目标是学习一种生成式或预测式模型，用以刻画具身环境随时间演化的过程，从而能够基于有限的真实或仿真轨迹，合成或“想象”出多样化的视觉体验
2. 在动作条件未来预测这一层面，Pandora [51] 证明了可以利用自由形式的文本动作来控制视频世界模型，从而实现超越被动视频生成的交互式预测
   
   FreeAction [19] 进一步考虑了连续的机器人动作，并引入了基于动作缩放的无分类器引导（action-scaledclassifier-free guidance），以控制生成运动的强度
   
   基于这类可控性，后续工作开始探索具身视觉数据的可扩展生成与迁移
   RoboTransfer [25] 和 Cosmos-Transfer1 [3] 专注于跨域迁移视觉经验，利用 3D 或多模态空间条件来提升几何一致性和 Sim2Real 数据生成质量
   
   GigaWorld-0 [38] 提供了一个高保真视频与 3D 数据引擎，能够在对外观、场景布局、视角以及动作语义进行精细控制的前提下，合成时间一致的具身轨迹
   
   Qwen-RobotWorld [59] 进一步在多个机器人领域（包括操作、导航和驾驶）上扩展了动作条件具身视频生成的规模。超越单纯的视频生成，Aether [67] 将几何感知世界建模进行了统一，以联合优化 4D 动态重建、动作条件视频预测以及目标条件视觉规划
3. 然而，大多数现有工作主要将世界模型用作外部数据引擎或模拟器[43, 61]，而在很大程度上忽视了如何将其预测先验嵌入到可部署的机器人策略中
   
   这推动了最近关于用于机器人控制的世界模型的研究，在这些研究中，未来预测和动作生成被联合考虑

其次，对于用于机器人控制的世界模型

1. 世界模型长期以来一直被研究为用于决策的预测式表征，而大规模视频生成的最新进展又重新凸显了它们在机器人控制中的重要性
   
   与其将观测直接映射为动作，基于世界模型的策略会利用对未来场景演化的预测来提供时间结构、动力学先验或中间规划
   
   早期的视频驱动策略方法（例如 UniPi[12]）将控制问题表述为“未来视频生成再加动作恢复”，而诸如 GR-2 [48] 之类的生成式机器人模型则在此基础上，进一步将大规模视频预训练与动作预测相结合，以实现更具泛化能力的操作控制
2. 世界动作模型（World Action Models，WAM）[4,22,33,55]以视频生成范式为基础，旨在在统一框架下对机器人的动作以及未来视觉动态进行建模。通过将动作预测与未来视觉建模相结合，WAM 能够提供超越稀疏示教动作的密集时间监督和学习到的预测先验
   
   VideoVLA [33] 将预训练的视频生成模型适配为机器人操作器，可联合预测未来的视觉结果和动作序列
   Motus [4] 提出了一种统一的潜在动作世界模型，采用 Mixture-of-Transformer 架构和 UniDiffuser 风格的调度机制，从而支持多种模式，包括世界建模、逆动力学、策略学习、视频生成以及视频—动作联合预测
   
   UWM [66]同样地，该方法在统一框架下耦合了视频扩散和动作扩散，表明异构的视频和机器人数据可以支持可扩展的策略学习
   
   在此基础上，MotuBrain [40] 将 Motus 扩展为具备多视角建模、跨载体（跨具身）动作表征，以及面向部署的实时控制优化能力
3. 另一条研究分支探讨的是：在策略推理过程中，需要在多大程度上显式地实现对未来的预测
   
   Mimic-video [32] 利用互联网规模的视频主干网络生成潜在的视频规划，再通过基于流匹配的逆动力学模型将这些规划解码为动作
   LingBot-VA [22] 采用自回归式的视频-动作世界建模，并结合闭环滚动预测，以缓解长时间跨度执行过程中误差累积的问题
   S-VAM [52] 将多步视频前瞻蒸馏为高效的几何与语义表征；DiT4DiT [29] 使用中间去噪特征而非解码后的帧来进行动作预测
   而 LaWAM [9] 则通过紧凑的潜在视觉子目标来显式呈现未来动力学，而不是依赖像素级视频
4. 与这些方法相互补充的是
   GigaWorld-Policy [55]
   和
   Fast-WAM [57，详见本博客中的解读《Fast-WAM——训练时保留视频联合训练(虽同时生成但动作token不看未来视频token)，在推理时则移除显式的未来视频生成，直接在单次前向中，依托得到的潜在世界表征KV Cache预测动作》]
   
   探索了将预测式世界知识融入动作策略的更高效途径
   
   这两种方法都在训练阶段利用基于视频的预测监督，同时在测试阶段避免显式生成未来视频

再补充一下，为什么各自要那样做？因为两篇文章的目的不同：

1. Fast-WAM 是做研究、回答问题的。
   它要回答的问题是："推理时生成未来视频到底有没有用？"要干净地回答这个问题，就必须把变量隔开——视频归视频、动作归动作，互不接触，这样"去掉视频训练掉 8 个点、去掉未来生成几乎不掉点"的对比实验才有说服力
   如果像 GigaWorld 那样把两者缠在一起，就说不清收益到底是谁贡献的了。隔离设计是为科学结论服务的
2. GigaWorld-Policy-0.5 是做产品、追性能的。 它的目标是造一个能落地部署的最强机器人策略。研究结论（训练时学视频有用）它已经接受了，接下来要想的是怎么把收益榨干：把动作塞进预测题里当条件，视频训练就能顺带逼动作学好——收敛更快、成功率更高，还白得一个"给动作就能推演后果"的世界模型（这对 GigaAI 的 GigaWorld 数据/评估生态很有用）
   代价是掩码和训练流程更复杂，但对产品来说值。耦合设计是为性能上限服务的

总体而言，这些工作表明，世界建模带来的收益并不必然依赖于在策略执行过程中进行计算代价高昂的像素级未来预测

总体而言，已有工作探索了一系列设计，用于在策略推断过程中减少对显式像素级未来展开的依赖。然而，要在边缘设备上实现闭环控制所需的低延迟仍然具有挑战性

这促使作者提出 GigaWorld-Policy-0.5：在保留以动作为中心的世界动作建模形式的同时，通过轻量级的仅动作执行路径来提升推理效率

// 待更