一、论文简介 🌟

1.1 论文方法一图总结

  

1.2 基本信息

• 📖 题目：Faster-WAM: Do World Action Models Need Deep Action Modules?
• 🏫 单位： Huawei Noah’s Ark Lab Montreal；McGill University & Mila-Quebec AI Institute；University of Toronto；Huawei Celia Team；Dep. Foundation Model, Huawei 2012 Labs
• 🌍 主页：无
• 🀄️ 论文摘要：世界动作模型（WAM）建立在预训练视频模型之上，其表征以物理动力学为基础，为动作预测提供了天然基础。尽管如此，许多 WAM 仍依赖深层、参数量庞大的动作预测模块，这些模块会带来较高的推理延迟，也可能对有限的机器人示范数据过拟合，从而限制其在现实场景中的应用。本文倡导一种以世界模型为中心的原则：将模型容量和计算资源集中于视频世界模型，并使用轻量级动作专家将主干网络的表征转换为可执行的机器人动作。本文通过三项关键设计实现这一原则：采用 Transformer Dock（DoT）与 Lite KV-Fusion，使浅层、轻量级动作专家能够利用来自所有视频层的表征；仅使用世界模型提供的信息来条件化动作专家；以及采用回缩式 1D-RoPE，使视频键与动作查询的位置编码对齐。本文基于 Faster-WAM 验证这一原则。Faster-WAM 是一种以世界模型为中心的 WAM，其动作专家仅有单层。尽管动作专用计算受到这一限制，Faster-WAM 在 LIBERO 和 RoboTwin 2.0 上仍取得了有竞争力的控制表现，且无需额外的具身预训练。与 Fast-WAM 和 ${\pi }^{0.5}$ 相比，其推理速度分别约提升 3.7 倍和 1.3 倍。与其以世界模型为中心的设计一致，Faster-WAM 在分布偏移下表现出更强的泛化能力：同一个在 LIBERO 上训练的策略在 LIBERO-Plus 上取得 78.3% 的成功率，分别高于 Fast-WAM 和 LingBot-VA 26.8 和 8.8 个百分点。最后，真实机器人实验表明，Faster-WAM 的成功率与 Fast-WAM 相当，同时推理延迟显著更低，任务完成时间也更短。

1.3 论文引言 & 主要贡献

  世界动作模型（WAM）和视觉—语言—动作（VLA）模型是连接预训练基础模型与机器人控制的两种主要范式。VLA 通常将预训练视觉—语言模型适配用于控制，而 WAM 则建立在预训练视频模型之上。通过建模物体如何在空间和时间中运动与交互，视频模型学得的表征以物理动力学为基础，为动作预测提供了天然基础。

  尽管有这样的天然基础，许多 WAM 仍将大量计算资源和模型容量用于动作预测。共享主干架构使用大型视频主干网络进行动作预测，而混合 Transformer（MoT）架构则引入独立且规模较小的动作专家，以减少动作预测所需的计算量。然而，在这两种架构中，动作预测仍依赖深层、参数量庞大的模块。这带来两个问题。首先，通过大型模块反复进行动作去噪会造成较高的推理延迟（图 1b），从而限制其在现实场景中的应用（附录 G.2）。其次，与视频预训练语料相比，机器人示范数据相对有限。因此，这些高容量的动作预测模块可能会对有限的机器人示范数据过拟合，削弱大规模视频预训练带来的泛化能力。由此引出一个核心问题：预训练视频世界模型能否在大幅减少动作专用计算的情况下，支持有效控制？

  为回答这一问题，本文提出 Faster-WAM，一种以世界模型为中心的 WAM。该模型将用于物理理解与推理的容量和计算资源集中在视频主干网络中，再由轻量级动作专家将主干网络的表征转换为机器人动作。本文通过三项关键设计实现这一思路：

• （1）Transformer Dock（DoT）架构。本文提出的 DoT 架构通过 Lite KV-Fusion 将轻量级动作专家连接到视频主干网络。Lite KV-Fusion 学习为每个动作层融合缓存于所有视频层中的原生键值（KV）对。这样，动作专家的深度与其访问视频层表征的能力得以解耦；而在 MoT 架构中，这两者相互关联，每个动作层只能访问对应的视频层。通过学习融合权重，无需手动选择提取层；复用原生 KV 缓存则避免了以往工作中额外的稠密 KV 重投影。
• （2）仅由世界模型提供条件。遵循以世界模型为中心的原则，本文仅使用视频主干网络的表征来条件化动作专家，而不再像部分先前 WAM 那样，直接向动作专家提供语言和本体感觉输入。仅通过世界模型传递这些输入，可能有助于减少模型对它们的过度依赖和对有限机器人示范数据的过拟合，从而帮助保留大规模视频预训练带来的泛化能力。（3）RoPE 轴—频率对齐。由于 Lite KV-Fusion 复用了视频键的原生表示，本文引入回缩式 1D-RoPE，使其旋转位置编码与动作查询对齐。该方法移除融合后视频键原有的 3D 时空旋转，再使用动作查询的 1D 时间轴和频率网格对其重新编码。这解决了部分先前 WAM 在联合注意力中将动作查询与视频生成的键结合、却未明确对齐 RoPE 时所存在的轴与频率不匹配问题。
• （3）RoPE 轴—频率对齐。由于 Lite KV-Fusion 复用了视频键的原生表示，本文引入回缩式 1D-RoPE，使其旋转位置编码与动作查询对齐。该方法移除融合后视频键原有的 3D 时空旋转，再使用动作查询的 1D 时间轴和频率网格对其重新编码。这解决了部分先前 WAM 在联合注意力中将动作查询与视频生成的键结合、却未明确对齐 RoPE 时所存在的轴与频率不匹配问题。

  上述设计共同构成 Faster-WAM，体现了以世界模型为中心的原则。实验进一步支持这一设计。即使不进行额外的具身预训练，且动作专家仅有单层，Faster-WAM 在 LIBERO 和 RoboTwin 2.0 上仍取得了有竞争力的控制表现。与 Fast-WAM 和 ${\pi }^{0.5}$ 相比，其推理速度分别约提升 3.7 倍和 1.3 倍。为评估分布偏移下的泛化能力，本文在 LIBERO-Plus 上测试了同一个在 LIBERO 上训练的策略；其表现比 Fast-WAM 高 26.8 个百分点。在真实机器人实验中，Faster-WAM 的成功率与现有 WAM 相当，任务完成时间则更短。最后，消融实验追踪了 Faster-WAM 设计的形成过程，并比较了不同的融合与 RoPE 设计（图 3）。

  本文依据 LingBot-VA 的公开实现将其归类为共享主干架构；在该实现中，视频 token 和动作 token 经过相同的 Transformer 模块。

  

二、方法论 🍀

2.1 Dock of Transformer（DoT）

  在每个重新规划步骤中，Faster-WAM 根据摄像头观测、语言指令和机器人的本体感觉状态，预测一个动作块，即一段未来机器人动作序列。它遵循以世界模型为中心的设计：预训练视频主干网络提供物理理解与推理所需的主要模型容量，轻量级动作专家则将其表征转换为机器人动作。具体而言，本文使用预训练的 Wan2.2-5B 视频 DiT，并配备一个单层动作 DiT。图 2 展示了下文介绍的三项设计：Transformer Dock、仅由世界模型提供条件，以及 RoPE 轴—频率对齐。

  视频预训练能够学得以物理动力学为基础的表征，为动作预测提供了天然依据。为了让浅层、轻量级动作专家有效利用这些表征，需要一种接口，使动作专家的深度与其访问视频各层表征的能力相互解耦。然而，MoT 架构通常将这两者绑定，因此减少动作专家的深度可能会限制其对视频层的访问。为此，本文提出 Lite KV-Fusion：DoT 架构中的一种接口，它能够学习为每个动作层融合缓存于所有视频层中的原生键值（KV）对。

  Lite KV-Fusion。令 $L^v$ 和 $L^a$ 分别表示视频主干网络和动作专家的深度。两个模块均使用 $H$ 个注意力头，每个头的维度为 $D$，因此可以直接复用 KV。对于视频层 $\ell$ 和注意力头 $h$，令 $K_{\ell h}^v,V_{\ell h}^v\in {\mathbb{R}}^{S_v\times D}$ 表示缓存的原生键和值，其中 $S_v$ 为视频 token 数量。缓存的键已经过主干网络的键归一化和 3D RoPE 变换。

  每个动作层 $j$ 都会针对每个注意力头，学习一个在视频层上的独立分布：

$${\beta }_{jh\ell }=\frac{\exp ({\alpha }_{jh\ell })}{{\sum }_{r=1}^{L^v}\exp ({\alpha }_{jhr})},{\hat{K}}_{jh}^v=\sum _{\ell =1}^{L^v}{\beta }_{jh\ell }{K}_{\ell h}^v,{\hat{V}}_{jh}^v=\sum _{\ell =1}^{L^v}{\beta }_{jh\ell }{V}_{\ell h}^v.\text{\hspace{1em}(1)}$$

  其中，${\alpha }_{jh\ell }$ 是可学习的 logits，${\beta }_{jh\ell }$ 表示动作层 $j$ 的注意力头 $h$ 分配给视频层 $\ell$ 的归一化权重。由于 Transformer 中键和值严格成对，二者使用相同的混合权重进行融合。本文将所有 logits ${\alpha }_{jh\ell }$ 初始化为零，使各视频层初始时权重相等，并在训练策略时联合优化这些 logits。学习融合权重，无需手动选择提取层，同时使浅层、轻量级动作专家能够访问所有视频层的表征。

  通过复用原生 KV 对，Lite KV-Fusion 避免了将主干网络隐状态转换为键和值的接口中所需的额外稠密投影。对于每个动作层，它增加 $H{L}^v$ 个可训练参数。由于 Faster-WAM 使用单层动作专家，Lite KV-Fusion 总共只引入 720 个可训练参数。每个 token 的融合计算量为 $O(L^{v}HD)$；相比之下，在 $HD$ 维表征之间进行稠密投影的计算量为 $O(H^2{D}^2)$。

  联合动作注意力（Joint action attention）。动作专家通过联合注意力整合融合后的视频表征。使用经过归一化并进行位置编码的动作查询和键，计算如下：

$$A_{jh}^a=\mathrm{Softmax}\left(\frac{Q_{jh}^a[K_{jh}^a;{\hat{K}}_{jh}^v{]}^{\top }}{\sqrt{D}}+M\right),O_{jh}^a=A_{jh}^a[V_{jh}^a;{\hat{V}}_{jh}^v],\text{\hspace{1em}(2)}$$

  其中，$[\cdot ;\cdot ]$ 表示沿 token 维度拼接，$M$ 是加性注意力掩码；在存在未来视频 token 时，该掩码用于控制模型能否访问这些 token。第 2.4 节说明掩码的具体约束。浅层、轻量级动作专家与 Lite KV-Fusion 共同构成 Transformer Dock（DoT）架构。每个动作层都能够访问来自所有视频层的表征，从而使动作专家的深度与其对视频层表征的访问能力相互解耦。因此，$L^a$ 可以独立于 $L^v$ 进行选择。

  与 QK-Norm 和 RoPE 的兼容性。Lite KV-Fusion 直接作用于视频主干网络缓存的键，这些键已经经过主干网络所使用的 QK-Norm 和 RoPE 变换。QK-Norm 通过限制查询和键的范数来稳定注意力；Lite KV-Fusion 保持键范数的上界（命题 2.1）。其按注意力头共享的标量权重也与共享的旋转变换可交换，因此能够保留 RoPE 位置编码（命题 2.2）。

• 命题 2.1（Lite KV-Fusion 保持范数上界）。对于每个 token 位置和注意力头，融合后键的欧几里得范数不超过输入键中的最大范数。证明见附录 B.1。
• 命题 2.2（Lite KV-Fusion 保持 RoPE）。如果所有源层在每个 token 位置使用相同的旋转变换，那么融合经过旋转的键，等价于先融合未旋转的键，再应用该旋转变换。证明见附录 B.2。具体而言，命题 2.2 使得精确移除融合视频键的原始旋转成为可能，从而可以应用第 2.3 节介绍的位置对齐方法。

  

2.2 仅由世界模型提供条件（World-Model-Only Conditioning）

  遵循以世界模型为中心的原则，本文将所有条件信息都通过视频主干网络传递给动作专家。现有 WAM 通常通过交叉注意力，直接向两个模块提供语言 token 和本体感觉状态。本文移除动作专家的这些侧向输入与交叉注意力，使其只能从视频世界模型中获取视觉、语言和本体感觉上下文。这样设计可以降低模型过度依赖侧向输入的风险，并使动作预测以视频模型编码的表征为基础；大规模视频预训练通常使这类表征具有更强的泛化能力。此外，该设计进一步精简了动作专家，并减少了每个动作去噪步骤中相应的交叉注意力计算。

  

2.3 RoPE 轴—频率对齐（RoPE AXIS-Frequency Alignment）

  在大多数基于 MoT 的 WAM 中，视频主干网络使用 3D 时空 RoPE，而动作专家使用 1D 时间 RoPE。然而，一些工作在联合注意力中将动作查询与视频生成的键结合，却没有显式地重新对齐旋转位置编码。使用原生 RoPE 编码时，动作查询和视频键采用不同的坐标轴与频率网格。即使仅考虑时间频率网格，两者也存在差异：视频 RoPE 仅将每个注意力头中的部分维度分配给时间，而动作 RoPE 则将整个注意力头用于时间。

  命题 2.3（RoPE 轴—频率不匹配）。使用原生 1D 动作 RoPE 和 3D 视频 RoPE 时，动作索引会进入空间旋转对的相对相位；而不匹配的时间频率会引入对绝对索引的依赖。证明见附录 B.3。因此，本文提出回缩式 1D-RoPE，使融合后的视频键与动作查询对齐。对于位置为 $p=(t,y,x)$ 的视频 token，令 $R_h^v(p)$ 表示其原生 3D 旋转变换，令 $R_h^a(t)$ 表示动作注意力头的 1D 旋转变换，其中 $t$ 使用动作时间尺度。对于每个动作层 $j$，计算如下：

$$k_{jh}^{v\to a}(p)=R_h^a(t)R_h^v(p{)}^{\top }{\hat{k}}_{jh}^v(p).\text{\hspace{1em}(3)}$$

  该操作通过逆旋转移除原有的 3D 旋转，再使用动作查询的时间轴和频率网格重新编码键。随后，在式（2）中使用得到的键替代 ${\hat{K}}_{jh}^v$；融合后的值保持不变。附录 B.4 给出了推导。在 Faster-WAM 中，无论训练还是推理，动作 token 都只关注时间位置 $t=0$ 的观测帧。由于 $R_h^a(0)=I$，重新应用旋转变换等价于恒等变换。视频主干网络仍保留其原生 3D RoPE，其内容仍可编码空间信息；回缩操作只移除提供给动作专家的融合键中的显式旋转因子。

  

2.4 训练与推理（Training and Inference）

  训练过程中，本文联合优化视频主干网络、动作专家和 Lite KV-Fusion。视频主干网络接收视频流匹配损失和动作流匹配损失的梯度，而动作专家只接收动作损失的梯度。视频主干网络不关注动作 token；动作专家则通过联合注意力，同时关注动作 token 和融合后的视频表征。注意力掩码会阻止观测帧和动作 token 访问未来视频 token。第 2.4 节给出了训练与推理的具体细节。

  推理过程中，对于每个动作块，视频主干网络只根据当前观测执行一次预填充，从而构建 KV 缓存。Lite KV-Fusion 将该缓存聚合为固定上下文，供动作专家在多个去噪步骤中重复使用。更多训练和推理细节见附录 C 和 E。

  

2.6 与相关工作的关系（Relationship to Related Work）

  近期有若干工作旨在降低 WAM 的推理延迟。

• Fast-WAM 通过预填充观测帧，省去了未来视频生成。Faster-WAM 沿用这一方案，并进一步减少动作侧计算；相较于 Fast-WAM，推理速度提升 3.7 至 3.8 倍。
• Light-WAM 将较小的视频主干网络与单步动作预测相结合。其在 RoboTwin 上报告的成功率为 76.4%，而 Fast-WAM 为 91.9%，二者相差 15.5 个百分点。
• 一项同期工作保留了对未来潜变量的条件化，通过稀疏的视频—动作交互和区间 KV 融合减少重复计算。该方法保留了深层动作专家，并使其稀疏访问以未来信息为条件的表征；而 Faster-WAM 使用单层动作专家，并以观测帧表征为条件。相较于 Fast-WAM，本文方法的推理速度提升 3.7 至 3.8 倍；在各自的测量设置下，该同期工作的速度提升约为 1.27 倍。

  更全面的相关工作讨论见附录 A。

  

2.6 结论

  本文探讨了世界动作模型是否需要深层动作模块。实验结果表明，未必需要：动作专家的深度可以与其访问视频表征层级的能力相互解耦，使预训练世界模型能够成为物理理解和推理的主要容量来源。遵循以世界模型为中心的原则，Faster-WAM 使用单层动作专家。其 DoT 架构通过 Lite KV-Fusion 访问所有视频层的表征，同时借助仅由世界模型提供条件的设计和回缩式 1D-RoPE，使上下文信息通过视频主干网络传递并完成对齐。

  无需额外的具身预训练，Faster-WAM 在 LIBERO 和 RoboTwin 2.0 上保持了有竞争力的控制表现；在匹配的测量设置下，相较于 Fast-WAM，其推理速度提升了 3.7 至 3.8 倍。同一个在 LIBERO 上训练的策略，在 LIBERO-Plus 上的成功率提高了 26.8 个百分点；真实机器人实验也表明，Faster-WAM 在保持有竞争力的成功率的同时，在线延迟更低，任务完成时间更短。这些发现表明，更充分地利用预训练世界模型的表征，有望以较少的动作专用计算实现高效且具备泛化能力的控制。

  局限性。本文实验未包含额外的具身预训练。以世界模型为中心的设计是否能从中进一步提升控制表现及分布偏移下的泛化能力，仍有待研究。本文使用 Wan2.2 和 LTX-Video 两种视频世界模型验证了 DoT，但其是否适用于更新的视频世界模型（例如 Wan3.0-Video），以及非生成式预测视频模型（例如 V-JEPA 2），仍有待探索。本文将 Faster-WAM 作为极端情况进行评估，其动作专家仅有单层；本文并未全面搜索最优深度。本文的结果支持以世界模型为中心的原则，表明有竞争力的控制表现未必需要深层、参数量庞大的动作专家。但这些结果并不能证明单层是最优选择，也不能证明增加深度会损害性能。动作专家深度如何影响控制表现、泛化能力和推理延迟，仍需进一步研究。最后，本文的实体机器人评估仅涉及一种机器人平台和四项操作任务。要评估 DoT 能否推广至其他真实世界场景，还需在更多机器人形态、任务类别和部署条件下开展更广泛的评估。

  

三、论文实验部分 🧪

  本文重新审视本文的核心问题：预训练视频世界模型能否在大幅减少动作专用计算的情况下，支持有效控制？

  为回答这一问题，本文评估了所提出设计的一个极端实例：Faster-WAM。它是一种以世界模型为中心的 WAM，动作专家仅有单层。本文重点研究以下两个问题：

• 在降低推理延迟的同时，Faster-WAM 能否保持有竞争力的控制表现？
• 以世界模型为中心的设计能否提升模型在分布偏移下的泛化能力？

  本文在 LIBERO 和 RoboTwin 2.0 上评估控制表现与推理延迟，并在 LIBERO-Plus 上使用同一个在 LIBERO 上训练的策略，评估模型在分布偏移下的泛化能力。本文还考察这些优势能否迁移至真实机器人控制，并通过消融实验评估三项设计选择的作用。最后，本文在附录 D.3 中使用另一种视频主干网络评估以世界模型为中心的设计。

3.1 以更低推理延迟实现有竞争力的控制表现

  为回答第一个问题，本文按照既有 WAM 研究中的标准方案，在 LIBERO（表 1）和 RoboTwin 2.0（表 2）上评估 Faster-WAM。本文报告任务成功率，以及每个动作块的模型计算延迟。完整的数据集、训练、评估和延迟测量方案见附录 D 和 E。

  有竞争力的控制表现。尽管动作专家仅有单层，Faster-WAM 在 LIBERO 上取得 98.3 ± 0.1% 的平均成功率，在 RoboTwin 上取得 90.5 ± 0.2% 的平均成功率，且无需额外的具身预训练。在这两个基准测试中，Faster-WAM 的表现与现有 VLA 和 WAM 相比仍有竞争力，其中包括使用额外具身预训练的方法。

  更快的推理速度。本文在同一台配备 24 GiB 消费级 GPU 的机器上测量 Faster-WAM 和基线方法的推理延迟。除特别说明外，测量范围包括编码、条件化和动作生成。完整的性能分析方案与结果见附录 E。

  Faster-WAM 和 Fast-WAM 使用相同的动作生成方案：预测包含 32 个动作的动作块，并执行 10 个去噪步骤。在这一匹配设置下，Faster-WAM 将 LIBERO 上的推理延迟从 196.0 毫秒降至 52.0 毫秒，将 RoboTwin 上的推理延迟从 196.8 毫秒降至 53.2 毫秒，对应的加速比分别约为 3.8 倍和 3.7 倍。在各自的原生配置下，Faster-WAM 的推理延迟也低于具有代表性的 VLA，例如 ${\pi }^0$ 和 ${\pi }^{0.5}$。附录 E 的分阶段延迟分解（图 5）表明，延迟降低主要来自动作生成阶段：该阶段的延迟从 Fast-WAM 的约 150 毫秒降至 Faster-WAM 的 6 毫秒，而编码和条件化的开销基本相近。更低的推理延迟有助于实现响应更及时的真实机器人控制，因为随着机器人及其环境不断变化，观测与动作预测之间的等待时间得以缩短。

  综上，第一个问题的答案是：Faster-WAM 通过 DoT 保留了对视频表征层级的访问能力；即使动作专家只有单层，也能在保持有竞争力的控制表现的同时，大幅降低延迟。

  

3.2 以世界模型为中心的设计提升泛化能力

  为回答第二个问题，本文在分布外（OOD）设置下评估 Faster-WAM 在 LIBERO-Plus 上的表现。该模型在 LIBERO 上训练，并在 LIBERO-Plus 的七类扰动条件下进行评估。完整的评估细节见附录 D.2.2。

  Faster-WAM 和 Fast-WAM 基于同一个预训练视频世界模型 Wan2.2-5B，并且在标准 LIBERO 上的表现相近。在 LIBERO-Plus 上，Faster-WAM 的总体成功率为 78.3%，比 Fast-WAM 高 26.8 个百分点，并且在七类扰动条件下的表现均优于 Fast-WAM（表 3）。无需额外具身预训练或数据增强，Faster-WAM 的表现也优于 ${\pi }^0$、X-VLA 和 LingBot-VA；在所比较的方法中，仅低于 GE-ACT 和 ${\pi }^{0.5}$。GE-ACT 的结果并非完全可比，因为它使用分别针对各个套件训练的检查点，而 Faster-WAM 使用一个共享于所有四个套件的检查点。这一广泛的性能提升表明，将模型容量集中于视频主干网络，更有助于保留大规模预训练视频世界模型带来的泛化能力。

  

3.3 补充研究

3.3.1 Faster-WAM 的真实世界控制

  接下来，本文评估 Faster-WAM 的性能—延迟优势能否迁移至物理控制。本文使用 Franka Panda 机械臂评估四项任务，涵盖物体抓取与放置、带遮挡的连续操作、接触敏感型推动，以及长时序物体摆放。每个策略均针对每项任务使用 100 条示范数据进行联合训练，并在每项任务上评估 20 次试验；由于 LingBot-VA 推理延迟显著更高，其 dish utensil 任务仅评估 10 次。完整的实验细节见附录 F。

  如表 4 所示，Faster-WAM 无需具身预训练，平均成功率达到 81.3%，与 Fast-WAM 的 80.0% 相当。经过具身预训练的 ${\pi }^{0.5}$ 取得了测得的最高成功率 86.3%。在相同的下游设置下，LingBot-VA 的成功率为 52.5%：它在两项抓取与放置任务上表现较好，但在接触敏感型 push T 任务和长时序 dish utensil 任务上的成功率均降至 10%。LingBot-VA 的训练遵循其公开的训练代码。

  在部署工作站上，Faster-WAM 将每个动作块的推理延迟从 Fast-WAM 的 502 毫秒降至 129 毫秒，加速 3.9 倍；其速度也略快于延迟为 151 毫秒的 ${\pi }^{0.5}$。LingBot-VA 每个动作块需要 10,897 毫秒，这限制了它在需要频繁重新规划的真实机器人任务中的可行性。尽管这些延迟绝对值不能与第 3.1 节的受控性能分析结果直接比较，但相对于 Fast-WAM 的加速比一致，分别为 3.9 倍和 3.8 倍。

  在所有四项任务中，与所有受评估的 WAM 基线相比，Faster-WAM 的平均完成时间也更短。尽管 ${\pi }^{0.5}$ 的单次动作块推理延迟略高于 Faster-WAM，但它在四项任务上的平均完成时间都更短。这些结果表明，推理效率与整体任务执行速度并不等同：策略调用更快，并不必然带来更短的任务完成时间。

  综上，真实机器人实验表明，Faster-WAM 仅使用单层动作专家，仍能保持有竞争力的任务成功率，同时相较于受评估的 WAM 基线降低在线推理延迟，并缩短平均完成时间。真实机器人运行示例见附录 G。

  

3.3.2 对以世界模型为中心的设计进行消融

  LIBERO 衡量分布内控制表现，LIBERO-Plus 则通过对相同任务套件施加扰动来评估分布外泛化能力。图 3 展示了各项设计选择在这两种设置下的效果变化。即使动作专家只能访问视频最后一层，单层动作专家也已较 Fast-WAM 提升了 OOD 泛化能力，同时保持了分布内控制表现。Lite KV-Fusion 进一步让浅层动作专家能够利用世界模型表征的完整层级，从而提升了两种设置下的表现。本文比较了两个变体：F→N+R 表示先融合键，再在融合后应用 QK-Norm 和 RoPE；N+R→F 表示直接融合经过处理的键。两种变体表现相近，N+R→F 在 OOD 设置下略有优势。由于该变体还能够直接复用主干网络的原生 KV 缓存，本文在后续采用了这一设计。

  接下来，本文移除了动作侧的文本交叉注意力（TextCA）和直接本体感觉条件输入，要求动作专家通过视频世界模型获取所有上下文信息。这样做显著提升了 OOD 表现，但使分布内表现略有下降。本文推测，一旦精确的本体感觉信息必须经由视频表征传递，视频与动作 RoPE 基底之间的不匹配就会产生更显著的影响。两种对齐方法都恢复了分布内表现，这与上述解释一致。然而，Lifted 3D RoPE 损失了部分 OOD 性能提升，可能是因为为动作 token 分配伪空间锚点引入了额外的空间先验。回缩式 1D-RoPE 不需要这一假设，同时保留了更强的 OOD 泛化能力，因此本文在 Faster-WAM 中采用该方案。

  

3.3.3 Lite KV-Fusion 的可视化

  图 4 展示了 Lite KV-Fusion 在 LIBERO 上学得的层权重。学习到的混合权重并不均匀，且会随注意力头变化；不同注意力头会强调视频主干网络的不同深度。结合图 3 中相较于仅读取最后一层所取得的性能提升，这表明 Lite KV-Fusion 能够从视频表征层级中提取互补信息，而非将信息压缩至单一提取层。它仅使用 720 个混合 logits，就实现了这种自适应读取，避免了手动选择层。

  

四、论文代码解读 💻

  待补充。

  

写在最后

  由于笔者🖊️精力有限且本文更多的目的是通过📒博客记录学习过程并分享更多知识，因此文中部分描述不太具体，如有不太理解💫的地方可在评论区👀留言。非特殊赶deadline⏰或假期⛱️期间，笔者会经常上线回复💬。如有不便之处，请海涵～

  如果想了解更多关于3DGS的加速⏰压缩⚡️新工作，可以关注笔者的Github仓库：Awesome-3DGS-Compress-Accelerate。

  另外，创造不易，转载请注明出处💗💗💗～