题目：EWAM: Emergent Depth-Wise Specialization in a Unified Embodied Model – From Semantic Understanding through Visual Foresight to Action
论文：https://arxiv.org/abs/2609.39973
项目主页：https://wanghao00pro.github.io/EWAM-project/
代码：https://github.com/Wanghao00pro/EWAM
模型权重：https://huggingface.co/HaoWang00/EWAM

一句话总结

EWAM 是一个以动作为中心的统一具身模型。我们让动作 token 在每一层都能同时读取语义、当前画面、预测的未来画面和动作自身的信息，没有给任何逐层监督。训练后，模型自发形成了一个按深度展开的分工：浅层主要读视觉-语言特征（理解），中层转向预测的未来帧（预演），深层以动作自注意力为主（动作形成）。因果干预实验表明，动作生成确实依赖这个分工。

一、问题：两类信息，模型往往只关注一类

当前机器人策略大致有两条路线：

• VLA（视觉-语言-动作模型）：继承 VLM 的语义理解能力，擅长理解指令和场景；
• WAM（世界-动作模型）：通过预测未来画面学习环境动态，擅长"预判接下来会发生什么"。

很自然的想法是把两者接到一起。但我们分析动作 query 的注意力分配后发现，很多系统即使同时接入了语义和预测两种来源，动作计算仍然集中在单一专家上：VLA 主要看 VLM，WAM 主要看视频，多专家模型也常常由一个来源主导（图 1 的 a–c）。

于是我们想问一个更根本的问题：当语义理解、视觉预测和动作生成真正被统一在一个网络里时，它们会在整个网络中互相竞争，还是会自己组织出某种分工？

二、方法：动作为中心的非对称联合注意力

EWAM 由三个专家组成，在同一个 flow-matching Diffusion Transformer 中联合去噪：

• 视觉-语言专家：基于 Qwen3-VL-2B-Instruct，把指令和当前图像编码成与 Transformer 各层对齐的语义表示；
• 视频专家：基于 Wan2.2-TI2V-5B，把带噪的未来视频 latent 去噪成预测性视觉上下文；
• 动作专家：轻量 Transformer，对带噪动作块（action chunk）去噪。

关键设计是非对称注意力掩码：动作 query 在每一层都能读取 VL、视频（当前帧 + 预测未来帧）和动作的 key/value；而 VL 和视频 query 只在各自的流内做自注意力。这样感知专家保留各自的职责，动作流则可以在任意深度自由选择从哪里取信息。

注意：这个掩码只决定"哪些信息可以被读到"，并不规定"哪一层应该读什么"。

此外，动作和状态统一到 16 维 padding 空间，一个模型可以覆盖不同机器人本体。后训练阶段可以选择性加上子任务预测和阶段进度两个轻量头，用于长程任务。

预训练分两种独立设置：

• 跨本体机器人数据：从约 3,250 小时开源机器人数据（GM-100、RoboCOIN、RoboMIND、RoboChallenge、RDT 及仿真数据）中筛出约 1,800 小时、30 万条轨迹；
• 人类第一视角视频：约 2,084 小时（VITRA-1M、EgoDex、Xperience），把手腕运动表示为相对相机的末端位移，让人手和机器人末端共享同一套任务空间表示。

三、核心发现：逐层分工是自发涌现的

统计动作 query 在每一层对不同信息源的注意力占比，可以看到清晰的三段式结构：

• 浅层（第 0–9 层）：VL token 获得 75.4% 的动作注意力，用于把指令落到当前场景上；
• 中层（第 10–19 层）：大约从第 13 层开始，对预测未来帧的注意力超过对当前 VL 图像的注意力，预测成为主要的视觉来源；
• 深层（第 20–29 层）：动作自注意力占 59.5%，同时保留少量语义和预测上下文，用于精修动作轨迹。

这个结构不是个例：

• 跨任务复现：RoboTwin 全部 50 个任务都表现出浅层 VL 主导；
• 跨去噪步稳定：不同去噪步之间注意力分布的平均两两相关系数为 0.998。

四、它是学出来的，而且动作真的依赖它

1. 训练过程中逐步形成

跟踪一个不做机器人预训练的训练过程：第 50 步时，几乎每一层都是 VL 图像领先，还没有分工；第 150 步时，从第 8 层起未来帧开始领先；到第 40,000 步，浅层重新回到看当前图像，未来帧从第 13 层起领先。分工在训练早期的几百步内就开始出现，之后逐步调整。

2. 按层屏蔽：模型预测是否真的依赖注意力表现的层级分工

在一个固定的机器人预训练 checkpoint 上，推理时按来源和深度屏蔽动作注意力的 key，不重新训练（表 1 右半部分，RoboTwin Randomized，50 任务 × 100 episode）：

浅层缺 VL 损失明显，缺视频几乎没影响；中层一旦拿不到预测的未来帧，成功率从 92.8% 掉到 3.55%。这与注意力统计看到的分工一致。

3. 反事实注入：换一个"未来想象"，动作就跟着变

把另一条成功轨迹的中层未来帧特征注入到目标轨迹中（只替换第 10–19 层的未来帧 key/value，其余表示保持不变）。五个任务上，成功率从 25/25 降到 4/25。在 Adjust Bottle 任务中，模型甚至会按照"被注入的未来"去用另一只手臂。这说明中层读取的预测内容在实际引导动作，而不只是相关性。

五、实验结果

仿真：RoboTwin 2.0 clean-to-random

只用干净场景的示范做适配，再在随机化场景上测试。EWAM 的 C2C 为 82.2%，C2R 为 72.1%，平均 77.2%。

仿真：RoboTwin 2.0 in-domain

干净和随机化示范都参与适配，EWAM 在干净场景 93.0%、随机化场景 92.8%，平均 92.9%。

仿真：LIBERO

四个套件平均 98.8%（Spatial 98.6 / Object 99.8 / Goal 98.6 / Long 98.2）。

真机：三种本体、七个任务

我们在 Franka 单臂、Dobot 双臂和 Unitree G1-D 人形上评测了叠碗、物体入盒、倒水、整理桌面、叠毛巾、提壶倒水、倒豆子七个任务。

六、人类第一视角数据：低成本地帮机器人迁移和变稳

路线一：用人类视频预训练，提升跨本体迁移

在 RoboTwin 的四个机器人上训练，在没见过的 Aloha-Agilex-2 上测试，两组策略唯一的区别是是否从人类视频预训练开始。在相同的 12 万步机器人训练预算下，成功率从 36.2% 提升到 66.9%；比较各自最好的 checkpoint，是 40.1% 对 66.9%。在 G1-D 真机倒水任务上，用同样的 60 条机器人 + 30 条人类示范混合数据后训练，人类预训练初始化把成功率从 40% 提升到 60%。

路线二：自采人类示范做协同训练，提升真机鲁棒性

我们用 Lumos Ego 头显（记录鱼眼 RGB、ToF 深度和 SLAM 相机位姿）加两个 Vive Tracker 3.0 手腕追踪器（测量真实尺度的 6 自由度手腕运动）采集任务示范，再通过手部重建、工具对齐和抓取状态估计，转成机器人可用的观测-动作轨迹，并用仿真和真机回放进行验证。

在换桌布、换杯子的测试中（不使用任何 EWAM 预训练）：60 条机器人示范只有 10%；加上 30 条人类示范就达到 20%，与 90 条纯机器人示范持平，但采集成本低得多；继续把人类示范加到 1,000 条，成功率升到 60%，而且还没有饱和。

七、长程任务：让模型知道"做到哪一步了"

后训练时，在动作流上加一个轻量解码器预测当前子任务，再加一个 MLP 回归阶段进度，不需要外部规划器。在 200 episode 的仿真积木任务上：

• 排序：83.5% → 91.0%
• 堆叠：44.5% → 58.5%
• 排序 + 堆叠：1.5% → 16.0%

在 G1-D 真机双篮分拣任务上，平均放对的物体数从 1.0/4 提升到 2.2/4。没有子任务监督时，模型抓取失败后会反复重试同一个物体；有监督后，它会切换到下一个物体。

八、展望

1. 从固定分工到自适应计算
逐层分工说明，语义理解、视觉预演和动作精修不必遵循一个固定的全局顺序。不同任务和执行阶段需要的计算量可能不同：指令含糊时需要更长的语义理解，交互不确定时需要更多预测，动作明确时可以更早进入动作精修。未来的模型可以根据任务和当前状态，动态调整各专家之间的切换时机。

2. 从视觉预演到反事实规划
反事实注入实验表明，中层的未来表示携带了真正影响控制的信息，会改变抓取目标和手臂选择。一个自然的延伸是：针对不同候选动作生成多个未来，先评估各自的后果，再决定执行哪一个。这会让统一的世界-动作模型从"单一预测轨迹"走向"反事实规划"，同时保留视觉-语言专家提供的语义理解。

3. 更深入地理解模型内部
在信息路由的基础上，可以进一步用表示探针、激活修补、跨层因果中介分析等方法，检验每一层的语义和预测内容是否随路由一起变化，更完整地揭示模型内部的计算过程。

4. 按"专家 × 深度"做结构化加速
三个大专家并存的计算开销不小，而逐层分工正好提供了一条结构化优化的思路：不必对三个专家做统一压缩，而是根据每个专家在不同深度的实际贡献分配模型容量，对贡献持续偏低的区域做结构化剪枝或参数共享，在保持功能分工的同时降低计算开销。

九、开源

代码、四个 checkpoint（跨本体预训练、RoboTwin clean-to-random、RoboTwin in-domain、LIBERO）都已开源，训练和评测流程完整可复现：

• 论文：https://arxiv.org/abs/2609.39973
• 项目主页：https://wanghao00pro.github.io/EWAM-project/
• 代码：https://github.com/Wanghao00pro/EWAM
• 模型：https://huggingface.co/HaoWang00/EWAM

欢迎大家试用、交流和指正。