0. 简介

OneWM 研究机器人学习中的两个相邻问题:给定动作,预测场景接下来如何变化;给定场景与指令,生成应该执行的动作。已有方法已经把视频预测引入策略训练,但视频分支是否真正学过确定动作的后果,会影响它能提供什么监督。OneWM 在同一套因果视频—动作架构中,混合全部已知、部分已知和全部待生成的动作,让动作同时成为条件与学习目标。论文在三个仿真基准和三项真机任务中观察到双向收益,其中 LIBERO-Plus 成功率相对内部对照提高 5.90 个百分点。结合论文与公开代码,可以把它拆成三个具体问题:信息如何流动、训练样本如何构造,以及训练得到的两种能力如何调用。[1][2][3]

1. 研究问题:预测未来和选择动作分别教会模型什么

1.1 从把杯子放到桌上说起

假设机器人接到“把杯子放在盘子旁边”的指令。策略需要从相机图像判断杯子在哪里、夹爪应该怎样靠近、抓住后应向哪个方向移动;世界模型则接受一段指定控制,预测夹爪、杯子与桌面之间的关系怎样变化。前一个任务关心应该怎样做,后一个任务关心这样做会发生什么。两者共享不少信息,例如物体位置、抓取关系和障碍物分布,却也可能学到不同的捷径:策略可以记住熟悉场景中的动作模式,视频模型可以依靠背景与常见运动生成看似合理的未来。

这里的关键是,画面合理不等于动作后果正确。面对同一张初始图像,把夹爪向左移动与向右移动,应该对应不同的未来;如果预测视频只延续了演示中最常出现的运动,它仍可能具有不错的观感,却不能作为可靠的控制依据。OneWM 因而把问题收窄到“指定动作的视觉后果”:模型需要知道当前输入的具体控制是什么,再把这些控制与接下来的变化对应起来。这个要求比“观察场景后生成一段可能的视频”更接近机器人交互中的前向动力学学习。

1.2 联合生成里的动作仍是未知量

在生成式策略中,动作经常从随机噪声开始,经过多次去噪得到。即使视频分支能够读取动作 token,它在训练时读到的也可能是尚未恢复的动作变量。模型同时猜视频与动作,可以学习二者的相关性,但这与“动作已经确定,请预测其结果”提供的条件不同。OneWM 关注的正是这项差异:保持架构基本一致,额外加入确定动作的监督,观察策略是否受益;再反过来,与只学世界预测的模型比较,观察动作生成目标能否改善视频预测。

在这里插入图片描述

图 1矩阵的行是查询,列是可读取的信息。橙色强调干净动作条件,斜线表示带噪动作;OneWM 在同一因果结构下混合三种动作已知程度。

直觉理解:可以把两种训练分别想成“同时猜司机会怎样转方向盘、汽车会怎样转弯”和“已经知道方向盘怎么转,判断汽车会怎样运动”。前者允许两个未知量共同寻找一种合理解释,后者要求预测明确服从给定控制。这个类比只说明监督差异,并不意味着机器人已经掌握完整的物理规律;论文通过受控实验检验的,是加入后一种监督之后能否改善预测与控制。

2. 整体框架:一个模型保留两种可独立调用的能力

2.1 先把输入输出讲清楚

OneWM 的基本输入包括当前或历史相机画面、语言指令,以及按使用模式提供的动作。视频先经过 VAE 编码器压缩成潜变量,相当于用更紧凑的表示保存图像信息;模型主要在这个空间预测未来,最后再解码成画面。动作则保留为机器人控制向量,经过嵌入进入动作分支。设观测潜变量与语言组成条件 C = ( z c t x , ℓ ) \mathcal{C}=(\mathbf{z}^{\mathrm{ctx}},\ell) C=(zctx,ℓ),未来视频潜变量为 z f u t \mathbf{z}^{\mathrm{fut}} zfut,动作块为 a = ( a 1 , … , a K ) \mathbf{a}=(a_1,\ldots,a_K) a=(a1​,…,aK​),两个目标可以写为:

p θ ( z f u t ∣ C , a ) ⏟ 给定动作预测世界 , p θ ( a ∣ C ) ⏟ 给定观测生成动作 . \underbrace{p_\theta(\mathbf{z}^{\mathrm{fut}}\mid\mathcal{C},\mathbf{a})}_{\text{给定动作预测世界}}, \qquad \underbrace{p_\theta(\mathbf{a}\mid\mathcal{C})}_{\text{给定观测生成动作}}. 给定动作预测世界 pθ​(zfut∣C,a)​​,给定观测生成动作 pθ​(a∣C)​​.

这个写法也限定了两种调用的含义。世界预测必须接收明确动作,才能讨论预测是否跟随这些动作;动作生成则应该只依赖实际可获得的观测与指令。这里的 K K K 是一次预测的动作数量,不等于机器人一定要不加反馈地执行完整个动作块。实际闭环控制可以只执行其中一部分,再读取新观测重新规划。文中后面介绍的 LIBERO 设置使用 32 步动作块,但 RoboCasa365 的动作维度、历史长度与预测时域并不相同,不能直接套用同一套张量尺寸。

2.2 两个专家怎样交换信息

架构采用 Mixture-of-Transformers(MoT):视频专家和动作专家各自保留适合本模态的投影与前馈网络,在联合注意力中交换信息。视频专家由预训练的 Wan2.2-TI2V-5B 初始化,复用其视频 VAE 和文本编码器;动作专家处理控制序列。两个专家分别通过文本交叉注意力读取同一条指令。它们并非把所有参数无差别共享,也不是每次从多个专家中只挑一个运行;这套实现的核心,是各自处理不同模态,同时在允许的信息范围内进行注意力聚合。

在这里插入图片描述

图 2 上半部分展示潜空间视频预测与动作预测如何连接;下半部分展示全部干净、干净前缀加带噪后缀,以及全部带噪三种动作输入。

进一步看,两个专家在每层分别计算查询、键和值,再把信息送入共同的注意力运算。视频损失可以通过允许的动作条件连接影响动作侧表示,动作损失也会训练被动作分支读取的观测表示。训练中的监督可以相互影响,推理中的输出却不必相互等待。这一点是理解 OneWM 部署方式的基础:模型可以在训练时同时学习未来画面与动作,在部署策略时只生成动作,而无需先把未来视频完整渲染出来。

2.3 双向收益发生在训练信号中

“双向互惠”容易让人误以为视频分支和动作分支在每个时间点都能任意互看。实际结构更有约束:观测 token 不读取未来动作,动作 token 也不读取未来视频;两种目标在参数更新时共同塑造可复用的表示。例如,视频预测为了准确还原夹爪接近杯子后的变化,需要利用动作条件;动作生成为了输出合理控制,需要从当前画面辨认夹爪与杯子的相对位置。它们对同一交互关系提出不同要求,训练所得表示可能因此更有用,论文通过性能比较验证了这种收益,尚未把每条梯度路径的贡献单独测量出来。

从网络层面看,视频专家与动作专家不必拥有相同的内部隐藏维度,但输出到联合注意力的查询、键、值需要兼容。onewm/modules/mot.py 在每层先调用各自的 get_qkv,沿序列维拼接,执行掩码注意力,再按原序列长度拆回各专家,分别继续文本交叉注意力和前馈处理。共享的是受约束的信息交换过程,各专家仍保留模态专属参数。因此,把它画成一个路由器每次只选择某个专家,或者把两支完全合并成一套无差别参数,都会偏离这份实现。

在这里插入图片描述

3. 时间因果性:控制分支不能偷看未来画面

3.1 两个方向使用不同的可见范围

设 V 0 \mathcal{V}_0 V0​ 为已经观测到的视觉上下文, V i \mathcal{V}_i Vi​ 为第 i i i 个未来视频块, A i \mathcal{A}_i Ai​ 为与它对齐的动作段。OneWM 让未来视频读取截至该时刻的视频与动作前缀,而动作块只能读取观测上下文及相应动作前缀。这种不对称保证了世界预测能够利用控制信号,同时防止策略依赖部署时拿不到的未来图像。这里的“因果”首先指时间上的信息访问约束,它本身并不构成严格因果识别或完整物理建模的证明。

S v ( i ) = V ≤ i ∪ A ≤ i , S a ( i ) = V 0 ∪ A ≤ i . \mathcal{S}_v(i)=\mathcal{V}_{\leq i}\cup\mathcal{A}_{\leq i}, \qquad \mathcal{S}_a(i)=\mathcal{V}_0\cup\mathcal{A}_{\leq i}. Sv​(i)=V≤i​∪A≤i​,Sa​(i)=V0​∪A≤i​.

同一个动作段或同一个视频块内部可以互相注意,因此不要把它理解为“每个动作必须等前一个动作完全生成,再生成下一个动作”。它是块级时间因果性,与动作块内部的并行去噪可以共存。直观理解是,预测较晚的场景可以参考较早的运动,但选择当前动作不能依据还未发生的场景结果。若训练时允许这种信息泄漏,模型可能在离线损失上表现很好,却在真实闭环中失去它一直依赖的输入。

难点提示:这类似驾校训练中教练可以事后用行车录像解释转向后果,但学员当下打方向盘时只能看现场,不能提前看录像的下一秒。OneWM 的掩码同时规定两件事:世界分支可以学习动作与后果的对应,策略分支始终只能使用部署时可获得的信息。共享训练收益并不要求两个分支在推理时读取完全相同的内容。

3.2 掩码代码怎样落实时间关系

仓库在 onewm/wam/mot_wam.py 的 _build_mot_attention_mask 中构造布尔掩码。下面节选未来视频块读取动作前缀的部分,保留原始计算语句。action_prefix 用向上取整把动作序列分配给未来潜变量块,使对齐关系随运行时序列长度确定。视频查询先获得截至自身的视觉信息,再获得相应动作前缀;这比把一个固定的“每帧对应几步动作”写死在模型里更适合不同数据集。[3]

# onewm/wam/mot_wam.py — _build_mot_attention_mask,原码节选
previous_action_prefix = 0
for future_index in range(1, num_future_frames + 1):
    frame_idx = clean_prefix_latent_steps + future_index - 1
    query_start = frame_idx * video_tokens_per_frame
    query_end = query_start + video_tokens_per_frame
    mask[query_start:query_end, :query_end] = True
    action_prefix = (
        future_index * action_seq_len + num_future_frames - 1
    ) // num_future_frames
    visible_action_tokens = action_prefix
    mask[
        query_start:query_end,
        action_start : action_start + visible_action_tokens,
    ] = True

这段代码中的“帧”是潜变量时间块,不能直接当作解码后的一张 RGB 图像。视频 VAE 还会进行时间压缩,原始图像采样、潜变量长度与动作长度需要分层理解。紧接着的动作查询逻辑,在默认 first_frame 模式下只开放第一个观测潜变量块及对应动作前缀;仓库另有 clean_prefix、full_video 分支,不能把所有可选配置都当成论文默认方案。下面两行正是默认动作查询的视觉访问限制,前提是已经构造好所属动作段的 action_query。

# onewm/wam/mot_wam.py — _build_mot_attention_mask,原码节选
if action_video_conditioning == "first_frame":
    mask[action_query, :first_frame] = True

复现时最容易发生的错误,是把“训练中有未来视频监督”误写成“动作分支直接用未来视频做条件”。前者让未来结果通过损失塑造表示,后者让动作预测使用尚不可获得的信息,两者会得到不同的策略。这里要厘清的是,OneWM 的方法贡献依赖掩码、训练条件和推理路径三者一致;只在网络上增加一个视频输出头,并不能自动得到相同的信息流与训练效果。

3.3 用一个五块矩阵读懂允许与禁止

把训练序列缩成五组:观测 V 0 \mathcal{V}_0 V0​、未来视频 V 1 , V 2 \mathcal{V}_1,\mathcal{V}_2 V1​,V2​,以及相应动作段 A 1 , A 2 \mathcal{A}_1,\mathcal{A}_2 A1​,A2​。下表由当前仓库的掩码函数按两段动作的教学尺寸核对,行表示谁在查询,列表示可以读取谁。“可读”不代表每次注意力权重一定很大,只代表模型允许建立连接;“屏蔽”则从结构上关闭连接。这个例子忽略每组内部 token 数量,仅用于讲清分组关系,不新增一种实验配置。

查询方 / 可读取内容观测 V 0 \mathcal{V}_0 V0​未来 V 1 \mathcal{V}_1 V1​未来 V 2 \mathcal{V}_2 V2​动作 A 1 \mathcal{A}_1 A1​动作 A 2 \mathcal{A}_2 A2​
观测 V 0 \mathcal{V}_0 V0​可读屏蔽屏蔽屏蔽屏蔽
未来 V 1 \mathcal{V}_1 V1​可读可读屏蔽可读屏蔽
未来 V 2 \mathcal{V}_2 V2​可读可读可读可读可读
动作 A 1 \mathcal{A}_1 A1​可读屏蔽屏蔽可读屏蔽
动作 A 2 \mathcal{A}_2 A2​可读屏蔽屏蔽可读可读

例如,第二段动作可以参考第一段动作,但两段动作都不能读取未来视频;第一段未来视频能看第一段动作,却不能提前读第二段动作。同一动作段内部开放,与跨动作段保持顺序,并不矛盾。这种结构约束的是单次去噪计算的信息依赖,不能把它误画成真实机器人必须执行完第一段才开始计算第二段。第 7 节讨论的默认缓存采样还有实现分支差异,因此本矩阵明确只表示训练联合路径,而不宣称所有推理分支严格复用它。

在这里插入图片描述

4. 三种动作条件:用已知前缀连接预测与控制

4.1 用一个长度变量统一三种训练样本

OneWM 用干净动作前缀的长度 r r r 表示“有多少动作已经知道”。当 r = K r=K r=K,整段真实动作都作为条件,模型只需预测未来画面;当 r = 0 r=0 r=0,整段动作都要从噪声恢复,对应策略部署时的动作生成;当 0 < r < K 0<r<K 0<r<K,模型知道开头的一部分控制,再学习后续动作与未来视频。这里的“干净”只表示没有人为加入生成噪声,不表示这些动作在物理意义上没有误差或一定最优。训练中干净部分来自数据集动作,而非从视频里凭空推断出的控制。

a k ( r , τ a ) = { a k , k ≤ r , ( 1 − τ a ) a k + τ a ϵ k , k > r , ϵ k ∼ N ( 0 , I ) . a_k^{(r,\tau_a)}= \begin{cases} a_k, & k\leq r,\\ (1-\tau_a)a_k+\tau_a\epsilon_k, & k>r, \end{cases} \qquad \epsilon_k\sim\mathcal{N}(0,I). ak(r,τa​)​={ak​,(1−τa​)ak​+τa​ϵk​,​k≤r,k>r,​ϵk​∼N(0,I).

默认按 All-noisy / Partial-clean / All-clean = 60% / 25% / 15% 逐样本采样,并在批次中混合三种角色。Partial-clean 并非固定露出一半动作:论文与代码都兼顾视频对齐边界和随机前缀长度,边界附近还允许最多两步扰动。公开 LIBERO 配置中的边界采样混合比例为 0.6,其余采用均匀前缀采样。这使模型既接触时间结构较规整的条件,也接触多样的已知长度,但论文没有单独证明这一采样细节相对所有替代设计都更优。

4.2 干净动作需要逐 token 标识

实现上,不能仅把干净动作与带噪动作拼起来,却仍给整条动作序列同一个噪声时间标记。那样模型难以区分“应该尊重的条件”与“应该恢复的目标”。add_partial_clean_action_noise 为每个动作 token 构造时间输入:已知前缀设为零,未知后缀使用采样的噪声水平。下面节选展示了这个操作,known_mask 来自每个样本各自的前缀长度,并已排除填充位置。

# onewm/training/flow.py — add_partial_clean_action_noise

noise = torch.randn_like(action)
timesteps = scheduler.sample_timesteps(batch, action.device, action.dtype)
token_timesteps = timesteps[:, None].expand(batch, horizon).clone()
token_timesteps.masked_fill_(known_mask, 0.0)
sigma_tokens = scheduler.timestep_to_sigma(token_timesteps).to(
    device=action.device, dtype=action.dtype
)
noisy = (1.0 - sigma_tokens[..., None]) * action + sigma_tokens[..., None] * noise
target = scheduler.training_target(action, noise, timesteps)

当某个位置的噪声比例为零时,noisy 在该位置就等于原始动作;带噪后缀才按比例与随机噪声混合。代码仍会构造完整动作的速度目标,随后通过损失掩码排除已知位置,因此输入构造和目标计分是两个步骤。这也解释了为什么只把前缀数值恢复成真实动作还不够:如果忘记同步时间嵌入或损失掩码,模型学到的任务就发生了变化,All-clean 样本甚至可能被错误地当作普通动作重建样本来优化。

直觉理解:Partial-clean 像一道已经给出前几步解法的题,学生要接着完成后续步骤。给出的步骤用于理解题目,评分则应落在需要作答的部分;如果一边说前缀已知,一边又把它当成待预测答案计分,训练目标就不一致。这个中间任务把“完全知道控制”和“完全需要决策”连接起来,但它带来多大独立收益,仍需比论文配比实验更细的消融才能回答。

4.3 用八步动作算清条件与目标

为了把构造过程看具体,考虑一条没有填充的八步教学动作序列,令已知长度 r = 3 r=3 r=3。前三步保留原值,时间标记设为零,作为后续预测的条件;后五步按同一个采样噪声水平加噪,并承担动作损失。视频未来仍然需要去噪,不会因为前三步动作已知就自动变成干净画面。动作是否已知、视频是否需要预测,是两个不同维度。下表用最小例子把它们并排写出;八步仅为讲解尺寸,论文 LIBERO 的默认动作块长度仍是 32。

教学动作长度 K = 8 K=8 K=8All-noisyPartial-clean,例取 r = 3 r=3 r=3All-clean
已知动作无第 1—3 步第 1—8 步
带噪动作第 1—8 步第 4—8 步无
动作损失位置第 1—8 步第 4—8 步无
未来视频损失有有有
默认逐样本采样概率60%25%15%

这里还有一个容易被比例掩盖的细节:这些概率描述每个样本被选中某种任务的机会,不保证一个小批次恰好含有六成全部带噪样本,也不要求训练分成三个连续阶段。Partial-clean 内部的前缀长度还会再次采样,因此上表的三步前缀不能画成固定规则。若一批样本全是 All-clean,视频项仍能计算;动作项因为没有有效目标而为零。这个边界由代码显式处理,既避免除零,也避免把本来已经给定的条件重新算成待完成的答案。
在这里插入图片描述

5. 数据与训练流程:让图像时间和控制时间对上

5.1 LIBERO 的一个训练样本包含什么

公开 LIBERO 配方读取四个任务集合的 LeRobot v2.1 数据,包含外部相机、手腕相机、任务文本与动作。两路相机各自缩放到 224 × 224 224\times224 224×224,再水平拼成 224 × 448 224\times448 224×448 的图像,因此模型看到的是双视角组合画面。32 步动作对应图像偏移 [ 0 , 4 , 8 , … , 32 ] [0,4,8,\ldots,32] [0,4,8,…,32],即一张条件图与八张未来图。配置虽然有 num_frames: 33,实际取样还要经过动作频率比与数据加载逻辑,不能据此宣称模型每次生成 32 张未来图。数据说明给出的这组对齐关系更适合直接作为理解入口。[3]

默认 LIBERO 使用七维动作,并做逐通道 min/max 归一化;它只用图像与指令,未启用本体状态条件。归一化统计必须与训练权重一起保存,因为网络生成的是模型坐标中的动作,执行前还要恢复环境要求的数值范围和夹爪约定。进一步看,同一套框架在 RoboCasa365 使用不同的动作顺序、历史观测和状态输入,真机 Franka 的目标又是另一种结构。统一架构并不意味着各机器人共享一个无需适配的控制接口,数据转换仍决定模型输出能否被正确执行。

把默认 LIBERO 的尺寸展开,还能看清采样与压缩的区别。数据加载器先取九张双视角组合 RGB 图,单样本视频张量为 [ 3 , 9 , 224 , 448 ] [3,9,224,448] [3,9,224,448],动作张量为 [ 32 , 7 ] [32,7] [32,7];批量维加入后再送入网络。Wan2.2 VAE 的时间压缩因子为四,按该模型的首帧保留方式,九帧对应三个潜变量时间步:一个观测步与两个未来步。掩码在后者上构造,解码后的评估却仍针对八张未来 RGB 图。八张未来图、两个未来潜变量块与三十二步动作,描述的是同一时域的不同表示层级,不能混成一个序列长度。

表示层级LIBERO 默认示例作用
动作时间网格32 步动作,七维控制保留机器人控制分辨率
RGB 图像取样1 张条件图+8 张未来图每隔四步动作取一张双视角组合图
VAE 潜变量时间1 个观测步+2 个未来步构造视频 token 的时间块与掩码
解码评估输出8 张未来 RGB 图计算配对预测指标及视频特征指标

5.2 从准备数据到参数更新

一次训练更新可以沿着六步理解:先读取同步的观测、未来图像、动作和指令;冻结的 VAE 与文本编码器提供潜变量和文本条件;保留观测前缀,为未来视频加噪;逐样本抽取动作已知长度,为未知后缀加噪;视频与动作专家在因果掩码下前向计算;最后分别计算视频速度误差与未知动作速度误差,汇总并更新可训练参数。默认配置联合训练两位专家,VAE 与文本编码器冻结。整个过程使用演示轨迹监督,并未在这个训练流程中加入基于奖励的策略优化。

仓库已经给出数据检查、文本缓存和分布式训练入口。下面命令来自公开说明,假设已经按 README 准备 Linux、CUDA、依赖、Wan 权重与正确版本的数据;action_dit_init.pt 是动作专家初始化文件,不是训练完成的策略。先运行 --dry-run 可以检查全局批量与启动命令,而不用立即开始训练。低显存设备可能需要调整微批量与梯度累积,论文和仓库没有提供足够信息让本文承诺一个适用于所有设备的显存下限。

# 仓库根目录执行;来源:README.md、docs/datasets.md
python -m onewm.tools.preprocess_action_dit_init \
  --config configs/libero.yaml --output checkpoints/action_dit_init.pt \
  --device cpu --dtype bfloat16

python -m onewm.tools.precompute_text_cache \
  --config configs/libero.yaml --device cuda:0

python scripts/train.py --config configs/libero.yaml --num-processes 8 --dry-run
python scripts/train.py --config configs/libero.yaml --num-processes 8

公开代码与论文实验设置需要分开记录。论文附录 A 写明 RoboCasa365 使用 90,000 次更新、全局批量 1,024,而核对版本的配置为最多 120,000 次更新、全局批量 128;真机实验论文写 20 个 epoch,公开 Franka 配方为 30 个 epoch。这里不能把默认命令等同于精确复现论文表格。若要做可比实验,应保存实际配置、数据划分、归一化文件和提交号,再明确调整训练预算;这项差异也不影响阅读代码理解方法,但会影响复现实验的结论强度。

场景论文附录 A 的训练预算本文核对的公开默认配置
LIBERO20 epoch,全局 batch 12820 epoch,全局 batch 128,最多 42,320 次更新
RoboCasa36590,000 次更新,全局 batch 1,024最多 120,000 次更新,全局 batch 128
真机 / Franka20 epoch,全局 batch 9630 epoch,全局 batch 96

6. 训练目标:预测去噪方向,并只对未知动作计分

6.1 Flow matching 让视频和动作使用同一种训练形式

Flow matching 可以理解为学习从噪声走回数据的运动方向。对一个干净目标 x \mathbf{x} x,采样高斯噪声 ϵ \boldsymbol{\epsilon} ϵ,用噪声水平 τ \tau τ 在线性路径上得到混合状态。OneWM 沿论文约定把干净端设为零、噪声端设为一,目标速度为 ϵ − x \boldsymbol{\epsilon}-\mathbf{x} ϵ−x。训练让网络预测这个速度,推理再从一积分到零。视频和动作的噪声水平独立采样,因此两种模态不必处在相同的恢复阶段;观测上下文与已知动作则始终保持干净。

x ( τ ) = ( 1 − τ ) x + τ ϵ , u ∗ = d x ( τ ) d τ = ϵ − x , τ ∈ [ 0 , 1 ] . \mathbf{x}(\tau)=(1-\tau)\mathbf{x}+\tau\boldsymbol{\epsilon}, \qquad \mathbf{u}^{\ast}=\frac{d\mathbf{x}(\tau)}{d\tau} =\boldsymbol{\epsilon}-\mathbf{x}, \qquad \tau\in[0,1]. x(τ)=(1−τ)x+τϵ,u∗=dτdx(τ)​=ϵ−x,τ∈[0,1].

读代码时容易对速度符号产生疑问:既然要去噪,为什么目标是“噪声减数据”?原因是生成过程沿着 τ \tau τ 减小的方向积分,数值更新中的步长为负。仓库 FlowMatchScheduler.step 使用“当前样本加速度乘步长”,推理日程里的 deltas 由后一噪声水平减前一噪声水平得到。速度定义与积分方向必须一起看;若只把目标符号改掉而不改日程,采样过程就会沿错误方向推进。调度器还使用非均匀噪声日程与训练权重,但这些细节不改变上述基本关系。

难点提示:可以把训练路径想成从清晰图像走向噪声的一条路,网络学习这条路在各处的方向。生成时从噪声端出发,按反方向走回来,所以“学习前进方向”和“实际倒着走”并不矛盾。动作也在自己的数值空间做同样的恢复,而不是把控制信号转换成照片再生成;两种模态统一的是训练形式,各自的数据含义与网络接口仍然不同。

6.2 干净前缀不承担动作去噪损失

令 m k m_k mk​ 表示动作第 k k k 个位置是否需要预测,只有有效且位于干净前缀之后的位置取一。视频损失覆盖需要生成的未来潜变量;动作损失先在每个样本的未知有效元素上求平均,再在存在未知后缀的样本之间求平均。下式用 Mean ⁡ v a l i d \operatorname{Mean}_{\mathrm{valid}} Meanvalid​ 简写这种有效元素平均, w v , w a w_v,w_a wv​,wa​ 表示噪声权重, λ v , λ a \lambda_v,\lambda_a λv​,λa​ 平衡两个任务。All-clean 没有动作去噪目标,但其动作表示仍可能通过视频损失获得训练信号,所以不能把“没有动作损失”等同于“动作专家完全不参与训练”。

L v = E  ⁣ [ w v ( τ v ) Mean ⁡ v a l i d  ⁣ [ ( u ^ v − ( ϵ v − z f u t ) ) 2 ] ] . \mathcal{L}_v= \mathbb{E}\!\left[ w_v(\tau_v)\operatorname{Mean}_{\mathrm{valid}}\!\left[ \left(\widehat{\mathbf{u}}_v-(\boldsymbol{\epsilon}_v-\mathbf{z}^{\mathrm{fut}})\right)^2 \right] \right]. Lv​=E[wv​(τv​)Meanvalid​[(u v​−(ϵv​−zfut))2]].

L a = E r < K  ⁣ [ w a ( τ a ) ∑ k = 1 K m k ∥ u ^ a , k − ( ϵ a , k − a k ) ∥ 2 2 D a ∑ k = 1 K m k ] , L = λ v L v + λ a L a . \mathcal{L}_a= \mathbb{E}_{r<K}\!\left[ w_a(\tau_a) \frac{\sum_{k=1}^{K}m_k\left\| \widehat{\mathbf{u}}_{a,k}-(\boldsymbol{\epsilon}_{a,k}-a_k) \right\|_2^2} {D_a\sum_{k=1}^{K}m_k} \right], \qquad \mathcal{L}=\lambda_v\mathcal{L}_v+\lambda_a\mathcal{L}_a. La​=Er<K​[wa​(τa​)Da​∑k=1K​mk​∑k=1K​mk​∥u a,k​−(ϵa,k​−ak​)∥22​​],L=λv​Lv​+λa​La​.

其中 D a D_a Da​ 是动作维度, m k m_k mk​ 同时排除填充位置,且期望只覆盖存在未知动作的样本;整批没有动作目标时,代码让该项为零,避免空平均产生异常。下面的原码节选显示了两层处理:将已知动作与填充位置合并为忽略掩码,再开启 average_only_valid_samples。这使全干净样本不会作为零损失样本进入动作项的批次平均,从而避免仅因全干净样本比例变化,就额外稀释其余样本的动作损失。

# onewm/wam/mot_wam.py — training_step,原码节选
action_flow_ignore_mask = known_action_mask
if action_pad_mask is not None:
    action_flow_ignore_mask = action_flow_ignore_mask | action_pad_mask
assert pred_action_v is not None
loss_action = flow_matching_loss(
    pred_action_v,
    target_action,
    t_action,
    self.action_scheduler,
    is_pad_mask=action_flow_ignore_mask,
    average_only_valid_samples=True,
)
loss = (
    self.loss_lambda_video * loss_video + self.loss_lambda_action * loss_action
)

默认配置中两个损失系数均为 1.0,但这不代表视频与动作在训练中天然具有相同影响。它们的目标尺度、有效元素平均、噪声权重、样本覆盖率以及反向传播路径都不同。换句话说,60/25/15 控制的是任务条件出现的频率,损失系数控制的是已计算目标的相对权重,两者不是可以直接互换的旋钮。论文配比实验能说明改变任务混合会影响效果,却没有穷尽所有损失权重与采样比例组合,不能据此宣称默认参数是普遍最优解。

6.3 平均方式也会改变多任务训练的含义

考虑两个同动作维度的教学样本:第一个只有一步未知动作,第二个有五步未知动作。代码先分别对各样本未知有效元素求均值,再乘各自的噪声权重,最后对有目标的样本求平均;它没有直接把六步未知动作混在一起平均。前一种做法在噪声权重相同的前提下让两个样本获得相同的样本级系数,后一种则让五步后缀样本具有更大总权重。这不是无关紧要的数值细节,而是“每个任务样本”与“每个动作位置”如何计权的选择。前缀长度随机变化时,两种实现即使使用相同配比,也不再对应相同的训练目标。

噪声目标也可以用一个标量例子检查方向。设干净值为 2、采样噪声为 0、噪声水平为 0.5,则混合输入为 1,目标速度为负 2;如果沿噪声水平减小 0.1 的方向走一步,更新得到 1.2,朝干净值 2 靠近。这个计算只展示线性路径与步长符号的关系,不是模型实际采样质量的保证。多步推理时速度由网络估计,误差会随日程、步数和条件改变;图像与动作也都是高维变量,不能把教学算例等同于真实动力学预测。

7. 推理执行:策略不必先生成一段未来视频

7.1 动作生成复用当前观测的视觉缓存

实际策略调用中,模型把当前观测编码一次,将各层视觉键值保存为 KV cache,然后让动作从高斯噪声开始,重复读取这些视觉信息并更新动作。由于默认动作分支不依赖未来视频,未来画面的生成可以省去。这个优化依赖之前的信息流约束:如果当前观测表示会被尚待生成的动作或未来画面反复改写,就不能直接复用同一份缓存。仓库的 prefill_video_cache 与 forward_action_with_video_cache 对应这两步,下面节选展示缓存使用及动作速度更新的接口。

…详情请参照古月居

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐