将视频预测、动作生成与动作评估纳入同一未来预测框架，实现多源异构数据联合训练与测试时推理优化

机器人学习世界模型视频扩散模型具身智能

在机器人操作领域，如何让模型在执行动作前预判其物理后果，始终是提升系统可靠性的核心命题。近期，由上海人工智能实验室与AGIBOT Finch研究团队联合提出的τ0-World Model（τ0-WM），为这一问题提供了新的技术路径。该模型基于共享的视频扩散骨干网络，将策略学习、视频预测与动作评估整合于统一框架内，在约27,300小时的异构交互数据上完成训练，并在多项长程精细操作任务中取得了优异表现。本文将围绕该研究的系统架构、训练范式与实验验证进行系统梳理。

一、研究背景：预测与执行的统一需求

机器人操作本质上是在不确定物理后果下的决策问题。机器人不仅需要推断何种动作能够满足语言指令，还需预判该动作将通过接触、物体运动与多步交互如何改变场景。这一视角将操作策略与世界模型长期以来的研究脉络紧密关联：一个有效的模型应当以某种方式关联观测、动作与未来结果，从而在物理执行前改善决策质量。

然而，学习上述两种能力所需的数据形态存在显著差异。一方面，以自我为中心的视频与人类交互轨迹提供了关于物体运动、接触展开及长程任务时序组织的广泛证据。这类数据涵盖了丰富的视觉动态，但并未以可部署机器人的控制空间来标注动作。另一方面，机器人演示数据提供了精确的 grounding：它们将观测与特定本体、控制器、传感器套件及动作表示下采集的连续动作耦合在一起。但机器人数据采集成本高昂，且覆盖的物体、环境与任务范围相对有限。

仅依靠机器人演示训练，得到的策略具备可执行性但泛化能力受限；仅依靠大规模视频数据训练，则得到具备预测能力但缺乏动作 grounding 的模型。因此，一个通用的操作系统必须利用广泛的交互数据，同时不丧失部署所需的执行级动作 grounding。τ0-WM 的研究正是基于这一需求，提出了统一的视频-动作世界建模方案。

二、τ0-WM 框架概览

τ0-WM 的核心思想是将未来观测、机器人动作与任务进度置于共享的预测模型内，同时允许每种数据源仅监督其真实包含的信号。视频数据可用于训练视觉动态；机器人轨迹可用于训练可执行动作生成；进度与失败轨迹可用于训练动作条件化评估。异构性在此不再被视为噪声或预处理负担，而是被结构化地利用为互补监督来源。

图1 τ0-WM 整体框架。来自真实机器人、UMI式采集与自我中心人体视频的异构交互数据，共同训练视频动作模型（VAM）与动作条件化视频模拟器（ACVS）。在部署阶段，系统提出动作候选，通过测试时计算与模拟器评分评估想象出的未来，并针对跨任务与跨本体的操作进行动作选择或修正。

如图1所示，τ0-WM 围绕共享的视频扩散骨干网络，暴露两个互补接口。其一是视频动作模型（Video Action Model, VAM），负责将多视角观测、语言指令与机器人状态映射为未来视觉隐变量与连续动作块。其二是动作条件化视频模拟器（Action-Conditioned Video Simulator, ACVS），接收当前观测、指令与候选动作块，预测多视角未来 rollout 并输出密集任务进度分数。VAM 回答“机器人应当做什么”，而 ACVS 估计“若执行提议动作将会发生什么”。

**关键设计：**共享的预测表示使 τ0-WM 能够学习来自约27,300小时异构语料的数据，包括真实机器人遥操作数据、UMI式演示、自我中心人体视频以及 rollout 或失败轨迹。训练过程中采用模态特定的监督掩码，使每个样本仅参与其观测、视角、状态、动作与进度所支持的损失计算。

三、模型架构：共享骨干与双分支设计

图2 τ0-WM 架构示意图。左侧为视频动作模型（VAM），作为策略接口，通过共享视频骨干与动作 DiT 分支联合预测未来视觉隐变量与可执行动作块；右侧为动作条件化视频模拟器（ACVS），作为评估接口，复用视频生成骨干对 VAM 提议的动作块进行 rollout，并预测密集奖励分数以支持测试时动作选择。

3.1 视频动作模型（VAM）

VAM 是 τ0-WM 面向策略的接口，基于 Wan2.2-TI2V-5B 视频生成模型构建。Wan VAE 首先将各相机视角编码为隐变量张量；针对同步多视角输入，视角隐变量沿空间宽度维度拼接，形成时序对齐的隐变量画布。当前观测隐变量作为干净视觉上下文保留，而未来隐变量槽位则被加噪并由视频分支去噪。

视频分支采用原始 Wan 视频 DiT 骨干（50亿参数），通过条件去噪预测未来隐变量轨迹。动作分支则为一个5亿参数的 DiT 风格动作解码器，在匹配的 Transformer 阶段，动作令牌首先建模动作时域内的时序依赖，随后通过交叉注意力机制关注中间视频特征。这些视频特征同时以干净视觉上下文与语言指令为条件，从而为动作分支提供指令感知且动态相关的视觉表示。

在训练目标方面，VAM 对视频隐变量与动作块均应用流匹配（Flow Matching）框架。对于异构训练样本，机器人轨迹同时贡献视觉预测与动作监督，而自我中心人体视频仅贡献视觉动态项。缺失模态通过监督掩码处理，使所有数据源能够参与统一的端到端训练过程。

3.2 动作条件化视频模拟器（ACVS）

ACVS 作为 τ0-WM 的评估接口，复用 Wan VAE 与视频 Transformer 骨干，但移除了动作 DiT 策略分支。记忆与当前观测被编码为干净隐变量上下文，未来隐变量槽位以噪声初始化并由视频骨干去噪。

为使未来预测以候选动作为条件，ACVS 遵循 Cosmos 的动作条件化设计：对每个未来隐变量槽位，时序对齐的动作被分组为动作块，通过轻量级 MLP 投影为扩散时间嵌入与 AdaLN 调制嵌入，并广播至对应未来槽位的空间令牌与相机视角。观测槽位则保持无条件化。

除预测未来视觉 rollout 外，ACVS 还预测每个候选动作块的密集奖励轨迹。研究团队将每项操作任务分解为子任务，并在子任务级别分配进度标签；随后通过蒙特卡洛传播估计帧级奖励，产生密集监督而非单一终端成功标签。值得注意的是，失败数据被有意纳入奖励构建：对于失败的子任务段，对应轨迹上的奖励被赋予负值，使 ACVS 能够识别导致不成功接触、错误物体运动或任务倒退的动作条件化未来。

四、异构数据融合：从单一来源到统一监督

τ0-WM 的训练语料总计约27,300小时，由三个互补来源构成：17,800小时的真实机器人遥操作数据（来自 AGIBOT-G01、ARX 机械臂与双臂 Franka 系统）、6,500小时经筛选的开源 UMI 式演示数据，以及3,000小时的开源自我中心人体交互视频。这些数据在 embodiment、视角、动作保真度、采集成本与行为多样性方面存在显著差异，天然适合承担不同的训练角色。

真实机器人遥操作数据

提供与部署对齐的可靠动作监督。轨迹直接采集于机器人系统，其动作与机器人运动学、控制器接口、传感栈及部署条件保持一致，是将模型 grounding 于可执行机器人行为的基础。

UMI 式演示数据

通过手持夹爪式设备采集，以显著低于完整机器人遥操作的基础设施成本，在多样化环境中获取演示。提供丰富的视觉交互数据与源自设备动作的动作类信号，但与目标机器人在 embodiment 与接口上仅弱对齐。

自我中心人体视频

提供最广泛的日常操作行为覆盖，使模型接触多样化物体、环境、接触模式、状态变化与长程任务结构。不含机器人兼容的动作标签，与机器人 embodiment 和视角差异显著，仅用于视频预测监督。

统一监督掩码

三种数据源构成监督层次：机器人数据提供部署级动作标签；UMI 数据提供弱动作信号的多样化交互轨迹；自我中心视频提供无动作监督的大规模视觉动态。通过模态特定掩码实现联合训练。

在统一训练范式下，每个样本的监督掩码指定了哪些输入被观测、哪些目标被预测以及哪些损失被激活。这一机制确保异构数据能够在单一端到端目标下协同训练，同时尊重不同来源的监督可靠性与可用性差异。

五、测试时计算：从单样本预测到推理优化

在大规模异构交互数据上的预训练，使条件化动作分布本质上呈现多模态特征：对于同一指令与场景，机器人可能通过多种可行动作序列完成任务。这些方案在精度、鲁棒性与成功概率方面存在差异。因此，在部署时选择高质量动作成为一个关键问题。

τ0-WM 采用由粗到细的测试时计算策略。系统首先从 VAM 采样多个动作候选，并应用轻量级的自一致性过滤以识别可靠候选。仅当采样候选显得不可靠时，系统才调用 ACVS 进行代价更高的 rollout 评估与动作修正。该设计在多数情形下保持实时性能，同时保留从困难状态恢复的能力。

5.1 重去噪一致性评分（RCS）

给定当前上下文，VAM 采样 N 个候选动作块。对每个候选，随机采样 K 个流时间步，按照训练时相同的流匹配过程对动作重新加噪。重加噪后的动作由 VAM 的动作向量场评估，产生平均重去噪误差。重去噪一致性评分（RCS）定义为该误差的负值，并选取评分最高的候选。RCS 作为轻量级分布过滤器，倾向于与所学条件化动作流形更一致的候选，其计算开销相较于 rollout 评估可忽略不计。

5.2 低质量动作修正（LAR）

尽管 RCS 能够识别采样动作中最自一致的候选，但在挑战性状态下所有候选仍可能质量不佳。为此，当所选候选的 RCS 低于可靠性阈值时，ACVS 被调用以评估所有候选动作。对每个候选动作块，ACVS 预测想象出的 rollout 与密集奖励轨迹，并以 imagined rollout 中达到的最大任务进度作为该候选的 rollout 价值。选取最高价值的 rollout 作为最有希望的未来，并将其隐变量转换为额外未来条件注入 VAM，引导策略生成明确朝向该高价值未来的修正动作块。

图3 测试时计算变体对比（Table II）以及预训练数据组合效果（Table I）。左表显示，在单尝试无重试设定下，采用 RCS 与 LAR 的测试时计算策略将平均成功率从0.43提升至0.60；右表表明，加入 UMI 与自我中心数据后，零样本平均成功率从0.14提升至0.55，监督微调后在杂乱场景下亦有显著提升。

实验对比表明，所提出的测试时计算策略在单尝试设定下持续优于标准执行、无分类器引导（CFG）与动作一致性引导（ACG）等现有方法。RCS 将平均成功率从0.43提升至0.50，说明相当一部分失败源于选择了次优动作样本而非策略能力不足。进一步启用 LAR 后，平均成功率达到0.60，验证了动作条件化未来 rollout 对动作修正的价值。

六、实验验证：长程精细操作任务

研究团队在四项精细敏感的长程操作任务上评估了 τ0-WM，涵盖 AGIBOT-G01、ARX 机械臂与双臂 Franka 三种 embodiment。这些任务要求长程推理、多阶段物体交互与精确几何对齐，且均被排除在预训练语料之外。

图4 实验评估任务示例。（a）将桌面工具收纳至工具箱对应位置（Toolbox）；（b）拉开书包拉链、放入物品并拉合拉链（School Bag）；（c）将软管连接至水龙头并固定（Faucet）；（d）收纳羽毛球并关闭盖子（Badminton）。

如图4所示，四项任务分别为：Toolbox（将不同工具收纳至工具箱对应位置）、School Bag（拉开书包拉链、放入物品并拉合）、Faucet（将软管连接至水龙头并固定）以及 Badminton（收纳羽毛球并关闭盖子）。其中 School Bag 需要连续的拉链操作与物体放置，Faucet 要求精确的软管对齐与固定，对几何精度要求极高。

图5 不同模型在成功率与任务完成进度上的对比。τ0-WM 在平均成功率与平均任务完成进度上均优于 Fast-WAM 与 π0.5 基线方法，在需要长程协调与精细操作的 School Bag 与 Badminton 任务上优势尤为明显。

定量结果显示，τ0-WM 取得了最高的平均成功率，并在大多数任务上表现最优。π0.5 在 Toolbox 任务上具备竞争力，但在需要长程协调与精细操作的任务上性能下降；而 τ0-WM 在所有四项任务上保持稳健表现。尤其在 Faucet 这一对所有方法均具挑战性的严格对齐约束任务中，τ0-WM 仍取得了最高成功率。研究团队将此优势归因于未来视觉动态与可执行动作的联合建模，其提供了比纯动作策略学习更丰富的预测监督。

定性观察进一步揭示了二进制成功指标未能捕捉的行为差异。在 Toolbox 任务中，基线策略常在工具插入正确槽位后即停止，即使插入不完整或工具仍处于松散状态。相比之下，τ0-WM 倾向于执行额外的修正动作（如进一步推压或按压工具），再终止 episode。研究团队推测，这一行为源于对未来视觉结果的显式建模，促使策略优化最终场景配置的质量，而非仅仅达到中间任务完成状态。

6.1 数据组合消融

为验证异构预训练数据混合的有效性，研究团队对比了仅使用机器人遥操作数据与使用完整语料训练的模型。在零样本设置下，加入 UMI 与自我中心数据使平均成功率从0.14提升至0.55，表明 UMI 与自我中心交互数据主要改善了通用操作先验与视觉理解，能够有效迁移至此前未见任务。在监督微调后，收益在杂乱场景下依然可见，说明改进的是鲁棒性而非仅仅是收敛速度。

七、部署细节与工程优化

在部署层面，τ0-WM 支持两种模式：纯动作模式仅生成并执行预测的动作块，以固定长度动作块在滚动时域闭环方式运行，提供高效的实时控制；启用 rollout 模式则额外预测未来视觉隐变量，可解码为多视角视频，在需要时显式可视化未来场景演化。

推理部署于单张 RTX 5090 GPU，标准配置下端到端动作生成延迟约为每查询220毫秒。通过缓存可复用的文本表示，延迟可降至约180毫秒而不改变模型输出。进一步的工程优化包括交叉注意力 KV 缓存（在动作推理中复用视频分支的键值张量）、融合 QKV 投影、简化旋转位置编码以及 torch.compile 编译优化，可将部署延迟进一步压缩至约140毫秒。

八、总结与展望

τ0-World Model 通过共享的视频扩散骨干网络，将动作生成、未来预测与部署时推理整合于统一框架内。其关键价值在于能够利用异构交互数据——包括真实机器人遥操作、UMI式演示、自我中心人体视频以及面向模拟器的 rollout 轨迹——通过模态特定监督掩码实现联合训练。实验表明，在长程精细操作任务上，该框架不仅具备跨本体部署能力，且异构预训练与测试时计算均带来了显著性能增益。

面向未来，研究团队指出了若干值得探索的方向。其一，许多灵巧操作任务需要超越视觉的感知信息，引入触觉反馈等额外传感模态有望提升对接触丰富交互（如插入、紧固与可变形物体操作）的建模可靠性。其二，尽管当前测试时计算策略已改善执行性能，开发更可靠的部署时推理机制仍是重要挑战，更优的不确定性估计、更长程评估与更有效的搜索策略或可在困难状态下进一步改善动作选择。其三，将预测建模扩展至更长的时间跨度与更复杂的操作场景，有望实现更丰富的未来想象与更强的决策能力。

总体而言，预测性机器人学习为构建更强大、更可靠的机器人基础模型提供了富有前景的路径，而 τ0-WM 为这一方向的实践探索提供了有价值的参考。

参考文献

1. Zhou P, Chen S, Chen D, et al. τ0-WM: A Unified Video-Action World Model for Robotic Manipulation. arXiv preprint, 2026. 项目主页: https://finch.agibot.com/research/tau0-wm

具身智能&世界模型blog： https://jinxindeep.github.io/blog/blog2026.html