当世界模型不再“画”像素:TraceGen如何用3D轨迹空间让机器人从一段手机视频里学会操作

一、一个昂贵的直觉:为什么“预测下一帧”不是机器人需要的世界模型

过去两年,“世界模型”成了具身智能领域最诱人的概念之一。它的核心许诺是:如果模型能够预测“如果我做某个动作,世界接下来会变成什么样”,它就有可能在内部“预演”行动的后果,从而做出更好的决策。

沿着这个思路,最自然的实现方式是视频生成:给定当前画面和动作,生成未来的视频帧。Sora式的视频生成模型展示了令人惊叹的画面想象力,于是大量工作试图把“生成未来帧”当作机器人世界模型的核心能力。

但TraceGen的论文一上来就指出了这条路径的一个根本性错位:像素空间对于控制任务来说,既太“多”,又太“少”。

说它太“多”,是因为未来帧中绝大部分内容——背景的纹理、光照的细微变化、与任务无关的物体——对于“机器人应该往哪个方向移动末端执行器”这个决策毫无用处。把这些信息全部生成出来,消耗的是巨额算力,换来的却主要是与行动无关的视觉丰富度。

说它太“少”,是因为视频生成模型并不理解几何。它可能“画”出一只看起来很像手的东西,但那只手在三维空间中的位置、朝向、与物体的接触关系,视频模型并不保证正确。一个在像素上栩栩如生的预测,如果抓取点的3D坐标偏了几厘米,对于机器人来说就是完全错误的。

更致命的是速度。视频生成需要逐帧、逐像素地迭代去噪,推理延迟以秒甚至分钟计。而机器人控制需要的是毫秒级的反应。一个需要“想”好几秒才能“想”出下一帧的世界模型,在真实的闭环控制中几乎没有用武之地。

TraceGen给出的替代方案极其清晰:不要在世界模型里预测像素,预测轨迹。

具体来说,它把世界状态表示为一个场景级的3D轨迹空间:一组在相机坐标系中定义的关键点在未来的三维运动路径。这个表示刻意丢弃了物体的外观、纹理、光照、背景——所有在不同具身、不同相机、不同场景之间剧烈变化的东西——只保留了操作任务真正依赖的东西:物体和机器人末端在三维空间中“怎么动” 。

这个选择本身并不新颖。轨迹表示在机器人学习中早有历史。但TraceGen的突破在于:它没有停留在“用一个更紧凑的表示做预测”这个层面,而是回答了如何让这种表示真正具备跨具身、跨场景的泛化能力。答案藏在一个数据引擎里。

二、TraceForge:把“五花八门的视频”锻造成同一种语言

3D轨迹空间的想法听起来简单,但有一个前提性问题:轨迹从哪里来?

要训练一个在轨迹空间工作的世界模型,你需要海量的“观察—未来3D轨迹”配对数据。互联网上有海量的人类操作视频和机器人数据集,但它们之间的差异是系统性的:人类的手和机器人的夹爪外观完全不同;手持相机剧烈晃动,实验室相机固定不动;同一个“拿起杯子”的动作,在不同视频中的速度、视角、背景千差万别。直接把这些异质视频喂给模型,它学到的只会是混乱。

TraceForge的任务,就是把这种混乱锻造成一致的表示。它是一条五阶段的数据管线,每一步都在消除一种异质性。

第一步:视频摄入与事件分块。 原始的人类第一视角视频和机器人视频首先被切分成“事件块”,每个块对应一次独立的操作尝试。在没有帧级标注的情况下,系统通过对2D关键点施加运动幅度滤波来自动确定分块边界——运动的骤起和骤停,天然地标记了一次抓取或放置的开始和结束。

第二步:指令生成。 每个事件块被采样出首、中、尾三帧,送入一个视觉-语言模型,自动生成最多四条不同风格的文本指令:简洁的命令式、分步的步骤式、自然的请求式。这一步为后续的“语言条件化”提供了监督信号,但指令来自模型自动生成,而不是人工标注。

第三步:3D点跟踪与位姿/深度估计。 这是整个管线中最关键的技术环节。对于每一帧,系统使用VGGT估计相机位姿和外参,使用CoTracker3在一个均匀的20×20图像网格上跟踪400个关键点跨越时间的变化。每个2D关键点通过深度图被“提升”到3D:(X_{i,t}^c = D_t(u_{i,t},v_{i,t}) \cdot K{-1}[u_{i,t},v_{i,t},1]\top)。这一步把像素级的运动转换成了相机坐标系下的三维点轨迹。

第四步:世界到相机的统一对齐。 不同的视频有不同的相机运动和初始视角。TraceForge将所有3D轨迹变换到一个统一的参考坐标系——以参考时刻 (t_{\mathrm{ref}}) 的屏幕对齐系为准:(X_{i,t}^{\mathrm{ref}} = R_{\mathrm{ref}}^\top(R_t X_{i,t}^c + t_t - t_{\mathrm{ref}}))。这一步消解了相机运动带来的差异,使得“从不同视角拍摄的同一个操作”在轨迹空间中变得可比。

第五步:速度重定向。 人类的手可能以机器人的夹爪无法复现的速度运动。TraceForge对轨迹施加速度重定向,将具身依赖的运动速度归一化到一个一致的尺度。这一步确保了轨迹空间中的“运动先验”描述的是任务层面的几何结构,而不是某个特定具身的速度特性。

这五个阶段走完,异质的视频流被压缩成了一个统一的语料:123,000个视频,180万个“观察—轨迹—语言”三元组,端点精度达到厘米级。这个语料的性质与互联网视频完全不同:它不保留任何外观信息,只保留三维空间中“什么东西在怎么动”。正因为如此,人类视频和机器人视频第一次可以在同一个表示空间中被混合训练。

三、TraceGen的架构:在轨迹空间里做流匹配

有了统一的轨迹语料,接下来的问题是:如何训练一个世界模型来预测未来的轨迹。

TraceGen的架构由两个部分构成:一个多编码器条件融合前端,和一个在轨迹空间工作的流匹配解码器。

条件端:三路视觉加一路语言。 对于每一帧RGB输入,系统同时提取两路互补的视觉特征:DINOv3提供空间感知的几何特征,SigLIP提供语义对齐的特征。深度图经过一个可学习的1×1卷积“stem adapter”投影到与SigLIP兼容的三通道空间后,用SigLIP编码器处理,得到第三路深度几何特征。三路特征沿通道维度拼接,再通过一个线性层投影到统一维度。语言指令则由一个冻结的T5编码器编码。视觉token和文本token拼接后,构成流匹配解码器的条件输入。

这个设计的精妙之处在于DINOv3和SigLIP的分工。DINOv3的自监督特征对空间结构和几何关系敏感,适合捕捉“物体在哪里、朝向如何”;SigLIP的视觉-语言对齐特征则适合将“把杯子拿起来”这样的指令与画面中的语义内容关联起来。两者拼接,让模型同时获得“几何上发生了什么”和“语义上对应什么”的信息。

解码端:把视频Transformer改造成轨迹预测器。 TraceGen的解码器借用了CogVideoX的3D Transformer架构,但把它的工作空间从像素空间换成了轨迹空间。输入是一个空间关键点网格:(K \times L) 个关键点在未来的 (L) 个时间步上的三维位置。具体来说,使用 (20 \times 20) 的关键点网格((K=400)),每个点在相机系中表示为 ((x,y,z)),在32个未来时间步上被预测。空间维度上施加2×2的patchification,每组关键点被处理为一个token,从而在保持空间结构的同时控制序列长度。

流匹配在这里的作用,与它在VLA动作专家中的角色一脉相承:不是把轨迹当作一个需要分类或回归的离散目标,而是学习一个从简单噪声分布到未来轨迹分布的连续变换。模型学习的是在给定当前观察和语言指令的条件下,未来三维运动的速度场。推理时,从噪声出发,经过若干步积分,生成一条完整的未来轨迹。

这个架构选择的意义在于:它把“世界模型”从“生成看起来合理的画面”重新定义为了“预测几何上合理的未来运动” 。一个视频生成世界模型可能生成一只视觉上完美的手,但手的3D位置是错的;TraceGen只预测3D位置,外观被彻底抽象掉了。后者对于控制来说不仅更相关,而且计算上轻得多。

四、五个演示,80%成功率:数据效率的来源

TraceGen最引人注目的实验结果,是在仅使用5个目标机器人视频的情况下,在四个真实世界操作任务上达到了80%的平均成功率。在更严苛的条件下——只有5个用手持手机拍摄、未校准的人类演示视频——它仍然在真实机器人上达到了67.5%的成功率。

这个数字需要放在对照中理解。传统的行为克隆或VLA训练,通常需要数十到数百个目标任务演示才能达到可用的成功率。TraceGen把门槛压到了个位数,而且允许演示来自人类,不要求是目标机器人本身。这意味着一个新任务的部署可以从“采集几百条机器人轨迹”变成“用手机拍五段自己操作的过程”。

数据效率的来源,不是模型本身变小了,而是预训练任务和目标任务的表示空间对齐了。TraceGen在TraceForge语料上预训练的是一个跨具身运动先验:它学到的不是“人类的手怎么动”或“某个机器人的夹爪怎么动”,而是“拿起一个物体并放到某个位置这件事,在三维空间中通常呈现什么样的轨迹结构”。当面对一个新的机器人时,只需要少量演示来教会模型“这个特定具身的动作如何映射到这个轨迹结构上”,而不需要从头学习任务本身的几何逻辑。

另一个关键数据是推理速度:比最先进的视频生成世界模型快50到600倍。这个差距不是工程优化带来的百分比改进,而是表示选择带来的结构性差异。生成一段未来视频需要逐帧去噪高维像素空间;预测一组3D轨迹则是在低得多的维度上做流匹配。速度优势使得TraceGen作为一个“预演”模块嵌入闭环控制成为可能,而不是一个离线规划工具。

五、与NitroGen的对照:两条不同的“从视频中学习”路径

TraceGen与之前讨论过的NitroGen在动机上高度相似:两者都试图利用互联网上丰富的人类和机器人视频,来解决机器人学习中的数据稀缺问题。但它们的表示策略截然相反,而这个对照本身具有启发性。

NitroGen直接在像素到动作的层面上工作。它从游戏视频中学习“看到什么样的画面,就输出什么样的手柄操作”,架构上移除了语言和状态编码器,做的是纯粹的视觉-动作映射。它的优势是简单、端到端、不需要任何中间表示;代价是学到的映射高度依赖于训练数据中的视觉分布,跨领域的迁移需要架构层面的适配。

TraceGen则在像素和动作之间插入了一个3D轨迹空间。它不直接学习“看到这个画面应该输出什么关节角度”,而是先学习“这个画面所对应的任务,在三维空间中通常对应什么样的物体运动轨迹”,然后在少量目标数据上学习“我的机器人的关节角度如何产生这样的轨迹”。这个中间层的作用是解耦:任务层面的几何结构被抽象到一个与具身无关的空间中,具身层面的控制映射则留给下游的少样本适配。

这个对照指向一个更一般的判断:从互联网视频中学习机器人技能,未必需要绕过中间表示。NitroGen证明了端到端映射在某些场景(尤其是游戏和遥操作)中的可行性;TraceGen则证明了,一个设计良好的符号中间层可能反而降低了跨具身迁移的难度,因为它让不同来源的数据第一次变得“可比”。两者不是互相替代的关系,而是对应着不同的任务结构和数据条件。

六、局限与开放问题:轨迹空间丢掉了什么,又还需要什么

TraceGen的轨迹空间选择是优雅的,但它并非没有代价。

第一,轨迹空间丢掉了接触信息。 3D关键点轨迹描述的是几何运动,但不直接描述力、接触状态、摩擦。一个“把插头插入插座”的任务,轨迹上看起来正确,但如果接触力不对,插头可能根本插不进去。TraceGen的表示对于接触丰富或力敏感的任务是天然不足的,这与之前讨论的DT-TacVLA引入触觉的动机一脉相承。未来将轨迹空间与力/触觉信号联合建模,是一个自然的延伸方向。

第二,关键点的选择是启发式的。 20×20的均匀网格覆盖了整个图像区域,但真正与任务相关的物体可能只占其中很小一部分。TraceForge的管线不依赖物体检测器,这避免了级联错误,但也意味着轨迹空间的分辨率是固定的,可能漏掉小物体的精细运动。自适应的、任务条件化的关键点选择,是一个未解决的问题。

第三,评测仍然集中在桌面操作。 80%和67.5%的成功率是在四个操作任务上取得的,这些任务的结构相对标准。TraceGen在移动操作、多物体交互、长时程任务上的表现尚未被系统评估。跨具身运动先验在更开放场景中的泛化边界,仍然是一个开放问题。

第四,与VLA的整合尚未展开。 TraceGen目前是一个世界模型,它预测轨迹,但不直接输出机器人的控制指令。如何把一个轨迹空间的世界模型与一个VLA策略或一个全身控制器耦合起来,使得“预演”的结果真正影响“执行”的选择,是走向完整系统必须回答的工程问题。

七、结语:世界模型的“表示选择”比“生成能力”更根本

TraceGen的工作可以浓缩为一个判断:具身智能中的世界模型,核心问题不是“能不能生成逼真的未来”,而是“用什么表示来承载未来”。

像素空间的世界模型继承了视频生成的视觉冲击力,但它把大量算力花在了与控制无关的外观细节上,同时在几何正确性上缺乏保证。3D轨迹空间是一种刻意的“降维”:它放弃了视觉丰富度,换来了几何可操作性、跨具身可比性和推理效率。123,000个视频、180万个三元组、5个演示、80%成功率、50到600倍加速——这些数字共同指向一个结论:当表示选择正确时,数据效率和计算效率是同一个问题的两面。

对于机器视觉而言,TraceGen的更深层启示在于:视觉理解的终点不一定是“更完整的场景重建”,也可以是“对行动足够充分的抽象”。一只人手和一只机器人夹爪在像素上截然不同,但在“抓住物体边缘、抬升、移动到目标上方、放下”这个三维轨迹结构中,它们是同一件事。找到那个让不同具身“说的是同一种语言”的表示,可能比把模型做得更大,更接近具身智能数据困境的解法。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐