摘要

 

机器人的进化不仅在于“看懂”场景，更在于“预判”物理结构在交互下的动态演变。传统的2D视频生成模型受限于像素表征，在处理6-DoF位姿估计、深度感知及精确物理交互时往往力不从心，难以支撑严苛的机器人控制需求。

为了跨越从“视觉生成”到“物理理解”的鸿沟，我们推出了RynnWorld-4D——业界首个基于RGB-DF（RGB + 深度 + 光流）协同生成的4D具身世界模型。它不仅能生成画面，更能同步演进场景的几何结构与时空运动，为机器人构建了一套具备空间物理感知的世界模型。其具有以下三个关键要点：

（1）RGB-深度-光流三模态协同表征：不同于纯像素生成，RynnWorld-4D通过同步生成RGB帧、深度图与光流，构建了一个显式的4D动态场景表示。这种表示天然支持重投影至3D空间，使模型能够显式理解场景的运动规律与几何约束，从而有效解决2D模型常见的物体尺寸闪烁、形状形变等物理幻觉。

（2）三分支协同架构：模型通过创新的三分支Transformer结构，让纹理、几何与运动解耦演进。通过联合跨模态注意力模块（Joint Cross-Modal Attention），各模态在去噪过程中相互对齐，确保了RGB的视觉真实度、深度图的空间准确性与光流的时空一致性。

（3）从预测到行动的单步策略：我们提出了RynnWorld-4D-Policy，它直接利用世界模型内部的4D预测特征作为输入，通过单次前向推理即可输出机器人动作，省去了繁重的多步去噪过程。这一设计让模型在保持高频闭环控制能力的同时，显著提升了在复杂灵巧操作任务中的成功率。

 

 

 

RynnWorld-4D首次引入了基于RGB-DF的4D动态生成范式，将机器人从单纯的像素预测带入了几何感知的阶段。它不仅能想象未来，更能精确计算场景的运动流与结构演变。为推动领域发展，我们同步开源：

（1）全系列模型(RynnWorld-4D世界模型 + RynnWorld-4D-Policy策略模型)。

（2）完整的推理与训练代码。

技术报告：https://arxiv.org/pdf/2607.06559

主页链接：https://alibaba-damo-academy.github.io/RynnWorld-4D.github.io/

Github：https://github.com/alibaba-damo-academy/RynnWorld-4D

 

RynnWorld-4D模型体系架构

 

 

 

RynnWorld-4D是具身智能领域首个实现RGB、深度图与光流协同生成的4D世界模型，旨在解决机器人操作任务中2D像素表征缺乏几何锚定的核心瓶颈。该模型创新性地构建了投影4D表征体系，利用三分支Transformer协同建模视觉纹理、空间几何与运动轨迹，通过联合跨模态注意力机制（JA），实现了外观、几何与运动在物理意义上的深度对齐，有效克服了传统视频模型常见的物理幻觉与几何形变问题。

在训练架构上，RynnWorld-4D基于自建的Rynn4DDataset 1.0进行大规模预训练，该数据集涵盖了超过2.54亿帧的人机交互与机器人轨迹数据，为模型注入了强大的时空物理先验。在此基础上，RynnWorld-4D-Policy作为动作生成模块，利用世界模型产生的预测性4D特征作为视觉编码输入，通过单次前向推理即可直接输出高精度的机器人关节指令，绕过了复杂的多步迭代采样，从而在单张GPU上实现了高频、实时的闭环控制。这种从几何重构到动作生成的端到端协同，使机器人具备了时空物理理解能力，而不再仅仅是对像素的概率预测。

 

 

2.54亿帧4D训练数据：Rynn4DDataset 1.0

 

 

 

高质量的4D世界模型离不开大规模、多样化的训练数据。为此，我们构建了Rynn4DDataset 1.0，一个涵盖超过2.54亿帧视频的混合数据集，兼顾人类第一人称活动视频(Epic-Kitchens、EgoVid)与多源机器人操作数据(RoboMIND、RDT-1B、Galaxea、RoboCoin、AgiBot)。

在原始视频基础上，我们对每一帧进行了三重标注：

• 语言描述：使用Qwen3-VL为每段视频生成细粒度的动作描述。

• 深度标注：使用Depth Anything 3生成逐帧深度图，全局深度范围统一为0–5米。

• 光流标注：使用DPFlow估计逐帧稠密光流场。

这一数据集的规模和多样性确保了RynnWorld-4D既能学习到通用的物体交互物理先验，又能掌握机器人特有的执行轨迹模式。消融实验表明，去掉大规模预训练后模型光流误差(AEPE)从0.170剧增至0.729，验证了数据规模对4D生成质量的决定性作用。

 

RynnWorld-4D的4D生成效果

 

传统的视觉基础模型往往困于2D像素生成的局限，难以捕捉场景深层的空间动态，导致机器人面对遮挡、近距离物体交互或高精度操作时容易失控。RynnWorld-4D通过引入RGB-DF(RGB + 深度 + 光流)表征，将机器人的视野从平面像素升级为立体的动态空间。

相比于单纯依赖RGB视频的方案，我们的模型具备显式的几何理解能力。这意味着机器人不仅能看到物体，还能理解物体的距离、形状及其在三维空间中的瞬时运动轨迹。通过这种物理锚定，RynnWorld-4D有效消除了“物体尺寸抖动”“动态结构形变”等常见物理幻觉，让机器人的感知真正建立在三维物理规律之上。

 

 

定量结果：在50段测试视频上，RynnWorld-4D的深度精度(δ1=0.610)接近TesserAct(0.279)的2.2倍、4DNeX(0.327)的1.9倍，同时是唯一能同步输出光流的4D世界模型(AEPE=0.170)。在视觉保真度上，模型与视频生成模型Wan-14B持平，RGB重建指标(SSIM=0.754、PSNR=17.85)全面超越所有 4D 基线。

 

 

定性结果：如上图所示，给定单张RGB-D图像和一条语言指令，RynnWorld-4D能够同步生成在时间轴上连贯演进的RGB视频、深度图序列和光流场。从可视化中可以观察到三个显著特征：

• 跨模态一致性：深度图中的几何结构边界与光流中的运动边界精确对齐于 RGB 纹理变化，不存在模态间的"割裂感"；

• 物理真实性：模型准确捕捉了物体位移、多接触点交互等复杂4D动态，无论是人手操作还是机械臂轨迹均表现良好；

• 时序稳定性：生成序列在时间维度上保持结构稳定，没有出现传统视频模型常见的物体闪烁或形状突变现象。

这些结果验证了我们的核心假设：在同一个扩散去噪过程中联合建模 RGB、深度与光流，三者之间形成了强有力的物理互约束。

 

 

从空间感知到闭环控制

 

 

在六项真实世界双臂灵巧操作任务上，RynnWorld-4D-Policy平均成功率领先现有方法。以下是几项值得关注的对比：

• 双手物体传递(Hand-over)：28.57%，而π0仅2.86%、π0.5为0%——现有基础模型几乎无法完成此任务；

• 碗具堆叠(Bowl Stacking)：65.71%，比次优方法高出8.5%；

• 盖子放置(Lid Placement)：65.71%，比次优方法高8.57%。

这些差距的根本原因在于：2D策略无法推理双末端执行器的相对三维距离与自遮挡，而RynnWorld-4D-Policy拥有内在的4D几何-运动表征作为决策依据。特别是在需要动态协调双臂空间位置的场景下，基于4D预测的动作规划展现了极其自然的轨迹稳定性。

实时控制：在单张RTX 5090上，通过FP8量化和动作分块策略(每次推理输出10步动作)，系统实现了约9Hz的有效闭环控制频率，满足大多数人类尺度操作任务的实时需求。

 

 

局限性与未来方向

 

尽管RynnWorld-4D在4D场景生成质量与下游操作任务上均展现了强劲的性能，仍有若干需要直面的问题。其一，推理延迟尚无法支撑超高频控制场景，尽管实现了约9Hz的有效控制频率，但面对微米级精密装配、高速物体接抛等高频任务，仍存在明显瓶颈；其二，模型仅针对第一人称单视角优化。在真实部署中，多机协作、第三人称监控视角等场景普遍存在，当前的4D时空一致性保证尚无法平移到这些设定中，限制了系统的部署灵活性。

展望后续版本，我们的路线图有两条主线：

• 推理加速：通过模型蒸馏、结构剪枝与更激进的量化策略，将端到端延迟压缩到实时交互的成本区间，目标是在消费级GPU上也能流畅运行。

• 多视角与多机协同：将4D时空一致性从单一第一人称视角拓展到多视角融合，支持多机器人之间的共享世界表征与协同决策。

我们相信，4D世界模型是通用机器人从"被动执行"走向"主动预判"的关键一环。从双臂操作到移动协作，从单机独立到多机互联，RynnWorld-4D将持续演进，为具身智能注入更深层的物理直觉。