这项由阿里巴巴集团达摩院、香港具身智能实验室、香港中文大学和湖畔实验室联合开展的研究，以预印本形式发布于2026年7月7日，论文编号为arXiv:2607.06559，感兴趣的读者可通过该编号在arXiv平台查阅完整论文。

**一、机器人的"视力障碍"：为什么普通摄像头不够用？**

假设你闭上一只眼睛，单眼看世界，你就会失去立体感——你很难判断茶杯到底有多远，伸手抓它时很可能扑空。普通摄像头对机器人来说，正是这种"单眼视觉"：它能看到画面，却无法真正理解物体在三维空间中的位置，更无法感知物体正在如何移动。

当前很多机器人系统依赖的是"2D视频"——也就是普通摄像头录下的彩色画面。这些画面能告诉机器人"眼前有一个苹果"，却很难告诉它"这个苹果距离我0.3米，正在以每秒5厘米的速度向右滚动"。对于只需要按个按钮的简单任务，这或许够用；但对于需要精准配合双手、判断物体深度、预判运动轨迹的精细操作来说，这种"平面视觉"远远不够。

更深的问题在于，当机器人用2D图像来学习"下一步该怎么动"时，它必须从色彩变化中猜测物体的实际移动方式，就像你只看人的脸色变化来猜测他在跳什么舞蹈——信息的缺失会造成大量误判和不稳定。达摩院的研究团队由此提出了一个核心问题：能不能让机器人的"世界预想"升级到第四维度，不只预测"画面会变成什么样"，而是预测"空间结构会怎么变、物体会朝哪个方向移动多远"？

**二、四维世界模型是什么：给机器人配备"时空地图"**

在正式介绍这项研究之前，有一个核心概念需要理解：什么是"世界模型"？

可以把世界模型比作一个有经验的厨师在脑子里演练食谱。当厨师听到"制作番茄炒蛋"这个指令时，他的大脑会自动预演：先打蛋、加盐搅拌、热锅倒油、蛋液变固、加入番茄翻炒……整个流程的画面和感受都在脑子里过了一遍，然后才真正动手。机器人的"世界模型"也是如此——在真正行动之前，先在"想象"中预演场景会如何变化。

传统的机器人世界模型只能预演"彩色画面"，就像厨师只记得食物的颜色，却不知道锅有多烫、食材有多重。这项研究的突破在于，他们让机器人的世界模型能同时预演三种信息：彩色画面（RGB）、深度地图（Depth）和光流图（Optical Flow）。

深度地图可以理解为一张"距离照片"——画面中每个像素都带有"这里距摄像头多远"的信息，就像激光雷达的测量结果被投影到一张图上。光流图则记录了画面中每个点从当前帧到下一帧的运动方向和速度，用颜色表示：红色代表向右移动，蓝色代表向左，颜色深浅表示移动快慢。把这三种信息组合在一起，就得到了论文所称的"RGB-DF"表示——一个能同时描述外观、空间结构和运动趋势的完整时空快照。

更妙的是，当你同时拥有深度图和光流图时，可以用数学方法将它们"融合"还原出真实的三维运动轨迹，也就是论文中所说的"3D场景流"。可以把这个过程比作：用地图上的等高线（深度）加上气象图上的风向箭头（光流），就能计算出真实地形中气团的立体运动路径。机器人通过这种方式，能真正理解物体在三维空间中的运动，而不是在二维画面上猜测。

**三、RynnWorld-4D的架构：一个拥有三条"视觉通道"的大脑**

有了清晰的目标，达摩院团队开始设计实现这一目标的系统，取名为RynnWorld-4D。

这个系统的基础是一个已经在大量视频上预训练好的视频生成模型——Wan 2.2，这个模型本身已经具备了强大的"想象力"，能够根据一张图片和一段文字描述生成流畅的视频。团队要做的，是把这个"单一通道的大脑"升级成一个"三通道大脑"。

具体来说，他们为彩色画面、深度图、光流图各建立了一条独立的处理通道。这三条通道就像大脑的三个不同感官区域：视觉皮层处理颜色和纹理，空间感知区处理距离和结构，运动追踪区处理移动方向和速度。每条通道都有自己专属的神经网络结构，允许它专注于自己擅长的模态特征，不会互相干扰。

但仅仅"分开处理"还不够。现实中，物体的颜色变化、空间移动和运动方向必须保持一致——苹果向左滚动，深度图上苹果对应的位置就应该变远，光流图上就应该出现向左的箭头。三条通道必须"对话"，确保各自的预测结果彼此吻合。

为此，研究团队设计了一个叫做"联合跨模态注意力"的机制（JA模块）。可以把这个机制比作三位厨师在制作同一道菜时的实时沟通：每隔几个步骤，三位厨师会停下来互相汇报进展——"我这边的火候是这样的"、"我这边的食材状态是这样的"——然后各自根据对方的情况调整自己的操作。在整个30层的神经网络中，这样的"沟通会议"每三层召开一次，总共进行10次。

在技术细节上，每个JA模块的设计颇为精巧。每条通道产生一个"问题"（Query）和一组"答案"（Key/Value），然后用自己的问题去查询另外两条通道的答案，从而获取跨模态信息。为了让三条通道的空间坐标完全对齐，研究团队在这个跨通道查询过程中引入了三维旋转位置编码（3D RoPE）——这就像给三位厨师的每份食材都贴上了统一的坐标标签，确保大家说"左边第三格"时，指的是同一个位置。另外，模块的输出通过一个"可学习门控"来控制影响力的大小，这个门控初始值设为1而非0，避免了某种双重初始化方案导致的训练停滞问题。

同时，三条通道各自保留独立的前馈神经网络（FFN），而不是共用一个。原因很简单：颜色纹理、空间距离和运动方向是三种本质不同的信息，就像咸味、酸味和甜味需要不同的味觉感受器来处理，强行共用一套"感受器"只会造成混乱。实验也证实，一旦改用共享FFN，三个维度的预测精度都会明显下降。

**四、数据集的建设：254亿帧的"视觉教材"**

再聪明的学生，没有足够的课本也无法成材。RynnWorld-4D的训练同样面临一个棘手的现实：世界上根本没有现成的、大规模的、同时带有深度图和光流标注的视频数据集。研究团队不得不自己动手建造这套"教材"，这就是Rynn4DDataset 1.0的由来。

这套数据集最终包含超过2.544亿帧视频，来自7个不同的数据来源。其中约20.6亿帧（占8.1%）来自人类自我视角的活动视频，具体包括著名的Epic-Kitchens厨房操作数据集和EgoVid数据集；其余约233.8亿帧（占91.9%）来自机器人操作场景，涵盖RoboMIND、RDT-1B、Galaxea、RoboCoin和AgiBot等多个机器人数据集。

然而，这些视频本身只有彩色画面，并没有现成的深度和光流标注。研究团队采用了"伪标注"的方式——用当前最先进的自动化工具来批量生成这些标注。深度信息由Depth Anything 3模型生成，该模型能从单张图像预测出每个像素的距离，精度达到可用于训练的水平；光流信息则由DPFlow模型生成，该模型能分析相邻帧之间每个像素的移动方向和幅度。视频文字描述由Qwen3-VL多模态语言模型生成，每段视频被切割为5秒片段，以1帧/秒的速率采样后输入模型，要求模型描述主体动作、环境背景、物体交互和整体氛围，输出不超过512个词。

深度图的处理有一套具体流程：视频以30帧/秒采样，工作分辨率短边不超过392像素，每帧生成的深度值被裁剪到0至5米的范围，然后通过公式转换成8位灰度图像保存。这种统一的深度范围设置对于机器手臂操作场景来说恰到好处，既覆盖了绝大多数操作距离，又避免了远景噪声的干扰。

**五、三阶段训练：像培养厨师一样循序渐进**

数据有了，架构有了，接下来是训练策略。研究团队采用了一套三阶段渐进式训练方案，这个过程可以类比于培养一位精通三种烹饪风格的厨师。

第一阶段叫做"模态适应"。三条通道关闭跨通道通信，各自独立训练。这就像三位厨师先分别在自己的小厨房里磨练基本功——彩色通道继续强化其对视觉纹理的理解，深度通道从彩色视频的预训练基础上学习如何感知空间距离，光流通道则学习如何理解运动模式。此阶段学习率设为2×10??，光流损失权重λ设为0.5（因为光流的第一帧是零流场，信息量较少）。

第二阶段叫做"联合注意力训练"。主干网络被冻结，只有新引入的10个JA模块和相关的归一化层、门控参数可以被训练。这相当于让三位厨师先把个人技能固化，然后专门练习协作——怎么互相通报进度、怎么调整彼此的节奏。学习率提升到5×10??，并引入"分支随机丢弃"机制：以0.2的概率随机丢弃深度或光流通道的输入，强迫JA模块学会在某一通道信息缺失时，从其他通道的信息中推断补全。彩色通道不参与丢弃，因为它是整个系统的"外观锚点"。

第三阶段叫做"全参数联合精调"。所有参数全部解冻，在完整的Rynn4DDataset 1.0上继续训练，学习率降至1×10??，随机丢弃率降至0.1。这就像三位厨师把之前分开练习的技能融合在一起，在真实厨房环境中进行综合演练，打磨最终的默契度。

整个训练过程中，三个通道共享同一个高斯噪声样本，确保它们的去噪轨迹在时间上始终对齐，不会出现彩色通道"已经预测到未来第5帧"而深度通道还停在第3帧的错位现象。训练分辨率为81帧×480×640，经过视频自编码器的4倍时间压缩后，输出21个潜在帧。

**六、从"脑内预演"到"手上动作"：RynnWorld-4D-Policy**

让机器人能在脑中预演四维未来只是第一步，更关键的问题是：如何把这个"预演结果"快速转化为实际的机械臂动作？

传统方法通常需要先完整生成一段视频（这需要多次迭代的去噪计算），再从视频中推断动作，就像厨师必须先把整道菜从头到尾在脑子里"模拟做完"，才能开始动手——这个过程太慢，无法支持实时控制。

RynnWorld-4D-Policy采用了一个更聪明的捷径：不等"预演视频"完整生成出来，而是直接截取RynnWorld-4D内部神经网络的"中间思考状态"来指导动作。具体来说，研究人员发现，在扩散时间步t=500时（即去噪过程进行到一半时），从第15层Transformer块提取的内部特征，已经包含了丰富的四维信息，足够用来推断下一步动作。

从三条通道提取的3072维特征被拼接在一起，形成每帧9216维的综合特征，涵盖了视觉外观、空间几何和运动动态三个维度。这个高维特征序列随后被输入一个叫做"Flow Former"的压缩模块：它通过可学习查询向量，用空间交叉注意力汇聚每帧的空间信息，再用时间自注意力整合跨帧的时序动态，最终压缩成一个紧凑的时空特征向量。

动作生成采用流匹配（Flow Matching）策略，通过4步ODE（常微分方程）求解器生成54维的机械臂动作（对应双臂共54个关节自由度）。每次生成10个连续动作（即一个"动作块"），机器人执行这10个动作的同时，下一个决策周期已经在后台并行计算。

这种设计带来的实际控制频率约为9赫兹——即每秒更新9次决策。虽然与传统PID控制器的500赫兹以上相比频率较低，但由于策略是基于预测的四维特征运作，能提前预判物体运动趋势，这种"预见性"在一定程度上弥补了频率的不足。即便在执行动作过程中物体略有偏移，下一次9赫兹的更新也能及时重新规划轨迹。

从具体的延迟分析来看，整个推理周期约1106毫秒：其中深度估计占85毫秒（7.7%），VAE编码和潜变量准备占18毫秒（1.6%），RynnWorld-4D的三支路Transformer前向传播占990毫秒（89.5%，这是最主要的计算瓶颈），特征重塑和拼接占1毫秒（0.1%），Flow Former占4毫秒（0.4%），动作流匹配头占8毫秒（0.7%）。整套系统运行在配备NVIDIA RTX 5090 GPU的工作站上，使用FP8量化和FlashAttention 3加速。

**七、真实机器人实验：六项精细任务的全面测试**

研究团队在真实的双臂机器人上进行了系统性评估。硬件平台采用天机M6机器人（7自由度机械臂）搭配悟己灵巧手（20自由度仿人手），双臂合计54个自由度，并配置了英特尔RealSense D435i深度摄像头提供第一人称视角。

为了充分检验系统能力，研究团队设计了六项涵盖不同难度和类型的操作任务。双手取物任务要求机器人左臂从盘子中拾取一个苹果、右臂拾取一根香蕉，依次放到桌面指定位置；积木推送任务要求左臂先把大积木从左区推到中央，右臂再把它推到右侧目标区域，考验时序协调；物品传递任务是最具挑战性的任务之一，左手夹取一颗白菜后传递给右手，右手再完成放置，涉及精密的手-手协作；双手举升任务要求双臂同步抬起一个大西瓜毛绒玩具并放入托盘，考验力量协调；盖盖子任务要求机器人拾取一个盖子并精准对齐覆盖在纸箱上，精度要求极高；碗叠放任务要求把一只碗精准叠放在另一只碗上，同样需要毫米级的空间精度。

每项任务使用200个演示轨迹训练策略（训练世界模型时使用300-500个），评估标准是35次连续真实测试中的成功率，成功条件为机器人在120秒内完成任务。

实验结果方面，RynnWorld-4D-Policy在六项任务中的平均表现超过了其他所有对比基线。以成功率数字来看，双手取物任务达94.29%，积木推送任务97.14%，物品传递任务28.57%，双手举升任务97.14%，盖盖子任务65.71%，碗叠放任务65.71%。

对比来看，扩散策略（Diffusion Policy，一种经典的机器人学习方法）在这六项任务中的成绩分别为77.14%、85.71%、17.14%、88.57%、57.14%和57.14%。物理智能公司的π?基础模型表现为88.57%、94.29%、2.86%、91.43%、34.29%和51.43%。π?.?的成绩为94.29%、100%、0%、94.29%、37.14%和42.86%。

特别值得关注的是物品传递任务——π?的成功率仅有2.86%，π?.?完全失败（0%），而RynnWorld-4D-Policy达到了28.57%。研究团队分析认为，这种差异源于两个根本性问题：现有基础模型的预训练数据以平行夹爪为主，缺乏对灵巧手的先验知识；而且在手-手传递场景中，2D策略很难判断两个高自由度末端执行器之间的相对三维距离和可能的自遮挡关系，而RynnWorld-4D提供的显式几何和运动信息恰好弥补了这一缺陷。

在四维世界模型本身的生成质量评估上，研究团队对比了多种视频生成和4D建模方法。在深度几何准确度方面，RynnWorld-4D的δ?指标（越高越好）达到0.610，而对比的4DNeX仅为0.327，TesserAct仅为0.279。在光流运动精度方面，RynnWorld-4D的平均端点误差（AEPE，越低越好）为0.170，而大多数对比方法根本不具备生成光流的能力。在彩色视频的感知质量上，RynnWorld-4D的各项指标也与专门的视频生成模型持平甚至更优。

**八、消融实验：拆开看每个设计选择的贡献**

研究团队进行了一系列"拆零件"实验，来验证每个设计选择的必要性。

首先是三通道融合的必要性。如果把三条通道完全分开训练、不引入任何跨模态通信，深度的AbsRel误差从0.310恶化到0.737，光流AEPE从0.170上升到0.247。这表明，三种模态之间的相互约束是保证预测物理一致性的关键——彩色信息能帮助深度通道理解物体边界，深度信息能帮助光流通道校正运动估计。

其次是第一阶段模态适应训练的必要性。如果跳过这个阶段，直接进行三通道联合训练，δ?从0.610降至0.479，AEPE也明显恶化。原因在于，深度和光流通道是从彩色视频的预训练权重初始化的，它们的"先验知识"完全基于RGB特征，需要一段时间的专项训练才能真正适应自己的模态特性，不能直接"上岗"。

第三是大规模4D预训练数据集的必要性。如果只用特定任务的机器人操作数据训练，不使用Rynn4DDataset 1.0，光流AEPE从0.170急剧飙升至0.729，其他指标也全面崩溃。这说明仅靠任务专属数据无法学会复杂的时空动态规律，需要多样化的大规模预训练数据打底。

第四是联合跨模态注意力中3D旋转位置编码的必要性。去掉这个编码后，δ?从0.610降至0.450，AEPE从0.170升至0.210。这验证了空间坐标的显式注入对于跨模态特征在像素级别精确对齐的不可或缺性。

第五是策略端不同模态组合的贡献。仅使用RGB特征训练策略时，双手取物任务成功率为77.14%；加入深度特征（RGB+深度）后，物品传递和双手举升等需要空间精度的任务明显提升；加入光流特征（RGB+光流）后，运动敏感型任务有所改善；三者全部使用的完整版本达到最佳全面表现。这印证了"视觉外观+空间几何+运动动态"三位一体的协同效应。

**九、局限性与未来的可能性**

这项研究也坦率地承认了现有局限。单次推理需要约1.1秒，对于需要亚秒级反应的超高频控制场景（比如接球或高速分拣）仍然存在瓶颈。当前系统主要针对单摄像头的自我视角场景优化，对于需要多视角融合或多机器人协同的复杂场景，如何保持4D时空一致性还是有待解决的开放问题。

从更长远的视角看，这项研究指向了一个更宏大的目标：让机器人像人类一样，在真正理解三维世界的基础上做决策，而不是从像素变化中反复猜测。随着计算效率的持续提升和多视角扩展技术的发展，这套框架有望支撑更广泛的具身智能应用场景。

说到底，RynnWorld-4D做了一件听起来简单、实现起来复杂的事：它让机器人的"想象力"从一张二维画面，升级成了一个带有空间坐标和运动轨迹的三维时空预演。当机器人在执行"把苹果从盘子移到桌上"这个任务时，它的内部世界模型不再只是预测"画面颜色如何变化"，而是在心里演算"苹果会沿着什么样的三维弧线移动、我的手指需要在哪个深度位置收拢、每一帧的空间布局会如何演变"。这种升维的预见能力，是机器人从"会干活"走向"真的懂干活"的一步重要跨越。

对四维世界模型和机器人具身智能感兴趣的读者，可以通过arXiv编号2607.06559查阅完整原文，或访问Alibaba-DAMO-Academy/RynnWorld-4D的HuggingFace页面获取模型权重和演示资源。

---

Q&A

Q1：RynnWorld-4D和普通的机器人视觉系统有什么区别？

A：普通机器人视觉系统通常只处理彩色图像，无法直接感知物体的距离和运动速度。RynnWorld-4D同时预测彩色视频、深度地图和光流图三种信息，让机器人能在行动前先"想象"出物体在三维空间中的移动轨迹，从而做出更精准的动作规划，尤其在需要毫米级精度的精细操作任务中优势明显。

Q2：Rynn4DDataset 1.0里的深度和光流数据是怎么来的？

A：这个数据集中的深度和光流标注并非人工手动标注，而是通过自动化模型批量生成的"伪标注"。深度信息由Depth Anything 3模型从单张图像预测生成，光流信息由DPFlow模型从相邻帧分析计算，视频文字描述由Qwen3-VL生成。这种方式让研究团队得以在不依赖昂贵人工标注的情况下，快速构建出包含2.544亿帧的大规模训练数据集。

Q3：RynnWorld-4D-Policy的9赫兹控制频率够用吗？

A：对于大多数人类日常操作速度的机械臂任务来说基本够用。系统通过"动作块"机制来弥补更新频率的不足——每次计算一次性生成未来10个连续动作，机器人在执行这10个动作的同时，下一组动作已在后台并行计算完成。此外，由于策略基于四维预测特征运行，具备一定的前瞻性，能预判物体运动趋势，部分抵消了感知到执行之间的时间延迟。