摘要

 

在具身智能蓬勃发展的当下，数据匮乏已成为横亘在物理世界落地面前的核心瓶颈。高昂的真机调试成本、严苛的场地限制，让机器人数据采集举步维艰。为了打破这一瓶颈，我们推出了RynnWorld-Teleop，业界首个数字遥操作系统。它将数据采集与物理硬件彻底解耦：操作员的手势驱动生成式世界模型，实时合成高保真的机器人第一人称视频，同时自动生成精确的关节级动作标签，从而将传统遥操作的重资产模式重构为轻量化的数字流程。

传统数据采集依赖于真实硬件的反复操作，且受限于固定的实验室场景。行业内已有的基于视频回放或离线转换的方案，往往伴随着画质降级、实时性差等问题，无法支撑高精度机器人策略的训练。RynnWorld-Teleop不再满足于录制和回放，而是创造了一个可交互、可操控的虚拟训练场。只需一张场景照片和一套手势捕捉设备，操作员即可在数字世界中实时操控机器人。其具有以下三个关键特点：

（1）实时数字遥操作：摆脱真机物理限制，操作员仅需一张场景照片和手势捕捉设备，即可在数字世界中实时操控虚拟机器人。系统支持每秒40帧以上的极速生成，带来毫秒级的动作响应体验。

（2）精准的动作-视频对齐：系统通过深度感知的骨骼表征技术，将人类手势实时映射为机器人的精确关节指令。生成的视频与底层控制动作完全对齐，构建出高质量、物理逻辑一致的闭环训练数据，可直接用于VLA等模型的模仿学习训练。

（3）强大的域外泛化能力：通过“人体视频预训练 + 机器人数据微调”的渐进式训练范式，RynnWorld-Teleop能够显著提升机器人在陌生场景下的适应性。仅通过替换参考图像，即可瞬间生成全新的域外场景数据。

 

 

 

RynnWorld-4D首次引入了基于RGB-DF的4D动态生成范式，将机器人从单纯的像素预测带入了几何感知的阶段。它不仅能想象未来，更能精确计算场景的运动流与结构演变。为推动领域发展，我们同步开源：

（1）全系列模型(RynnWorld-Teleop 世界模型 + RynnWorld-Teleop-Causal 流式世界模型)。

（2）完整的推理与训练代码。

技术报告：https://arxiv.org/pdf/2607.06558

主页链接：https://alibaba-damo-academy.github.io/RynnWorld-Teleop.github.io/

Github：https://github.com/alibaba-damo-academy/RynnWorld-Teleop

 

RynnWorld-Teleop模型体系架构

 

 

 

RynnWorld-Teleop建立在先进的自回归视频生成架构之上，旨在解决具身智能中“数据收集难、真机约束多”的核心痛点。系统采用自研的深度感知动作表征技术，将人类手势实时映射为机器人关节指令，实现了对传统物理遥操作的数字化解耦。

在训练体系上，RynnWorld-Teleop采用两阶段渐进式训练范式：首先在大规模人体动作视频上预训练以学习操作先验，随后在配对的机器人数据集上微调，从而有效跨越人类与机器人之间的本体差异。通过流式因果蒸馏技术，将繁重的生成过程压缩为单通道推理，在单张H100 GPU上即可实现超过40 FPS的实时交互生成。

在输入端，系统能够根据单张参考图像精准融合手部骨骼运动信息，同步产出高质量的机器人第一人称视角视频与精确的关节动作标签，构建出可直接用于模仿学习的数据引擎。实验证明，仅依靠RynnWorld-Teleop合成的数据，机器人策略即可在复杂操作任务中实现零样本的仿真到真实迁移，并在真机实验中显著提升了长周期任务的成功率。

 

 

RynnWorld-Teleop 世界模型评测

 

 

高质量的动作控制世界模型是数字遥操作系统的核心。为全面评估RynnWorld-Teleop的生成能力，我们建立了两个评测基准：EgoDex-Test（人体为中心）用于评估模型对通用交互先验的学习效果，以及 Robotic-Test（机器人专用）用于验证在真实机器人本体上的生成质量。评测指标覆盖结构保真度（PSNR、SSIM）、感知相似性（LPIPS）、时序连贯性（FVD）以及推理速度（FPS）。

全面超越现有方法。在EgoDex-Test上，RynnWorld-Teleop全面超越了通用图生视频模型和动作控制生成模型两大类基线。通用模型（如Wan、CogVideoX）缺乏对精细手势的响应机制，时序连贯性较差（FVD>1300）。即使在相同数据上直接微调Wan模型，其FVD仍高达1223，而RynnWorld-Teleop仅为550，这证明单纯的监督微调不足以掌握复杂的灵巧操作动态，我们提出的深度感知姿态表征和分布对齐融合策略是关键。与最强的动作控制基线InterDyn相比，RynnWorld-Teleop在PSNR上提升了5.3dB（从21.47到26.78），LPIPS降低了57%（从0.279到0.119），全面刷新了该领域的最优水平。

消融实验验证设计选择。我们通过消融实验验证了各核心设计的必要性：去除人体视频预训练后，FVD从585飙升至2598，证明大规模人体数据提供的操作先验不可或缺；将分布对齐的加性融合替换为拼接融合后，FVD从585降至1191，证明保持预训练模型的潜在分布对稳定生成至关重要；去除因果预热阶段直接进行对抗蒸馏会导致严重的训练不稳定，验证了渐进式蒸馏策略的必要性。

 

实时交互与质量兼得。经过流式自回归蒸馏后的因果模型（RynnWorld-Teleop-Causal）在单张H100 GPU上实现了40 FPS的实时生成，远超现有动作控制世界模型典型的2–10 FPS帧率，完全满足实时闭环控制的需求。这一帧率达到了真实机器人相机的标准30 Hz采集频率，确保操作员在数字遥操作过程中获得流畅、即时的视觉反馈。

 

 

域外视觉状态泛化。数字遥操作的核心优势在于，仅需替换一张参考图像即可实例化全新的操作场景。我们从两个维度验证了这一能力：未见物体（将参考帧中的操作对象替换为训练中从未出现的类别或形状）以及未见背景（替换桌面材质等环境元素）。在两种设定下，RynnWorld-Teleop均能保持时序一致性并忠实执行动作控制轨迹，表明模型学到了与特定物体纹理和背景解耦的通用交互策略。

 

基于RynnWorld-Teleop的数据引擎

传统的机器人数据采集常受限于少样本困境，且难以覆盖长尾场景。通过RynnWorld-Teleop，我们构建了一个能够实时生产高质量轨迹的数据引擎。系统生成的每一条轨迹都自带精确的关节级真值动作标签，确保了动作与视频在物理逻辑上的完美同步，能够直接用于下游模仿学习策略的训练。

 

 

即便在完全没有任何真机数据的情况下，仅依靠RynnWorld-Teleop生成的数据集进行训练，机器人也能在四项真实世界双臂灵巧操作任务中实现超过82%的平均任务成功率。将合成数据与少量真实演示数据融合，不仅解决了数据稀缺性难题，更通过生成数据的多样性极大地增强了策略的鲁棒性。在多项复杂操作任务测试中，引入该系统生成的增强数据后，任务成功率最高提升了20%以上。

 

 

局限性与未来方向

 

尽管RynnWorld-Teleop已经验证了数字遥操作系统作为高保真数据引擎的可行性，仍有若干需要直面的问题。其一，复杂物理现象的生成保真度仍待提升。深度调制的骨骼表征虽然能捕捉三维空间动态，但面对精细的流体动力学、高度可形变物体的操作时，模型偶尔会出现生成不合理的情况；其二，跨本体的泛化仍需逐平台微调。当前模型在迁移到新的机器人平台时，仍需为每种本体单独进行第二阶段微调，这限制了其在新本体上的快速部署能力。

展望后续的RynnWorld-Teleop，我们的路线图有三条主线：

1. 扩大预训练中的物理交互数据规模，尤其是流体、颗粒物、可变形物体三类，让世界模型真正学会复杂物理现象的生成。

2. 探索跨本体的基座世界模型，通过引入机器人运动学描述符作为额外条件，实现一次训练、多平台部署。

3. 释放数据的scaling潜力，通过大规模并行生成将数据规模增长与真机数量彻底解耦，让具身智能真正进入数据驱动的规模化时代。

我们相信，基于世界模型的数字遥操作才刚刚起步。正如大规模文本数据开启了大语言模型的Scaling Law，当机器人操作数据能够通过生成式世界模型、以极低成本快速扩展时，具身智能也将迎来属于自己的“Aha Moment”。