论文：PyRUA-Data：Farm LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data

作者：Kewei Zhang，Juncheng Ma，Guodong Lv等

单位：北京大学，英伟达

来源：arXiv:2611.05320

既然遥操作采集机器人数据又贵又慢，能不能让一个编程智能体直接把遥操作员的活儿揽下来？

遥操作（teleoperation）至今仍是机器人策略训练数据的主要来源。它的好处是天然可信：每一条记录的动作都是机器人真做过的，每一帧画面都是部署时的真实场景。但它的软肋也明摆着——贵。每一集都要占用一台机器人、一位操作员，失败了还要复位重来；而且每换一个任务、一个场景、一个视角，又得从头再来一遍。更麻烦的是，当我们想训练一个能泛化的机器人基础模型时，需要的不再是几百条、而是成千上万条高质量片段，且最好覆盖各种物体、光照和场景。靠人摇操作杆去堆这个量级，成本和周期都难以承受。这正是业界一直在找替代方案的原因。

合成数据本来想打破这种随量增长的成本，但现有的流水线又用两种新成本替换了它：一是人力工程——不管是把少数演示倍增，还是用语言模型写任务，每来一个新任务，还是得有人去搭场景、写专家、写成功判定；二是仿真与现实的视觉鸿沟——能重建的场景才逼真，布料、亮屏这类难重建的东西一看就是假的，而视频生成模型虽然能自己合成动作，却再也给不出精确的动作标签。论文把这种既精确可训练、又真实可部署、还得为每个新任务低成本产出的难题，抛给了他们的系统：DataFarm。

---

一、DataFarm到底是什么

一句话概括：给智能体一个数据请求，再给它一段目标场景的校准片段（很短的一段多视角录像），它就能在仿真里把整个任务重建出来，源源不断地种出可以直接训练、直接部署的机器人数据。

举个具体的例子：给农场一段拉开抽屉、把方块放进去的校准片段，它就能在仿真里把整个任务复原，然后一口气产出一百条块入抽屉、抽屉关上的片段；更妙的是，只要把渲染契约里的文字从原木桌、暖光改成胡桃木、冷光，同一批动作就能套进一个从没见过的场景里——场景变了，动作和标签始终精确不变。

下面的图一把这套交付物讲得很直观。

它具体分四步：

• 勘测场景：智能体拿到校准片段，认出机器人和物体，估算几何与关节，拟合相机和度量尺度，并挑出每路相机的外观参考帧。

• 搭建仿真场：智能体像工程师一样，把任务编译进仿真——重建场景与相机、验证仿真器能复现所需技能、写一个名为专家控制器的程序，以及一个它看不见的成功裁判。

• 生长真实外观：仿真器从大量初始状态跑专家，产出带精确动作与状态的轨迹；一个以真实帧为条件的视频模型，把每条轨迹渲染成照片级的多视角视频，外观由目标场景决定，换成新桌布、新灯光也只是改一行文字。

• 审查收割：每一条渲染片段都要先和仿真状态做机器比对，再经过独立审核员确认，只有被接纳的才进数据集。

下图是整套总览流水线，建议收藏。

---

二、它和普通仿真造数据的根本不同

市面上的数据生成流水线并不少。下表把DataFarm和MimicGen、DemoGen、RoboTwin 2.0、Re³Sim、SplatSim、DreamGen等一众方法放在一起对比，差异一目了然。

最关键的差别有两点。第一，只有DataFarm是由一个智能体从一段校准片段出发把仿真任务搭出来，而且不复用校准片段里的任何动作——它要的是场景和相机，不是现成的演示。第二，也是论文最较真的地方：认证与生产分离。

把数据生产交给智能体，会带来一个遥操作从不会面对的问题：谁来给数据把关？一个既写专家、又写成功判定的智能体，完全可以给自己的错误开绿灯；而一个被要求看起来真实的视频模型，也可能照搬参考图的布局、凭空多出一个物体、或者干脆飘离仿真动作。DataFarm的解法是把发证和生产拆开：

• 专家对着一个它看不到的裁判来写，且只在留出的一批初始状态上被接纳；

• 渲染器可以改外观，但不能改几何、物体或时序；

• 每一条渲染片段进数据集前，都要过机器检查加独立审核员两道关。

这种设计让正确性不再依赖于信任智能体本身。

支撑这套自动化的，是论文里反复强调的一层解耦：能力层（capability layer）被所有任务共享，而每个任务要用的场景记录、任务契约、采样器、专家、裁判、渲染契约等，都由智能体在运行时现写。这带来两个好处：第一，不存在某个任务因为缺一个适配器而卡住，因为适配器本就是智能体自己产出的；第二，跨任务应当一致的行为，只能改共享层、且必须在测试下改。换句话说，换一个新任务，农场不需要改任何底层代码，只是让智能体再跑一遍同样的流程。

---

三、渲染才是灵魂：结构来自仿真，外观来自真实

如果说仿真器负责怎么做才对，那视频模型就负责看起来像真的。DataFarm默认用MiniMax-H3的参考帧到视频模式来做这件事，背后有四组与具体任务无关的设计，保证渲染既跟住仿真、又让各路相机彼此一致：

• 结构来自仿真，外观来自真实：用仿真视频的边缘图去驱动一个ControlNet，锁死机械臂姿态、物体位置和时序；真实帧和真实机器人的照片则只负责长相。

• 所有相机一次出图：头部与两路腕部视角拼在一张画布上，作为同一段视频生成，于是它们共享光照和材质，对有哪些物体、每只夹爪抓着什么也口径一致。

• 参考帧与提示词只补不添：参考帧对齐仿真任务状态，提示词只描述自己那一段，模型既不会把参考图的内容塞回来，也不会把后面的事提前画出来。

• 长片段不漂移：长片段分成若干彼此独立的块来生成，再在相邻块差异最小处拼接，避免一块块往下越长越偏。

光有设计还不够，验证必须过硬。每条片段在进入数据集前，除了机器检查，还要过一位独立审核员——一个单独的智能体，把解码后的视频拿去和真实参考帧、仿真状态逐一比对并留证。而自动检查本身也要先被校准：研究者用变异测试的思路，故意对一段已接纳的片段做破坏，比如删掉物体、复制一份、放大、挪动事件时间、交换视角、改颜色，要求对应的检查必须能抓到。抓不到的检查，就不能上岗。

下面三张图最能说明这套渲染的威力。

先看同一任务阶段下，真实录像、纯仿真、加域随机化的仿真、以及农场片段四者的对比——仿真和它的随机化变体复现了几何，却复现不了材质、光照和机器人长相，而农场片段保留了仿真几何、外观却取自校准片段。

直接拿视频模型生成会栽在哪？研究者在每个视角都跟住仿真这一点上做了实验。下图把仿真器输入、画布直出、逐相机直出和农场渲染四列并排：直出的画布经常显示和腕部视角不一致的任务状态，逐相机直出则各画各的，腕部视角里凭空多出机械臂、多出别的杯堆。只有所有相机一起生成才必要——把农场的渲染器也拆成逐相机，连它都会开始在腕部视角里发明杯子。

第三张图说的是另一类难处：有些物体难在长相而非动作。电子秤的亮屏、鼓、毛巾，仿真器只能画成一块平板纹理、一个红圆柱、一团光滑粒子布；而农场片段显示出带读数的亮屏、带铜钉的漆鼓、以及真实毛巾的编织纹理——它只需要物理所需的几何与接触，外观直接取自一次校准片段。

---

四、真实机器人上到底行不行

光说渲染漂亮没用，得看训练出来的策略在真机上扛不扛得住。论文在双臂PiPER机器人上挑了五个双手操作任务，刻意让每个都压不同的难点：把三个薄壁杯嵌套堆叠、把苹果放到读数会变的电子秤上、按节奏敲鼓、把方块放抽屉并关上、把毛巾折两折。下表是这五个任务的难点、所用仿真器与成功条件。

评测方式很公平：每个任务和每种条件各跑二十次试验，初始物体摆放随机且各策略共享；训练集都是等量的100条片段，区别只在于片段从哪来。结果如下面这张图。

只看原场景，仅用农场数据训练的策略拿到93次成功，用等量遥操作数据训练的是84次——五个任务里四个打平或反超，只在叠杯子上差一口气。真正的看点在不曾见过的环境：换上训练集里根本没有的桌布、再改房间灯光颜色，遥操作训练的策略暴跌到46次，而农场数据训练的策略还稳在87次，而且每个任务都领先。作为对照，那条常规的现实到仿真再到现实流水线（Sim+DR）更惨：原场景只有26次、未见场景21次，连称苹果都没完成过。

为什么农场数据这么抗造？研究者把原因归结为在固定精确轨迹周围加外观变化且不额外花钱——渲染器在固定动作周围变化台面材质和光照，策略就没法靠桌子长啥样来偷懒；而遥操作数据集只展示它被录制的那一个场景。至于渲染用真实图像这一步有多关键：同样的轨迹若用常规域随机化渲染，成功率直接掉到26和21。

还有一组更硬的证据来自光流：把农场渲染的视频和没贴图的仿真视频做逐像素的光流比对，在五个任务上平均只差4.4像素、在运动像素上有65%一致，和那条共享动作标签的Sim+DR基线几乎持平；而如果把同一段渲染和半秒后的仿真视频配对，误差立刻翻倍、一致率掉到41%。这说明农场渲染确实忠实地跟着仿真的动作走，动作标签才站得住脚。

---

五、成本：一次投入，之后近乎免费

成本账是这篇工作最让人生畏也最实在的部分。适配一个新任务的一次性开销，取决于用的智能体：六组前沿语言模型乘编码智能体框架的组合都走到了接纳，单次任务均价在12到124美元之间。论文主报告用的是Claude Opus 5.5配SoL-Pi，全程无需人工介入，一次性成本平均21美元，再加一份5美元的渲染合同。

此后的每一集，只需要仿真、渲染和审核，不再要机器人、操作员或复位。平均下来，每接纳一集约0.8美元；把一次性与合同成本摊到100集，每集均价1.06美元，摊到1000集更降到0.83美元。一个任务一小时同步三视角数据，平均107美元，且后续每小时只要81美元。

这些数字比遥操作更低：北美光人力一项，按他们的估算约290美元每小时可用数据（还没算机器人、场地、搭建）；中国的定制遥操作报价约117美元每小时。也就是说，农场在跑过10到37集后就比北美便宜，跑过41到220集后就比中国报价便宜。下图的曲线把每集平均成本随集数下降画得很清楚。

---

六、一表看懂：三类数据怎么造

把数据农场和另外两条路线放在一起，差异会非常清楚：一类是传统的真人遥操作，一类是现实到仿真再到现实（Sim+DR）的常规合成流水线。

维度	真人遥操作	现实—仿真—现实（Sim+DR）	数据农场DataFarm
输入	真机加人	重建或扫描出的场景	一段校准片段加一句话请求
谁在产出	人类操作员	仿真器出动作、渲染出外观	编程智能体全自动
动作标签	机器人真实执行	仿真给出，精确	仿真给出，精确
外观真实度	最高	低（域随机化）	高（真实图像条件）
新场景成本	每集都要人	每个场景要重建	改一行文字即可
原场景成功率（百次）	84	26	93
未见外观成功率（百次）	46	21	87
每集边际成本	高（人力）	中	约0.8美元

七、局限与边界

诚实地说，DataFarm也有它的边界。它依赖一个能复现任务技能的仿真器——仿真器资格检查能发现当前仿真器做不到，但那种任务就得先换仿真器变体。校准片段也认不出它没展现过的动力学，比如质量或摩擦，于是这些量被标成假定并在仿真里随机化，对成功与否取决于精确动力学的任务可能就不够。生成视频的验证也不完美：自动检查会漏掉一些缺陷，所以每条片段都过独立审核，被拒的渲染也计入成本。另外，评测目前只覆盖了一种双臂本体和五个任务，其他本体与任务族还有待验证。还有一个伦理细节值得肯定：因为农场片段本身就是真实场景的照片级视频，出处必须可溯——每条片段都带一份记录，把它和自己的仿真状态、渲染器、参考帧、审核结果绑定在一起，让一个数据集永远能被识别为生成的。当然，更便宜的数据并不等于更安全的部署：用农场数据训练出的策略，在能用之前依然要经过真实机器人的评估。

---

八、写在最后

把这篇工作放到具身智能的数据飞轮里看，意义很直接：它把采集机器人数据这件一直拴在人和硬件上的苦活，变成了一个可由智能体一键启动、随用随取的数据农场。你给一段很短的校准录像和一句话需求，它就在仿真里把任务搭好、把专家写好、把外观种出来，最后吐出带精确动作标签的照片级多视角数据——而且因为隐藏裁判、合格仿真器和独立审核员的存在，正确性不靠信任智能体，靠的是层层认证与完整留痕。

对做自动驾驶和具身智能的同行来说，最该记住的三点是：第一，智能体可以真的替代遥操作员，产出实景就绪的数据；第二，渲染必须用真实图像为条件，否则再精确的轨迹也救不回仿真与现实的视觉鸿沟；第三，成本结构从按集计费的人力，变成了一次投入、近乎免费的边缘计算。当数据的边际成本趋近于零，机器人学习的规模化，才真正有了底气。

放到更大的图景里，机器人学习一直卡在一个死结上：想要好策略就得有好数据，想要好数据就得有人真机操作，而真机操作又慢又贵还难规模化。DataFarm给出的解法是把操作这一步也自动化——人只需要录一段很短的校准片段、说一句话，剩下的搭建、生成、验证都交给智能体。当造数据本身变成了一个可以并行、可以复用、边际成本趋近于零的服务，机器人数据飞轮才真正转得起来。