机器人猎头分享:具身智能训练为什么越来越离不开遥操作数据?
最近做VLA、机器人学习和数据闭环岗位时,我发现一个很有意思的现象:
模型越来越大,仿真越来越强,人类视频也越来越多,但机器人公司反而还在建数据工厂、招遥操作员、做遥操作系统。
北京人形机器人创新中心的数据训练基地,已经部署40种构型、150多台机器人,年数据产能达到18万小时;国内目前已建成启用70多家具身智能训练场。
为什么模型能力越来越强,机器人还需要人一遍遍教它抓杯子、叠衣服、插零件?
核心原因在于:具身智能缺的并不只是“看过世界”的数据,更缺“机器人该怎么动”的数据。
人类视频很多,但里面没有机器人的Action
互联网上其实不缺人类操作视频。
切菜、开门、整理衣服、装配零件,公开视频里都有。
这些数据非常适合让模型学习:
物体是什么、任务是什么、人通常怎么完成任务。
但对机器人来说,中间少了一层非常关键的信息:
这个动作应该怎么映射到机器人身上?
人伸手拿杯子,视频能记录手的运动轨迹,却没有直接告诉机器人:
机械臂7个关节分别转多少度?
夹爪什么时候闭合?
末端速度多少?
机器人当前关节状态是什么?
所以NVIDIA在GR00T的数据体系中,把互联网视频、人类视频、合成数据和真实机器人数据分开处理,其中真实机器人数据仍然位于数据金字塔最上层,因为它能够同时提供视频、机器人状态和Action。
遥操作真正有价值的地方就在这里。
人完成一次操作,同时把“正确答案”直接记录下来。
一次遥操作,其实在生产一整条机器人训练样本
比如让机械臂把桌上的苹果放进篮子。
操作员戴着VR设备或者使用主从机械臂控制机器人。
系统同时记录:
摄像头画面、关节位置、末端位姿、夹爪状态、机器人Action,有些系统还会记录力觉、触觉和语言指令。
于是模型得到的不只是一段“人把苹果拿起来”的视频。
而是一整条:
Observation → Action → Next Observation
这种数据对VLA特别重要。
2026年的一项遥操作数据采集研究已经能够做到多种机器人、不同遥操作设备之间统一采集,并把视频和传感器数据自动转换为适用于VLA训练的结构化数据。
所以现在机器人公司做遥操作,实际上是在给Policy生产“动作教材”。
为什么仿真还不能完全替代?
仿真当然非常重要。
甚至未来大量机器人训练数据一定来自仿真。
NVIDIA就曾利用少量人类示范扩展出78万条合成轨迹,相当于约6500小时的人类示范数据;合成数据和真实数据一起训练后,GR00T N1的表现相比只用真实数据提高了40%。
但这里有一个前提:
很多合成数据,起点依然是一小批高质量的人类示范。
人先告诉机器人任务应该怎么完成,再通过仿真改变物体位置、光照、材质和环境,把数据放大。
而且真实机器人还有很多仿真很难完全还原的细节:
摩擦、结构柔性、传感器噪声、电机延迟、物体形变、真实接触。
这就是Sim2Real Gap。
国务院发展研究中心2026年的分析也提到,仿真数据和视频学习可以支持预训练,但与真实环境之间仍然存在明显迁移鸿沟,高质量物理世界数据依然稀缺。
所以现在比较现实的数据路线,其实是:
人类视频负责扩知识,仿真负责扩规模,遥操作真机数据负责把模型拉回真实机器人。
遥操作数据真正贵的地方,其实是“成功经验”
强化学习让机器人自己试错,理论上也可以获得数据。
问题是现实机器人试错太贵。
机械臂失败几十次没关系,人形机器人连续摔几百次,硬件、场地和人工成本都受不了。
尤其是长时序任务。
比如:
打开柜门 → 找到杯子 → 拿出杯子 → 关门 → 把杯子放到桌上。
完全让机器人随机探索,搜索空间会非常大。
遥操作相当于人直接给出一条相对好的初始轨迹。
模型先通过Behavior Cloning、Imitation Learning学会基本动作,再通过RL或者VLA Post-training继续优化。
这也是现在很多具身训练路线越来越常见的组合:
Teleoperation Demonstration → SFT/IL → RL Post-training → 真机反馈。
但遥操作也不是“采得越多越好”
这是现在数据行业正在发生的另一个变化。
同样1000小时数据,价值可能差很多。
如果操作员一直在同一张桌子、拿同一种杯子、走几乎完全相同的轨迹,模型很容易学会重复动作,却很难泛化。
北京具身智能训练基地公开介绍里,采集时会主动改变物体的形状、颜色、数量、位置以及背景,成功和失败过程也会被记录。
所以现在机器人数据团队开始越来越关注:
场景覆盖率、任务多样性、失败数据、操作质量和长尾问题。
这也是为什么行业里已经出现一个判断:1万小时高质量数据,可能比100万小时大量重复数据更有价值。
从猎头角度看,遥操作背后正在长出一批新岗位
以前提到遥操作,很多人首先想到数据采集员。
现在真正有价值的人才已经往上走了。
比如:
遥操作系统工程师,负责主从控制、动作映射、延迟和数据同步;
Robot Data工程师,负责机器人State、Action、视频和传感器数据组织;
数据闭环工程师,根据模型Bad Case决定下一批应该采什么;
跨本体数据工程师,解决人的动作怎么映射到不同机械臂、人形机器人和灵巧手;
再往算法侧,还有Imitation Learning、VLA Post-training、Robot Policy这些岗位。
做这类招聘时,我现在特别喜欢问一个问题:
“你们采回来的遥操作数据,最后具体让模型的哪个能力变好了?”
如果只回答“采了多少小时”,说明团队可能还停留在数据生产阶段。
真正成熟的数据团队会继续讲:
哪个任务失败率下降了?
哪类Bad Case减少了?
换新物体以后泛化有没有提高?
这些才是数据闭环真正产生价值的地方。
我的一个观察
具身智能越来越依赖遥操作数据,并不意味着未来永远需要大量人工操作机器人。
恰恰相反。
长期方向一定是让人类视频、世界模型、仿真、强化学习和机器人自主采集承担更多数据生产。
但至少在当前阶段,机器人还需要一批高质量的“老师数据”,告诉模型:
在真实机器人、真实接触、真实物理环境里,一个任务到底应该怎样完成。
遥操作现在承担的,就是这个角色。
所以我觉得未来真正重要的数据能力,也不会只是“拥有多少小时遥操作数据”。
更值得看的是:能不能用少量高质量人类示范,扩展出更多有效数据,再通过真机失败不断把数据补回来。
当这套飞轮真正跑起来以后,机器人对人工示范的依赖才有可能逐渐下降。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)