机器人智能技术正在快速演进:

今年1月,Figure发布Helix 02,用一个统一神经系统直接连接视觉、触觉、本体状态与全身执行器,让人形机器人连续完成长达4分钟的厨房任务,过程中同时涉及行走、平衡和双手操作。

7月,Google DeepMind发布Gemini Robotics 2。相比此前更多集中在桌面操作和上半身控制,新模型已经能够控制完整人形机器人,从脚步移动、身体重心一直到双手操作;同时,Gemini Robotics ER 2承担更高层的环境理解、任务规划和多机器人协作。

同一个月,NVIDIA发布GR00T N1.7。值得注意的已经不只是一个VLA模型,而是一套从Teleoperation、数据格式转换、Post-training、仿真评测,到ONNX、TensorRT部署的端到端机器人开发链路。GR00T N1.7的预训练数据已经包含约3.2万小时真实示范及人类第一视角数据,以及约8000小时仿真数据。

机器人正在快速变聪明。但到了真正的工业现场,问题会马上变成另外一个:“如果今天希望一台机器人学会上下料,明天让它学习物料搬运,下个月又要增加装配和拧螺丝,它究竟是怎样被“教会”的?“

VLA、世界模型和机器人基础模型正在提高机器人的泛化能力,但在工业场景中,真正决定落地效率的,仍然是任务如何拆解、数据如何获得、模型如何适配、确定性控制如何保留,以及整个开发链路能不能工程化。

一、机器人究竟是怎么训练出来的?先看懂完整开发链路

如果把机器人训练简单理解成“采集数据,然后训练一个AI模型”,就会忽略大量真正决定能否落地的工程环节。一台机器人从“不知道怎么完成任务”,到真正进入工厂稳定工作,本质上需要完成这样一条闭环:“任务定义 → 任务与技能编排 → 数据构建 → 模型训练 → 评测与部署 → 现场数据回流”。这也是理解当前VLA、机器人基础模型、仿真和World Model之前,最重要的一张底图。

1. 第一步不是训练模型,而是定义任务

假设希望机器人完成“从料框取出零件并放入机台”。在机器人看来,它实际上包含了目标识别、空间定位、接近、抓取、抬升、避障、移动、放置、退出、状态确认甚至异常恢复等多个阶段。真正进入生产,还需要进一步定义成功条件:物料允许多大姿态偏差,抓取失败怎样重新尝试,机台状态异常是否继续,人员进入工作区时机器人怎样响应,动作在什么条件下必须停止。

这就是机器人开发中的第一个变化。传统自动化更习惯从动作和坐标出发,而进入学习型机器人之后,越来越需要从Task出发:目标是什么、环境是什么、对象是什么、约束是什么、什么结果算成功。任务定义得越清楚,后面的数据、训练和评测才越有意义。

2. Task并不会直接变成电机动作,中间还有“技能层”

机器人知道“我要把零件装进去”,不代表它已经知道每个关节如何运动。因此,在Task和底层Controller之间,通常还存在一层技能与任务编排。

传统机器人常用状态机、Workflow或者Behavior Tree,将“识别—抓取—移动—放置—确认”组织起来。今天VLM和Agent Planner开始参与之后,这一层正在发生变化。AI可以根据环境变化动态决定先执行哪个Skill,但对于工业现场而言,BT并不会因此消失,它更可能从过去“把所有机器人逻辑写死”的中心,变成任务流程、安全约束和异常处理的执行框架。上层模型负责更多判断,底层依然保留确定性。

3. 真正的“训练”,发生在数据到Policy之间

有了任务之后,需要让机器人看到人是怎么完成这个任务的。工程师通过遥操作、示教器、动捕设备或者其他Teleoperation方式控制机器人执行任务,同时记录相机图像、关节位置、速度、末端位姿、夹爪状态、力/触觉等信息。

从机器学习角度看,一条机器人数据并不是简单的视频,而是一条严格同步的Trajectory:“视觉Observation + 机器人State + Task Instruction + Action + Task Result”。模型真正学习的,就是在某一种观察和状态下,为了完成某个任务,下一段正确的动作应该是什么。

训练完成之后,模型还不能直接进入生产。它还必须经过离线评测、仿真验证、真机Rollout、异常测试,最终才部署到现场。一旦现场发生失败,又会产生新的高价值数据,再进入下一轮训练。这时机器人开发才真正形成闭环:Data → Train → Deploy → Fail / Correct → New Data → Train Again。机器人训练从一个“算法问题”,变成一项完整的机器人软件工程和数据工程问题。

二、为什么越来越重视数据?机器人也正在建立自己的“Data Engine”

大模型的发展曾经反复证明一件事:模型架构很重要,但当架构逐渐趋同时,数据规模、数据质量和数据覆盖范围往往决定模型最终能学到什么。

机器人正在经历类似的过程。Google DeepMind早在Open X-Embodiment项目中,就联合33个学术实验室,将22种不同机器人本体的数据汇聚到统一数据集中,覆盖超过500种技能、15万个任务和100多万个episode。使用跨本体数据训练之后,RT-1-X在多种机器人上的平均成功率相较各自原有方法提升约50%。到了2026年,这种思路已经继续向更大规模、多来源数据发展。GR00T N1.7的预训练数据不再只有真实机器人示教,其中同时加入人类第一视角视频以及大量仿真Rollout。

机器人训练的数据结构正在从Robot Demonstration,演变为“Robot Demonstration + Human Video + Simulation + Synthetic Data + Failure Data”。

背后的原因其实非常现实。真实机器人数据很贵。一段训练数据不仅需要有人操作机器人,还涉及设备占用、环境Reset、相机和传感器同步、失败后恢复,甚至可能出现设备碰撞和零部件损耗。

更麻烦的是,工业现场真正决定可靠性的往往不是正常情况,而是长尾情况。正常抓取可能已经采了500次,但物料轻微旋转怎么办?光照突然变化怎么办?上一个零件没有完全退出怎么办?夹爪发生轻微打滑怎么办?如果全部依靠真机逐一采集,数据成本会迅速上升。

这就是Sim2Real越来越重要的原因。大量环境、物体位置、光照、材质和机器人状态可以先在Isaac Sim、Isaac Lab等环境中进行变化和生成,再通过真实数据完成校正。

但这里还有一个容易被忽略的问题:机器人数据真正难的并不是“采多少”,而是“能不能用”。一条看似完整的数据,如果相机帧和关节状态不同步,可能已经失去训练价值;如果不同工程师的遥操作风格差异过大,模型学到的动作分布可能非常混乱;如果每次任务Reset的位置都完全相同,模型可能只是记住场景,而没有真正获得泛化能力。

因此,高质量机器人数据至少需要同时处理时间同步、坐标系、相机标定、动作频率、任务标注、成功/失败结果、数据质量筛选以及不同本体之间的数据标准化。

这也是为什么现在行业开始出现一个越来越重要的概念:Robot Data Engine。它不是简单的数据存储平台,而是一套持续完成:“采集 → 清洗 → 标注 → 筛选 → 训练 → Rollout → 失败分析 → 再采集”的数据飞轮。所以说,机器人动作纠错机制很重要,当机器人部署过程中出现失败,人可以介入修正,这些修正轨迹又可以自动进入下一轮训练。

三、从“训练一个模型”到“开发一项机器人任务”:工业富联科技服务正在做什么?

当机器人开发进入Task、Data、Model、Deployment共同协同的阶段,一个新的工程问题开始变得越来越重要。如果每增加一个机器人任务,都需要算法工程师重新搭环境、采数据、编写训练代码、调整模型,再手动完成现场部署,那么即使模型本身越来越强,机器人依然很难真正规模复制。换句话说,模型能力解决的是机器人能不能学会,而开发平台解决的是能不能持续、低成本地让机器人学会。

这也是工业富联科技服务研发工业机器人开发训练平台的出发点。平台并不是再造一个机器人基础模型,而是将机器人开发过程中原本分散在不同工具、不同工程师和不同环境中的任务编排、遥操作、数据处理、模型训练以及现场部署连接起来,让现场使用者尽可能不需要理解复杂的AI底层技术,通过无代码方式完成机器人的任务开发。

从平台架构来看,整个训练链路分为机器人端和服务器端。机器人端承担最靠近现场的部分,包括任务编排、遥操作数据采集、数据处理,以及模型推理与部署。工程人员可以围绕真实工位定义任务,通过遥操作完成示范,采集对应的视觉与机器人轨迹数据。服务器端则负责数据管理与模型训练。采集的数据进入统一数据管理体系,完成整理后进行模型训练,再把得到的Policy重新部署回机器人端运行。

这实际上形成了一条非常清晰的闭环:“现场定义任务 → 遥操作采集数据 → 数据管理与处理 → 模型训练 → 模型部署 → 机器人执行”。相比传统机器人往往需要针对每一个新任务重新进行大量代码和动作逻辑开发,这套方式希望把更多工作从“程序开发”转换为“任务定义 + 数据示范 + 模型训练”。

当前平台首先聚焦在结构化场景、中短流程、中低精度、无需复杂精密力控的工业机器人任务。这类场景一方面具有工业生产的真实价值,另一方面环境变化仍处于可控范围,正是现阶段Imitation Learning、ACT、Diffusion Policy以及轻量化VLA最容易形成规模应用的一类场景。对于上下料、搬运、部分装配等存在一定物料和环境变化的任务,Learning-based Policy则可以显著减少大量手工编程工作。

更值得关注的是它背后的规模化逻辑。第一个任务训练完成以后,沉淀的不应该只有一个模型文件,而应该同时沉淀任务模板、遥操作数据、标准数据结构、Skill、模型参数以及现场Failure Case。当第二个类似场景出现时,可以复用前一个任务已经积累的数据和Skill;机器人本体变化之后,可以在已有Foundation Policy基础上进行Post-training,而不是再次从零开始;同类任务不断增加之后,原来的单任务训练平台就开始向Robot Data Engine + Skill Library + Foundation Model Post-training Platform演进。

最终需要形成的是一条可以不断循环的机器人学习飞轮:“Task → Data → Model → Deployment → Feedback → New Task”。这也是机器人行业从“设备自动化”走向Physical AI之后,一个非常重要的变化。

-----

对于工业场景而言,下一阶段的竞争可能不只是“谁拥有一个更强的VLA”,而是谁能够建立一套从任务定义、数据采集、模型训练、仿真评测到现场部署的完整工程体系,让机器人学习新任务的成本不断下降。

当开发一个机器人新任务,不再意味着重新做一个项目;当工程人员可以通过示教而不是大量写代码让机器人学习;当现场失败数据能够自动回流训练;当同一个Skill可以持续复制到更多设备和更多工位,机器人从“能完成一个Demo”走向“真正进入生产”的关键一步,才算真正发生。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐