具身智能正在进入“世界模型”阶段:石景山训练中心的4D数据采集实践
过去,机器人训练更多依赖遥操作、动作轨迹和二维视频。这样的数据可以帮助机器人学习“一个动作怎么完成”,却很难回答“环境发生变化后应该做什么”。随着具身智能从实验室走向工厂、仓储和家庭,训练数据正在从二维视频升级为包含空间、时间和交互信息的4D数据。
本文以北京市石景山具身智能训练中心的技术升级为例,介绍其从大规模真机遥操作转向多视点4D场景采集的思路,并分析FZMotion光惯融合运动捕捉系统与LuStage-RoboX多视点场景数据采集系统如何共同支撑具身智能训练。
一、为什么机器人训练需要“理解世界”
具身智能的核心难点,不只是让机器人完成某个动作,而是让它能够在不断变化的物理环境中感知、判断并执行任务。
在固定实验室中,光照、物体位置和操作流程通常是可控的。机器人即使只记住了某个动作模板,也可能表现不错。但在真实场景中,物料存在尺寸公差,光照会变化,地面和工位也不一定平整,人员、设备和物体之间还会产生随机干扰。机器人一旦离开训练环境,性能就可能明显下降。
传统的二维视频主要回答“动作是怎样发生的”,但不能完整描述以下信息:
- 物体在三维空间中的位置和运动轨迹;
- 人、机器人和物体之间的接触与交互关系;
- 场景随时间发生的变化;
- 光照、遮挡和形变等真实世界因素。
因此,具身智能训练需要的数据维度正在经历一次升级:从二维视频,到三维静态空间,再到包含时间变化的4D动态世界。理想的数据不仅要记录“做了什么”,还要帮助模型学习“为什么这样做,以及环境变化后应该如何调整”。
二、石景山训练中心为什么要升级
2025年3月,北京首个人形机器人数据训练中心在石景山首钢园揭牌。按照原始资料,训练中心占地约1500平方米,部署了100多台机器人,并设置了家庭康养、汽车装配、3C电子工厂等实景场景。
早期模式以真机遥操作为主:操作员控制机器人完成任务,系统同步记录视频、动作和轨迹数据。这种方式能够快速完成从0到1的验证,也能积累较大规模的轨迹片段。但随着训练深入,两个问题逐渐显现。
1. 实验室数据与真实环境存在差距
训练场景虽然比纯仿真更接近现实,但仍然相对干净和可控。光照、物料、空间布局和干扰因素与真实产线并不完全一致。模型在理想环境中学到的策略,到了复杂工况下可能缺乏足够的泛化能力。
2. 真机数据的采集成本较高
真机遥操作需要设备、场地和操作人员持续参与。原始资料估算,真机直接采集一小时交互数据的成本约为200元;如果按100万小时计算,成本将达到约2亿元。与此同时,通用具身智能模型还需要更大规模的数据,单纯依靠真机遥操很难满足长期需求。
这意味着,训练中心需要解决的不只是“增加更多机器人”,而是重新设计数据采集方式:用真实采集得到高质量种子数据,再通过重建、标注和仿真扩展数据规模。
三、从“模仿动作”到“构建4D世界”
升级后的技术路线,重点从单纯记录机器人动作,转向记录人在真实世界中的动作、物体和环境变化。
其中,LuStage-RoboX多视点场景数据采集系统采用多相机矩阵,对场景进行全域同步采集。按照原始资料,系统可配置80台4K同步相机,并根据场景和精度要求调整为4、8、16或32等不同视点规格。
与普通单视角视频相比,多视点4D采集能够提供更完整的空间信息,重点记录:
- 人体和物体的三维位置;
- 物体运动、形变和交互过程;
- 场景中的光影变化;
- 多视角之间保持一致的时间信息。
在数据处理方面,系统结合4D高斯溅射(4DGS)等方法,对真实场景进行高保真重建。原始资料还提到,系统借鉴游戏引擎中的LOD(Level of Detail)思想:在关键区域保留较高精度,在全局区域使用相对低精度表示,从而在效果、存储、计算和传输成本之间取得平衡。
这一思路的价值在于,采集系统不再只输出一段视频,而是输出可以被反复观察、重建、标注和仿真的动态场景数据。真实数据可以作为训练“种子”,再用于生成更多不同光照、位置和交互条件下的训练样本。
四、四类数据覆盖机器人的训练链路
升级后的训练中心围绕机器人学习过程,形成了四类数据采集区域。
1. 4D世界模型基础数据
该区域主要使用LuStage-RoboX和多视点相机阵列,采集具有时间连续性的三维场景数据,解决的是“机器人如何观察世界”的问题。
2. 机器人运动控制数据
该区域主要依托FZMotion光惯融合运动捕捉系统,采集基座运动、组装操作、个体出厂偏差和小脑模型验证等数据,解决的是“机器人如何稳定运动”的问题。
3. 精细操作预训练数据
在手部操作、物体抓取和工具使用等任务中,第一人称视角往往会出现遮挡。原始资料介绍了一种多视点三维重建真值反向标注Ego视角数据的方案,并称其可将部分遮挡工况下的数据完整率从传统约60%提升至99.5%以上。该类数据主要服务于精细操作能力训练。
4. 工业场景后训练数据
面向真实产线,采集系统可以采用非侵入式方式,不改造工位、不暂停量产,让工人保持原有作业姿态。原始资料称,该方案对产线节拍的影响率为0。这里需要特别注意,实际部署效果仍需结合具体工厂、工位和安全规范评估。
四类数据可以理解为一条逐层细化的训练链路:底层是通用的4D世界数据,中间是运动控制与精细操作数据,上层则是面向行业和工位的后训练数据。
五、两套系统如何形成互补
具身智能既要“看懂世界”,也要“在世界中行动”。这也是FZMotion与LuStage-RoboX形成互补的原因。
FZMotion:记录“如何运动”
FZMotion采用光学定位与惯性补帧相结合的光惯融合架构。光学系统能够提供高精度空间定位,惯性系统则有助于应对遮挡和短时丢失,从而保持动作轨迹的连续性。
在机器人训练中,这类数据不仅包括理想动作,还可以记录关节间隙、个体误差、负载变化和运动偏差。相比只学习一条“标准轨迹”,模型可以进一步学习真实设备在不同条件下的运动差异。
LuStage-RoboX:记录“身处什么环境”
LuStage-RoboX通过多视点同步采集场景,记录人物、物体和环境之间的动态关系。其重点不是单独捕捉一个动作,而是把动作放回真实空间中:人在什么位置、手与物体如何接触、物体如何移动、遮挡如何出现,以及场景如何随时间变化。
如果把机器人控制系统比作人的运动系统,FZMotion更接近“小脑”数据,帮助机器人学会控制身体;LuStage-RoboX更接近“视觉与空间理解”数据,帮助机器人理解所处环境。两者结合,才能形成“人在世界中行动”的完整数字样本。
六、对具身智能产业的启示
世界模型的讨论越来越多,但模型之外还有一个基础问题:高质量、可复用、可规模化的真实数据从哪里来?
石景山训练中心的升级提供了一种值得关注的思路:
1. 用真实场景采集4D数据,提升训练数据与物理世界的一致性;
2. 用高精度运动捕捉记录人的动作和设备差异;
3. 用多视点重建减少遮挡,提升精细操作数据的可用性;
4. 用真实数据作为种子,扩展更多仿真和训练样本;
5. 通过非侵入式采集,尽量降低数据采集对实际产线的影响。
当然,这条路线仍面临不少挑战,包括数据标准如何统一、跨机器人平台如何复用、4D数据如何高效存储和传输、仿真数据与真实数据如何对齐,以及模型训练结果如何在真实产线上验证。训练中心的升级更适合被视为基础设施建设的一次探索,而不是世界模型问题的最终答案。
结语
具身智能的发展正在从“让机器人模仿动作”,逐步转向“让机器人理解世界并采取行动”。这一变化不仅需要更大的模型,也需要更接近真实物理世界的数据基础设施。
从多视点4D场景采集,到光惯融合运动捕捉,再到面向工业产线的后训练数据,石景山训练中心的技术升级展示了一个清晰方向:机器人训练的核心对象,不应只是孤立的动作片段,而应是“人在真实世界中如何感知、决策和行动”的完整过程。
对于具身智能而言,模型负责建立能力,数据负责连接现实。只有让二者形成闭环,机器人才能真正从实验室走向复杂、开放且持续变化的真实世界。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)