论文:Robot-Aligned 3D Gaussian Splatting for Precise Reaching with Wrist-Camera VLA Policies, 2026年10月,来自TAMU。

这篇论文的核心价值,是把真实场景的 3D 高斯溅射重建变成一个与机器人运动学一致的训练数据生成器,用较少人工采集支持精确接近目标的 VLA 策略学习。创新主要体现在任务导向的坐标对齐、视觉—动作数据生成和停止判断的组合,而非新的高斯表示或渲染算法。

如图所示real-2-sim-real流水线概览:

一、机器人对齐高斯溅射是怎样实现的?

整个流程可以概括为:

真实场景采集 → 3DGS 重建 → 对齐机器人坐标 → 生成轨迹及对应图像 → 微调 VLA → 实机闭环到达与停止。

这里的“机器人对齐”包含两个层面:空间坐标对齐,以及图像、机器人状态、动作标签的一致性。

1. 手眼标定:建立相机与末端执行器的关系

先标定腕部相机相对于末端的固定变换 ^{E}^T_C,结合机器人末端位姿得到相机在基座坐标系中的位姿:

^{B}^T_C = ^{B}^T_E ^{E}^T_C

作者还利用深度观测和参考平面的点到平面残差检查标定,尤其关注接近方向上的误差。因为对主板零件而言,横向偏一点可能仍能抓住,但高度偏差容易造成提前停止或碰撞。

这里需要注意:“仅腕部相机”指视觉输入不依赖外部侧视相机,系统仍使用机器人状态;建模和校验阶段也使用深度信息。

2. 加权相似变换:让高斯场景具有正确的机器人尺度和坐标

SfM/COLMAP 重建具有自己的坐标系和尺度。作者将重建得到的相机中心 c_i^G^,与机器人运动学得到的相机中心 c_i^B^ 对应,通过下面的目标估计尺度、旋转和平移:

其中最有任务针对性的设计是:提高目标零件附近关键帧的权重。

这相当于优先保证“最后要接触的位置”对齐准确,而不只是追求整个场景的平均拟合误差。目标关键位姿既是轨迹终点,也是对齐锚点。

不过,它仍是一个全局相似变换,并不能修正重建中所有局部几何畸变。

3. 运动学筛选:把自由视角变成机器人可能看到的视角

生成起始位姿时,检查:

  • 是否位于限定工作空间;
  • 逆运动学求解误差是否足够小;
  • 是否满足关节限位;
  • 平移可操作度是否足够高,避免接近奇异构型。

这一点很关键:普通新视角合成只需产生一张合理图像,机器人训练还必须保证它对应一个可执行的身体状态。

4. 同一条轨迹同时产生图像和动作

轨迹按“起始位姿 → 预接近位姿 → 目标关键位姿”构造,采用三次 smoothstep 时间插值:

h(u) = 3u^2^-2u^3^.

它让每段端点速度为零,减少线性时间插值带来的突变。沿轨迹逐帧计算腕部相机位姿并渲染,同时生成动作标签:

  • 对 pi_{0.5}:通过逆运动学求关节状态,使用关节增量;
  • 对 OpenVLA-OFT:使用相邻末端位姿之间的相对运动。

因此,图像和动作来自同一条已知轨迹,减少真实采集中图像时间戳与动作记录不同步的问题。

论文没有使用渲染域随机化;数据多样性主要来自起始位姿和相应轨迹的变化。

5. 到达验证器:单独解决“什么时候停”

VLA 负责预测运动,另一个独立训练的网络负责估计到目标的距离:

^d_t = V(I_t, ell,s_t)

输入包括腕部图像、语言指令和机器人状态。语言通过 FiLM 和空间注意力调节视觉特征;训练时以 0.5 的概率屏蔽状态特征,减少网络只根据末端高度判断距离的“捷径”。

预测距离连续三次小于 0.65 cm 时停止,并可增加几何检查。部署时还配合动作缩放、裁剪及逐渐缩短动作执行块,提高末段反馈频率。

停止后由固定控制器完成抓取、抬升和放置,接触操作本身并非 VLA 学到的部分。

如图所示指令为条件的到达验证器概览:

如图所示用于精确到达动作的渐进腕部-摄像头反馈概念示意图:

二、方法的特点和实际贡献

第一,明确缩小问题范围,降低数据生成成本。

它将 3DGS 用作接触前阶段的视觉观测模型,不要求重建完整物理数字孪生。对于线缆、细小元件和复杂背景,保留真实外观比建立每个物体的精确网格更直接。

但“不需要 GPU 物理模拟器”不等于“不需要 GPU”:重建、渲染和策略训练仍有计算成本。

第二,最有价值的是任务关键区域对齐与监督一致性。

论文把“目标附近准确”“视角运动可实现”“图像与动作同步”连接起来。这比单纯增加渲染图片数量更符合机器人学习的需求。

消融实验支持这些设计,以下均为 pi_{0.5}、900 条生成轨迹的结果:

实验设置精确到达成功率说明
完整系统58.7%参照
去掉关键帧加权46.7%目标区域对齐有实际收益
去掉到达验证器45.3%停止判断对最终成功很重要
改用线性时间插值50.7%平滑监督有助于学习

第三,证明了少量人工采集可以扩展为有效的训练数据。

主实验结果为:

数据配置视觉输入pi_{0.5} 平均精确到达成功率
150 条遥操作示范腕部+侧视58.7%
150 条遥操作示范仅腕部53.3%
900 条生成轨迹仅腕部58.7%
1,500 条生成轨迹仅腕部80.0%

最后一项对应螺钉、GPU、RAM 各 25 次试验,共成功 60/75 次。

人工主动采集时间从 150 条遥操作示范的约 200 分钟,降低为生成数据所需的不足 10 分钟。但表 III 中,1,500 条生成轨迹的总时间仍约为 200 分钟。明确的优势是节省人工参与和机器人占用,不应解读为全部流程十分钟完成。

第四,验证器的状态屏蔽提供了有意义的鲁棒性设计。

不屏蔽状态时,验证器在干净数据上更准,但末端高度输入偏低 2 cm 后,停止精确率降为 0%;完整模型仍为约 48.1%。这说明作者识别并缓解了固定工作空间下的状态捷径问题。

从创新性质上看,这是一项面向实际任务的系统与数据方法贡献。加权配准、运动学筛选、插值、FiLM 等组件本身并非论文提出的新基础算法,贡献在于组合方式及实机证据。

三、有哪些不足?

1. 运动学可达不等于整条轨迹无碰撞,这是最重要的技术缺口。

论文明确没有采用 RRT 等碰撞感知规划器。起点可达、关节合法,并不能保证中间运动不碰到元件,尤其是手腕旋转和夹爪扫过的空间。

作者已经报告 GPU 目标附近的旋转有时导致碰撞。因此,“无需碰撞模型”是简化系统的取舍,也限制了它在更密集场景中的可靠性。

后续可保留 3DGS 渲染,同时增加粗粒度占据地图、距离场或轨迹碰撞检查,不必一开始就建立完整物理仿真。

2. “精确到达”不能直接理解为毫米级六自由度定位。

论文的精确成功指标,是终点能否让固定抓取—抬升程序成功。它会受到零件形状、夹爪宽度、夹持力和控制器容差影响。

几何指标也需要分清:

  • 全局位置对齐 RMSE 约 9.4–11.4 mm;
  • 关键锚点平均误差约 3.2–4.0 mm;
  • 验证器近目标距离预测 MAE 约 1 mm。

最后一项是距离估计误差,不是末端实际定位误差。论文仍缺少终端平移、旋转误差及其分布,无法充分判断对插接、螺钉工具对准等更严格任务的适用性。

3. 验证器的表达能力与任务动机存在差距。

作者强调 GPU、RAM、螺钉具有不同方向的容差,但最终预测的是一个标量笛卡尔距离,再使用统一阈值。

从方法上推断,这并未显式表达:

  • 沿长轴和短轴不同的误差容限;
  • 姿态误差;
  • 夹爪与目标的相对方向;
  • 接近路径是否被遮挡。

语言条件可以帮助识别目标,但不能自动保证这些几何约束都被满足。预测方向性误差或任务相关的可抓取概率,会更贴近论文的目标。

此外,干净输入下 99.8% 的停止精确率,并不说明所有应停止的情况都能被发现;还需要停止召回率、漏停率和超时率。

4. 泛化证据仍较窄。

实验覆盖一类主板环境、三个目标和一种机械臂。移动主板后仍能工作,支持对适度位置变化的容忍,但尚不能证明新主板、新零件布局或连续拆卸后场景变化中的泛化。

初始完全看不到主板时,1,500 条数据的精确成功仅为 8/30。这说明策略仍明显依赖可见目标和熟悉的环境线索。

作者也承认,较大布局变化可能需要重新重建和采集目标示范。

5. 目前还不能完全分离“3DGS 本身”与其他因素的收益。

主比较同时涉及数据数量、轨迹质量、视觉输入和数据来源变化。论文补充了视角和轨迹插值控制实验,但仍缺少:

  • 相同训练预算下,不同渲染表示的策略对比;
  • 对遥操作轨迹进行平滑处理后的强基线;
  • 简单视觉伺服或目标定位+运动控制基线。

因此,实验较好地证明了整套方案有效且省人工,但没有充分证明每一部分的优势都必须依赖 3DGS 或 VLA。

6. 合成数据的数量增长,不等于任务覆盖范围同比增长。

生成轨迹主要围绕固定场景、固定目标关键位姿和结构化接近路径展开,没有系统的光照、物体布局或扰动随机化。

这可能造成训练覆盖很多相似轨迹,却缺少碰撞前恢复、持续遮挡、执行误差后的纠正等情况。300 条生成轨迹在两种策略上的精确成功均为零,也说明生成数据并非天然高效,需要足够规模和适合的策略骨干才能发挥作用。

7. 尚未解决真实拆卸中的接触与场景更新。

抓取后使用固定控制器,不包含力觉、触觉和接触动力学学习。因此它目前更适合作为操作前的视觉接近模块。拧螺钉、解锁卡扣、拔插连接器,以及拆下一件零件后更新场景,仍需额外系统支持。

若继续推进这项工作,优先补齐整轨迹碰撞检查、方向与姿态敏感的到达验证、跨布局泛化实验。这三项最直接决定它能否从一个有效的数据生成方案,走向可靠的精密操作系统。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐