论文:“SpatialHarness: Test-Time Spatial Scaffolding for Fine Robotic Manipulation”

复旦大学计算机科学与人工智能学院、新加坡管理大学和复旦大学可信具身人工智能研究院, 2026年10月。

SpatialHarness 的核心是:在测试时维护一个与真实机器人同步的三维仿真场景,把难以从真实相机看清的空间关系,转换成更容易判断的虚拟视图和物体位姿,供冻结的多模态策略使用。 它把精细操作的一部分困难,从“策略如何学会动作”转移到“如何构建准确、易读的空间观测”。

如图所示交互模式的在线场景同步:

1. 它解决的是什么问题?

作者认为,精细操作失败不一定意味着模型不会操作,也可能是关键空间关系不可见。例如,孔和柱在斜视图里看起来重合,但实际仍存在横向偏移;夹爪靠近抽屉把手,却没有到达可以有效抓取的位置。

SpatialHarness 因此构建了如下闭环:

真实观测与机器人状态 → 同步仿真场景 → 渲染任务相关视角、输出位姿 → 冻结策略生成动作 → 真实执行 → 再次同步。

这里需要区分:虚拟视图呈现的是系统估计的三维状态,而非新增相机获得的独立测量。 它能帮助模型理解已有信息,但其正确性受场景估计精度约束。

2. 方法的基础:建立具有几何约束的仿真场景

初始化包含两层:

  • 视觉对齐:根据物体多视角图片及几何尺寸标注构建 CAD;利用标定后的相机,将候选位姿下的渲染轮廓、深度,与真实分割掩码和深度比较。
  • 程序化校正:模型根据物体几何和场景推断约束,生成程序,对候选位姿进行检查、有限修正或剔除;结果还需要通过视觉验证。

这个组合有实际意义:整体轮廓匹配,并不保证局部装配结构正确。 物体主体可能看起来对齐,但孔的位置、柱的朝向或支撑关系仍然错误。程序约束用于补充这些局部几何条件。

不过,“无需策略微调”并不意味着无需准备工作。该方法依赖物体资产、尺寸信息、相机标定和初始场景配准,这些都是部署成本。

3. 最关键的设计:按交互状态同步场景

论文没有让仿真始终自主向前运行,而是区分三种状态:

状态更新方式设计理由
Static:静止固定物体保留位姿;可移动但当前静止的物体重新视觉对齐、检查约束避免不必要的仿真漂移
Held:持续抓持用实测关节、夹爪运动驱动物理仿真;检查视觉和物体—夹爪几何;失败则用视觉估计替换连续抓持阶段具有较强的运动约束
Transition:抓取或释放切换回到交互前检查点,对多个候选位姿重放相同实测运动,再筛选正确分支微小初始误差可能导致完全不同的接触结果

其中,Transition 的假设重放是方法中最值得关注的部分。

例如,真实机器人已经抓起物体,但仿真因为几毫米偏差而“抓空”。这时,仅把物体当前位置挪到正确位置,未必能恢复合理的后续动态状态。作者采用:

  1. 保存抓取或释放前的完整仿真状态。
  2. 对物体初始位置和朝向做局部扰动,产生多个假设。
  3. 每个假设都重放同一段真实测得的机器人运动。
  4. 用程序检查仿真抓取、释放结果是否与真实交互一致。
  5. 对通过检查的分支,比较整个有效时间窗口内的腕部相机轮廓。
  6. 采用最佳分支的完整当前仿真状态。

其选择过程可概括为:

其中,b_k=1表示交互结果通过一致性检查。

这相当于利用交互历史反推更合理的初始状态。它搜索的是“哪个场景假设能够解释已发生的运动”,而不是搜索未来应该执行什么动作。因此,它主要服务于状态估计,并非动作规划。

它也有明确边界:正确状态必须落在候选扰动范围内;物理模型必须能产生足够接近真实的交互结果;视觉序列必须能够区分候选。文中没有充分说明所有候选均被拒绝时的恢复策略。

4. 虚拟视角如何选择?

模型先从任务成功条件推导需要观察的空间关系:

  • 如果主要涉及整体物体的位置和朝向,选择两个全局视角。
  • 如果涉及孔、柱等局部结构配合,选择一个局部视角和一个全局视角。

随后渲染候选视图,检查相关结构是否同时可见、关系是否清晰、是否补充真实视角的信息,并迭代调整。

这些视角在执行前选定,执行过程中保持固定;变化的是被同步的场景。 因而,论文的方法不是每一步都重新选择视角的在线主动视觉。

以孔柱配合为例,俯视图有利于判断横向偏移,侧视图有利于判断高度和插入进度。这是在把复杂的三维关系转化为更容易读取的二维几何关系。

5. 实验支持什么结论?

两组使用相同的动作策略、真实相机配置和控制协议。SpatialHarness 额外提供两个虚拟 RGB 视图及物体位姿。每个任务、每种方法各测试 15 次。

任务基线SpatialHarness提升
方块堆叠7/15,46.7%15/15,100%53.3 个百分点
插头插入4/15,26.7%10/15,66.7%40.0 个百分点
孔块套柱0/15,0%15/15,100%100 个百分点
开抽屉并放入方块0/15,0%10/15,66.7%66.7 个百分点
合计11/60,18.3%50/60,83.3%65.0 个百分点

这里的 “Tower of Hanoi” 按任务定义主要测试孔块与柱的对齐放置,不能据此推断系统掌握了完整汉诺塔的多步规划。

结果较有力地支持:在这些实验设置下,增加这套空间辅助系统,能够显著提高同一冻结策略的任务成功率。

但有三个重要的证据边界:

  • 没有拆开各组件的贡献。 虚拟视图、显式位姿、程序约束和同步机制共同加入,缺少“仅位姿”“仅虚拟图”“无重放”等消融,无法确认收益主要来自哪一项。
  • 动作策略相同,不代表整体计算预算相同。 论文使用额外模型推理完成视角选择等工作。报告的 decision calls 只统计动作决策请求,没有覆盖全部建模、校正、渲染和重放成本。因此,决策调用减少不能直接等同于总耗时或总成本下降。
  • 规模仍然较小。 每项 15 次、四类任务,尚不足以确定对新物体、复杂遮挡、不同相机布置和更严苛装配公差的泛化能力。

6. 方法价值与局限

它最有价值的贡献,是把几何建模、交互感知状态校正、任务相关视图组织结合成冻结模型的运行时辅助层。尤其是抓取/释放时的历史重放,比单纯增加几张虚拟视图更有技术含量。

最大的风险则是:错误的三维估计可能被渲染成一张非常清晰、看起来很确定的图。 如果局部几何已经估错,换角度可能强化错误判断。论文提到渲染可靠性信息,但没有充分展开其量化、校准以及策略如何据此调整动作。

如果继续验证这项方法:

  • 分离虚拟视图与显式位姿的收益,判断模型真正使用了什么信息。
  • 测量位姿误差、尺寸误差与成功率的关系,明确能支持多小的装配公差。
  • 报告完整端到端时延、额外模型调用及同步失败恢复情况。

SpatialHarness 提供了一个有说服力的系统方向——通过更好的空间状态表达释放冻结策略的能力;但目前实验更充分地证明了“整套辅助系统有效”,尚未单独证明“虚拟视角是主要原因”,也未证明它已具备通用精密装配所需的精度与实时性。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐