基于 GPT-6-Astra 的机器人操作：具身知识、经验复用、涌现技能与Sim2Real迁移

硅谷秋水 · 2026-11-06 00:15:00 发布

论文：Robot Manipulation with GPT-6-Astra: Body Knowledge, Experience Reuse, Emergent Skills, and Sim2Real Transfer，2026年9月，华为。

这篇论文证明，GPT-6 ASTRA 已能通过视觉、代码和外部资料，组织并调整机器人操作；证据最充分的是减少探索、复用动作和适应场景变化。它尚未证明通用、实时、可靠的精细操作能力。

如图所示：

1．ASTRA 实际承担了什么工作？

实验使用改装的 XLeRobot：双臂、全向移动底盘、头部及两侧腕部摄像头。ASTRA 读取图像、关节反馈和接口文档，编写程序，调用关节运动、底盘移动、停止等接口，再根据新图像调整。

其工作过程可以概括为：

理解目标 → 查看场景和机器人资料 → 编写动作程序 → 执行 → 观察并修正。

底层控制器负责执行运动和约束；实验前由人员完成硬件标定、初始姿态准备和机器人摆放。因此，这项研究评估的是 ASTRA 与机器人接口、控制器及外部资料组成的系统。

模型权重在实验中保持固定，每次使用新的会话，推理设置为 xhigh。论文中的“经验学习”主要发生在读取历史记录和复用程序层面。

2．最有说服力的能力：把机器人资料变成可用动作

固定起点的仿真实验，每种条件重复三次，主要结果如下（第8页、附录表3）：

行为记录比时间数字更能说明能力：ASTRA 会解析 XML、计算坐标变换和正向运动学，并检查夹爪网格，寻找适合接近按钮的机械臂姿态。

这支持一个具体结论：它能借助代码，将机器可读的身体描述用于当前控制问题。

不过，“理解身体”的证据仍有边界。论文没有系统测量其几何估计误差，也没有测试换一台结构不同的机器人后能否同样有效。定性描述反而拖慢执行，也说明资料的可计算性和读取成本很重要。

3．经验复用有效，但提升很大程度来自避免重新搜索机械臂姿态

经验分为文字总结、总结加图像，以及进一步加入同步动作和状态记录的 E3。明显的收益来自最后一种。

ASTRA 会复用历史成功姿态，再根据当前图像调整底盘位置。起点偏移10、50、100厘米的九组配对实验中，使用原起点经验的试验全部更快，各距离组平均缩短58%—63%。

最值得注意的细节是：

因此，我更倾向于把这一能力理解为：找到经验中可复用的工作姿态，并用当前视觉重新组织接近过程。

它确实超出了完整轨迹的直接重放，但现有实验尚不能确定，收益中有多少来自丰富的多模态经验，有多少仅来自“提前给出一个好姿态”。作者也承认需要增加“仅提供姿态”的对照实验。起点测试还保持了相同朝向和初始机械臂姿态，不能外推到任意初始条件。

4．“涌现技能”体现了程序生成能力，自动技能学习的证据较有限

ASTRA 在一次执行中自行写出局部反馈循环：

短距离移动 → 拍照 → 检测按钮红色指示 → 决定继续或停止。

随后，研究人员将这段行为整理为可复用的 STEP 和 LOOP 技能，再进行27次仿真评估：

这说明 ASTRA 能把部分“观察—动作—判断”过程写入本地程序，减少等待模型再次决策的时间。

但有三个限制：

LOOP 平均只比 STEP 快2.2%，九组比较仅赢四组；在最远的局部起点上，它的平均表现还更差。**瓶颈已经从“能否重复动作”，转向“能否在本地连续修正方向和对准误差”。**这些技能也没有在真机上得到验证。

5．Sim2Real 结果有价值，但必须按“接触按钮”理解

同一起点的真机比较，各做三次（第14页表2）：

仿真资料和经验分别缩短53.0%及49.9%。迁移中存在实际场景变化：仿真目标是 UP 按钮，真机是另一侧的 DOWN 按钮；ASTRA 也会修改从仿真继承的关节目标。另一方面，两次试验先向左走再向右纠正，显示旧经验也会带来不必要的绕行。

**最关键的限制是：真机最终接受的成功标准为操作员确认夹爪尖端接触目标按钮。**虽然原任务提示要求实际按下，但按钮较硬、灯光不可靠，执行协议采用了较弱的接触标准。

所以，这些结果支持的是：

它们尚未验证可靠的按钮压下、接触力控制或自主成功判定。另两处新真机起点各仅测试一次，且没有对应的无经验基线，不能据此计算迁移带来的加速幅度。

6．对其机器人操作能力应作怎样的评价？