论文：An Unexpected Robot Policy: Early Evaluations of GPT-6 Astra on RoboDojo and Beyond（arXiv 2609.24170，2026-09，RoboProbe / RoboDojo / 港大等）

一、研究问题与设置

论文问的是：一个不做任何机器人微调的前沿大模型（zero-shot），能不能直接充当操作策略。作者把这种用法叫 “LLM as policy”。

具体做法：

• 控制回路里没有学习得到的策略，LLM 权重保持冻结，主实验都是 zero-shot。
• 工具只有两个：
  • move_eef：给出单臂或双臂末端位姿（xyz、pitch/roll/yaw、夹爪）的任意子集。
  • give_up：放弃本回合。
  • 不提供 pick、place 这类原语。目标位姿交给非学习的 IK 和轨迹规划，再以 25Hz 执行。
• 每轮的输入：
  • 3 路 RGB（头部和左右腕）。
  • 14 维末端状态和 12 维关节角。
  • 上一个目标的到达误差，以及剩余步数。
  • 图像只保留最近两轮，文本历史全部保留。
  • 不提供深度，也不提供物体真值位姿。
• 任务说明：官方指令之外，还附了一份从 RoboDojo wiki 整理的任务 recipe，包括任务描述和分阶段计分规则。
• 评测规模：
  • Astra 和 GPT-5.5：42 个任务 × 50 回合，共 2100 次 trial。
  • DeepSeek-Flash：每任务 10 回合。
  • 每回合最多调用模型 100 次，推理强度为 medium。

如图所示面向模型的上下文与执行循环：

二、核心结果

1. 总榜第一，但这个结论只对 Astra 成立

模型	Average Score / SR	排名（43 个条目中）
GPT-6 Astra	28.97 / 22.48%	1
DM0.5（最强公开 VLA）	24.90 / 19.34%	2
GalaxeaVLA G0.5	20.23 / 14.88%	3
DeepSeek-Flash	2.99 / 1.92%	28
GPT-5.5	1.13 / 0.88%	33

三个 LLM 用的是同一套接口和后处理，SR 却相差约 25 倍。说明能力来自 Astra 这个模型本身，接口设计解释不了这个差距，也不能推广成"LLM 都能当策略"。

2. 能力分布非常不均衡（各维度 SR）

维度	Astra	DM0.5	最好的公开策略
Open（开放式 / 语言条件）	31.00	2.08	4.25
Generalization	30.50	10.95	17.00
Memory	38.67	47.44	47.44
Long-Horizon	8.25	19.50	32.00
Precision	4.00	16.75	20.42

• Astra 的强项：需要语义理解的任务。比如 solve_equation、arrange_largest_number、classify_objects_by_language、align_blocks、push_T，Astra 能做到 30–60% SR，而所有 VLA 都低于 5%。
• Astra 的弱项：精度、动态和接触类任务。比如 insert_tubes、build_tower、make_kong、play_tic_tac_toe、pour_*，最好的 VLA 能做到 22–90%，Astra 基本是 0。
• 论文认为这是缺少"物理常识"，即接触动力学、力的感知和碰撞几何。典型失败有三类：
  • 抓不住传送带上运动的物体。
  • 双手交接失败。
  • 伸手时碰倒已经搭好的塔。

3. 定性上的亮点

• 能做语义匹配：在 make_kong 中能选出与对手牌面相符的牌。
• 会主动感知：腕部相机被遮挡时，会挪动另一只手臂去看。
• 能双臂分工：两只手各拿一个物体。

论文也说明，这几条只证明这些行为出现过，不代表出现的频率。主动感知这一条，system prompt 里本来就有相关建议。

4. In-context learning：示范反而让结果变差

• 在 34 个任务、340 对样本上：

条件	SR
zero-shot	22.9%
加入"图像 + 末端位姿"示范	17.9%
加入文字示范	12.9%

• 下降几乎全部出现在原本就能成功的任务上。原本做不到的任务，示范几乎救不回来（150 次中成功 2 次）。
• 论文给出两种假说：示范解决不了执行精度的瓶颈；或者模型照搬了示范布局里的几何位置。

5. 扰动下能在回合内自我修正

• 测试在 8 个 general_pickup 布局上做，这些布局都是 Astra 不加扰动时能解决的。各扰动条件的成功数：

扰动	成功
上下翻转图像	8/8
左右镜像	6/8
去掉头部相机	6/8
坐标轴取反	4/8
只保留右腕相机	3/8
每步位姿抖动约 10cm	3/8

• 模型笔记里能看到明确的修正。例如坐标轴取反时写道"前后估计反了"；镜像时会把任务换到另一只手。

6. 真机测试因安全问题中止

• 模型反复下达不合理或不安全的动作，并且损坏了设备。官方的 RoboDojo-Real 协议没有跑完。
• 保留的 33 次诊断 trial 总 SR 只有 3.03%，只有 stack_bowls 有一次完全成功。
• 观察到的现象是：理解任务比执行任务可靠得多。

7. 两个额外实验（都不在官方协议内）

• 人形机器人：有走路、坐下、抓取的录像，但只是定性展示。
• 钢琴：Astra 自己编写 45 维控制程序，并通过仿真试错迭代。两手弹 Twinkle 的 F1 为 0.902，略高于 RL 参考的 0.886。
  • 但程序换曲子后效果明显下降：移调 ±2–3 个半音时 F1 降到 0.66 左右，Chopin 片段只有 0.599。

三、进一步的分析

1. "排名第一"很大程度上来自计分方式

• 总榜 Average 是 5 个维度的不加权平均。Open 维度上，所有 VLA 几乎都是 0（≤4.25%），Astra 是 31%，仅这一个维度就拉开了大约 6 个点的均值差。
• 去掉 Open 后，四个维度的 SR 均值是 Astra 20.4%、DM0.5 23.7%，DM0.5 反而领先（这是我自己算的）。
• 所以更准确的说法是：Astra 补上了 VLA 在语义和开放任务上的空白，但在传统操作能力上并没有超过 VLA。

2. 对比条件对 LLM 有利

• LLM 额外拿到了 wiki recipe 和分阶段计分规则，公开策略没有用这些信息重跑。
• 闭源模型存在 benchmark 数据污染的可能，论文没有排除。
• 只用了一个随机种子。DeepSeek-Flash 只有 10 个回合。扰动实验每格只有 8 个二值结果，而且布局是挑过的、处于上限的。
• 论文在 Limitations 里把这些都写了出来，态度相当克制，值得肯定。

3. Memory 维度强，可能主要来自上下文策略

• 文本历史完整保留，相当于给了模型一份显式的情景记忆，所以 press_by_number、imitate_sorting_sequence 这类任务表现很好。
• 论文也承认 Memory 分数测的是"模型 + 上下文策略"的组合。

4. 实用性离部署还很远

• 每回合最多 100 次 LLM 调用，延迟高，动作本质上是准静态的。
• 精度类 SR 只有 4%，真机出现过损坏设备。
• 现阶段更现实的定位，是让 Astra 做 System 2，加上一个可靠的 System 1（VLA）负责执行。论文结论也是：System 1/2 的划分受到了挑战，但快速精确的预训练控制仍然不可替代。

5. 值得关注的信号

• 同一代际的 LLM 之间差距这么大，GPT-5.5 只有 0.88%，说明 Astra 很可能在训练中针对具身或空间推理做过专门增强。
• 回合内能看到"观察结果 → 修正"的闭环，这是 VLA 通常不具备的能力。
• 示范反而有害，提示现在 LLM 的 in-context imitation 机制和机器人示范的形式还没有对上。

---

总结：Astra 是第一个在完整公开榜单上排名第一的"纯 LLM 策略"，证明了语义层面的泛化能力可以直接转化为操作成功率；但它在精度、动态、双臂协同和真机安全上还有明显短板，它的领先主要来自 VLA 原本几乎为零的语义维度，不能说明它已经能替代 VLA。