工作来自哈佛大学、英伟达、加州大学伯克利分校、麻省理工学院和斯坦福大学，2026年10月。

这篇论文《Scaling Online Exploration for Robot Agents》的核心贡献，是展示一条机器人学习路径：让冻结的大模型通过在线试错，把经验积累为可执行的感知、规划与控制程序。 机器人智能体探索（RAX）的优势在于程序化技能的可检查性、复用能力，以及对场景变化的适应；主要不足则是探索成本高、实验条件不完全对等，真实机器人上的自主性和可靠性仍缺乏充分验证。

1. RAX 究竟在“学习”什么？

RAX 是 Robot Agent eXploration 的缩写，其概览如图所示：

它不更新核心语言模型的参数，学习结果主要保存在三类外部载体中：

• 程序：目标定位、几何建模、动作规划、执行检查和错误恢复。
• 经验笔记：失败原因、有效参数、操作约束与当前进展。
• 技能库：经过执行验证的模块、适用条件及成功证据。

因此，它属于一种以程序合成和外部记忆为核心的经验学习。它与典型强化学习的区别在于，没有通过奖励梯度训练策略或价值函数；环境反馈主要用于驱动模型诊断问题、修改代码和再次验证。

这里的“无训练”应理解为“不进行任务策略的参数训练”，并不意味着没有预训练知识、机器人基础设施或任务信息。

2. 方法与框架如何运作？

论文第 3—4 节、图 2 （自改进闭环）和图 4 （前台-后台分离）描述了两个相互关联的循环。

第一个是较慢的探索与改进循环：

任务描述 → 观察环境 → 调用机器人工具尝试动作 → 检查结果 → 修改策略和代码 → 在新场景中验证。

第二个是较快的程序执行循环：

感知 → 估计物体与机器人状态 → 规划动作 → 执行 → 检查前置条件和结果。

程序遇到无法处理的状态时，可以抛出异常，将控制权交回智能体。需要注意，这种回退主要属于探索过程和允许智能体参与的部署模式；多数仿真正式评测中，提交程序独立运行，不能让智能体现场修补。

其关键模块如下：

模块	具体作用	方法意义
多模态感知	使用 RGB-D、相机标定、力反馈，编写点云处理与几何估计程序	将语言层面的理解转化为可执行的空间约束
规划与控制	调用控制 SDK、逆运动学及平台提供的规划工具	将任务推理与底层稳定控制分开
自主程序	将成功策略写成带检查、重试和异常处理的程序	降低逐步调用大模型的延迟
持久记忆	保存笔记、代码版本、技能适用条件及验证证据	支持跨回合改进和任务组合
并行探索	多个智能体在多个环境中探索并共享代码	缩短获取经验的墙钟时间
前后端隔离	前端生成任务逻辑，后端负责驱动、控制和安全约束	支持不同机器人接入，并限制代码权限

以空气炸锅任务为例，智能体并非只记住一串机械臂坐标。它从深度数据估计炸锅中心、把手方向与抽屉结构，根据当前布局计算抓取和拉出动作，再验证抽屉是否打开、物体是否放入以及是否关闭。因此，物体移动后，程序可以重新估计几何关系并执行。

这种“保留决策规则、重新测量场景”的机制，是其泛化能力的重要来源。 论文中的“编译”主要指把交互式推理写成程序，不是严格意义上的编译器变换或神经网络蒸馏。

同时，“没有手工动作原语”也有明确边界：系统仍依赖末端位姿控制、夹爪控制、阻抗控制，以及人形机器人上的全身运动跟踪器。它主要自动生成任务层策略，而非从零发现底层控制。

3. 论文的主要贡献是什么？

第一，系统性展示了在线探索可以成为机器人能力提升的一条扩展轴。

论文在单臂、双臂、灵巧手、移动操作和人形机器人上进行实验，证明增加探索通常能改善最终程序在未见场景中的表现。这比单个任务上的“LLM 写代码控制机器人”更有说服力。

不过，更准确的说法是“观察到总体扩展趋势”，尚不能称为建立了严格的 scaling law。

第二，把感知程序也纳入自主学习范围。

RAX 不仅生成动作顺序，还会编写物体几何拟合、主动测量、抓取验证和接触搜索逻辑。例如，插孔任务中会借助接触反馈修正位置，人形任务中会测量步长与相对位置。

这使得探索产物包含“如何获取可靠信息”，而不仅是“如何运动”。深度消融也支持这一点：在表 8 的四组比较中，RGB-D 比 RGB-only 平均高 17.3 个百分点。

第三，实现了从昂贵探索到低开销执行的转化。

空气炸锅任务的动作生成开销从约 72 分钟降至 18 秒；Bandu 搭建从约 17 分钟降至 10 秒。

但这些数字是推理或程序计算开销，不能理解为机器人完成整个任务只需十几秒。Bandu 程序仍需要约 10.9 分钟的机器人执行时间。真正的贡献是将反复推理的成本前置到探索阶段。

第四，形成了可复用的技能与工程框架。

技能不仅包含代码，还带有适用条件和执行证据，可以组合成长任务，并在环境变化后局部修改。这为持续学习提供了具体实现方式。

跨机器人实验验证的是统一智能体框架的适用性；它尚不等于同一个技能程序可以在不同机器人之间直接迁移。

4. 实验结果有多强，应该怎样解读？

基准	主要结果	解读时的关键条件
RoboDojo	平均得分 78.3%，对比 VPP2 的 24.9%	7 个任务，采用各任务最大探索预算，部分得分允许部分完成
BEHAVIOR-1K	Q-score 46.5%，对比 8.2%	仅选取 6 个任务；多数采用智能体参与执行
HumanoidArena	成功率 89.8%，对比 WB-WAM 的 81.9%	主结果使用 3 条含动作的示范
DexJoCo	32 回合探索后平均成功率 96.7%，对比 65.3%	11 个任务；另报的 99.5% 是跨预算选取各任务最佳会话
LIBERO	98.5%	接近领先方法，并非全面超过所有基线
LIBERO-Pro	无适应 76.0%，适应后 84.4%	后者允许在扰动分布上追加最多 5 回合探索

其中最有说服力的结果之一，是 LIBERO-Pro 上未进行扰动适应时仍有 76.0%：它支持重新感知和几何推理确实有助于布局泛化。

另一个必须澄清的数字是摘要中的“平均提升 37.4%”。按照附录 F，它实际上是五项基准汇总差值的平均，即 37.4 个百分点；其中 DexJoCo 只计入五个双臂任务，LIBERO-Pro 对比的是学习策略 VPP2，而非编程智能体 ASPIRE。因此，这不是所有任务、所有竞争方法上的统一平均优势。

5. 主要不足与证据边界

（1）“无需动作示范”的概括并不覆盖所有主实验。

HumanoidArena 的主结果使用了三条遥操作示范，而且生成程序可以复用其中的运动片段。移除动作后，平均成功率从 89.8% 降至 81.9%，探索预算则由 32—128 回合增至 64—256 回合。

这说明无动作示范的版本确实可行，但动作示范对复杂全身运动仍有明显价值。此外，多个基准提供完成图像、示范关键帧、评分规则或评估反馈，不能把“无动作示范”等同于“无监督信息”。

（2）与基线的比较尚不足以隔离方法本身的收益。

RAX 获得在线探索机会，并使用深度、相机参数、几何工具及部分平台的规划器；许多基线结果直接取自既有论文或排行榜，信息和计算预算未必完全一致。RoboDojo 的接口还额外提供了度量深度。

因此，大幅领先证明了这套系统有效，但不能把全部提升归因于“程序策略优于学习策略”。更有说服力的实验应统一观测、控制接口和总交互预算，并允许基线进行在线适应。

（3）真实机器人实验更接近能力案例，尚非充分的可靠性评测。

附录对人工参与的披露很重要：

• 精密插孔始终由用户监督，没有运行无人干预程序；操作员固定板件、调整工件并提供建议。
• 长时程整理完成了三次，但操作员全程在环，提供建议并处理控制器故障；第三次耗时 98 分钟。
• 空气炸锅实验既有干净的无人干预成功，也有碰撞、恢复和重新执行。

这些案例证明系统能解决复杂任务，却不足以证明其能够长期、稳定、无人值守地工作。还需要固定测试分布、更多独立试验、外部成功判定，以及每小时人工介入次数等指标。

（4）探索成本高，而且 episode 数不是充分的成本度量。

附录 H 报告，全部实验的模型 API 费用超过 10 万美元。这不是单任务成本，但说明研究整体投入很大。

一次探索回合可以包含大量推理、工具调用和长时间机器人操作。因此，“只需几十回合”不必然代表成本低。论文尚缺少系统的每任务费用、总机器人时间、人工复位时间和达到目标成功率的成本曲线。

（5）扩展趋势存在波动，组件贡献仍缺少充分消融。

例如 DexJoCo 的 Assembly 成功率从 16 回合时的 96.0% 降到 32 回合时的 72.0%；部分任务会停滞或退步。独立探索会话的重复次数和不确定性报告，也不足以建立稳定的扩展规律。

此外，对持久记忆、技能验证、异常回退、探索流程提示等组件，缺少完整的拆分实验。当前较难判断哪些设计是主要增益来源。

（6）安全与持续学习仍处于经验性阶段。

系统会在碰撞或过载后总结规则，这体现了恢复和改进能力，却不是事前安全保证。后端约束也未阻止所有环境碰撞。

同样，技能库能保存并组合经验，但论文没有充分评估技能数量扩大后的检索质量、负迁移、版本冲突和回归失败。“经过一次成功验证”与“可靠适用于一类场景”之间仍有明显距离。

---

RAX 是一篇有价值的系统与实证工作，其重要性在于把在线经验转化为可执行、可修改、可组合的机器人程序，并在较广泛的任务上验证了这条路径。 它对“机器人学习必须主要依靠更多动作数据和参数更新”的思路提供了有力补充；但当前证据尚不足以证明它已经实现低成本、完全自主、可安全持续学习的通用机器人。