论文：Towards a Systematic Study of Embodied System 2 over Full Task Execution Cycles（HKU / Morphi Robot 等，arXiv 2610.17657）

一句话概括

论文做了两件事。一是 SCOPER-bench：一个闭环基准，用来评测具身"System 2"（高层规划大脑）。底层动作统一交给一个基于规则的 Oracle System 1，同时可以人为注入执行失败。二是 SCOPER-harness：一个不需要训练的智能体框架，由证据记忆、进度验证、动态任务清单（agenda）和防死锁控制组成。

如图所示SCOPER-bench构建：

如图所示SCOPER-harness结构：

---

主要贡献

1. 评测设定切中真实缺口

• 现有评测各有短板。开环视频问答（EgoPlan、ECBench）的观测不随智能体的决策变化。闭环基准（EmbodiedBench、EmbodiedEval）大多只给动作边界处的观测，或默认执行总能成功。BEHAVIOR 则把高层和低层能力混在一起评。
• SCOPER 同时满足四点：抽象目标、执行过程中的多帧观测、共享且可控的 System 1、可控的失败注入。这样就能把 System 2 的"信息获取→分解→执行监控→恢复"整条链路单独拿出来评。

2. 系统化的构建与验证流程

• 35 个模板加组合任务，在 BEHAVIOR 和 ProcTHOR 两个模拟器上共生成 870 个任务。每个任务都经过静态检查（可达性、可见性、连通性），再由特权 teacher 实际执行一遍验证。带失败注入的任务必须能恢复到完成，才算可解。
• 失败注入被形式化为事件元组 e=(τ,r,h,φ,n)，包含 6 类执行失败（抓取滑落、放置掉落、半开、半关、导航到错误目标、导航未到位）和若干场景扰动，可复现性好。
• 约 3,500 道情境问答绑定在被测智能体自己的执行轨迹上，答案按当前回合的实际状态冻结。这比用固定视频问答更贴近闭环场景。

3. 评测协议设计严谨

• 成功的判定看环境状态，加上 stop 和过程条件，不采信模型自己说"完成了"。
• 同时报告 SR、进度（Prog.）和必要动作覆盖率（Cov.），问答还拆成触发率和触发后准确率两项。
• 盲测（视觉输入全换成黑图）下，所有模型的成功率都接近 0，说明这个基准没法只靠拆解指令来解。

4. 有信息量的实证发现

• 闭环执行仍然很难：最强的 GPT-6 Astra 成功率只有 50.5%（BEHAVIOR）和 35.1%（ProcTHOR）。
• 经过具身微调的模型（RoboBrain、RynnBrain、Embodied-R1 等）没有一致优势。也就是说，开环具身评测上的提升不一定能迁移到闭环。
• 失败分析给出了具体的病因：过早停止占 47.7%，耗尽预算占 30.7%，连续重复调用占 40.2%（三项有重叠）。

5. harness 增益明显，消融结果与设计目的对得上

• 成功率提升 11.1–28.6 个百分点，加了 harness 的 9B 模型在两个模拟器上都超过直接执行的 27B 模型。
• 消融呈现"选择性下降"：去掉 Recovery 主要伤害失败恢复类任务（BEHAVIOR 上从 65.4 跌到 21.5），去掉 Memory 主要伤害观测依赖类任务（34.4 跌到 17.8）。这说明各组件确实在做它设计上该做的事。
• 在真实机器人数据（AgiBotWorld2026 的 200 个演示）上做离线评测，完整调用准确率提升约 15 个百分点，其中关键观测节点和修复节点提升最大。

---

不足之处

A. 基准本身的生态效度有限

1. Oracle System 1 过于理想化。 操作直接改写物体位姿和关系，完全绕过物理执行。导航用 A* 加碰撞几何，相当于完美定位。真实系统中 System 1 的失败是连续的、模糊的，并且和感知耦合；而这里只有 6 类人为设计、离散、在视觉上很明显的失败（比如物体掉在旁边、柜门半开）。这样测出来的恢复能力，很可能高估了真实场景下的表现。
2. 规模和多样性偏小。 35 个基础模板，每个只生成约 10 个实例；BEHAVIOR 过滤后只剩 35 个场景。实际可测的能力种类并不多，模型也可能学到模板层面的规律。
3. 覆盖率指标依赖 teacher 轨迹。 Cov. 以特权 teacher 的参考动作集为准，用别的合法策略完成任务的模型会被扣分。另外，盲测下进度仍有约 15–35%，说明 Prog. 的地板分很高，区分能力有限。
4. 步数预算偏紧。 原子任务只有 24 步，GPT-6 Astra 的失败中有 58.6% 是耗尽预算。因此成功率混入了"效率"因素，不完全反映推理正确性。

B. harness 的实验结论有偏，或证据不足

1. 算力不对等，也没有同等算力的基线。 harness 平均多用约 3.7 倍的模型调用（附录 L），但没有和同等调用量的通用方法比较，比如 ReAct + Reflexion、自洽采样、简单的"执行后再看一眼"验证。所以无法确定提升来自具体设计，还是只来自更多推理调用。
2. 没有和同类 harness 比较。 相关工作里提到的 Cortex、Thea、Mimir 都有记忆、议程或结果评估模块，但实验中一个都没对比。
3. 最大的增益其实来自工程性的防死锁。 去掉防死锁后成功率下降最多（ProcTHOR 上 −11.8，BEHAVIOR 上 −17.6）。而且在 ProcTHOR 上，去掉防死锁后的 harness（20.4）和原始基线（21.1）基本持平。也就是说，单靠记忆加验证，反而会引发过度探索和反复确认，抵消掉全部收益。这和论文"证据记忆 + 进度验证是核心"的叙事有些不一致；大部分收益来自手工设定的计数上限（每个目标 2 次扫描、2 次搜索、2 次导航等）。
4. 有"在测试集上调方法"的嫌疑。 论文自己说 harness 是"benchmark-guided refinements"，失败类型、恢复分支、放置恢复的 held/released/unknown 状态机，都是同一作者针对同一组注入失败设计的。基准没有划分出留出的失败类型或模板，所以泛化能力存疑。
5. 强模型上的结果没有报告。 GPT-6 Astra 配 harness 的结果以"收益有限、成本高"为由被排除。这恰恰提示，harness 主要是在弥补弱模型的短板，随模型变强收益可能消失，应该把这组数据报告出来。
6. 消融只在 Qwen3.8-27B 上做。 部分差异只有 1–2 个百分点（比如 ProcTHOR 上去掉 Memory 后整体只降 1.3），而全文都没有给出多次运行的方差、置信区间或种子数，显著性无法判断。
7. 问答结果存在负向变化。 27B 加 harness 后，复合任务的问答准确率下降 19.1（BEHAVIOR）和 14.2（ProcTHOR），ProcTHOR 整体问答准确率也下降 3.6。论文用"不同轨迹触发的题目集合不同"来解释，但这也说明问答指标本身不太可比，作为补充评测的价值打了折扣。

C. 真实世界验证偏弱

• 这是一个离线的下一步调用预测评测：使用参考前缀，预测出的动作不会被执行，不包含主动观测，也不检验多步恢复。论文对此有明确说明，但标题和摘要中"real-robot"的表述容易让人高估结论。
• 指令是作者根据视频重建的；"未完成动作"类节点是人为把一个动作切开构造出来的，并不对应真实的失败；参数只按类别匹配，工具集里也没有 inspect。因此，"真实世界证据"的强度有限。

D. 结论和表述上的问题

• "具身模型不如通用模型"这个结论有混杂因素：具身模型都只有 4–9B 参数，而且解析失败占比 12.8%，劣势可能主要来自工具调用格式的遵循能力，不一定是闭环推理能力本身。
• 摘要写的是"improves task success by 11.1–28.6%"，实际是百分点（pp），不是相对百分比。
• 叙述大量依赖附录（正文第 4 节对 harness 的描述相当抽象），而补充代码只说"将会提供"，目前不容易复现。

---

总体评价

基准部分的贡献明显强于方法部分。 SCOPER-bench 用共享 System 1 加失败注入，把具身 System 2 从端到端评测中剥离出来单独测，设计清晰，验证也做得充分，可以成为有用的诊断工具。SCOPER-harness 的有效性有实验支持，但缺少同等算力的对比、和同类方法的对比、方差报告，也缺少留出的失败分布；而且防死锁这类工程控制贡献了大部分收益，所以"证据记忆和进度验证是关键"这个结论还需要更强的证据。

建议补充的实验：

• 同等调用预算下的 ReAct/Reflexion 基线
• 在留出的失败类型或模板上测试 harness
• 报告 GPT-6 Astra 配 harness 的结果
• 多种子重复实验并给出置信区间
• 一个物理 System 1（真实 VLA）或在线真机闭环实验