论文：Recursive Self Improvement for Embodied Agents — A Survey of Mechanisms, Evaluation and Open Challenges，作者来自（中国科大 / Futurewei）2026 年 10 月 21 日。

一、核心问题

具身基础模型（VLA、世界模型、WAM）让机器人在执行上更自主了，但改进上未必自主。一次任务失败可能来自很多环节：目标指代错误、观测缺失、技能选错、起始位姿不当、运动策略不足、动力学模型不准。所以关键问题有两个：失败后改哪里？凭什么证据决定保留这次改动？

RSI（递归自我改进）的更强目标，是改进"产生后续改进的那个机制本身"，而不只是改进策略或技能库。

如图 1所示三个相互关联的过程：执行、持续的系统改进，以及对改进程序的改进。

二、概念划分（论文的基础）

作者区分了五个层级，并且强调要用不同的证据来证明：

概念	保留的改动	要回答的评估问题
回合内纠错	当前的计划、动作或输出	这一次执行有没有变好？
持久自我改进	知识、代码、策略或模型	以后的任务有没有受益？
版本继承改进	后继版本累积的改动	收益是否超出"多搜索、多经验"本身带来的效果？
元级改进	提议、采集、训练或选择流程	后继版本是否真的调用了修改后的机制？
已证实的递归增益	一个被继承下来、更有效的改进器	在资源和起点相同时，它能否产出更好的后续改进？

几个重要论点：

• 不以"是否更新权重"作为 RSI 的边界。 冻结的骨干模型也可以通过工具、技能、工作流实现持久改进。反过来，RL 持续训练策略，但目标、采样、算法和接受规则都固定，那只算策略层面的自我改进，不是元级递归。
• "能力增长"、"谁负责改进决策（自主性）"、"改进器本身是否变强" 这三件事必须分开评估。
• 哥德尔机这类证明式保证不能直接套到物理机器人上。现有具身系统基本靠经验性的搜索和验证。

三、理论基础（第 2 节）

• 大模型层：预训练、ICL、CoT/ToT、RLHF/PPO/GRPO/DPO、推理时优化。作者强调"推理时多采样"和"在线权重更新"是两回事。
• 机器人模型层：VLA 输出动作分布 π(a | h, l)；世界模型预测动作的后果；WAM 联合生成动作和未来观测。三者在改进中扮演的角色不同。
• Agent 层：POMDP 和信念状态、记忆（工作 / 情景 / 语义 / 程序）、Options 框架下的技能抽象。把执行系统形式化为 S = (F, H, K, P, W)，即基础模型、Harness、知识与技能、可执行策略、世界模型。
• RSI 形式化：提议（Propose）→ 应用（Apply）→ 验证与选择（Select）→ 元更新（MetaUpdate），并给出干预选择准则：在资源约束下最大化"期望增益 − 成本"（Eq. 10）。

四、Harness 视角（第 3 节）

• 通用 Agent Harness 和具身 Harness 的关键差异：坐标系与可供性（affordance）、多速率调度、物理后置条件验证、物理复位（软件回滚不够）、试验与磨损成本。
• 对比的方法：GEPA、DGM、Hyperagents、AIDE²、Harness²（数字域参照），以及 EnactOpt、DynaHarness、RegenHarness、RoboFoundry、AdaRSI、HexaAnything、PhysEvo、MotorMind、SoL-Pi、VLMeg（具身域）。

五、四轴分类框架（第 4 节，核心贡献）

1. 改进目标（What）：记忆与技能、执行 Harness、数据与环境、策略参数、世界模型、跨层或元级流程
2. 更新机制（How）：反思与知识修订、程序搜索与演化、自适应经验获取、参数学习、世界辨识与修订、干预选择与元流程修订
3. 决策自主性（Who）：诊断、选干预、采集、训练、接受、部署、停止，分别由谁决定
4. 证据条件（Evidence）：版本变化、后继是否使用、独立测试、迁移、物理试验、受控的元增益对比

如图所示：

作者明确反对把这四轴压缩成一个"成熟度等级"。

如图所示推理、反思和记忆的关系：

六、六类机制综述（第 5 节）

• 反思与知识：Voyager、RoboHarn-Evo、CarryOn。反思本身可能出错，需要附上适用条件和证据来源。
• 程序与 Harness 演化：EnactOpt、DynaHarness、RegenHarness、RoboFoundry。更好的调用可以修好调用方式，但补不出缺失的运动能力。
• 自适应经验与环境共演化：EmbodiRSI（real-to-sim-to-real）、EmbodiedSmith、EmbodiedSWE、Eureka。
• 参数学习与自主练习：Self-Improving EFM、MobiAgent、VLMeg。要警惕伪标签和遗忘。
• 世界模型修订：D-World（数字孪生残差修正）、DreamerV3、DreamZero。预测损失降低不等于控制变好。
• 跨层选择与元改进：AdaRSI 先改 Harness、不够再训练子步策略；PhysEvo 中元智能体可以修改自己的诊断工具。

七、性能证据（第 6 节）

论文刻意不做排行榜，只在各自的协议内解读结果。例如：

• EnactOpt：ALFWorld 66.06% → 92.70%，EAI 72.34% → 95.74%
• AdaRSI：在未见组合任务上，VLA 4.6% → 加 Harness 9.9% → 完整系统 13.8%
• DynaHarness：冻结策略 17.5% → 完整系统 75.2%
• CarryOn：违规率 52.6% → 6.1%
• 负面证据：123 轮智能体技能发现中，局部改动反复通过测试，却始终没完成目标任务。

如图所示基于证据的干预措施选择：

这些结果都不能直接当作递归增益的证据。

八、基准与评估协议（第 7 节）

• 梳理了 RoboCasa365、LIBERO / LIBERO-PRO、VLABench、ALFWorld、EAI、EmbodiedBench、BEHAVIOR-1K、RMBench、RoboMME、EWMBench、WorldArena 等，并指出每个基准需要披露的条件。
• 数据分成六种角色：D_pre（预训练）、D_seed（初始适配）、D_imp（改进经验）、D_val（候选接受）、D_test（最终评估）、D_transfer（元流程迁移）。
• 资源预算用向量记录：token、GPU 小时、物理交互、复位时间、人工投入。
• 元增益的操作化定义（Eq. 14）：新改进器 U⁺ 和基线 U⁻ 从同一个系统和同一批经验出发、预算相同，用独立评估器在未参与选择的任务上比较得分差。"best-so-far 曲线上升"不能区分"改进器更强"和"搜索更多 / 初始化更好"。

如图所示修正的改进器比较：

九、开放问题（第 8 节）

1. 因果失败归因：故障注入、匹配状态重试、组件替换
2. 可靠反馈与演化中的评估器：同源模型既提议又评判会导致误差相关，需要外部锚点
3. 物理复位与安全继承：报告复位成功率、耗时、状态漂移和人工介入
4. 经验覆盖与能力保持：提出回归指标 R（Eq. 15），防止新能力掩盖旧能力的退化
5. 世界模型共演化的现实锚定：防止只是"适应了模拟器的误差"
6. 可迁移的改进器与停止决策：何时停止、何时切换干预层；跨本体迁移

十、结论

具身自我改进的对象已经从单一策略扩展到知识、技能、Harness、数据和世界模型。现有工作证明了组件级和系统级的收益，但迭代次数、冻结骨干或更高的最终成功率本身都不能证明递归增益。下一步的关键是：可靠归因、完整的物理成本核算、能力保持，以及独立、匹配条件下的改进器对比。

一句话概括：这篇综述主要贡献的不是新方法，而是一套严格的"什么才算具身 RSI、需要什么证据"的分析框架和评估规范。