论文：Toward Recursive Self-Improvement in Physical AI（cs.RO，2026-10-21），作者来自NUS / 华科 / 上交 / NTU / 浸会大学等。

一、核心观点

这篇综述想回答一个问题：机器人能否不仅改进自己的行为，还改进"自己改进自己的方式"？

作者的结论比较克制：

• 现有物理系统（大多是操作任务）已经能做到三件事：行为变好、给后续学习带来好处、学习流程本身变好。
• 有些系统的"改进器"（improver）的知识或工具也确实在变。
• 但没有任何一项物理研究分离出可归因于"递归"的增益。

作者认为，真正的物理 RSI 有一个判据：知道"上一次修复为什么有效"，能因果地让下一次修复做得更好。机器人改动了很多次，本身并不算证据。

如图所示从数字领域到物理领域的递归自我改进（RSI）。图中的数字标示经验所带来的改变之处：策略 1、世界模型 2 和外部知识 3 改进了机器人的行为；学习过程 4 改变了其学习方式；而“改进器” M（图中表现为环绕学习过程的回路）则负责对该学习过程进行修订。递归自我改进（RSI）还要求：修复知识必须能改进“改进器”本身，且“改进器”在经过改进后，还应有助于促成其自身的下一次改进。

二、概念框架（全文最有价值的部分）

1. 三层对象

层级	符号	含义	抓取例子
学习者 Learner	L	获得任务能力	抓取策略
学习流程 Procedure	P=(c,e,d,u)	收集什么数据、怎么评判、选哪些数据、怎么更新	"哪些失败抓取需要纠正"的规则
改进器 Improver	I^K	修订学习流程，K 是它积累的"修复知识"	设计或修改上述规则的人或模型

2. 改动保存在哪里（4 条路线）

① 策略（policy）② 世界模型 ③ 外部知识（记忆、技能、代码、runtime）④ 学习流程。
前三条改的是机器人"做什么"，第四条改的是"怎么学"，RSI 从第四条开始。

3. 主张阶梯：每一级由一个对照实验定义

1. 行为改进：J(L′) > J(L)
2. 后续学习收益：J(P(L₀;A)) > J(P(L₀))
3. 流程改进：J(P′) > J(P)，前提是学习者匹配
4. R1：修复知识让改进器变好。J(I^{K₁}^(F)) > J(I^{K₀}^(F))，在留出的新失败 F 上比较，对照组是"冻结知识"的同一改进器
5. R2：变好的改进器能帮助产生它自己的下一代。新版本必须同时超过父版本，以及"用冻结知识做出的同一次自我修订"

关键点在于：低一级的证据不能推出高一级的结论。改进器的代码每轮都在变，也不等于递归。如果变化来自设计者，或者来自一个不从历史中学习的搜索，R1 和 R2 都不成立。

4. 增益能否延续的四个条件

• 信息性反馈：信号针对的是还没学会的东西
• 可用性：接收方能表示、优化并执行这个改动
• 分布漂移鲁棒性：换任务、换硬件、夹爪磨损之后仍然有效
• 可持续练习：下一次试验仍然安全、负担得起

作者也承认，这四个条件是相互重叠的诊断视角，不是经过独立验证的构念。

5. 和已有范式的关系

RL、自训练、持续学习、元学习、AutoML 是方法或问题设定，RSI 是一个"改进层级"。关键在于：产生修订的那个组件，是否会随修订历史而改变。MAML、Eureka、NAS 这类方法的外层搜索器是固定的，所以只能走到"流程改进"这一级。

三、关键证据和反直觉发现

• 数据多不等于进步：自主数据的增益很快饱和，2–4 轮后甚至会退化（Mirchandani 2025）。PLD 的例子更直接：两个采集器都 100% 成功、各贡献 200 条轨迹，蒸馏出的通用策略却分别是 30/30 和 16/30，差别在于数据里有没有学习者自己会到达的"角落状态"的恢复动作。
• 模型更准不等于训练数据更好：DexTouch-WM 作为评估代理变好了，但用它生成的合成数据替换一半真实数据后，三类策略的得分全部下降。
• 评判器不可信：FailBench 上最好的 VLM 成功检测器，平衡准确率只有 0.77。SEAR 中一个保存下来的验证器，在它放行的后续 rollout 里错了 91%。RLE-Bench 中，coding agent 在能查询的开发集上变好，在隐藏扰动上却掉了 19–41 分。
• 最接近 R2 的证据都来自数字领域：Darwin Gödel Machine 和 HyperAgents 跑过"固定改进器"对照（HyperAgents 在仿真四足奖励设计任务上为 0.372 vs 0.213）。物理侧最接近的机制是 PhysEvo：其 meta-agent 会修改自己的诊断工具，但缺少隔离这部分贡献的对照实验。
• 名字不算证据：表 11 列出十多个自称 RSI 的机器人系统（EndoRSI、RoboRSI、EmbodiedRSI、D-World 等），没有一个满足 R1 或 R2。

四、提出的路线与实验设计

四项设计要求：

1. 受保护的成功评估：结果检查放在改进器能修改的范围之外
2. 分级评估：先用仿真或存储轨迹筛选，硬件只留给少数候选
3. 修复记录带适用条件
4. 预算把试验次数、复位、磨损、人工监督都计入

两轮实验（图 9）：

• 从奖励构造（以 Eureka 为基线）或技能库编辑（以 PRACTICE 为基线）入手
• 冻结知识，不冻结资源
• 学习者匹配，候选流程在硬件上训练新学习者
• 估计每个种子需要约 4 个硬件训练出的学习者

三个近期方向：

1. 跨组件诊断与"实验—更新"联合选择
2. 在留出失败和声明的硬件变更下，测试带版本的评判器和修复知识
3. 至少跑两轮因果隔离的流程修订，并完整报告成本

五、评价

优点

• 把 RSI 从口号变成可证伪的对照实验，R2 里的双重对照（既要超过父版本，又要超过冻结知识的修订）设计得很严谨。
• 对领域里的"命名通胀"直接点名，表 11 和表 13 很有参考价值。
• 抓取失败这个贯穿全文的例子，把抽象层级讲得很清楚。

局限和疑问

• 参数化改进器的 R2 对照没有解决：知识存在权重里时，恢复旧 checkpoint 会连父版本一起改变。作者承认这一点，但没给出方案。可现实中最强的改进器恰恰是被微调的大模型。
• 标准严格到目前几乎没有系统能通过，更像一份"未来实验规范"，而不是对现状的总结。
• 证据大量来自 2026 年的预印本，训练次数和试验次数少，领域也集中在操作任务。作者自己也说结论是暂定的。
• 四个条件缺乏独立验证，更适合作为诊断清单使用，不是理论。