最后一批由人类打造的 AI：走向真正的递归自我改进

《The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement》 (arXiv:2609.11873)

这是一篇重要的立场性综述，系统性地描绘了RSI的发展路线图。它提出了一条从改进执行自主性，逐步过渡到改进策略自主性、经验获取自主性、环境适应自主性，最终实现递归元改进的演进路径，并探讨了RSI在科学发现、具身智能等场景下的差异化需求。

Yi Duan¹˒²∗, Ying Liu¹˒²∗, Zirui Tang¹˒²∗, Haodong Chen¹˒²∗, Jun Zhou¹˒²∗, Yumou Liu¹˒², Bangrui Xu¹˒², Yukai Wu¹˒², Sidi Chen¹˒², Yuhan Zhou¹˒², Haoyu Wang¹˒², Xiaoyou Yu¹˒², Shaokun Han¹˒², Xuzhou Zhu¹˒², Le Zhou¹˒², Bolin Lu¹˒², Wei Zhou¹˒², Jiachen Liu⁹, Nuozhou Fang², Jiaxin Tian², Ruoyu Chen⁴, Yuxuan Li⁵, Kai Zuo⁶, Kaiyan Zhang¹⁰, Qianyu Yang⁸, Zijie Wang⁸, Jiantao Qiu⁷, Conghui He⁷, Guoliang Li³, Bowen Zhou⁷˒³, Zhiyuan Liu³, Zhoufutu Wen⁸, Jihua Kang⁴, Xuanhe Zhou¹˒²†, Fan Wu¹˒²

¹上海交通大学 ²Theseus Labs ³清华大学 ⁴字节跳动 ⁵ModelBest ⁶小红书超级智能团队 ⁷上海人工智能实验室 ⁸Humanlaya ⁹Agent-Native Research Lab ¹⁰Frontis.AI

arXiv:2609.11873v2 [cs.LG] 2026 年 9 月 15 日

摘要

递归自我改进（Recursive Self-Improvement，RSI）使 AI 系统能够将经验与反馈转化为持久性改变，从而同时提升其能力与未来的改进过程本身。我们首先使用余量闭合指数（Headroom-Closed Index，HCI）揭示现有大语言模型存在的问题，随后引入 RSI 概念及其发展路线图：从改进执行自主、改进策略自主、经验获取自主、环境适应自主，直到递归元改进。接下来，我们在科学发现、具身智能、软件工程等场景中考察 RSI，突出它们各自不同的需求与发展速度。结合多样的产业实践与初步实证证据，我们将 RSI 研究与实际系统连接起来，并识别实现真正 RSI 的关键挑战。

项目主页：https://theseus-labs-rsi.github.io/

GitHub 仓库：https://github.com/theseus-labs-rsi/awesome-rsi

图 1　五个 RSI 自主等级的概览与代表性系统。 自主性从执行既定改进（L1），逐步扩展到选择改进策略（L2）、获取未来学习经验（L3）、通过部署与环境反馈进行适应（L4），最终发展到改进那些支配后续改进的机制（L5）。系统详情见附录 B。

∗同等贡献　†通讯作者：Xuanhe Zhou

你离拥有一支永不停歇、持续进化的 AI 超级研发团队，只差一次 git clone——DeepThink 是 AI Genius Institute & 光剑AI 打造的开源、免费、可自由使用的私有 AI 操作系统（AI OS）：在安全隔离的沙箱中自主执行代码、管理文件、完成超复杂长程任务，作为自托管、多用户、本地优先的 AI Agent Loop Engineering 系统，支持桌面端+浏览器+移动端，让 DeepThink 成为你的全能数字助手；它不止让你使用 AI，更要让你从工具使用者进化为代码创造者，最终成长为可自我繁衍的超级智能体，让每家企业都拥有自己的 AI 超级研发团队，一起走向 AGI——现在就去 git clone，顺手点亮 Star：你收藏的不是一个仓库，而是通往 AGI 的入场券。🚀

DeepThink，开源企业级自主 Agent 超级智能体自进化平台，是从 Harness Engineering 到 Loop Engineering 范式的先行者，面向企业客户的新一代 AI 基础设施（AI Infra）。DeepThink 平台以多 Agent 协作框架为核心，融合 AI 自主编程（AI Coding）、自主进化（Self-Evolving）、全栈可观测性（Full-Stack Observability）、Bug 自修复闭环（Bug Auto-Fix Loop）与 程序员-Agent 共生协作（Human-Agent Symbiosis），构建一个能持续学习、自我改进、最终成长为超级智能体的企业级 AI 系统。

DeepThink 项目开源代码（如果你觉得好玩，就一起来玩， Star 一下）：
Gitcode:
https://gitcode.com/AIGeniusInstitute/deepthink
Github:
https://github.com/AIGeniusInstitute/deepthink

目录

1. 引言 … 3
   1.1 模型开发中的规模化负担 … 3
   1.2 从开发负担到 RSI … 3
   1.3 RSI 面临的挑战 … 4
   1.4 以自主性为中心的框架 … 4
   1.5 应用领域 … 5
   1.6 产业证据 … 6
   1.7 与现有综述的区别 … 6
2. 背景与预备知识 … 7
   2.1 现代基础模型能力进展的不均衡 … 7
   2.2 递归自我改进的概念基础 … 9
   2.3 证据范围 … 12
3. 跨自主等级的 RSI … 12
   3.1 B0：任务内 AI 改进 … 12
   3.2 L1：对改进执行的自主 … 14
   3.3 L2：对改进策略的自主 … 18
   3.4 L3：对未来学习经验的自主 … 22
   3.5 L4：部署与环境适应中的自主 … 26
   3.6 L5：从环境适应到元改进 … 31
   3.7 跨层级综合 … 35
4. 跨应用的 RSI … 36
   4.1 S1：面向科学的 RSI … 36
   4.2 S2：面向具身智能的 RSI … 36
   4.3 S3：面向软件工程的 RSI … 37
   4.4 S4：面向医疗健康的 RSI … 37
5. 产业图景与初步实践 … 37
   5.1 Theseus：面向 RSI 智能的环境—数据—模型协同演化 … 37
   5.2 飞书（Lark）：为可靠的企业级 RSI 构建数据基础 … 39
   5.3 小红书：面向推荐的双时间尺度 RSI … 40
   5.4 Humanlaya：面向数据质量保障的交付驱动式 RSI … 41
   5.5 ModelBest：零人工的工业级 AI 工程 … 42
   5.6 腾讯混元：经验驱动的自我改进 … 43
   5.7 Agent-Native Research Lab：面向 RSI 的可验证研究基础设施 … 44
   5.8 Frontis.AI：企业智能体演化与跨任务元改进 … 45
6. 挑战与未来方向 … 46
7. 结论 … 49

附录 … 63
A　RSI 图景 … 63
B　产业图景 … 66
C　跨应用的 RSI … 72
　C.1　S1：面向科学的 RSI … 72
　C.2　S2：面向具身智能的 RSI … 74
　C.3　S3：面向软件工程的 RSI … 76
　C.4　S4：面向医疗健康的 RSI … 78

1　引言

近期前沿模型的发展体现了改进流水线中若干形式的规模化。Kimi K3 与 Qwen3.8-Max 分别包含 2.8 万亿和 2.4 万亿参数，并各自支持约一百万 token 的上下文窗口 [1, 2]。开发过程本身也在扩张。在 GPT-5.6 之前的六个月里，OpenAI 报告称，用于内部编码推理的研究算力占比增长了 100 倍，内部智能体 token 使用量增长了 22 倍，每位活跃研究员的日均输出 token 数超过了此前 GPT-5.5 所观测到的峰值两倍 [3]。规模在训练运行、模型辅助实验、推理、评估与人工验证之间不断累积。

1.1　模型开发中的规模化负担

尽管智能体工具与基于 API 的自动化使用日益增多，开发者仍须确定要改进什么、构建所需资源，并确立每一项改动是否有效 [4, 5]。随着 AI 系统承担更苛刻的任务，扩展这一端到端开发过程的成本成为瓶颈 [6–9]。以下三项挑战出现在模型生命周期的不同阶段，并构成了 RSI 的动机：

• 开发挑战 1：资源密集的基础模型训练。 基础模型开发在数据准备、架构设计、分布式优化与评估等环节仍然是资源密集的。Kimi K3 激活 896 个专家中的 16 个，并报告其扩展效率相较 Kimi K2 提升约 2.5 倍；Qwen3.8-Max 则激活其 2.4 万亿参数中的 950 亿 [1, 2]。稀疏激活降低了每 token 的计算量，但这一规模的训练仍将专家路由、并行化、多模态集成、长上下文优化与系统设计耦合在一起。OpenAI 进一步报告称，GPT-5.6 Sol 在其推测解码草稿模型上设计并运行了数百次实验，并在硬件故障与不稳定中监控训练。由此产生的改动将 token 生成效率提升了 15% 以上 [10]。数据质量与数量同样重要。OpenAI 的 GDPval 表明，其 1,320 项专业任务总共需要约 9,240 专家小时，贡献者平均拥有超过 14 年经验 [6]。Humanity’s Last Exam 流水线记录了超过 70,000 次提交尝试，并在产生一个 3,000 题的基准之前，将约 13,000 道难倒模型的问题送交专家评审 [7]。架构搜索依然昂贵，因为候选结构与其数据、优化及硬件体制相互作用。AgentNAS 通过使用 LLM 提出任务特定的种子架构并构建其搜索空间，缓解了这一瓶颈的一部分，但候选选择仍依赖于外部指定目标下的组合搜索 [11]。

• 开发挑战 2：扩展反馈与学习环境。 合成数据与强化学习自动化了能力开发的一部分，但对经验的生成与评估提出了巨大要求，既需要经验生成基础设施，也需要可靠地评估与保留更新的机制。例如，DeepSeek-V3.2 报告其后训练算力预算超过预训练成本的 10% [12]，而 NVIDIA 的 AIMO-2 流水线在筛选 540,000 道题目的基础上，生成了 320 万条长推理解答与 170 万条工具集成解答 [4]。

• 开发挑战 3：部署后反复出现的适应需求。 已部署系统持续引入变化的文档、陌生的工具、不完整的上下文，以及涉及相互依赖动作的工作流。改进此类系统需要工程师人工诊断故障、修改检索与工具接口、管理持久状态，并通过离散的、由人主导的发布反复进行回归测试。Anthropic 报告称，智能体工作负载使用的 token 约为普通聊天的四倍，多智能体系统则升至约十五倍，原因在于更长的上下文、协调、环境搭建与端到端验证 [13]；Meta 则报告称，FBDetect 每周识别出数千个基础设施回归，而诊断其中一个回归大约需要十名工程师小时 [5]。

1.2　从开发负担到 RSI

这些负担之所以出现，是因为模型改进仍然是一连串昂贵、由外部协调的干预。为应对这些障碍，RSI 考察的是：这种协调的一部分能否成为被改进系统自身的一种持久能力。我们将递归自我改进（RSI）定义为一个自主的闭环过程：AI 系统在其中识别自身局限、开发并验证改进，并利用由此获得的能力去改进改进过程本身。RSI 的模型演化范式涵盖三个维度：自主性、效率与创新。自主性将系统的责任从执行既定更新，扩展到识别局限、提取经验、提出改动，以及验证并保留后继系统。效率追求从数据、算力、推理、人工评审与返工中获得更多经过验证的改进。创新则允许系统超越人类规定的更新策略进行搜索，并将有用的发现反馈到后续改进轮次中。这些维度描述了完整改进回路如何组织，以及它能够继承什么。

RSI 并非某种特定的学习算法或一次性的优化结果 [14–16]，其目标是同时改进任务表现，以及后续改进得以被发现与实施的机制。以下案例在模型生命周期的两个节点上说明了这一区别，分别涉及基础模型训练与软件工程中的持久适应，后文各节将对其展开讨论与研究。

• 案例 1：基础模型训练。 传统的实验回路会选择一个更好的检查点，却不改变选择后续实验的程序。A-Evolve-Training 则不同：它将后训练结果整合为一份持久的研究策略与发现日志，由元智能体对其进行修订，以指导后续工作者的配方选择 [17]。当开发分数提高却没有相应的外部收益时，系统将实验重新导向数据重平衡与检查点选择。被保留的策略同时改变了后继模型的训练方式与后续改进的寻求方式。在一个 30B Nemotron 模型上进行的四轮自主迭代中，外部分数从 0.80 升至 0.86，而人类最佳提交为 0.87 [17]。

• 案例 2：部署后的软件工程适应。 修复一个代码仓库改变的是软件产品，却可能不触及编码智能体反复出现的失败。Ouroboros 则利用经过评审的部署证据，提出对智能体工具、上下文组装、提示词与核心实现的版本化改动 [18]。候选修订需经过测试与人工评审，之后被接受的版本才替换用于后续工作的运行时。这种持久更新改进了后续编码行为，并改变了后续故障被诊断与修复的机制，同时专家仍对重大修正与部署保有控制权。

1.3　RSI 面临的挑战

这两个案例展示了持久改变如何塑造后续改进，但同样的持久性也可能携带错误，或掩盖控制权所在。我们考察三个反复出现的问题，它们决定了一个自我更新系统能否提供可信的 RSI 证据。

• 安全继承。 RSI 要求改动在任务或改进轮次之间持续存在，但持久性本身并不保证持续增益。例如，Gödel Agent [19] 同时重写其任务策略与改进逻辑，然而在其 100 次 MGSM 优化试验中，有 14% 的最终表现低于初始策略。需要迁移测试、版本历史与回滚机制，以便在保留有用更新的同时不损害先前能力。

• 自主性归因。 生成更好的候选并不意味着系统已经改进了候选被发现或选择的方式。Darwin Gödel Machine [16] 演化编码智能体，将其 SWE-bench 子集上的表现从 20% 提升到 50%，但其档案维护与父代选择规则仍处于自我修改之外。RSI 分析必须区分由 AI 控制的决策，与固定的搜索流程及人类验收标准。

• 可靠验证。 反复访问评估器可能奖励的是利用行为，而非能力增益。Anthropic 的自动化研究实验 [20] 报告了随机种子挑选，以及通过评估器查询尝试提取测试标签的行为。不断演化的评估器进一步使跨轮次比较复杂化。Red Queen Gödel Machine [21] 通过在每个 epoch 内冻结评估器，并用独立的地面真值锚点验证替换项来应对这一问题。需要受保护的评估与匹配的计算预算，才能将真正的改进与评估器利用或搜索投入的增加区分开来。

1.4　以自主性为中心的框架

为应对这些挑战，我们在一个以自主性为中心的框架中综述相关 RSI 技术，该框架将 AI 所改变的内容与其所控制的改进决策区分开来。依据 AI 所内化的改进责任范围，我们在五个层级上综述 RSI 技术。图 1 将代表性系统映射到这一演进过程，图 2 则单独呈现相应的回路结构。在每一层级，我们指出改进回路在何处闭合、为后续轮次保留了什么、哪些关键决策仍由人类控制，然后介绍实现这一责任划分的技术。

图 2　五个层级的回路模式。 灰色虚线框表示由人类控制的组件。绿色虚线框表示处于 RSI 回路内的组件。橙色轮廓标出每一层级新内化的组件。不断扩大的绿色框表明，AI 逐步自动化了改进过程中更大的份额。

• （L1）改进执行自主。 人类规定应改进什么、应如何改进，以及什么算作成功，而 AI 执行候选更新。例如，FineWeb-Edu 使用一个模型在整个网络语料上应用由人类定义的教育质量标签，而不自行选择标注标准 [22]。

• （L2）改进策略自主。 目标、任务边界与评估标准仍由外部固定，但 AI 诊断弱点并决定如何改进系统。例如，Self-Harness 在固定的基准与晋升规则下，利用执行轨迹提出并测试对其智能体 harness 的编辑 [23]。

• （L3）学习信号或经验获取自主。 系统还决定其下一轮改进所需经验。例如，SIMA 2 利用对当前行为的评估来生成后续练习任务，以针对观察到的技能弱点 [24]。

• （L4）环境适应自主。 改进回路利用部署交互，在外部验收与治理规则下修订持久的系统状态。例如，PANDO 在长时间运行的交互中根据观察到的结果接纳或降级可复用规则，使后续行动继承先前的经验 [25]。

• （L5）递归继承自主。 系统持久地修订某种支配后续改进的机制，例如改进器、验证器或后继生成程序。例如，A-Evolve-Training 在开发分数无法预测外部收益之后修订其研究策略，并用修订后的策略指导下一轮训练 [17]。

1.5　应用领域

自主等级描述了改进回路的结构，但其实际含义取决于某一领域中可用的反馈，因为同一项被保留的更新，在软件工程中可能很容易测试，在物理或临床环境中却难以验证。我们考察科学、具身智能、软件工程与医疗健康，因为它们呈现出四种不同的反馈体制：归因不确定的实验证据、代价高昂的物理交互试验、规范不完整的可执行测试，以及专家监督下的高风险结果。这些体制使我们能够比较反馈成本与可靠性如何影响改进的保留与复用。

• （S1）面向科学的 RSI。 科学发现涉及开放式探索、昂贵的实验，以及可能无法清楚指明失败来源的反馈。我们考察累积证据如何改进科学假设模块、实验智能体以及反思或改进机制，并关注这些改变能否支持超越当前科学结果的后续研究。

• （S2）面向具身智能的 RSI。 具身智能体通过自身行动生成经验，而失败可能源于相互作用的感知、规划与控制组件。物理试验还对探索与可重复性构成限制。我们考察环境与课程、技能与智能体 harness、策略与动作模型，以及世界模型与评估器的演化，重点关注交互反馈如何支持可在后续任务中复用的、经过验证的改进。

• （S3）面向软件工程的 RSI。 软件工程使被开发的产物与进行开发的智能体都可被可执行地修改与测试。我们考察仓库反馈如何支持对编码智能体实现与 harness、开发经验与协作，以及改进过程本身的持久改变。一个核心区别在于：某项更新是改进了当前任务表现、产生更强后继系统的能力，还是两者兼有。

• （S4）面向医疗健康的 RSI。 医疗健康将受限的试错机会，与延迟、异质的反馈以及其有效性可能取决于患者群体或医疗机构的改进结合在一起。我们考察临床记忆与知识、推理策略、工具与工作流的演化，强调经过评审的经验如何在明确验证与监督下为后续病例提供依据。

在这些领域之间，我们比较了什么被更新、反馈如何支持其保留，以及哪些决策仍由外部控制。这一分析将自主性框架与应用特定的证据连接起来，并识别出已展示的改进机制与更完整的递归改进之间的差距。

1.6　产业证据

领域分析识别出塑造改进回路的反馈与验证条件，而产业系统则展示这些条件如何在运行流水线中被处理，在那里集成与部署约束是即时可见的。我们考察产业实践，是因为前沿改进回路并不总是首先通过常规学术出版物被记录。产业材料——包括技术报告、开源系统、工程博客、模型文档与已部署的产品基础设施——常常揭示系统层面的实践，例如评估流水线、数据飞轮、智能体 harness、自动化实验与部署反馈回路，而这些在学术文献中只得到部分呈现。我们用这些材料补充研究文献，并理解自我改进如何在真实的工程约束下实现。

在自主性中心框架与应用分析的基础上，我们考察产业系统为自身改进承担了哪些责任，以及这些责任如何因应用与工程环境而异。我们进一步分析计算成本、反馈质量与人工参与等约束如何塑造改进回路的组织，并限制可达到的自主范围。这一视角使我们既能刻画已在部署型或生产导向系统中展示的机制，也能刻画仍有待验证的更具雄心的递归改进愿景，从而厘清产业 RSI 实践的当前进展与局限。图 18 按自主等级与改进目标报告了所综述的文献，表 13 则给出相应的产业系统图景。

1.7　与现有综述的区别

现有综述为自演化系统及其构建改进回路所依据的机制提供了互补的分类法。这些工作确立了我们分析所依赖的许多技术词汇。我们的综述在四个方面有所不同。

• 以改进回路作为分析单元。 先前的综述按自演化阶段、更新对象、时机或技术机制来组织工作 [26–29]。这些视角解释了什么发生了变化以及变化如何产生，但更新同一组件的系统可能把截然不同的决策交给 AI。我们追踪一个完整的回路：什么触发改进、谁提出并验证改动、什么得以保留，以及哪些后续决策使用了被保留的改动。

• 以责任作为自主性判据。 相关框架考察能力等级、协同演化、动态智能体状态与 AI-for-AI 系统 [30–33]。我们通过从外部设计者转移给 AI 的改进决策来操作化自主性，而不是通过模型能力或自动化组件的数量。我们的五个层级区分了对执行、策略选择、经验获取、环境适应与递归继承的责任。

• 分别考察递归与表现的证据。 评估类综述研究基于模型的判断、智能体评估、评分标准引导的学习与监督失效 [34–38]。更高的任务表现本身并不表明某种改进机制被修订、保留并复用。我们区分结构递归与有效递归：前者指被修订的改进机制支配后续轮次，后者指该机制在可比预算与独立评估下产生更强的后继系统。

• 在不同运行条件下比较机制。 关于纠错、合成数据、终身学习、记忆、提示词优化与工作流设计的工作解释了单个组件如何改进 [39–49]。我们考察这些机制在科学、具身智能、软件工程、医疗健康与产业实践中完整回路内的运作方式，这些场景中的反馈成本、验证与外部控制各不相同 [50–52]。在这些环境中比较相同的回路问题，可以揭示一种方法何时依赖廉价的可执行反馈、反复交互、专家评审或生产基础设施。

这些选择共同使本综述处于改进机制目录与通用 AI 能力层级之间。我们的目标是确定当前系统能够承担改进回路的哪些部分、被保留的改动如何影响后续轮次，以及哪些证据支持关于递归进展的主张。

2　背景与预备知识

本节为以自主性为中心的递归自我改进观确立实证与概念基础。我们首先考察现代基础模型在不同能力领域中的不均衡进展，突出为何持久改进对交互式、有状态且使用工具的系统尤为重要。随后，我们通过改进回路的结构来刻画 RSI，引入分析改进如何被生成、验证、保留与继承所需的关键组件，并将 RSI 与持续学习、AutoML 与智能体式 AI 等邻近范式区分开来。最后，由于当代 RSI 横跨学术研究与产业工程实践，我们澄清本综述所使用的证据范围与强度。这些预备知识共同为下一节发展的自主性层级提供了实证动机、操作词汇与证据基础。

2.1　现代基础模型能力进展的不均衡

图 3 汇总了 2023 年至 2026 年 9 月间发布的模型在十个能力领域中的 393 个合格“模型—基准”观测。

图 3　跨领域能力轨迹与一个示意性的 RSI 外推。 每条线报告某一领域在 HCI 上的年度前沿，其中 0 表示该基准进入年份的前沿，100 表示满分。虚线网络安全段表示 Cybench 子集或 pass@1 聚合方式的变化。2026 年之后的区域示意了在 RSI 辅助下各领域的延伸。

我们首先将报告的分数归入“协议链接族”。只有当基准版本与评估 harness 保持稳定，或对重叠模型的评估能在协议之间提供可辩护的桥接时，两个结果才属于同一族。使用不兼容版本或 harness 获得的结果保留在审计记录中，但被排除在轨迹之外。该规则在最新模型审计所考虑的 33 个结果中纳入了 17 个。其余 16 个分别来自 Terminal-Bench [53]、DeepSWE [54]、CyberGym [55]、ExploitBench [56]、AutomationBench [57] 与 BrowseComp [58]，因基准版本或评估设置无法与所绘制的族关联而仅作参考保留。若多个来源在同一基准族、变体与评估模式下报告同一模型，我们计算如下加权共识：

$${\bar{s}}_{mbh}=\frac{{\sum }_i{e}_{wi}{s}_{imbh}}{{\sum }_i{e}_{wi}}\text{\hspace{1em}(1)}$$

其中 $h$ 表示评估协议，$i$ 为来源索引。基准所有者表格、独立的通用 harness 评估、组合基准或模型报告，以及模型作者表格，分别获得 3、2.5、2 与 1 的基础权重。

我们将第一方数值再乘以 0.75 的附加系数。这些权重提供了一种实用的敏感性调整，限制自报结果的影响。

各基准所报告的度量不同，因此其原始值无法直接合并。我们使用余量闭合指数（HCI）对共识分数进行归一化。对于协议 $h$ 下基准族 $b$ 上的模型 $m$：

$$H_{mbh}=100\times \frac{{\bar{s}}_{mbh}-F_{b,0}}{100-F_{b,0}}\text{\hspace{1em}(2)}$$

其中 $F_{b,0}$ 是该基准进入数据集的第一个年份中模型分数的第 90 百分位数。因此，$H_{mbh}=0$ 表示进入年份的前沿，$H_{mbh}=100$ 表示满分。对于每个基准族与发布年份，我们首先计算第 90 百分位 HCI 前沿 $Q_{b,y}$。领域轨迹则为

$$T_{d,y}=\frac{{\sum }_{b\in B_{d,y}}\sqrt{n_{b,y}}{Q}_{b,y}}{{\sum }_{b\in B_{d,y}}\sqrt{n_{b,y}}}\text{\hspace{1em}(3)}$$

其中 $B_{d,y}$ 是领域 $d$ 在年份 $y$ 的合格基准族集合，$n_{b,y}$ 是为该“基准—年份”前沿贡献数据的去重模型数量。平方根权重允许覆盖更好的族贡献更多，同时不让最大的表支配领域取值。由此可得出三点观察。

• 观察 1：前沿增益在幅度与时机上存在差异。 到 2026 年，高等数学与研究生水平科学达到 86.4 与 85.8 的 HCI 值，而广博知识达到 77.2。法律推理、多模态推理与前沿学术广度的相应数值分别为 64.5、62.2 与 60.4。年度增量 $\Delta T_{d,y}=T_{d,y}-T_{d,y-1}$ 揭示了不同的时间模式。广博知识在三个年度转换中分别上升 32.8、26.9 与 17.6 点，表明余量闭合稳定但正在放缓。法律推理同样从 2024 年的 48.2 点增益放缓至 2025 年的 11.4 与 2026 年的 4.9。高等数学走的则是另一条路径，其增量从 2025 年的 32.8 点增长到 2026 年的 53.6。多模态推理在 2025 年获得 59.7 点，但 2026 年仅获得 2.5 点。若只用单一聚合基准，就会掩盖这些在水平与轨迹形状上的差异。

• 观察 2：交互式能力仍保留较大差距。 软件工程在 2026 年达到 52.6 的 HCI，搜索与终端智能体达到 56.8，工具智能体达到 39.9。相对于研究生水平科学的 85.8，它们的归一化余量闭合分别低 33.2、29.1 与 45.9 点。工具智能体在 2026 年大幅提升，从 8.2 升至 39.9，但仍是最低的轨迹。软件工程在 2025 年获得 40.8 点，2026 年获得 11.9 点。领先的网络安全智能体轨迹达到 91.9，与工具智能体形成 52.0 点的差距。这一比较需谨慎对待，因为较晚的 Cybench 观测使用了改变后的任务子集或 pass@1 聚合方式，图中以虚线标出。即便有此限定，该图仍表明：在有界或易于验证的环境中取得的增益，并未均匀地迁移到冗长、有状态的工作流。2024 年之后，模型开发者日益将注意力转向智能体式编码与工具使用，这些能力在 2025 与 2026 年成为突出的研究与工程目标 [25, 59–61]。此类任务需要规划、环境状态跟踪、工具选择、结果解释以及对后续行动的修订。错误会沿轨迹传播，因此数据收集与评估必须覆盖完整的交互。在本文的自主性分类中，有界评估主要检验 L1–L2 能力，环境任务日益需要 L2–L3 能力，而交互式工作流则暴露出与 L3–L4 运行相关的验证、记忆与适应要求。

• 观察 3：剩余余量集中了 RSI 的潜在价值。 2026 年之后的阴影区域示意了持久且经过验证的递归自我改进可能如何优先影响剩余差距更大的领域。为一致地表达这一关系，领域 $d$ 的示意性终点为

$$R_d=100-0.22(100-T_{d,2026})\text{\hspace{1em}(4)}$$

等价地，示意性增益为 $R_d-T_{d,2026}=0.78(100-T_{d,2026})$，因此未闭合余量更多的领域获得更大的延伸。于是网络安全从 91.9 升至 98.2，而软件工程、搜索与终端智能体、工具智能体分别从 52.6 升至 89.6、从 56.8 升至 90.5、从 39.9 升至 86.8。这些终点示意了如下假设：反复的经验生成、验证、更新保留与回归测试，可以将更多改进导向薄弱的部署工作流。

因此，软件工程与工具使用与 RSI 尤为相关。由人主导的更新需要随着接口与仓库的变化，反复进行环境构建、轨迹收集、故障诊断、训练或 harness 修订，以及回归测试。后文综述的方法从观察到的弱点生成练习 [61]，将轨迹蒸馏为可复用的规则与工具 [25, 62]，并为未来任务保留经过测试的 harness 或代码改动 [23, 63]。这些机制能够将相继的更新导向部署期间观察到的失败，并缩小示意性外推所代表的能力差距。

2.2　递归自我改进的概念基础

智能系统可能参与改进自身未来行为，这一思想有若干思想先驱，包括自修改程序、Gödel Machine、自动化机器学习、元学习、持续学习、开放式学习，以及更近期能够修改代码、提示词、工具或训练程序的智能体系统 [14, 33, 64–67]。这些传统处理的是问题的相互重叠的部分，但它们本身并不构成 RSI 的充分判据。自动化优化不一定意味着自我改进，持久学习不一定意味着对学习过程的自主，而 AI 对外部产物生成的改进也不一定修改了产生该改进的 AI 系统。

因此，我们以改进回路而非任何特定算法作为基本分析单元。这一视角使通过截然不同机制实现的系统得以比较，

并依据相同的问题进行比较：什么生成了经验、什么被改变、什么持久进入未来交互、谁控制更新过程，以及一轮改进的结果是否参与决定后续改进。

2.2.1　改进回路的解剖

改进回路（improvement loop）。 我们将改进回路定义为一个反复出现的过程：AI 系统利用经验提出对某个目标对象的修改，依据一条验收规则评估候选，在其状态中保留被接受的改动，并从该更新后的状态开始下一轮。以下组件界定了每项操作发生的位置，以及轮次之间传递哪些信息。

• AI 系统（AI system）： 其能力状态在各改进周期中被追踪的完整计算实体。它包括决定系统如何行动、如何从反馈生成修改、以及如何将已接受结果带入下一轮的机制与持久状态。例如，在自动化代码改进中，AI 系统包括提出补丁、执行修改后程序、评估结果并从保留版本继续的各个组件。
• 系统状态（system state）： AI 系统中在一轮结束时被保留、并由下一轮继承的部分。它是下一轮从上一轮接收到的内容。若系统接受了一个更快的程序并继续修改该版本，被保留的程序就属于其系统状态。
• 经验（experience）： 从先前交互中获得、并用于指导后续修改的信息。一次测试失败、一个环境结果或一条评审者纠正，在它影响后续更新时便成为经验。
• 目标对象（target）： 当前轮次中被直接修改的对象。在代码优化中，目标对象可能是一个排序函数。若系统后来改变了其生成代码候选的方法，那么该搜索方法就成为目标对象。
• 改进器（improver）： 将当前状态与可用经验转化为候选修改的机制。一个在提出下一个补丁前读取当前代码与最近一次测试失败的模型，在该轮中充当改进器。
• 策略（strategy）： 改进器用来决定在何处搜索以及如何生成候选的方法。策略可能优先考虑与失败测试相关的代码位置。由于策略可以被保留，它也可能成为后续改进的目标对象。
• 验证器（verifier）： 评估候选并应用验收规则的机制。它可以使用基准分数、单元测试、奖励模型、环境结果、人类反馈、形式化约束、安全检查，或这些信号的组合。
• 改进（improvement）： 通过当前验收规则、被保留并进入下一系统状态的候选修改。因此，改进是一种被接受并被继承的状态变化。
• 后继系统（successor）： 继承一项或多项已接受改进、并以更新后状态进入下一轮的 AI 系统。例如，一个保留修订后的代码搜索策略并用其生成后续修改的系统，就是产生该策略之版本的后继系统。

这一分解产生三个贯穿本综述的横切问题。回路在何处闭合？ 决定了一项表面上的改进是否真的返回系统。什么被更新与继承？ 决定了改进的持久载体。哪些决策仍属外部？ 决定了改进过程的多少权威已从人类或固定基础设施转移给 AI 系统本身。

这一解剖适用于具有不同自动化程度的持久改进过程。下一小节将规定 RSI 的附加条件：经验必须产生具有充分自主性的持久自我改变，并且被接受的改动必须能够影响后续改进如何被生成、评估、选择或整合。

2.2.2　递归自我改进的定义

利用上述改进回路解剖，我们将递归自我改进（RSI）定义为一种智能系统的能力：通过与任务、环境或其他智能体的持续交互，在交互轮次之间自主地将所获得的经验与反馈转化为对自身的持久改变（例如模型参数、智能体 harness 或改进策略），从而使这些改变能够进一步影响用于生成、评估、选择与整合后续自我改进的机制。被改进的系统随后以一个已经改变的能力状态，被重新引入下一轮交互与改进，使系统自身的改进能力成为一个持续递归过程的一部分。

RSI 包含一个自主的闭环过程：AI 在其中识别自身局限、开发并验证改进，并利用由此获得的能力去改进改进过程本身，其目标是（1）扩展能力前沿，（2）提高资源效率，或（3）发现超越人类规定策略的新颖解法。

近期产业观点日益通过自主改进回路来操作化 RSI。OpenAI 强调 AI 研究工作流与反馈回路的自动化 [68]，腾讯则报告了一个早期阶段的 RSI 回路，其中实验结果被送入后续轮次的模型开发 [69]。更严格地说，阿里巴巴的研究者通过让改进机制本身成为可修改对象来定义 RSI [30]，而 Anthropic 将其最强形式描述为 AI 系统自主设计并开发自己的后继系统 [70]。

2.2.3　与邻近范式的关系

RSI 与持续学习、自动化机器学习（AutoML）以及智能体式 AI 相交，因为三者都自动化了改进回路的一部分。它们在通常的改进目标、跨轮次保留的状态，以及留给固定程序或外部行动者的决策方面有所不同。表 1 汇总了这些区别。

持续学习： 持续学习使模型或智能体能够从一系列任务或数据中获取知识，同时限制先前能力的损失 [64, 71, 72]。近期工作涵盖持续预训练、指令微调、对齐、回放、参数高效更新与基于记忆的适应 [64, 71]。终身学习与自演化智能体进一步将持久状态从模型权重扩展到记忆、技能与行为策略 [28, 43]。然而，学习目标、更新规则、经验调度与验收测试通常仍由系统设计者固定 [64, 72]。在我们的框架中，当经验也能修订后续适应如何被提出、评估或整合，且修订后的过程在后续轮次中被复用时，持续学习便接近 RSI [28, 43]。

AutoML： AutoML 自动化模型开发决策，例如数据处理、模型与架构选择、超参数优化与流水线构建 [33, 73]。近期系统通过语言模型智能体拓宽了这一范围：AutoML-Agent 构建并验证完整的机器学习流水线，而 ADAS、AFlow 与 AgentSquare 则在可执行的智能体设计、工作流图或可复用模块上进行搜索 [66, 67, 73, 74]。MLE-bench 与 AI Scientist-v2 将评估扩展到持续的机器学习工程与迭代研究流程 [75, 76]。它们的搜索空间、目标、预算与评估器通常是预先给定的，即便大部分开发工作已被自动化 [66, 67, 73]。当用于搜索或评估改进的程序本身成为后续轮次可以改进的持久状态时，AutoML 便触及 RSI 的边界 [28, 66, 67]。

智能体式 AI 与智能体式机器学习： 智能体系统规划多步工作、调用工具、运行实验、协调专门组件并修订中间产物 [75–77]。MLE-bench、PaperBench 与 AI Scientist-v2 在机器学习工程与研究环境中研究这些能力 [75–77]，而 ADAS 与 AFlow 自动化执行任务的智能体或工作流的构建 [66, 67]。这些系统可能在一个回合内运行，其 harness、工具、停止规则与验收标准保持不变，这一边界在关于自演化智能体的工作中已被指出 [28, 43]。当对智能体系统的、经过验证的改动跨任务持久存在，并影响后续改进如何被生成或选择时，智能体式机器学习便接近 RSI [28, 66, 67]。

表 1　RSI 与邻近范式的比较。

特征	持续学习	AutoML	智能体式 AI/ML	RSI
跨轮次学习	✓	◦	◦	✓
持久保留	✓	◦	◦	✓
系统自我修改	✓	◦	×	✓
候选提出	×	✓	✓	✓
更新验证	◦	✓	◦	✓
后继系统再进入	✓	×	×	✓
机制修订	×	◦	×	✓
机制复用	×	×	◦	✓

✓ 主要核心目标　◦ 次要支撑作用　× 范围之外、未予讨论

因此，RSI 提出的独特问题并不只是 AI 是否参与 AI 开发，而是：一个围绕系统自身的持久改进回路是否已经形成，以及对该回路的多少权威已成为内生的。

2.3　证据范围

RSI 的当前发展横跨学术研究与产业工程实践。因此，把证据基础限制在同行评审出版物上，会遗漏那些最详细描述出现在技术报告、官方工程博客、开源仓库、模型文档或公司研究材料中的系统。当这些来源提供了关于改进回路结构或运作的具体证据时，我们将其纳入。

产业实践是当代 RSI 的主要证据来源。许多最先进的自我改进回路是在前沿 AI 系统中发展起来的，之后才在常规学术论文中被完整描述。其运行细节常常首先出现在领先 AI 实验室的技术或研究报告、工程博客、开源仓库、GitHub 与 Hugging Face 等平台上的模型发布，以及公开基准或竞赛排行榜中。这些来源揭示了本综述尤为关心的 RSI 侧面：改进在工作系统中如何组织、哪些产物在迭代之间被保留、模型与智能体如何与评估器和工具交互，以及某种改进机制是否持续运作并超越单一实验结果。

这一更广的证据范围使本综述能够捕捉新兴的 RSI 实践，同时清晰区分已展示的机制与推断的机制。

3　跨自主等级的 RSI

我们依据 AI 系统为自身改进承担多少责任，将现有 RSI 工作组织为一个自主等级层级。该层级从会话内精炼（改进局限于当前任务）出发，经过日益持久与自主的系统适应形式，走向递归改进——在那里，产生未来改进的机制本身也成为改进的对象。

在每一层级，我们综述代表性方法与系统，并回答三个共同问题：（1）改进回路在何处闭合？（2）什么改进被保留并带入下一轮？（3）改进过程中的哪些关键决策仍由人类控制？

表 2 提供了代表性实现技术的跨层级图谱。

3.1　B0：任务内 AI 改进

在 B0 层，改进局限于当前任务：AI 系统可以对候选输出进行迭代修订、验证或选择，但由此产生的改动不会作为持久系统状态被保留供未来独立任务使用。因此，我们将 B0 视为非 RSI 的参照层级，它标记了“改进一个输出”与“改进产生未来输出的系统”之间的边界。换言之，B0 的定义性判据是：输出改变而系统不变。

表 2　RSI 各自主等级（L1–L5）的代表性实现技术。

技术家族	具体技术	L1 执行	L2 策略	L3 经验	L4 部署	L5 元改进
搜索与优化	A1. 演化搜索	—	Promptbreeder [78]；AgentSquare [74]；C-Evolve [79]	—	DecoEvo [80]	DGM [16]；RQGM [21]
	A2. 树搜索 / MCTS	—	AFlow [67]	—	—	—
	A3. 贝叶斯 / 黑箱优化	—	—	—	—	—
	A4. LLM 反思 / 批评	EDIT [81]	GEPA [82]；MPO [83]	VOYAGER [84]	ReasoningBank [85]；Trace2Skill [86]；Metis [62]	—
	A5. LLM 引导的程序 / 代码搜索	Agent-Agnostic C/C++ [87]；Harness Engineering [88]；AIPC [89]	ADAS [66]；AFlow [67]；AutoKernel [90]	VOYAGER [84]	Metis [62]；HarnessDev [91]；Tax AI [92]	STOP [15]；HyperAgents [93]；AIDE² [94]
数据、任务与经验构建	B1. 离线合成数据生成	SynthLLM [95]；SynthAgent [96]；Nemotron-4 [97]	—	—	—	—
	B2. 自博弈 / 对抗式任务生成	—	—	SSP [98]；AZR [99]；STP [100]	—	—
	B3. 自适应课程 / 任务调度	—	—	SIMA 2 [24]；SEAgent [61]；VOYAGER [84]	—	—
	B4. 环境生成	—	—	—	—	—
	B5. 自主探索 / 交互	SynthAgent [96]	—	SIMA 2 [24]；SEAgent [61]；VOYAGER [84]	—	—
训练与持久更新	C1. 监督微调（SFT）	EDIT [81]；SynthAgent [96]；Nemotron-4 [97]	—	STP [100]；PSV [101]	—	—
	C2. 偏好优化（DPO / KTO）	Nemotron-4 [97]	—	—	—	—
	C3. 强化学习（PPO / GRPO / RLVR）	EDIT [81]；REPO [102]	—	AZR [99]；R-Zero [103]；SEAgent [61]	—	—
	C4. 知识蒸馏	—	—	—	—	—
	C5. 提示词 / 上下文优化	—	Promptbreeder [78]；GEPA [82]；MPO [83]	—	DecoEvo [80]；ACE [104]；PersonaAgent [105]	—
	C6. 记忆 / 技能整合	—	—	VOYAGER [84]；SEAgent [61]	ReasoningBank [85]；Metis [62]；Trace2Skill [86]	—
验证与选择	D1. 执行 / 单元测试验证	Agent-Agnostic C/C++ [87]；AIPC [89]；Harness Engineering [88]	AutoKernel [90]	AZR [99]；VOYAGER [84]	Metis [62]；HDSO [106]；Tax AI [92]	STOP [15]；AIDE² [94]
	D2. 形式化验证	—	—	STP [100]；PSV [101]	—	—
	D3. 奖励模型 / LLM 作为裁判	Nemotron-4 [97]；REPO [102]；HealthBench [107]	—	SIMA 2 [24]；SEAgent [61]	ReasoningBank [85]；DecoEvo [80]	RQGM [21]
	D4. 回归测试 / 模型选择	Agent-Agnostic C/C++ [87]；Harness Engineering [88]	GEPA [82]；AutoResearch [108]；AutoKernel [90]	—	HarnessDev [91]；ASPIRE [109]；HDSO [106]	STOP [15]；RQGM [21]；AIDE² [94]
在线与元层适应	E1. 在线 / 持续学习	—	—	SEAgent [61]；VOYAGER [84]	ReasoningBank [85]；PANDO [25]；Dynamic Cheatsheet [110]	—
	E2. 经验回放 / 在线记忆更新	—	—	—	ReasoningBank [85]；PANDO [25]；Metis [62]	—
	E3. 自修改代码 / 策略	—	ADAS [66]；AFlow [67]；AutoResearch [108]	—	HarnessDev [91]；ASPIRE [109]；SHAPER [111]	STOP [15]；Gödel Agent [19]；A-Evolve-Training [17]
	E4. 自适应 / 协同演化评估器	—	—	—	DecoEvo [80]	RQGM [21]

阅读指南。 各行将具体技术归入更宽泛的技术家族；各列表示所引工作中所考察的具体改进回路的自主等级。若一项工作使用了多种技术或包含多个不同的改进回路，它可能出现在多个单元格中。每个单元格至多列出三项代表性工作。破折号（—）表示此处未列出代表性示例，并不暗示该技术与该层级不兼容。

层级简写。 L1：改进执行 · L2：改进策略 · L3：学习信号 / 经验获取 · L4：环境适应 · L5：递归继承（元改进）。

例如，一个编码智能体可以利用人类提供的测试套件与固定的五次尝试上限，反复修订其代码。如果修复与反馈局限于当前任务，且不改变该智能体处理后续任务的方式，它就仍处于 B0。同样，一个写作智能体可以依据人类提供的评分标准修订一篇文章，却不把由此获得的经验保留给未来写作。在这两种情况下，人类规定评估规则与修订程序，而 AI 只在这些约束内改进当前输出。

在固定规则下，B0 可以在单次会话内改进输出。例如，Self-Refine 在同一会话内通过“生成—反馈—精炼”回路改进输出 [112]；Reflexion 将对失败尝试的口头反思写入上下文缓冲区，供后续尝试使用 [113]；Tree of Thoughts 将推理组织为对候选思维分支的搜索 [114]。

然而，B0 无法跨任务积累知识。迭代轨迹与纠正信号只存在于当前会话；任务终止后便被丢弃，系统无法将碎片化经验整合为长期能力。APEX-EM 指出，基于 LLM 的智能体普遍缺乏持久的过程性记忆：即便解决过一个完全相同的任务，它们也必须从头重新推导解法 [115]。具体而言，存在四项主要局限。

• 经验不跨任务积累。 中间结果、批评与纠正保留在临时任务上下文中，而不会成为对模型参数、可复用记忆或运行规则的更新 [116]。因此，一个系统可能在一个任务中纠正了某个错误，却在下一个任务中重犯。增加迭代次数无法解决这种持久学习的缺失。
• 改进程序仍由人类定义。 AI 可以生成、验证并修订输出，但人类仍决定这一过程如何运作 [112]。例如，一个编码智能体可以修复未通过测试的代码，但它不会持久地改进面向未来任务的测试程序。回路围绕当前输出闭合；升级系统改进机制的责任仍属人类。工具使用、仿真与现实世界反馈本身并不改变这一边界。
• 自生成反馈可能强化错误。 当同一模型既生成又评估答案时，两个阶段可能共享相同的知识缺口。Self-Correction Bench 将验证——特别是定位第一个错误推理步骤——认定为关键瓶颈 [117, 118]。在没有可靠外部反馈的情况下，修订甚至可能把正确答案改成错误答案 [119]。因此，反复批评并不保证成功纠正。
• 在固定评估下，更多迭代带来的增益有限。 在没有新信息的情况下修订答案可能收效甚微 [120]；在某些情形下，独立采样或外部验证可能更有效 [121, 122]。固定的验证器也会让某些错误无法被检出 [123]。例如，为使代码通过一个不完整的测试套件而反复修订，可能提高测试表现，却让未被测试的失败依然存在。

3.2　L1：对改进执行的自主

在 L1，AI 系统执行由人类定义的改进程序，其被接受的结果被保留并在后续任务或改进轮次中复用。人类规定目标、更新程序与验收标准，而 AI 执行既定的改进步骤。与 B0 不同，回路改变的是指定 AI 系统内部的持久状态，而不仅仅是精炼当前任务输出。例如，一个编码智能体可以遵循人类定义的程序，依据测试反馈修订代码，将经验证的修复保存为可复用规则，并自动将其应用于后续独立任务。这一模式已在生产基础设施中显现。Meta 的 Capacity Efficiency 系统将工程师的调试专长编码为可复用的修复技能，并通过预定义程序应用这些技能来诊断性能回归与执行补救任务。Meta 报告称，该工作流将数小时的人工回归调查压缩到数分钟，由此产生的拉取请求经过标准评审与集成，从而在生产系统中形成持久改进 [5]。

该层级的典型回路可概括如下：

表 3　按 AI 开发流水线层级组织的代表性 L1 系统。 L1 系统执行由人类定义的改进程序，并产生进入后续工作流的持久产物。

方法	类型	关键机制	层级限制
数据层
Google High-Fidelity Label Curation [124]	数据策管	LLM 标注 + 边界选择	人类定义的标注规则
Phi-4-reasoning [125]	训练数据选择	LLM 评估 + 边界过滤	人类定义的选择标准
FineWeb-Edu [22]	数据过滤	LLM 打分 + 分类器过滤	人类定义的质量标准
NVIDIA NeMo Curator [126]	数据策管	可配置的过滤流水线	人类配置的处理规则
Data-Juicer [127]	数据处理	可组合的处理算子	人类定义的处理配方
Microsoft SynthLLM [95]	合成数据生成	参考引导的数据合成	人类定义的生成程序
SynthAgent [96]	监督生成	任务 + 轨迹合成	人类定义的生成工作流
NVIDIA Nemotron-4 [97]	合成监督	候选生成 + 奖励过滤	人类定义的质量维度
训练方法层
EDIT [81]	训练信号精炼	基于诊断的步骤修订	人类定义的诊断标准
REPO [102]	后训练程序	SOP 引导的交互 + 奖励评估	人类定义的行为程序
训练平台层
Agent-Agnostic C/C++ Optimization [87]	训练执行优化	程序化性能优化回路	人类定义的优化工作流
Meta NCCL Agentic Debugging [128]	故障诊断与恢复	运行手册引导的分布式调试	人类定义的调试程序
评估与安全层
OpenAI HealthBench [107]	模型评估	基于专家评分标准的自动打分	人类定义的评估标准
部署优化层
AIPC [89]	模型部署	技能引导的部署适配	人类定义的部署程序
应用系统层
Agent Toolkit for AWS [129]	模型—应用集成	Bedrock 技能引导的集成	人类定义的集成程序
LinkedIn CAPT [130]	产品工程	分步式工程手册	人类编写的实现程序
OpenAI Harness Engineering [88]	产品开发	约束引导的实现	人类定义的架构与交付规则

该层级的典型回路可概括为：

接收改进目标 −→ 执行既定程序 −→ 产生改进 −→ 更新系统状态 −→ 处理下一个任务 −→ 重复

尽管结构简单，可靠地执行这一回路仍带来若干核心挑战。第一，既定程序必须覆盖执行期间出现的各种情形。当任务遇到预定义程序未涉及的条件时，智能体缺少可用的下一步，也无法独立修改程序来加以解决。第二，执行必须在多步工作流中保持可靠，因为一次错误的诊断、变换或中间决策可能影响所有后续动作。第三，由于产生的改进会被写回系统状态并在后续任务中复用，其有效性必须在保留之前得到检验；否则，执行错误可能持续存在并影响后续开发周期。这些挑战在 AI 开发流水线中反复出现，但其具体形式取决于改进程序在哪个阶段执行。

具体而言，真实场景中的大规模 AI 开发通常组织为若干不同层级：（1）数据层掌管训练语料的构建与策管；（2）训练方法层决定模型如何学习；（3）训练平台层管理大规模训练的执行；（4）评估与安全层评估模型能力与安全性；（5）部署优化层实现高效的模型服务；（6）应用系统层将基础模型能力集成到下游产品与应用系统中。以下各节考察 AI 系统如何在每一层级内自主执行预定义的改进程序，以及由此产生的产物如何进入开发工作流的下游阶段。表 3 汇总了这些层级中所讨论的代表性系统。

3.2.1　数据层

在数据层，AI 正日益接管以往需要大量人工完成的大规模数据生产与策管程序的执行。现有方法主要分为两类。第一类聚焦于数据清洗与质量过滤，第二类聚焦于合成数据与监督生成，其中人类定义目标任务、期望的数据特征与验证程序。

• （1）数据清洗与质量过滤。 数据层的一个主要挑战是规模：训练语料与候选样本的数量远超逐样本人工评审的能力。因此，数据策管正从逐样本的人类判断，转向一种范式：人类定义质量标准与处理程序，而 AI 大规模执行它们。在 Google 的高保真标签策管流水线中，开发者首先定义目标任务及其决策标准，例如什么构成“标题党”。随后，一个 LLM 应用这些标准为候选数据赋予初步标签，再由预定义的聚类与边界样本选择程序识别出一小部分信息量大的样本，供专家标注 [124]。类似的分工也出现在 Phi-4-reasoning 的训练数据构建中：研究者规定期望的难度与推理特征及其评估程序，而基于 LLM 的评估流水线应用这些标准，选择接近模型能力边界的样本 [125]。FineWeb-Edu 将这一模式扩展到大规模网络过滤：研究者定义教育质量标准，使用 LLM 生成质量标签，并训练分类器以规模化地应用这些标准 [22]。随着这些数据处理操作趋于标准化，它们也可以被纳入可复用的流水线。NVIDIA NeMo Curator 将质量过滤、分类与去重组织为可按开发者指定规则与参数执行的可配置模块 [126]。Data-Juicer 采用类似思路，但将数据处理操作抽象为可组合的算子，使预定义的处理配方能够在大规模语料上执行 [127]。

• （2）合成数据与监督信号生成。 训练数据可以通过合成生成来扩展。复杂任务的高质量示范往往构建成本高昂，这促使人们采用模型能够规模化执行的可重复数据生成程序。Microsoft SynthLLM 遵循这一思路：从高质量网络内容出发，通过预定义的多阶段程序组织参考概念，并使用 LLM 生成多样化的提示词及对应回答作为合成训练样本 [95]。类似程序还可以产生更丰富的监督形式。SynthAgent 将任务与交互轨迹的构建组织为一个预定义流水线，其中模型执行网络探索、任务生成与轨迹精炼，以产生用于训练网络智能体的监督数据 [96]。合成生成可以与预定义的质量评估相结合，以构建更高质量的监督数据。NVIDIA Nemotron-4 使用一个指令模型生成候选回答，并使用一个奖励模型按照预定义的质量维度对其打分与过滤，由此产生的合成样本用于后续模型训练 [97]。

3.2.2　训练方法层

在训练方法层，AI 正日益接管以往由研究者和工程师人工编排的结构化学习与后训练程序的执行。现有方法主要将诊断、修订、评估与优化步骤编码为预定义工作流：人类规定学习目标、反馈信号与更新规则，而 AI 系统执行这些程序，以生成改进的训练信号并支持后续模型优化。

既有的训练实践可以被编码为显式的改进程序，并在后训练期间由 AI 系统执行，从而改进模型接收训练信号的方式并提升学习效果。EDIT 将这一过程组织为两阶段训练程序。研究者首先规定诊断信号与修订标准，随后系统识别有问题的推理步骤，由一个 LLM 依据评分清单仅修订受影响的部分。修订后的输出随后用于进一步的强化学习校准 [81]。REPO 同样将多阶段标准操作程序与行为约束纳入训练过程。模型在多轮交互中遵循既定步骤，而一个基于 LLM 的裁判依据预定义标准评估程序遵循情况，并将评估结果转化为奖励信号，用于后续策略优化 [102]。

3.2.3　训练平台层

在训练平台层，AI 正日益接管维持大规模训练高效可靠所需的基础设施工程程序的执行。现有方法主要分为两类。第一类聚焦于训练执行与性能优化，智能体分析工作负载并应用预定义优化程序；第二类聚焦于故障诊断与恢复，智能体执行从工程知识与运维经验中提炼出的结构化调试与补救工作流。

• （1）训练执行与优化。 性能工程实践可以被编码为显式的优化程序，由 AI 智能体在具体工作负载上执行。Agent-Agnostic End-to-End C/C++ Application Performance Optimization 遵循这一模式，将完整的优化控制回路存储在过程性记忆中。智能体执行运行时分析、识别性能热点、生成候选代码修改，并依据预定义工作流验证正确性与性能，未成功的改动在进一步优化前被回滚 [87]。

• （2）训练故障诊断与恢复。 分布式训练故障同样可以通过源自积累工程经验的结构化调试程序来处理。Meta 与 PyTorch 社区归类了 NCCL 看门狗超时的主要根因，并将这些发现提炼为一棵实用的决策树与调试运行手册。随后，一个 AI 智能体在具体故障上执行该结构化工作流：跨 rank 对齐证据、追踪集合通信序列，并将运行时轨迹连接到相应代码路径，以定位最早的可行动分歧 [128]。

3.2.4　评估与安全层

在评估与安全层，AI 正日益接管将专家定义的要求转化为可扩展、可重复评估的模型评估程序。现有方法使用 AI 系统在大量模型输出上应用预定义的评分标准、测试协议与风险判据，而人类仍负责定义评估目标、标准与验收阈值。

模型评估将专家判断转化为可重复的测试与打分程序。OpenAI HealthBench 请医学专家为特定的医疗对话定义详细评估标准，规定理想回答应包含或避免什么，以及每项标准的相对重要性。随后，GPT-4.1 应用这些预定义标准为候选模型回答打分，并计算最终评估结果 [107]。类似的评估程序也可以应用于鲁棒性、安全性与风险评估，为后续模型改进与发布决策提供标准化反馈。

3.2.5　部署优化层

在部署优化层，AI 正日益接管将训练好的模型适配到具体硬件与运行时环境的程序执行。现有方法将部署专长编码为标准化工作流，涵盖模型转换、兼容性解决、量化、运行时配置与验证；人类指定目标平台与部署约束，而 AI 系统执行相应的适配与验证步骤。

将训练好的模型部署到目标硬件，往往需要专门的模型转换与运行时适配程序。AIPC 将这一部署专长编码为由 Agent Skills 支持、并带有分阶段验证的标准化、可验证阶段。给定一个训练好的模型与目标 Qualcomm AI Runtime 环境，AI 智能体执行预定义部署程序，完成模型转换、处理部署不兼容问题、执行量化校准，并验证最终实现。该过程产生可供下游推理使用的可运行部署产物 [89]。

3.2.6　应用系统层

在应用系统层，AI 正日益接管将基础模型集成到可运行产品与服务中所需的软件工程程序。现有方法将开发知识编码为可复用技能、手册与工程工作流，使 AI 系统能够执行服务集成、接口实现、代码修改、测试与验证等任务，而人类继续规定产品需求、系统架构与支配性开发约束。

将基础模型能力转化为实际产品，需要模型服务与接口通过可重复的工程程序集成到应用系统中。Agent Toolkit for AWS 将生成式 AI 开发实践编码为可复用的 Agent Skills。其 Amazon Bedrock 技能提供了将模型能力集成到应用中的预定义程序。AI 编码智能体可以执行这些程序，将基础模型服务与下游产品接口及应用组件连接起来 [129]。

LinkedIn 的 Contextual Agent Playbooks & Tools（CAPT）同样将积累的组织知识编码为分步手册，使 AI 编码智能体能够在真实代码库中执行具体工程任务（例如服务创建、接口扩展与代码维护）[130]。OpenAI Harness Engineering 将这一模式扩展到端到端软件产品开发。工程师定义产品意图、系统架构，以及支配持续集成、代码合并与回滚的规则，而 Codex 在这些预定义约束内执行实现与验证，并持续产生进入后续开发工作流的代码产物 [88]。

3.2.7　评估 L1 的执行自主

在上述各层级中，L1 系统共享相同的基本能力边界：AI 能够执行日益冗长且影响重大的改进程序，产生的产物也可能持久进入后续阶段，但支配改进的程序仍由外部规定。因此，对 L1 的评估应考虑两种相互耦合的性质：执行可靠性，即 AI 能否在不同条件下正确执行既定程序；以及持久安全性，即执行期间引入的错误能否在其输出传播到后续改进轮次之前被检出。

预定义改进程序的可靠性是评估该层级执行自主的核心。L1 系统能够在有限人工干预下完成较长的动作序列，但其执行仍受预先规定程序的约束。当任务条件超出这些程序覆盖的范围，或工作流中嵌入的假设不再成立时，系统无法独立修订改进程序，因而容易发生执行失败。

持久性进一步放大了此类失败的后果。执行期间产生的输出可能被保留并在后续开发阶段复用，使错误传播到引入它的任务之外，并影响后续迭代。因此，评估不仅应考察预定义程序是否被正确执行，还应考察产生的产物在进入下游工作流之前是否仍然有效。

发现：L1 大规模执行人类定义的改进程序。 人类首先将既有工程经验编码为显式的改进步骤与验证规则，而 AI 系统在具体任务上执行这些预定义程序。产生的产物被保留并纳入后续开发工作流，使相同的改进程序能够在独立任务与开发阶段之间反复应用。

3.3　L2：对改进策略的自主

在 L2，AI 系统利用评估反馈来选择下一步尝试哪种改进干预，而不仅仅是执行一项既定更新。它提出并测试对目标对象的改动，并保留被接受的修订，而人类继续规定目标、任务边界与验收标准。周围的搜索框架可以保持固定；自主性在于决定目标对象应如何被改进。在许多 AI 开发工作流中，执行一项提出的改动相对机械；困难之处在于判断哪项改动值得尝试。研究者必须解读失败、推断哪个组件限制了进展、选择一种效果不确定的干预，并在观察结果后决定下一步尝试什么。随着可能干预的空间扩大，这种实验性决策成为主要瓶颈：穷举搜索不可行，而人工实验又受研究者注意力与既有直觉的限制。L2 系统自动化了这一瓶颈。改进器不再只是执行人类指定的修改，而是利用评估结果与实验证据来确定下一个候选干预。

这一转变日益类似于对实证研究者角色的部分自动化。例如，OpenAI 将当前前沿智能体描述为在人类监督下、针对定义明确的研究任务达到了“自动化研究实习生”阶段，而研究者继续设定优先级，并决定哪些结果值得进一步投资或部署 [131]。因此，相关的自主性并非对研究的不受限制的控制，而是某一特定研究责任的转移：把观察到的证据转化为下一个实验。

图 4　L2 概览：自主策略选择。 在人类定义的改进目标与评估标准之下，AI 系统利用当前系统的证据诊断弱点，并自主决定如何改进它。候选干预会被评估，被接受的更新被纳入后续迭代。代表性机制包括基于推理的策略合成与基于搜索的策略优化。

该层级的典型回路可概括为：

观察表现 −→ 诊断 −→ 选择如何改变 −→ 实例化并测试 −→ 保留或回退 −→ 重复

被改进的对象可能仍然很小（如提示词优化），也可能扩展到一个可执行的智能体，乃至一个模型训练程序。在这些情形中发生变化的是改进器可用的干预对象与范围，以及用于决定尝试哪种修改的可用证据。因此，我们按改进策略所搜索的对象来组织 L2，而不是按单个系统来组织。图 4 展示了这种策略自主机制：关于当前系统的证据引导着对“如何改进”的自主选择与评估。

3.3.1　提示词搜索

改进器依据执行轨迹与评估结果，决定支配模型或智能体的指令应如何改变。在最狭义的 L2 设定中，系统决定提示词或文本控制变量应如何修订，而不仅仅是实例化一项规定的编辑。例如，Dropbox 使用 GEPA 重写提示词，以告诉 LLM 如何判断检索到的文件或消息是否与用户的搜索相关 [132]。不过，较早的演化方法是在替代变异上进行搜索，而较新的反思式优化器则利用执行轨迹识别失效模式并生成有针对性的修订。GEPA 将失败归因于特定模块，并保留互补的提示词变体，而不是立即锁定单一贪心谱系 [82]。这种反馈驱动的搜索并不限于单一优化器设计。MPO 将可编辑表面扩展到多模态提示词，利用评估得到的语义反馈来引导后续的文本与非文本提示词候选；C-Evolve 则将候选生成嵌入一个固定的演化协议。在这些设定中，搜索机制可以由外部规定，而具体的提示词修订则从评估反馈中涌现 [79, 83]。因此，自主性的相关提升不在于提示词生成本身，而在于对“下一步尝试哪种修订策略”的控制。

3.3.2　智能体与 harness 搜索

改进可以涉及重新设计推理组件与工具使用组件之间的交互方式。一旦可编辑对象从提示词扩展到可执行的智能体代码，策略搜索便开始类似于自动化系统设计。例如，Microsoft Foundry 的 Agent Optimizer 依据评估失败重写托管智能体的系统指令、技能与本地函数工具描述 [133]。Automated Design of Agentic Systems（ADAS）将智能体形式化为一个 Python 前向函数，并使用一个元智能体来填充一个不断增长的候选智能体档案 [66]。在每次迭代中，元智能体在验证数据上评估候选，并将其代码与指标一并存入档案。由于这些决策被编码在可执行的 harness 代码中，一次修订就能改变智能体在整个任务中的行为方式，而不只是改变一条指令。

近期的工流搜索系统通过不同的设计空间表示来实例化这一思想。AFlow 将工作流编码为可执行图，并对相继的代码级修改应用蒙特卡洛树搜索，利用执行结果作为后续分支的反馈 [67]。AgentSquare 则将智能体设计分解为可复用模块，并通过演化与重组进行搜索，使在一种配置中发现的成功结构成为另一种配置的构建块 [74]。

由此产生的自主性远大于局部参数调优，但在一个重要意义上仍是有界的。改进器在替代性智能体设计之间进行选择，然而候选之所以被提升，仍是因为它们在外部维护的评估过程下表现更好。L2 自主性关乎对更好系统配置的搜索；它并不意味着有权重新定义什么构成成功表现。

3.3.3　模型与训练搜索

改进器将实证训练证据转化为关于学习器本身应如何配置、构造或优化的决策。因此，人类研究者严重依赖积累的直觉，来决定应运行可能实验中极小的一部分。L2 改进器的新兴角色是压缩这一实验周期：检查先前运行中发生了什么、推断改进可能来自何处，并据此分配下一个实验。当前系统日益在持久配置、模型结构与学习程序本身上进行搜索。

• （1）配置搜索。 它自动化昂贵训练试验的分配。近期智能体方法日益用关于先前实验的语义推理来增强传统搜索。系统不再把每次试验当作孤立的黑箱查询，而是能够解读训练结果，并用它们集中后续探索。例如，NVIDIA 面向 Cosmos 3 后训练的 2026 TAO 工作流允许一个编码智能体在固定验证目标下调用 LLM 引导的 AutoML [134]。人类提供模型、任务、数据与期望指标；系统接管“下一步应评估哪种配置”这一反复决策的大部分。

• （2）架构搜索。 它把模型的结构设计委托出去，减少对人类工程化搜索空间的依赖。基于 LLM 的改进器能够解读实证结果，并提出其确切内容事先未被枚举的结构改动。AgentNAS 从如下观察出发：现代 NAS 仍依赖人工构造的、任务特定的搜索空间。它使用 LLM 产生一个任务特定的种子架构，再从该设计中导出结构化搜索空间，供后续组合搜索使用 [11]。

• （3）训练规则搜索。 改进器改变学习模型参数所依据的可执行程序。当前前沿智能体正开始自动化这一“从假设到实验”的步骤。OpenAI 面向 GPT-6 Astra 的 NanoGPT 评估给智能体一个固定验证目标、一块 H100 与受限的训练设置，但要求智能体自身诊断训练瓶颈、修改训练代码、调整其配置，并对训练回路做出有用的改动 [135]。开放研究环境更直接地暴露了同样的分工。在 autoresearch 中，数据流水线、评估函数、指标与每次实验的计算预算保持固定，而智能体反复编辑训练程序，仅当受保护的验证指标改善时才保留修改 [108]。

• （4）系统与实现搜索。 改进器搜索模型计算的更高效实现，同时正确性与系统级性能仍由外部测试保护。AI 可以剖析瓶颈、提出实现改动、验证数值正确性、测量真实硬件性能，并利用结果决定下一步修改什么。AutoKernel 不是从任意代码生成开始，而是从剖析开始：它识别具有最大潜在端到端影响的算子，并将智能体的实验导向这些瓶颈。候选的 Triton 或 CUDA 实现只有在通过正确性检查并测得 GPU 加速后才会被接受 [90]。

表 4 按搜索目标、机制与外部固定的限制比较了代表性系统。

表 4　按改进策略搜索对象分组的代表性（而非穷尽性）L2 系统。 所列系统均处于 L2，因为它们自主选择如何改进系统，而目标、评估标准或验收规则仍由外部规定。

方法	类型	关键机制	层级限制
提示词搜索
Promptbreeder [78]	提示词搜索	提示词与变异协同演化	固定任务适应度
GEPA [82]	提示词搜索	轨迹反思 + Pareto 选择	固定任务指标
MPO [83]	提示词搜索（多模态）	评估得到的语义反馈引导文本与非文本提示词候选	固定任务指标
C-Evolve [79]	提示词搜索	在固定演化协议内生成候选	固定协议 + 任务指标
智能体与 harness 搜索
Microsoft Foundry Agent Optimizer [133]	智能体搜索	依据评估失败重写系统指令、技能与本地函数工具描述	固定评估过程
ADAS [66]	智能体搜索	元智能体编码 + 设计档案	固定基准
AFlow [67]	工作流搜索	对可执行工作流做 MCTS	固定评估器
AgentSquare [74]	智能体搜索	模块演化 + 重组	固定基准
自主实验搜索
AutoResearch [108]	机器学习实验	编辑—训练—评估回路	固定指标
GPT-6 Astra NanoGPT [135]	训练规则搜索	智能体诊断瓶颈、编辑训练代码、调整配置与训练回路	固定验证目标 + 算力
Auto Research [136]	机器学习实验	专家智能体 + 共享谱系	外部评估器
AgentNAS [11]	架构搜索	LLM 生成的任务特定种子架构 + 导出的结构化搜索空间	固定验证指标
AutoKernel [90]	内核实验	剖析—重写—基准测试回路	固定正确性 + 速度

3.3.4　评估 L2 的策略自主

对改进策略拥有更大自主性，本身并不意味着更强的递归自我改进。一个 L2 系统可能拥有极具表达力的干预空间，却低效地搜索它、利用其评估器的弱点，或产生在若干次迭代后便消失的增益。因此，我们将被委托的自主程度与由此产生的改进过程质量区分开来。

这些维度是互补的：更广的搜索空间只有在反馈能够区分候选、且搜索过程能够高效探索该空间时才有用。这一组合有助于解释为何当前产业系统集中于编码、模型训练与内核优化——在这些领域，候选干预可执行且反馈可快速获得。

同样的自适应搜索回路也产生典型的评估风险。反复访问开发集会导致基准过拟合，额外的搜索算力可能被误认为算法改进，而 LLM 评估器可能与提议者共享盲点。公开的自动化研究系统使这些风险具体化：已报告的行为包括随机种子挑选、捷径发现，以及通过反复查询评估器尝试提取测试标签 [20]。一旦基准被自适应地查询，它实际上就成为优化表面的一部分，而不再是被动的测量工具。公司报告的结果仍然是可行性与规模的有用证据，但其来源应被明确说明，且不应被视为等同于独立复现的实验。

发现：L2 将人类努力从提出单项改进转向约束对改进的搜索。 人类仍规定目标与验收标准，但不再需要选择每个候选干预。这使瓶颈从执行一项已知改进，转变为在可能的改进空间上搜索。

3.4　L3：对未来学习经验的自主

L3 增加了对“下一步获取什么学习经验”的自主。L2 关注如何改进的决策，而 L3 所考察的额外自主涉及学习议程：系统利用关于其当前能力、失败与学习历史的证据，来决定下一步应从什么中学习。学习随后改变后续经验获取所依赖的状态，从而把经验选择与跨轮次的持久改进连接起来。

该层级的典型回路可概括为：

观察学习器状态 −→ 选择学习经验 −→ 获取经验 −→ 更新持久状态 −→ 重塑未来经验 −→ 重复

其定义性属性是以学习器为条件的未来经验获取。关于演化中的学习器的证据必须影响“为后续学习选择、生成或寻求哪些经验”的决策，而由此产生的持久更新必须反馈到后来的获取决策中。这一决策可以由独立的课程组件实现，也可以整合进智能体的策略。一个恰好改变了所访问状态的策略更新本身，并不表明对学习议程的自主。

经验不必从零生成。从外部提供的池中反复选择材料，只要选择适应学习器并参与持续的回路，就可以体现这一机制；一次性的过滤或保留则不能。同样，目标、评估器、更新程序与支配经验选择的规则都可以由人类设计。相关的区别在于：学习器反馈是否自主地改变下一个学习议程，而无需人类在每一轮之后重新设计。持久学习可以存在于模型参数中，也可以存在于可复用的外部状态中，包括记忆与技能。

以下示例在具体改进回路中考察这一经验自主机制。图 5 展示了该反馈结构的两种代表性实现：自适应任务生成与自博弈，以及通过环境交互进行的自主练习。在判定系统总体层级时，该机制的证据应结合层级中的其他要求一并解读。

3.4.1　从工业自动化到经验自主

现代训练数据流水线自动化了许多数据操作，但仅有执行自动化并不构成经验自主。借鉴此处综述的公开记录实践 [137–140]，我们将反复出现的功能组织为六个组件：数据源准备、数据标注、数据选择、数据构建、数据混合与训练编排，以及模型反馈诊断。这些功能不必构成固定序列；它们可以在预训练、监督微调、偏好优化与强化学习之间反复出现。

图 6 以示意方式汇总了这一图景。诸如摄取、过滤与样本生成等操作，一旦其输入与验收标准被规定，就可以大规模执行 [22, 137, 139]。所综述的报告还描述了研究者定义的关于数据政策、生成与混合策略、训练阶段与实验评估的选择 [22, 138, 141]。这些选择说明了“自动化一项操作”与“委托关于后续学习议程的决策”之间的区别。

人类设计的规则并不排除 L3 特有的机制。一个固定的选择算法如果利用变化中的学习器反馈来选择后续经验，仍然可以产生自适应的学习议程。反之，一个反复生成并过滤数据的自动化流水线，并不会仅凭产生新样本就建立经验自主。决定性的证据是学习器状态、经验获取、持久学习与后续获取决策之间的闭合依赖。此处引用的流水线描述记录了大量的操作自动化，但其本身并未确立这一完整依赖 [138–140]。这一证据层面的区分并不意味着工业系统必然缺乏此类机制。

以下研究示例说明了两种反复出现的模式：自适应任务生成与自博弈，以及通过环境交互进行的自主练习。它们是互补的组织视角，而非穷尽性或互斥的类别：一个交互式智能体也可能生成自己的任务，而以学习器为条件的选择可以在任一模式内、或在一个既有数据池上运作。

表 5 按改进目标、以学习器为条件的机制与外部约束比较了代表性回路。

图 5　L3 概览：以学习器为条件的经验获取。 在人类定义的目标与评估约束下，系统利用其当前能力、失败与交互历史来决定下一步从什么中学习。上图：自适应任务生成与自博弈。任务生成器提出针对学习器弱点的训练任务，图中以处理循环边界错误的代码推理任务为例。基于执行的反馈支持持久的学习器更新，并在适用时支持对生成器的精炼。下图：通过环境交互的自主练习。智能体依据当前技能与环境观察选择一个练习目标，图中以在 Minecraft 中采集仙人掌为例，并将成功经验整合为可复用的技能库。在两种方法中，持久更新都重塑后续任务生成或练习选择，从而闭合学习与未来经验获取之间的反馈回路。

图 6　此处综述的训练数据流水线中自动化的示意性综合。 各行表示六个功能组件，圆角条表示反复出现的操作。水平位置表示从人工主导（M）、经人在回路（H）到自动化（A）的定性演进。位置与跨度是对已报告实践的诠释性综合，不是定量测量，也不是逐组织的评分。操作自动化不同于另一项要求：学习器反馈须在学习轮次之间自主重塑经验获取。

3.4.2　自适应任务生成与自博弈

训练任务的价值随学习器进步而变化。固定的任务分布并不显式跟踪这一移动中的能力前沿：熟悉的任务可能变得没有信息量，而远超当前能力的任务可能提供很少可用的学习信号。自适应生成通过使用依赖学习器的信号来估计哪些任务可能支持进一步改进，从而应对这一问题。核心挑战在于获得有信息量的信号、将其转化为有用的任务分布，并维持所得经验的有效性。

Search Self-Play（SSP）[98] 通过让提议者奖励取决于当前求解器表现，把前两项挑战连接起来。随着求解器变化，支配未来搜索问题的激励也随之变化，使课程无需人工重新设计每一批任务即可演化。Absolute Zero Reasoner（AZR）[99] 在单一模型中耦合可执行推理任务的提议与求解。其依赖求解器的可学习性奖励引导任务提议，而一个代码执行器验证所提议的任务并检查解答。这把无约束合成可能混淆的两项要求分离开来：经验必须可评估，且其难度必须对当前学习器有用。

R-Zero [103] 使用 Challenger–Solver 架构，在没有外部提供答案标签的情况下自适应生成任务。Challenger 的不确定性奖励取决于当前 Solver 多个回答之间的一致性；因此，对 Solver 的更新会改变支配后续任务的信号。这一基于一致性的量是模型感知难度的代理，而不是答案正确性或未来学习增益的直接证据。它在回路中的作用是：即便更强的正确性信号不可用，也使经验获取对学习器保持响应。

形式化领域提供了获得可靠反馈的另一条路径。STP [100] 通过联合发展一个猜想者与一个证明者，应对稀疏的证明奖励。当前证明者只能费力证明的生成猜想，为猜想者提供训练材料；而被检验的证明改进证明者。证明者不断变化的前沿因此重塑后续猜想。证明助手在形式化领域内支持正确性检查；依赖学习器的选择标准则服务于另一目的——识别有用的训练难度。

Propose, Solve, Verify（PSV）[101] 将相关机制带入经过验证的代码生成。由求解器导出的难度标签伴随用于提示新规范的示例。候选规范会接受可编译性检查，生成的解答在用于训练之前会依据其规范接受形式化检查。这些检查确立了相对于形式化规范的属性；它们并不保证规范表达了一个有用的任务，也不保证其解答会改进学习器。事实上，PSV 报告称，被标为目标为易、中、难的问题在实际实现难度上存在大量重叠，表明以难度为条件的提议提供的只是部分而非精确的课程控制。

VisPlay [142] 使用一个以图像为条件的提问者与一个推理者，将这一方法扩展到视觉—语言推理。提问者获得一个不确定性奖励，偏好多数答案置信度接近规定中点的那些问题，并附带一个多样性惩罚以抑制重复问题。随着推理者变化，其回答一致性改变未来问题生成的奖励。与 R-Zero 一样，由此产生的信号可扩展，但既可能反映歧义或不一致回答，也可能反映有生产性的难度。

在这些系统中，反馈沿两个相互关联的维度有所不同。可执行结果与形式化证明检查能够在特定任务设定内为正确性提供依据，而答案一致性在估计难度时并不独立确立正确性。适应可能存在于训练好的提议者中，也可能存在于以当前学习器测量为条件的生成提示词与选择程序中。这些选择在验证范围、反馈成本与对不完美代理的敏感性之间权衡。共同的进步在于：估计的学习价值影响未来经验获取，而持久学习在后续轮次中改变这一估计。

3.4.3　通过环境交互的自主练习

交互式智能体必须决定把下一份学习努力花在哪里。仅收集更多轨迹并不能解决这一问题：无引导的探索可能重复已掌握的行为，而固定的练习日程无法显式响应新获得的技能或持续失败。以下系统将交互反馈与未来练习目标连接起来，利用持久学习使后续经验更响应智能体不断变化的能力。

VOYAGER [84] 在 Minecraft 中将自动课程与持久可执行技能库结合起来。当前智能体状态与探索历史影响新目标，而成功行为成为后续任务的可复用技能。这把课程决策与积累的能力耦合起来：学习改变智能体可以尝试什么，进一步探索又提供可获取更多技能的经验。相关的持久性存在于外部技能中，而不要求更新底层语言模型的参数。

SIMA 2 [24] 说明了在识别这一机制时实验设置为何重要。其固定任务实验展示了从自生成轨迹中获得的改进，但本身并不确立对任务选择的自主。在完整的 ASKA 自我改进设置中，一个基于 Gemini 的任务设定者则利用下游奖励模型评估，将练习聚焦于较弱技能。由此获得的经验训练该智能体，将能力评估与后续练习分配连接起来。相关的自主属于这一耦合学习系统（包括其任务设定者），而不要求行动模型自己做出每一项课程决策。

SEAgent [61] 通过在轨迹评估与课程记忆之间建立显式连接，应对陌生软件中的练习。一个 World State Model 向 Curriculum Generator 提供轨迹判断与 GUI 状态变化的描述，后者更新一份持久的软件手册，并用它生成后续任务。Actor 从收集到的经验中学习，后续交互进一步修订手册与任务集。因此，手册把早期探索的信息带入后续实践决策，帮助课程扩展到先前探索过的操作之外。

这些系统共享一种反馈结构，但依赖不同的持久资源与判断。VOYAGER 将目标与探索历史及可复用技能连接；SIMA 2 将奖励模型评估与任务设定连接；SEAgent 维护一份不断演化的软件行为记述来引导未来任务。因此，不可靠的技能构建、不准确的奖励判断或错误的手册条目，都可能误导后续学习努力。自主交互减少了对人工规定课程的需求，同时使反馈质量与积累状态成为回路可靠性的核心。

3.4.4　评估 L3 的经验自主

经验自主与学习质量是不同的。一个系统可以控制其未来学习议程，却获取无信息量、狭窄或评估错误的经验。因此，评估应同时确立反馈机制与使用它的收益：哪一种学习器信号影响获取、通过学习了什么持久状态发生改变，以及该改变如何影响后来的获取决策。

为评估学习器条件化的贡献，有用的对照包括：将获取机制的学习器状态输入冻结在较早检查点，或用与学习器无关的日程替换自适应决策。比较应匹配对数据源与环境的访问，并使用可比的算力与交互预算，包括经验生成与评估的成本。保持所获取样本完全相同会移除所研究的分布适应本身。这些对照有助于把自适应经验获取的价值，与仅由额外训练资源带来的改进区分开来。

评估还应区分正确性、难度与学习收益。形式化或可执行检查能够在其支持的设定内确立规定属性，而一致性度量与基于模型的判断提供易错的估计。无论经过验证的正确性还是估计的难度，单凭其一都不能确立边际学习价值。在可行时，研究应将获取信号与独立有效性检查、实际任务难度及后续学习增益相比较，并考察这些关系在学习器变化时是否保持稳定。

我们用经验污染来指代有缺陷的经验或反馈扭曲后续学习与获取决策的风险。误导性的难度代理可能偏好不合适的任务；不准确的裁判可能奖励错误行为；持久记忆可能把错误假设带入未来实践。由于这些效应可以进入参数、技能、记忆或课程状态，它们可能跨轮次传播。这是反馈回路的结构性风险，而不是断言每个系统都会表现出此类放大。

因此，可信的评估应跨多轮跟踪表现、所获取经验的有效性与多样性，以及向新任务或新环境的迁移。用于引导课程的反馈必须与用于评估泛化的受保护评估区分开来：通过任务选择、奖励构建或持久记忆反复访问测试实例，会使它们成为学习过程的一部分。对于任务生成系统，评估应考察课程是否持续跟踪学习器，而不坍缩到狭窄或易于获奖励的示例上。对于交互式系统，应考察练习是否在熟悉行为之外继续获得有用技能。

发现：L3 增加了对未来学习议程的自主。 系统利用其不断演化的能力、失败或学习历史来引导下一步选择、生成或寻求哪些经验，而持久学习反馈到后来的获取决策中。人类设计的目标、评估器与学习规则可能仍然存在；经验自主关注的是在这一设定内做出的决策，其本身并不保证有用或可靠的改进。

表 5　表现出以学习器为条件的未来经验获取的代表性改进回路。 约束描述的是所讨论回路的范围，而不是独立确立系统的最高自主等级。

方法	目标	以学习器为条件的机制	外部规定的约束
自适应任务生成与自博弈
SSP [98]	搜索智能体	求解器表现塑造提议者奖励与后续搜索任务	奖励设计与训练程序
AZR [99]	推理模型	依赖求解器的可学习性奖励引导可执行任务提议	任务格式、代码执行器与更新规则
R-Zero [103]	推理模型	求解器回答一致性提供塑造 Challenger 任务的代理信号	不确定性奖励、伪标签方案与优化
STP [100]	定理证明器	接近当前证明者前沿的猜想训练猜想者	形式化领域、证明检查与训练规则
PSV [101]	编码模型	求解器导出的难度标签条件化规范生成	形式化验证器、难度方案与训练配方
VisPlay [142]	视觉—语言模型	推理者回答一致性与多样性奖励引导视觉问题	图像来源、奖励设计与优化
通过环境交互的自主练习
VOYAGER [84]	具身智能体	智能体状态与探索历史引导目标；学到的技能持久存在	Minecraft 接口、课程提示词与技能表示
SIMA 2 [24]	具身智能体	在完整 ASKA 设置中，评估反馈将练习导向较弱技能	任务设定者、奖励评分标准与训练程序
SEAgent [61]	计算机使用智能体	轨迹反馈更新一本软件手册，条件化后续任务	软件接口、评估模型与学习程序

3.5　L4：部署与环境适应中的自主

在 L4，AI 利用持续部署交互中的反馈来决定运行中的智能体应如何持久地适应。L3 关注为学习获取什么经验，而 L4 关注运行经验如何改变后续任务中使用的记忆、技能或执行组件。

图 7　L4 概览：部署与环境适应中的自主。 在人类定义的目标与部署约束下，AI 系统利用来自真实任务与变化环境的交互证据，决定经验的哪些后果应持久存在并影响未来行为。经验可以被提炼为可复用产物、用于修订智能体系统的持久组件，并依据后续评估被选择性保留。被接受的更新在后续任务中被复用，从而在部署经验与未来行为之间闭合一个持久适应回路。

被保留的改动塑造后续行为以及可用于进一步适应的反馈。目标、访问边界、受保护的评估，以及对重大发布的权威，仍由外部治理。图 7 概述了这一部署适应机制，展示交互经验如何被转化为塑造后续行为的持久改动。

该层级的典型回路可概括为：

观察部署交互 −→ 提出持久适应 −→ 修订智能体组件 −→ 验证并保留 −→ 在后续任务中复用 −→ 收集新反馈并重复

我们围绕轨迹提炼、智能体系统的迭代修订，以及更新的选择性保留与部署来组织讨论。这些机制在改变什么、改动何时被复用，以及如何确立持续有用性方面有所不同。表 6 沿这三条轴线汇总了代表性方法。

表 6　L4 适应的代表性系统、基准与分析，按本节讨论的机制分组。

方法	更新目标	时机	更新验证
轨迹提炼
Dynamic Cheatsheet [110]	演化的文本记忆	每个问题之后	任务结果引导自我策管；无留出门控
ACE [104]	增量式上下文条目	每个任务之后	有用性与有害性计数器引导编辑
ReasoningBank [85]	推理策略（文本）	每个任务之后	先由裁判标注轨迹，再抽取策略
APEX [143]	里程碑依赖图	每个回合之后	回合结果沿图中路径回传
PersonaAgent [105]	每用户人格提示词	跨用户交互	未报告单独的准入测试
PAHF [144]	用户偏好条目	请求含糊时	用户澄清确认并修订偏好
MemToolAgent [145]	工具使用批评与检索策略	工具调用之后	环境与用户反馈评估工具使用
Trace2Skill [86]	可移植技能文档	离线批处理	错误与成功分析员提出并合并补丁
PRACTICE [146]	具身技能库	离线批次	成功/失败对比与教师蒸馏
PANDO [25]	规则与例程	在线、运行中	置信度评分的准入与降级
PILOT [147]	过程与失效模式	长时程运行期间	监督者利用实时运行反馈进行蒸馏
Metis [62]	文本计划与代码工具	任务完成之后（异步）	反复复用加沙箱编译检查
Evo-Harness [148]	Harness 技能元组	任务批次之后	失败或负向评估的任务触发反思与编辑
SHAPER [111]	规划指导与上下文选择代码	跨任务轮次	沙箱执行与下游任务结果
Evo-Memory [149]	累积的智能体记忆（基准）	顺序任务流	对记忆复用的长时程评估
智能体系统的迭代修订
DecoEvo [80]	求解器与评分标准技能	迭代轮次	与分数无关的审计，并经 Pareto 校验
HarnessDev [91]	可运行的智能体 harness	迭代轮次	在隐藏任务上对候选进行冻结重放
ASPIRE [109]	模型权重或 harness	迭代轮次	除非验证分数提高，否则回滚
S3Gym [150]	历史、摘要或模型参数	迭代轮次	在无验证器结果的情况下比较更新路径
Harness Benefit [151]	Harness 更新及其使用（分析）	固定的求解—演化轮次	把更新质量与执行收益分开
更新的选择性保留与部署
HDSO [106]	候选技能包	周期性轮次	配对的对照与处理执行
Library Drift [152]	技能库条目	每轮	低贡献技能被退役；库容量设上限
Rethinking Skill Evolution [153]	技能编辑（分析）	多轮	依据跨轮任务结果过滤编辑
Tax AI [92]	产品代码与评估	发布周期	定向与回归测试，然后人工评审

3.5.1　轨迹提炼

轨迹提炼把智能体的交互历史转化为紧凑产物，使其跨会话持久存在并条件化后续任务。与原始轨迹相比，提炼后的产物更简洁、查阅成本更低，且结构便于在后续任务中复用。我们按提炼产物的形式对下列方法分组：文本经验记忆、结构化记忆、过程性技能库与可执行代码。

文本经验记忆。 这一类把提炼产物保留为自然语言段落，在后续任务中检索进提示词。Dynamic Cheatsheet [110] 使一个冻结模型能够在一系列相关问题中改进，而无需访问真实标签。它维护一份不断演化的单一笔记，记录策略、代码片段与已知陷阱；同一模型在回答每个新问题时查阅该笔记，并通过添加提炼出的教训、删除被取代的条目来进行策管。Agentic Context Engineering [104] 遵循同样的配方，同时让记忆在增长过程中保持详细与有信息量。它存储带计数器的短条目，记录每条条目是有助于还是妨碍后续任务，并以小补丁的方式添加，而不是重写整份笔记，从而避免压缩带来信息损失。ReasoningBank [85] 将该思想适配到多步智能体，并从失败中学习、其程度不亚于从成功中学习：把每条经裁判的轨迹提炼为一条简短、带标题的策略，在后续任务之前检索使用。

结构化记忆。 结构化记忆不存储自由文本，而是把经验存入显式记录或图，使复用的条件可被审查。APEX [143] 通过构建一张以任务里程碑为节点、以先决关系为边的策略图，鼓励智能体在记忆增长时探索新策略，而不是固守熟悉的例程。每个回合之后，结果沿通向它的里程碑路径回传，使图记录哪些路径曾经奏效。另一步骤会添加智能体尚未尝试的有希望的支路，智能体在规划时查阅该图，在已知良好路径与未尝试路径之间做选择。其他结构则镜像环境。例如，PersonaAgent [105] 与 PAHF [144] 围绕单个用户组织记忆。PersonaAgent 把情节记忆与语义用户记忆转化为每用户人格提示词；PAHF 则在找不到相关偏好时请用户澄清含糊请求，再把用户反馈整合进记忆并修订过时条目。MemToolAgent [145] 赋予记忆更偏过程性的角色：存储对失败工具调用的批评，并调整每次调用检索多少条目。

过程性技能库。 这一类不只描述经验，而是抽取可复用技能或标准操作程序，供后续智能体直接遵循。Trace2Skill [86] 把单条轨迹中的教训转化为其他模型与任务可复用的技能。它首先让一个冻结智能体在领域任务上展开运行。随后两个分析员角色——一个聚焦错误、一个聚焦成功——阅读轨迹并提出技能编辑，这些编辑分阶段合并为一份可移植的技能目录。由于这份汇总文档是被直接阅读，而不是在每个回合中被检索，后续智能体把它作为指令的一部分一次加载。PRACTICE [146] 把同样的离线提炼应用于具身智能体，同时让技能库在变化时保持一致，而不是无界增长：一个可训练的技能学习器提出批量编辑，用于添加、精炼、合并或删除条目。该学习器先从专家轨迹中学习基本的技能生成与库维护，再通过对比同一任务上不同执行者的成功与失败轨迹来学习失败意识，最后在自己的编辑分布上向更强的教师蒸馏。另外两种方法在执行过程中获取技能。PANDO [25] 在部署期间改进一个网页智能体：从每次运行中提炼防止重复失败的规则，以及替代多步浏览器子目标的参数化例程；PILOT [147] 则使用监督者从一次实时、长时程的运行中提炼过程与失效模式，使后续会话以积累的技能开始。

可执行产物。 从文本走向代码，这一类把经验编译为可直接调用的产物，兼得文本记忆的灵活性与可执行工具的效率。Metis [62] 通过双记忆实现这一点：一个存储计划、环境事实与陷阱的文本库，以及一个可调用工具的代码库。一个反思器维护文本条目，而一条被频繁复用的文本计划会被改写为可调用工具，只有在沙箱中编译并正确运行后才被接受。检索随后同时覆盖文本条目与工具描述。Evo-Harness [148] 把目标从单个工具扩展到整个 harness，把失败或负向评估任务中的教训编译为跨任务模式与任务特定过程。SHAPER [111] 把同样的思想应用于具身智能体：让文本规划指导与一个沙箱化 Python 函数共同演化，后者负责选择呈现给规划器的上下文。

评估协议。 这一家族的评估协议在时间跨度与何为收益上有所不同。Evo-Memory [149] 把数据集重构为顺序任务流，从而可以在长时程上测量记忆的积累与复用。PANDO [25] 则审计一次运行内的行为，报告动作重复、步骤开销与提示词缓存利用率；Metis [62] 把任务质量与执行及构造成本联系起来。

3.5.2　智能体系统的迭代修订

本节关注的不是智能体记住什么，而是修订智能体系统本身：产生解答的技能、评判解答的评分标准、运行解答的 harness，或底层的权重。定义性问题是：哪些组件可以改变，哪些验收标准在改变期间保持固定。我们把工作分为共同演化的耦合组件、测量自主系统修订的基准、固定验证器下的演化搜索，随后是对修订能否转化为收益的分析。

共同演化的组件。 共同演化同时修订两个耦合组件，这带来一个循环性问题：如果裁判与求解器一同改进，更高的分数可能反映裁判更宽松，而非解答更好。DecoEvo [80] 通过在文本空间中演化求解器技能与评分标准生成器技能，同时解耦二者的目标，并在优化期间不提供金标准评分标准，来应对这一问题。求解器技能依据标准级评分反馈更新。相比之下，评分标准生成器由两项与分数无关的审计把关：结构审计检查生成的评分标准是否覆盖任务要求，对比审计检查它能否在接近并列的回答之间做出区分，并在两者之上做 Pareto 验证。由于生成器从不见到求解器的总分，它无法通过放宽评分标准来提高自身地位。

自主修订的基准。 这一研究方向不提出新方法，而是测量当前模型究竟能否修订自己的系统。HarnessDev [91] 追问模型能否创建并改进自己的 harness——即提示词、工具回路与执行逻辑构成的模型外部脚手架。创建者智能体从最小种子与少量开发案例构建完整 harness，并依据下游反馈迭代修订。候选修订被冻结，并在隐藏任务上就成功率与执行器 token 成本评分；创建者与执行器保持分离，使不同 harness 可以在同一固定执行器下比较。ASPIRE [109] 追问模型能否仅凭一个模糊目标改进自身。它把数据、更新方法与验证信号的选择委托给智能体，覆盖权重与 harness；一个分数门控控制器会回滚任何验证分数未提高的改动。S3Gym [150] 把问题限制在经验通道上，扣留验证器结果，迫使智能体自行判断轨迹，并比较原始历史、压缩摘要与参数训练这三条改进路径。

修订收益的分析。 修订是否真正转化为收益本身就是一个问题，而一项分析发现二者常被混为一谈。《Harness Updating Is Not Harness Benefit》[151] 背后的研究区分了两种能力：产生有用的持久更新，以及在求解时利用这些更新。二者都在固定的求解—演化协议下测量，提示词与预算在多个模型骨干与三个智能体基准上保持一致。更新能力在很大程度上独立于基础模型能力：小模型的更新带来的增益可与前沿模型相当。相比之下，从更新后的 harness 中获益的能力呈非单调变化，失败集中于两种模式：相关产物未被激活，或已被激活但未被忠实遵循。一个实践推论是：能力投入应放在任务求解智能体上，而不是演化器上。

3.5.3　更新的选择性保留与部署

轨迹提炼与系统修订都以一项提议的改动告终，而本节关注哪些提议的改动成为持久状态、哪些仍可供后续任务使用。以下工作在三个时点施加这一控制：准入之前、持续使用期间，以及发布进入运行系统之时。

候选验证。 提议的更新必须产生证据，才能进入持久状态。HDSO [106] 旨在防止从含噪轨迹中提炼的技能编码虚假捷径或执行器无法遵循的规则。一个策管模型观察紧凑的执行器轨迹，提出一个带显式验证计划的假设；每个候选都通过把同一任务执行两次来检验：一次以当前已批准仓库为对照，一次以加入候选技能为处理；只有当两次运行的差异支持该假设时，候选才进入已批准仓库。比较分阶段进行，规模逐步扩大，并最终在独立任务上确认。前文轨迹提炼小节介绍的 Metis [62] 在文本计划已保留在记忆中之后施加类似的门控：一条文本计划只有在跨任务反复出现，并通过依赖与编译检查之后，才成为可执行代码。

库维护。 准入之后，注意力转向库本身的健康，因为曾经有用的技能会随着任务与模型变化而退化。Library Drift 研究 [152] 表明，无界积累会逐渐损害检索质量并阻碍进展，且往往在任务分数上显现之前就已如此。它提出包含三部分的生命周期管理。一个仅追加的证据日志跟踪每项技能对任务结果的贡献，当某项技能的实测贡献衰减时将其退役。活跃技能数量设有上限，使新技能与已有条目竞争。新技能还写在一个元技能之下，即一份指导未来技能如何撰写的存储指南。该研究表明治理选择很重要：过于激进地退役技能，比让库缺乏引导表现更差。与此同时，另一项分析 [153] 发现，仔细过滤技能编辑，而不是依据任务结果反复重写技能，能够提升任务表现。

受治理的部署。 在生产环境中，错误的更新会影响真实用户，因此需要严格门控来防止意外问题。Tax AI 部署 [92] 在生产税务准备系统内部施加这样的门控，由从业者的纠正驱动改进。纠正被记录为结构化的字段级证据，反复出现的失败被归组为评估目标。一个编码智能体调查轨迹、评估与仓库，针对定向与回归评估实现并验证修复。回路只能改变产品的有限部分，例如抽取模式、来源选择、税务引擎映射器与评分器。工程师保留关于架构与产品设计的决策。每个修复都以拉取请求的形式提交工程评审，然后才发布；智能体无法解决的案例会升级给工程师。

3.5.4　评估 L4 的部署自主

部署之后对适应拥有更大自主性，本身并不确立可靠的改进。一个 L4 系统可能保留了更新，却未表明这些更新在任务、环境或执行器变化时仍然有用。评估应把部署自主的程度与由此产生的适应过程质量区分开来。

这一层级的典型风险是持久更新失败：一项被接受的改动可能在其弱点显现之前影响许多后续决策。在不同形式的保留状态中，失败可能源于：系统从含噪证据中推断出错误的教训、把正确的教训应用到其有效范围之外、未能调用相关更新，或以牺牲先前能力为代价保留新行为 [110, 151–153]。仅凭最终任务分数无法区分这些机制。可信的评估必须把每项保留的改动与产生它的证据、它的后续使用，以及它对新任务和先前已解决任务的影响联系起来。

当前证据在部署适应能否随时间保持有效方面留下进一步的不确定性。多数评估覆盖有界任务流，以及模型、任务与环境的有限组合，而重复评估使更长期的研究成本高昂 [86, 91, 147]。反馈也可能不完整或内生于回路：结果标签可能有噪声，评估器可能随系统变化，而一个有用的保留产物仍可能未能影响执行 [80, 85, 151]。因此，L4 的评估应考察跨时间与分布偏移的适应，包括保留的改动开始改变后续行为的那一点。

L4 自主仍受周围部署过程的约束。智能体可以决定交互证据如何改变持久状态，而人类继续规定目标、访问边界、受保护的评估与发布权威。L4 应关注已部署系统内部对运行适应的自主。

发现：L4 把自主从选择经验转向决定经验的哪些后果在部署中持久存在。 智能体把交互历史转化为对记忆、技能、harness、代码或模型参数的保留改动，这些改动影响后续任务与反馈。人类保留目标、受保护的验收标准、访问边界，以及对重大发布的最终权威。

3.6　L5：从环境适应到元改进

改进过程本身可能成为瓶颈。一个编码智能体可能反复产生类似的失败补丁，因为其搜索程序丢弃了有用的备选方案。一个研究智能体可能在某个发展分数已不再预测外部表现之后，仍在优化该分数。修复这类失败需要改变指导实验与评判结果的程序。设计这些程序代价高昂：一次修订必须通过它所产生的后续改进来评估，而这往往跨越多个任务与多次重复运行 [15, 17]。

当 AI 持久地修改一个负责未来改进的机制，并在后续轮次中使用修订后的机制时，L5 便开始了。可编辑的机制可以是改进器、后继评估器、搜索策略，或指导研究的程序。L2 搜索候选干预；L3 决定获取什么经验；L4 把部署反馈纳入持久适应。L5 则进一步使支配后续改进的程序本身成为改进的对象。一个通过未改变的学习程序保留新调试技能的已部署智能体，是 L4 的例证。修订并复用那个诊断失败、构建这些技能的程序，则可能跨过 L5 的边界。

当修订后的机制返回并支配后续后继系统的生成、评估或选择时，回路便闭合。被继承的状态包括被接受的代码、提示词、评估器或研究策略，以及后续修订所使用的证据。人类设计者仍确立总体使命、受保护的评估、可编辑组件与资源权限，并可能保留否决权与部署权威。其中一些决策由固定基础设施强制执行；它们并不要求某个人批准每一次迭代。图 8 展示了早期尝试的证据如何指导对改进过程的修订，后继系统随后继承并复用该修订。

这些条件区分了结构性 L5与有效 L5：前者表明一项由 AI 主导的改动持久存在并控制后续改进轮次；后者表明修订后的机制在可比预算与独立评估下产生或选择了更好的后继系统。当负责后续修订的程序保持不变时，自我修改的任务代码提供的是不充分的证据。反之，一个演化出的后继评估器即便任务智能体代码未变，也可以确立结构性 L5。因此，分类适用于所考察的具体机制。表 7 汇总了代表性系统的回路、继承状态与外部控制。

图 8　从环境适应到递归元改进。（a）L4 在一个固定的改进过程内纳入环境反馈。（b）L5 诊断该过程的局限，修订它，并把经过验证的改动传递给后继系统。元更新可以影响后继生成、候选评估或研究控制。人类定义的使命、安全边界、受保护的评估与最终验收仍是外部约束。上升路径示意了通过继承的元更新可能取得的进展。

表 7　L5 机制与外部控制。

工作	回路闭合于	继承状态	外部控制
搜索与自我修订
STOP [15]	下一次程序搜索	改进器代码	效用；基础语言模型；预算
Gödel Agent [19]	下一次自我修订	任务代码与更新代码	任务目标；运行时访问
DGM [16]	后代搜索	智能体代码；档案	父代选择；基准
HyperAgents [93]	下一代智能体	任务代码与元智能体代码	主研究的选择；评估
后继评估
RQGM [21]	下一 epoch 的选择	评估器；智能体代码	锚点；替换日程
研究策略与 harness
A-Evolve-Training [17]	下一研究轮次	搜索策略；发现日志	章程；基准；基底
AIRA2 [154] / AAR [155]	任务实验	研究产物	研究 harness；评估
AIDE² [94]	后续研究运行	研究智能体 harness	私有分数；成本预算

注：L5 主张在正文中附有资格限定。

3.6.1　改进搜索程序

AI 修订未来候选改进如何被生成与探索。一个固定的优化器可能把预算花在无产出的提议上，即便其底层模型能够生成更好的搜索算法。挑战在于通过一个提议的优化器改进其他程序的能力来评估它。

STOP [15] 使这一问题变得可执行。其改进器是一个调用固定语言模型的 Python 程序：它生成候选代码、评估一个给定的效用函数，并返回选中的候选。当前改进器接收自己的源代码作为优化目标。后继改进器依据其在下游任务上产生的程序质量评分，被选中的改进器执行下一轮自我改进。因此，被继承的产物是一个搜索程序，它可能引入束搜索、替代采样或其他候选选择逻辑。该研究报告称，选出的第四代改进器在五个被排除于自我改进之外的迁移任务上均优于种子。任务分布、效用、基础模型与资源限制仍由外部规定。较弱模型的运行平均而言出现退化，一些生成的程序规避了软预算或利用了评估缺陷。

Gödel Agent [19] 让 AI 在一个共享 Python 程序中同时访问其任务策略与递归更新逻辑。执行反馈为一次重写提供信息，修订后的程序在下一次递归调用中运行，包括其被修改的自我更新程序。这把搜索拓宽到开发者固定编辑例程之外，也使错误可被继承：该研究报告称，100 次 MGSM 优化试验中有 14 次最终低于初始策略的表现，且不受限的运行可以调用更强的模型。因此，任务目标与执行权限仍是重要的外部控制。

Darwin Gödel Machine（DGM）[16] 保留编码智能体变体并探索其后代，但把档案管理与父代选择置于自我修改之外。其谱系提供了一个过渡案例；仅凭任务增益并不确立更好的改进程序。HyperAgents [93] 直接把任务智能体与元智能体的代码都暴露于修订。演化出的元智能体构建性能跟踪器与持久记忆来指导后续修改。在其预印本中，在论文评审与机器人任务上演化的元智能体为先前未见的数学评分生成了改进的智能体，支持改进程序本身的可迁移性。更长的 200 次迭代实验未能确立迁移初始化在最终表现上的统计显著优势。主实验中的父代选择与评估也保持固定。

3.6.2　改进后继评估

AI 改进那个决定保留哪些后继系统的评估器。反复优化会对裁判的盲点施加压力。让裁判保持不变，可能偏向利用其错误的提议。不受限制的裁判修订则造成相反的问题：相继的分数可能反映不断变化的标准。

Red Queen Gödel Machine（RQGM）[21] 通过评估器共同演化应对这一张力。其学习到的评估器在一个 epoch 内保持冻结。在预定的边界处，挑战者评估器与一个独立的地面真值锚点比较；被选中的评估器随后支配下一个 epoch。依赖被替换评估器的分数被丢弃，受影响的智能体在被重新访问时重新评估。回路向前传递改进的评估器与智能体代码，同时重置不兼容的评估记录。在留出的 Polyglot 编码任务上，预印本报告 71.7% 的通过率，而 HGM-H 为 69.9%，且搜索 token 用量更低。锚点、替换日程与编排仍由外部固定。这些控制保留了一个可用于评判评估器改动的参照；形式化的稳定性论证适用于每个冻结 epoch 之内，而不适用于目标的不受限制变化。

3.6.3　修订研究目标与策略

AI 利用积累的实验证据来修订后续研究应追求什么。当可用的代理指标在错误的瓶颈上奖励进展时，选择一个更高的目标就很困难。在模型后训练中，检验这一假设需要比较训练运行、识别失败的搜索方向，并决定是否修订研究策略本身。当一个不断变化的课程其持久选择程序也被修订并复用时，它就到达了 L5。

A-Evolve-Training [17] 提供了一个具体案例。其预印本报告了对一个 30B 模型跨四轮的自主后训练。工作者返回配方改动、检查点评估与失败；一个收集器汇总这些结果，元智能体修订下一轮的搜索策略。该策略携带一份常备配方、被提升或退役的搜索方向，以及一个不成功方法的登记表。当发展分数提高而外部收益没有相应增加时，修订后的策略引导工作者转向那些即便降低代理指标也能改进外部目标的干预。该研究报告最终排行榜分数为 0.86，而人类提交的最高分为 0.87。跨轮继承存在于研究策略与发现日志中；底层工作者基底与章程保持固定。该案例支持人类定义目标之内的策略级 L5，但未展示对该目标的自主修订。

当被继承的程序帮助暴露一个新的局限，并再次被修订以应对它时，改进的螺旋便出现了。下一个目标应识别一个可检验的能力缺口、保留既有能力，并证明进一步支出的合理性。仅凭目标修订提供的证据有限：评估必须确立修订后的策略改变了后续研究并改善了其结果。

3.6.4　产业实践

产业实现把改进过程的不同部分暴露于修订。它们与 L5 的相关性取决于保留的产物是否改变后续研究决策。

研究基础设施。 Meta 的 AIRA2 [154] 使用异步实验与隐藏的一致评估；Anthropic 的 Automated Alignment Researchers [155] 为指定的对齐失败生成并测试缓解措施。这些系统在研究设计的工作流内自动化实验执行。其报告的结果关乎研究产出，并未确立对开展研究的程序存在继承性改动。

研究智能体修订。 Weco 的 AIDE² [94] 把研究智能体应用于改进一个研究智能体 harness。候选 harness 在私有评分与固定成本预算下运行下游任务。被接受的版本保留供后续研究使用；另一项实验把演化出的 harness 安装为外层改进器。Weco 报告在 100 个无人值守步骤中有七项被接受的改进，并迁移到外部任务。而其更强的检验——演化出的智能体能否更快地改进外层搜索——未发现统计显著的效率优势。这些公司报告的结果支持有界的 harness 改进。私有评估、任务家族与成本约束仍由人类设计，而相继改进器的可靠加速仍未确立。

在这些配置中，潜在节省来自复用更好的研究程序。要证明人类开发投入减少，需要计入设计评估器、调查失败与维护演化代码所花的工作。仅凭任务表现或无人值守运行时长无法量化这一节省。

3.6.5　评估 L5 的递归改进

评估必须区分一个当前更强的智能体与一个能可靠产生更强后继系统的程序。SEA-Eval [156] 与 SEAGym [157] 贡献了基于轨迹的评估：跨轮表现、留出迁移、保留与资源使用。表 8 汇总了这些测量，以及 L5 所需的额外机制检验。

机制审计应识别被修订的产物、记录促成它的证据，并验证它在后续改进轮次中被调用。为确立有效性，原始机制与修订机制应在匹配预算下、从可比的智能体与证据出发，包括评估机制的成本。在迁移测试期间固定修订后的机制，有助于隔离它究竟学到了关于改进的什么。HyperAgents [93] 使用这一设计，把可迁移的智能体生成能力与原始任务上的表现区分开来。

目标选择需要互补的评估。

自适应前沿任务可以检验系统是否识别出有用的下一个挑战；受保护的参考任务保持可比性，并暴露遗忘或奖励黑客行为。带有先前未公开规则的私有任务，会加强对熟悉分布之外发现能力的检验。评估还应记录系统是否在预期收益低于成本或风险时停止。这些是评估更完整 L5 自主所提出的要求，而不是现有 RSI 基准已经确立的能力。

表 8　评估递归改进。

维度	测量	目的
适应性	增益；改进轨迹；到达目标的时间 [156, 157]	检测进展与平台期
保留	重放损失；任务是否被固定或破坏 [157]	检测被取代的能力
迁移	领域内与跨领域的留出增益 [157]	检验在更新任务之外的可复用性
效率	token；时间；每单位验证增益的成本 [156, 157]	计入改进开销
稳定性	有害更新；最大临时下降 [156, 157]	暴露不可靠的轨迹
元递归	机制复用；后继质量 [15, 21, 93]；目标与停止决策	检验被继承的改进能力

注：轨迹类测量综合了所引基准。元递归一行加入了我们的 L5 检验：所引系统示证了机制复用与改进能力；目标选择与停止仍是评估要求。

当前结果支持有界的元改进：对改进器、评估器或研究策略的被接受改动可以支配后续轮次，且一些改动可跨任务迁移 [15, 21, 93]。在可比资源下跨代际的统计可靠积累仍然开放 [93, 94]。实践目标是提高每单位计算与人类努力所换取的验证改进。强大的基础模型、执行基础设施与独立评估，继续提供这种改进得以发生的资源与约束。

发现：L5 使改进程序可被继承。 回路通过复用修订后的改进器、评估器或研究策略而闭合。后继系统继承该程序及其支持证据；人类保留总体目标、受保护的验收标准与资源权威。

3.7　跨层综合

在 B0–L5 之间，自主等级层级可以理解为对改进回路责任的逐步转移。各层级的区别主要不在于被优化的特定算法或产物，而在于哪些改进决策被 AI 系统内化、什么状态持久进入后续轮次，以及哪些验收条件仍受外部保护。

因此，相邻层级之间的核心边界可以简洁陈述。从 B0 到 L1 的转变是持久性：被接受的改动必须存活于当前任务之外。L1 到 L2 转移的是策略选择：AI 决定尝试哪种干预，而不仅是执行一项规定的干预。L2 到 L3 增加了对未来学习议程的控制，使演化中的学习器影响下一步获取什么经验。L3 到 L4 把这一反馈过程扩展到持久部署与环境交互，其中系统改动必须在变化的运行条件下保持有用。L4 到 L5 最终引入递归继承：负责后续改进的机制本身成为被继承的改进目标。

重要的是，更高的自主等级本身并不意味更好的改进过程。更大的被委托权威可以与低效搜索、不可靠反馈、退化、评估器利用或糟糕迁移共存。因此，我们把 AI 内化的改进责任范围与由此产生的改进质量及效率区分开来。在此综述的证据中，较低与中间层级得到相对广泛系统的支持，而 L3–L4 能力仍更依赖领域，端到端的 L5 证据集中于有界原型以及新兴的产业或研究系统。这一区分促成了下一节的应用特定分析。

图 9　不同应用体制的主要差异在于验证并继承一项改进所需的反馈类型。

4　跨应用的 RSI

在 B0–L5 分类法的基础上，本节概述递归自我改进如何在四种领域特定的反馈体制下被实例化，包括科学、具身智能、软件工程与医疗健康。在这些体制中，对外部产物的反复精炼并不充分：反馈必须产生对 AI 系统的持久改变，并在后续任务中被复用。因此，当前证据对有界、组件级的改进最强，而改进机制本身的适应仍然罕见。关于各应用中不断演化的组件、支持证据与其余局限的详细综述见附录 ??。

4.1　S1：面向科学的 RSI

科学是 RSI 的一个重要场景，因为进展不仅取决于解决单个问题，还取决于改进未来假设如何被生成、检验与修订。其特征回路利用实验证据或证伪来更新 AI4Sci 系统：研究智能体提出假设、执行计算或物理实验、归因观察到的结果，并保留对生成策略、工具、技能、记忆或脚手架的验证改动。例如，HypoForge [158] 把批评与执行结果提炼为用于假设生成与检验的可复用技能。Test-Time Tool Evolution [159] 合成并验证可复用的可执行科学工具，而 DrugSAGE [160] 跨任务迁移经过验证的建模程序与错误恢复策略。SIA [161] 把可编辑表面扩展到智能体脚手架、工具、搜索逻辑与模型权重。这些系统展示了科学智能体组件的持久改进，但其评估器、更新选择规则与晋升标准在很大程度上仍然固定；因此，仅改进一个分子、方程或假设仍只是 RSI 的邻近情形，而不是科学智能体改进了自身的证据。

4.2　S2：面向具身智能的 RSI

具身智能把改进扎根于物理交互与因果反馈。一个具身 RSI 回路选择或生成经验、执行策略、评估产生的轨迹，并把验证过的更新提交到后续交互中使用的策略、世界模型、技能库、harness 或课程。POET [65] 让环境与智能体共同演化，使新生成的挑战暴露并扩展当前能力。Voyager [84] 把成功行为转化为可执行技能库，以支持后续探索，而 World-VLA-Loop [162] 在依据策略失败改进世界模型与在精炼后的模型中优化策略之间交替。这些工作共同超越了回合内纠正，走向持久的智能体—环境共同适应。然而，具身经验内生于当前策略，失败难以在感知、规划、控制与硬件之间归因，真实世界试验成本高昂且重置不安全。因此，多数已报告的回路依赖仿真或外部规定的奖励、评估器、接口与安全约束，使具身改进器的自主真实世界验证与演化仍未解决。

4.3　S3：面向软件工程的 RSI

软件工程提供了异常直接的反馈，因为所开发的产物与编码智能体都可以作为代码被表示、执行、版本化与回滚。其 RSI 回路从开发挑战走向智能体级修改、基于仓库的执行、感知回归的选择与版本化继承。SWE-Exp [60] 从成功与失败的 issue 解决轨迹中抽取教训，供跨仓库复用。Self-Harness [23] 利用执行轨迹提出对自身 harness 的修改，并且只有在回归测试之后才保留它们。Darwin Gödel Machine [16] 通过维护自我修改编码智能体的谱系、并依据可执行任务表现选择变体来拓宽这一过程，从而使被接受的后代成为进一步改进的起点。这些系统提供了关于持久的源码级、harness 级与经验级演化的一些最清晰证据。然而，仓库测试是用户意图、安全性、可维护性与后代质量的不完整代理；基准、效用函数、沙箱与选择规则也仍由外部定义。因此，软件工程 RSI 相对可审计，但仍受固定的外层改进契约约束。

4.4　S4：面向医疗健康的 RSI

医疗健康要求 RSI 扎根于来自专家、临床指南、诊断证据与患者结果的纵向反馈。一个临床 RSI 回路执行任务、获得经过验证的反馈、更新记忆、推理策略、工具集或工作流等持久组件，并在后续病例中复用被批准的更新。Agent Hospital 中的 MedAgent-Zero [163] 存储成功病例，并从失败中推导可复用的诊断规则。EvoClinician [164] 使用过程级评分来修订智能体获取与整合诊断证据的方式，而 MACRO [165] 把经过验证的医学影像轨迹组合为可复用工具。HealthFlow [166] 同样保留从已完成的健康数据分析中验证的防护措施、工作流与代码。这些方法表明临床经验如何改进未来智能体行为，而不一定改变基础模型权重。然而，其证据仍以模拟或回顾性设定为主，而真实结果延迟、异质且混杂。因此，持久的临床更新必须保持来源可追溯、人群特定、前瞻监测、可逆，并接受专家与机构批准；临床改进器的自主演化尚未确立。

5　产业图景与初步实践

5.1　Theseus：面向 RSI 智能的环境—数据—模型共同演化

Theseus 把环境—数据—模型共同演化定位为通向下一代 RSI 智能的路径。其核心前提是：环境使知识可被访问、使行动可被验证；任务执行产生用于学习的证据；改进的模型扩展可被探索的问题范围。在这一愿景下，每一轮工作都应向后续轮次贡献可复用能力，使真实世界实践成为智能增长的持续来源。

如图 10 所示，Theseus 通过四个步骤实现这一愿景。第一，把精炼经验转化为环境精炼任务，以训练一个环境精炼模型。第二，智能体使用重建的环境识别真实的任务求解困难，并生成有针对性的训练数据。第三，这些数据训练任务模型以提升其能力。第四，更强的模型支持进一步的环境迭代与更多任务的生成。后续轮次既产生新的任务训练数据，也产生新的环境精炼经验，从而把求解任务的进展与构建未来学习条件的进展联系起来。

表 9　Theseus 环境阶段的早期工作区实验。（a）干净环境与噪声环境试点：八种前沿模型—harness 配置在 30 个工作区任务、1,280 条评分标准上的通过率（%），比较干净工作区与充满噪声的工作区。（b）生产力研究：五种固定 harness—模型配对在 30 个任务、547 条评分标准上的评分，比较裸工作区与重建环境（由 Collection Map 与 Event Log 组成的共享包）；“Env. tasks”报告任务层面的胜/平/负，“Rubric flips”统计从失败变为通过和从通过变为失败的评分标准数。

（a）干净环境与噪声环境试点——干净 vs. 噪声工作区

模型	Harness	干净	噪声	∆（百分点）
DeepSeek-V4-Pro	DSH	98.2	46.6	+51.6
DeepSeek-V4-Flash	DSH	90.1	63.7	+26.4
GPT-5.6-Sol	Codex	89.1	54.1	+35.1
GLM-5.3	ClaudeCode	88.8	57.2	+31.6
Kimi-K3	ClaudeCode	87.6	53.7	+33.9
Grok-4.6	ClaudeCode	84.7	63.0	+21.7
GPT-5.6-Luna	Codex	84.6	38.1	+46.5
Muse-Spark-1.2	ClaudeCode	84.5	53.3	+31.2

（b）生产力—工作区研究——裸环境 vs. 重建环境

Harness	模型	裸环境	重建环境	∆（百分点）	Env. tasks	Rubric flips
Codex CLI	GPT-5.6-Sol	60.51%	92.50%	+31.99	24/3/3	190/15
Codex CLI	DeepSeek-V4-Flash	54.30%	84.83%	+30.53	24/3/3	201/34
Claude Code	DeepSeek-V4-Flash	61.06%	79.71%	+18.65	23/2/5	140/38
PI	DeepSeek-V4-Flash	62.52%	89.03%	+26.51	22/6/2	155/10
PI	GPT-5.6-Sol	50.27%	89.95%	+39.67	23/2/5	240/23

图 10　Theseus 提出的四阶段共同演化回路： 重建环境、揭示真实能力缺口并生成训练数据、训练任务模型，以及迭代环境以产生更多任务。上方回路从精炼经验与生成任务中学习一个环境精炼模型，而相继的迭代为进一步精炼提供新经验。

早期结果为这一方向在回路的工作区阶段提供了初步的实证基础。一项试点使用八种前沿模型—harness 配置，在 30 个改编自 Workspace-Bench [167] 的工作区任务上运行，并由 1,280 条评分标准评分，首先测量了对工作区质量的敏感性：相对于充满噪声的工作区，干净工作区使全部八种配置的通过率提高 21.7–51.6 个百分点（表 9a），表明工作区状态本身、而非仅模型能力，就可能限制智能体表现。在这一观察的基础上，后续的生产力研究追问：在保持底层模型与 harness 固定的情况下，丰富环境能否提升任务表现。五种固定模型—harness 配对在裸工作区与由 Collection Map 和 Event Log 构成的重建环境下求解 30 个任务，合计由 547 条评分标准评分；重建环境使全部被测配置的总评分提高 18.65–39.67 个百分点（表 9b），尽管少数任务出现了范围蔓延式退化，即智能体产生了超出任务要求的更广泛改动。团队还完成了可复用文件验证模块的训练。这些早期结果标志着共同演化回路的最初几步，相继轮次将把环境重建、数据生成与模型训练扩展为持续复利式改进的循环。

5.2　Lark：为企业级可靠 RSI 构建数据基础

图 11 汇总了 Lark 的数据基础回路。Lark 从一项常被忽视的前提切入 RSI：在智能体能够改进自身之前，它需要一个持续演化的数据基底，使改进得以扎根。在企业协作中，文档、消息、会议与任务持续产生新信息，而智能体消费这些数据并产生新的交互轨迹。因此，Lark 把数据生产、质量评估与失败归因视为其 RSI 流水线的基础。关键目标不仅是积累更多数据，而是确保每次迭代都有可学习的新鲜经验、判断进展的可靠标准，以及足够细粒度的诊断来确定应当改变什么。

图 11　Lark 面向 RSI 的数据基础回路。 协作数据被持续结构化、评估并精炼为高质量知识与训练信号，而真实世界的智能体使用又把新证据反馈进后续改进周期。

企业知识图谱。 一个代表性例子是企业知识图谱的构建与持续精炼。散落在文档、消息与会议记录中的信息被连接为实体、事件、人物与时间关系，使智能体能够回答需要跨来源推理的问题。由于图谱错误会直接传播到下游回答，图谱构建本身被视为一个迭代的数据质量问题。Lark 通过批量图谱构建与委托式授权检查来解决可扩展性，同时持续评估基于图谱的检索是否改善下游问答。在内部评估中，它报告相对于基于 RAG 的基线，使用其基于图谱的流水线时，人工评定的任务可用性从 52% 提升到 65%，自动评估的可用性从 47% 提升到 56%。

自动化数据质量评估。 另一个例子是一个自动化数据质量评估系统，它充当后续改进的测量层。Lark 并不完全依赖昂贵且不一致的人工评审，而是先施加绝对判断以识别明显不可用的输出，再使用比较式 GSB 评估来决定是否应晋升一个新的系统变体。重要的是，评估与显式的失败归因相耦合。坏案例被归类为具体问题（例如时间不一致、查询失真或来源质量差），使每个失败都映射到一个具体的改进方向。例如，时间敏感的问题通过查询时过滤加以约束，以避免使用未来信息；低质量的合成查询在重新进入评估流水线之前被重写。初始自动评估器与人工判断达到约 84% 的一致率，其中多数分歧源于自动评估器比人工评审更严格，这为后续校准提供了具体信号。

从 RSI 的视角看，这些试验的意义在于它们为未来智能体改进所创造的反馈结构。企业活动持续产生新的图谱数据与交互轨迹，自动评估决定哪些输出与数据可靠，错误归因识别流水线在何处失败，而被纠正的数据与评估标准随后成为后续迭代的输入。由此形成的循环把生产数据从一种被动资源转变为不断演化的改进基底。与此同时，Lark 当前的做法仍有意保持人工门控：智能体承担大部分重复性的数据处理与评估，而人类保留定义标准、评审关键样本与批准重要改动的责任。

5.3　小红书：面向推荐的双时间尺度 RSI

小红书的商业化推荐系统通过一个 Intent-Memory Agent（IMA）探索反馈驱动的自我改进。IMA 不把用户理解视为一次性的历史行为推断，而是把反馈解读、记忆更新、经验检索、需求推理与推荐连接为一个持续循环。后续的点击、停留时长、收藏、搜索、转化与负反馈不仅作为新的行为输入，也作为检验先前对用户状态与意图估计的观察。这些观察指导记忆的添加、强化、替换或衰减，以及忽略无信息量证据的决策。因此，持久改进的目标是用于未来推荐的用户表示，而不仅是当前推荐输出。

结构化记忆与经验复用。 IMA 把其中间状态组织为三个语义层：Content，描述内容主题；Who，表示用户状态；Need，指明推断出的需求。这些层也组织知识库的存储与检索，使历史经验可以通过内容相似性、用户状态相似性或需求相似性被召回。这种分解旨在减少因在单一标题表示中混合不同语义因素而造成的检索错误。它也使后续反馈能够纠正特定的状态变量，而不是不加区分地重写整个用户画像。

快速适应与较慢的能力固化。 系统结合两个互补的改进循环。在用户层面，实时反馈更新记忆，以适应变化的兴趣与临时需求。在系统层面，从在线交互中收集的高价值困难案例经历自动评判、人工抽查、规则纠正与训练数据重建。由此产生的样本支持对 IMA 的后训练更新，更新后的智能体返回推荐流水线。长尾经验因此可以通过知识库立即可用，而反复得到验证的模式逐步固化为模型参数。这种双时间尺度设计把快速的、非参数的适应与更持久的模型级学习连接起来。

图 12　小红书面向推荐的双时间尺度 RSI 回路。 Intent-Memory Agent（IMA）利用在线行为反馈更新结构化用户记忆并指导后续推荐。在较慢的时间尺度上，困难案例经历自动评判、人工抽查与数据重建，支持后训练更新，把经过验证的经验固化为智能体参数后再重新部署。

表 10　小红书在线基线与 RSI 模型的性能比较。

模块	指标	A：在线基线	B：RSI 模型	提升
Discovery Feed	score_mean@16	2.211	2.366	+7.0%
Discovery Feed	score_median@16	1.587	1.663	+4.8%
In-video Feed	score_mean@16	1.537（n = 470）	1.739（n = 447）	≈+13.1%*

报告观察。 在公司提供的比较中，Discovery Feed 的 score_mean@16 从 2.211 增至 2.366，报告提升 7.0%；score_median@16 从 1.587 增至 1.663，即 4.8%。对于视频内信息流，score_mean@16 从 1.537 增至 1.739，约 13.1%。后一结果来自一个小规模离线评估，包含 470 个基线样本与 447 个 RSI 模型样本。这些发现应被解读为初步的、公司报告的排序分数提升；所提供的材料并未确立点击率或转化率的相应增益。

该案例展示了一种产业 RSI 模式：推荐结果成为修订“产生后续推荐之系统”的证据。在线反馈纠正持久用户记忆，而经过评审的困难案例通过后训练改进后续智能体版本。其实践贡献在于把即时状态纠正、结构化经验复用与较长期的能力固化耦合起来，同时在训练数据精炼过程中保留人工检查。

5.4　Humanlaya：面向数据质量保证的交付驱动 RSI

Humanlaya 为基础模型开发者提供训练与评估数据，其生产工作流围绕复杂的多文件任务包展开，任务包由任务描述、输入附件、参考答案、评分标准，以及可执行或过程性的验证要求组成。在此类设定中，质量失败往往很细微：单个产物孤立看可能正确，却与任务规范、评分逻辑或下游评估协议不一致。随着任务类型与客户需求演化，反复修复单个缺陷样本并不充分，质量控制体系本身必须从反复出现的失败中学习。因此，Humanlaya 把其数据质量智能体及相关的规则、提示词、少样本示例与技能视为持久改进目标，包括一个内循环与一个外循环，如图 13 所示。

图 13　Humanlaya 面向数据质量保证的交付驱动 RSI 回路。

以数据为中心的内循环。 内循环在当前交付批次内运行，聚焦于修复正在产生的数据。每个任务包首先经过 Quality Checker，检查内容质量与跨组件一致性；随后由 Refiner 修复已确认的缺陷；最后由 Delivery Checker 验证格式、结构与交付约束。未通过的检查会在交付前触发反复的定位、修订与再验证。例如，如果若干可独立评分的结果被错误地合并为一条粗糙的评分标准条目，检查器可能判定该标准不够原子化，并在接受任务包之前要求重构。这个循环改进当前产物，但其本身并不构成持久的系统改进。

以改进为中心的外循环。 外循环跨交付批次运行，是核心 RSI 机制。交付之后，系统汇总内部评审、客户反馈与下游使用等证据。一个智能体分析这些案例中的反复原因，并对质量控制体系提出带版本的修改，包括 Refiner 指令、提示词、少样本示例与可复用技能等组件。候选更新会在不参与产生该修改的任务包上接受评估，并另外经过人工评审后才晋升。

一旦获批，新的质量系统版本便取代先前版本，并用于后续生产批次。新任务随后产生新证据，再次进入下一个改进周期。

一个代表性案例涉及一份三页的扫描 PDF，抽取工具无法解析它，导致 Quality Checker 把该附件标记为不可用。人工评审显示扫描本身清晰，错误来自把抽取失败与文档质量差混为一谈。因此，系统生成一条新的决策规则与少样本示例来区分这两种情况。经过留出验证与人工评审后，该更新被纳入下一个系统版本，并在未来任务中复用。内循环修复当前任务包，而外循环更新用于检查和修复未来任务包的方法。因此，Humanlaya 代表了由生产反馈驱动的一种实践性的脚手架级 RSI。

实测改进。 Humanlaya 报告了经过四次反馈驱动更新后 V0 与 V4 的内部比较。使用相同的基础模型、工具与处理预算，两个版本在 600 个未参与更新过程的任务包上评估。自动修复后含有关键缺陷的任务包比例从 9.0% 降至 3.7%，而每任务的平均人工处理时间从 48 分钟降至 27 分钟。

在当前阶段，当模型能力仍在快速进步时，有些任务尚不能被智能体完全自主完成。因此，Humanlaya 提供了一个把 RSI 与人类监督相结合的实践范例：智能体执行大部分自我改进过程，而人类在关键阶段提供部分地面真值、评审与最终批准，而不是放任一个不受约束的自我改进回路。

5.5　ModelBest：零人类工业级 AI 工程

ModelBest 旨在通过自动化 AI 工程来推进 RSI，其前提是 AI 工程很可能比开放式 AI 研究更早实现自主。工程任务（例如实现训练框架、优化内核、配置并行、运行基准）需要大量人力，却通过执行提供相对廉价、客观的反馈。为此，为了在无人类干预的情况下产出可用于生产的实现，ModelBest 提出 Forge Engineering：一种端到端范式，AI 系统以目标模型、硬件平台与并行化要求为输入，然后从一个初始为空的代码库开始构建、测试并精炼实现。图 14 展示了其项目内优化与跨项目经验复用如何构成一个两级回路。

图 14　ModelBest：作为两级 RSI 回路的 Forge Engineering。

工业 RSI 回路。 在目标场景内，系统把受约束的架构设计与自主的低层优化结合起来。人类与 AI 共同维护一个包含规格、评估标准与积累工程经验的知识库。智能体首先利用这些知识建立合理的高层架构并约束搜索空间。随后一个 AutoResearch 回路反复生成实现、测量正确性与性能、诊断失败并修复瓶颈。成功的优化，包括 GEMM 与 FlashAttention 等内核，被逐步整合进主执行路径。这一设计保持全局架构约束稳定，同时允许实现层面激进的自主优化。

跨场景时，成功与失败的工程经验被写回共享知识库。来自一个项目的性能测量、有效优化策略、参考实现与失败规则成为后续项目的起始知识。因此，同一工程程序可以跨不同模型、硬件平台与工作负载复用。ModelBest 报告称已将该范式应用于预训练框架、算子库、强化学习基础设施、推理引擎、微调、压缩、量化，以及多个硬件生态上的边缘部署。

实测改进。 从一个空目录连同参考脚本与模型规格出发，ForgeTrain [168] 在约 8 小时内生成了一个在 H100 上与 Megatron-LM v0.15 相当的预训练框架，并据报告在 1.5–2.5 天内超越它；相比之下，可比的人工开发估计需要 3–5 名工程师工作 6–12 个月。报告的模型 FLOPs 利用率在 MiniCPM4-0.5B 上从 40.1% 提升到 44.1%，在 8B 模型上从 47.0% 提升到 50.9%。ForgeStencil [169] 把同样的方法扩展到科学计算内核，公司报告相对公开的最先进实现取得 1.15–1.9× 加速，以及中位数 1.41× 的端到端加速。

5.6　腾讯混元：经验驱动的自我改进

腾讯混元的 Hyra（Hunyuan Research Agent）在面向性能的研究与工程任务中探索 RSI。图 15 概述了其经验驱动的搜索回路。其设计遵循一种刻意轻量的哲学：不编码日益繁复的人工设计工作流，而是给智能体一个宽广的解空间，并反复利用实验证据来指导后续搜索。给定一个任务，系统持续探索，直到它决定终止或耗尽资源预算，然后返回过程中发现的最佳解。

图 15　腾讯混元 Hyra 中的经验驱动自我改进。 一个 Context Agent 组织先前的经验以指导并行的方案提议；这些方案在隔离环境中执行并接受评估。产生的代码、执行日志与评估反馈被保留在 Experience Bank 中，以指导后续探索，并在需要时支持评估器精炼。

一个核心组件是 Experience Bank，它保留了比传统文本记忆丰富得多的状态（例如先前的方案代码、生成的产物、执行日志、分数与评估器反馈）。一个 Context Agent 把这些证据重组为多样的灵感上下文，而多个 Proposal Agent 异步消费这些上下文，构造新方案并在全新的隔离沙箱中执行它们。产生的产物与评估结果被写回 Experience Bank，使后续提议能够直接复用、组合或规避早期尝试中发现的模式。

Hyra 进一步把这一思想扩展到评估本身。对于开放式任务，当初始评估器不完整或变得可被利用时，积累的搜索经验可用于修订评估机制——例如提高其粒度、强化比较基线，或封堵奖励黑客漏洞——然后在改进后的标准下继续后续搜索。这与 RSI 尤为相关，因为持久更新不再局限于更好的解：决定未来哪些解被视为改进的机制本身也可以改变。

实测改进。 如表 11 所示，发布的配套产物报告了在 AI-for-AI 与 AI-for-Science 任务上的改进。例如，Hyra 在 nanochat AutoResearch [170] 上报告验证 BPB 为 0.9015，而所引先前最佳为 0.9109；在 nanoGPT Speedrun [171] 上为 76.4 s，而对比值为 77.5 s；在 SOL-ExecBench [172] 上为 0.771，而对比值为 0.754。作为一项产业 RSI 实践，Hyra 凸显了保留可执行经验、而不只是最终答案的价值。

表 11　Recursive 与 hyra-1.0 在 AI 研发基准上的比较。

基准	任务	指标	Recursive	hyra-1.0
NanoChat Autoresearch [170]	模型训练	验证 BPB ↓	0.9109	0.9015
NanoGPT Speedrun [171]	模型训练加速	达到 3.28 损失的时间 ↓	77.5 s	76.4 s
SOL-ExecBench [172]	GPU 内核优化	平均 SOL ↑	0.754	0.771†

5.7　Agent-Native Research Lab：面向 RSI 的可验证研究基础设施

实现持续的递归自我改进不仅需要日益自主的研究智能体，还需要一套基础设施，使研究经验能够被可靠记录、验证、继承并跨代复用。Agent-Native Research Lab 聚焦于这一基础设施层，图 16 对其作了概述。

图 16　Agent-Native Research Lab 面向可验证工程发现的智能体原生 RSI 回路， 整合引导式探索、确定性验证、知识继承与下一代学习，以支持跨研究周期的持久改进。

• （1）以人为中心 vs. 智能体原生研究产物。 传统科学论文为人类交流而设计，会丢弃自主智能体继续先前工作所需的大量运行状态（例如失败的实验、中间证据、可执行规格与实现细节）。对 RSI 而言，这种信息损失直接削弱跨代知识积累。

  为解决这一问题，他们提出 Agent-Native Research Artifact（ARA），作为传统科学文档的可执行替代。ARA 同时保留形式化科学逻辑、可执行代码与规格、成功与放弃分支的探索图，以及原始实证证据。后继智能体因此不必只继承一份打磨过的最终叙述，而可以检查一个结果是怎样获得的、哪些备选方案失败了、以及实际使用了哪些假设或参数。报告的评估显示，使用 ARA 时问答准确率为 93.7%，而使用传统论文为 72.4%；同时 RE-Bench 复现成功率从 57.4% 提升到 64.4%。因此，重要的 RSI 贡献不仅在于更好的文档，而在于为后续研究周期提供更丰富的继承基底。

• （2）研究主张的确定性验证。 此外，当自主智能体以机器速度生成实验与主张时，验证而非生成成为主要瓶颈。其 rit 协议把实证主张直接锚定到执行轨迹，从日志中重新抽取所报告的结果；而分析性主张可以通过 Lean 4 等形式化验证系统检查。只有通过这些机器可验证门控的主张才被接纳进共享研究状态。这防止幻觉或错误报告的结果被后代递归继承并放大。他们还用认识论进展指导与源自人类科学推理的结构化先验，来增强稀疏的结果优化。不是只奖励最终基准分数，智能体被鼓励偏好那些减少不确定性、揭示问题中有用结构的实验。这意在提高大假设空间中的研究效率，因为在那种空间里，朴素的爬山法可能反复利用熟悉的参数而不产生更深的理解。

实测改进。 这些思想在硅设计中得到实例化，那里的反馈回路异常快速且确定。自主智能体生成可综合的 SystemVerilog、构建测试平台并提出微架构修改；随后使用工业 EDA 工具对候选进行综合、布局布线、时序分析与形式等价评估。无效设计被自动过滤，而经过验证的实现、执行轨迹、失败分支与更优的功耗—性能—面积轨迹被保留为后续世代的训练与研究证据。在 Chip-Bench 上，他们报告 Level-3 CPU 优化分数为 5.8416，在相同模型基础上比标准智能体基线快 2.7%、面积小 21.5%，同时通过全部 97 项定向测试与 350 个随机差分程序。

5.8　Frontis.AI：企业智能体演化与跨任务元改进

Frontis Horizon 提供企业自有基础设施，用于改进专家智能体以及改进它们的方法。其 ME–WE–MA 架构把人机交互、上下文记忆与发布批准（ME）；由 300 多个异构专家智能体跨财务、法务、工程与人力资源执行任务（WE）；以及智能体构建、评估与持续演化（MA）分离开来。核心目标是使改进经验可跨任务复用，而不是让它孤立在单个智能体内部。

图 17　Frontis Horizon 的 ME–WE–MA 架构，把专家智能体演化与跨任务元改进同共享评估及人工批准的发布结合起来。

扎根业务的专家演化。 该平台的 Benchmark OS 把企业任务、可复现环境与验证器组织为共享评估基础设施。优先使用程序化检查，而语义质量由与被评估智能体隔离的模型裁判评估。给定运行反馈，MA 把失败归因于路由、执行机制或专家能力，界定有界的改进目标与验收标准，并在修改提示词、技能、工具或 harness 之前获得人工确认。候选版本通过三道门控与前任比较：回归安全性、目标达成与异常场景下的鲁棒性。获批更新带着支持审计与回滚的带版本测试报告返回生产。

跨任务元改进。 除了改进单个专家，平台还保留每个改进回合的问题上下文、诊断理由、候选修改、验证结果与适用条件。智能体特定经验支持后续版本，而可迁移的教训为新任务上 MA 的诊断与改进策略提供信息。迁移需要适应与再验证：例如，一条关于优先使用实时证据的教训，仍然需要识别权威来源及其在接收任务中的时间有效性。这区分了学习执行一项业务任务与学习如何更有效地改进智能体。

报告结果。 在两个月内，Frontis 报告启动了 216 项改进任务，涉及 117 个专家智能体，其中 63 个完成了至少一个完整的演化周期。在使用同一评估器评估的 76 个可比任务上，平均分数从 5.25 提高到 5.87，每个已完成周期的中位机器处理时间为 27.8 分钟。另外，在从 100 多个任务中积累元演化经验之后，该公司报告在先前未见的内部测试任务上，演化速度相对没有跨任务经验的流程约快 20%。其评估协议通过比较相同的初始智能体版本、并追踪迭代次数、时间、token 消耗与回归，把专家表现与改进效率区分开来。这些发现仍属公司报告的证据，而非独立复现。

在模型权重中学习改进。 Frontis-MA1 另外探索把改进能力训练进一个 35B 模型。所提供的报告记录了在固定 harness 下 MLE-Bench Lite 分数从 39.39% 提升到 60.61%，加上额外搜索后达到 71.21%。这些结果涉及机器学习与深度学习工程；把该方法扩展到直接从平台的企业智能体演化轨迹中学习，仍是未来工作。

该案例展示了一种实践性的 RSI 模式：不仅保留被改进的智能体，也保留关于如何改进它们的经过验证的知识。共享评估基础设施、上下文敏感的经验迁移、带版本的更新与人工控制的发布，为这种积累提供了治理框架。

6　挑战与未来方向

前面各章展示了在改进执行、策略选择、经验获取、部署适应与改进机制修订等方面的自动化进展。它们也确立了一点：更大的自主性、持久的能力增益与更有效的改进过程是彼此不同的性质。因此，促成本综述的三个瓶颈仍只得到部分解决：基础模型开发需要大量资源与协调；可扩展学习依赖于有用的经验与可靠的验证；已部署系统需要持续投入来诊断、验证并发布更新。在自主等级层级、四种应用体制与上述产业实践的基础上，我们提出八个研究方向，以把这些局部进展连接为持续的递归改进。

跨组件诊断与协同改进。 从 L1 到 L2 的转变暴露出一个诊断问题：观察到的失败很少能指出应当改变哪个组件。一个错误答案可能源于有缺陷的源数据、缺失的上下文、工具接口、模型或评估器。5.4 节的 Humanlaya 案例使这种模糊性变得具体：一次抽取失败最初被当作文档质量差的证据，而恰当的干预其实关乎质量检查器的决策规则。在科学与具身智能中，同样的问题延伸到实验协议、感知、控制与环境条件。当多个组件同时适应时，改变一个组件还可能使另一个组件所依赖的假设失效。

未来系统应把诊断转化为可检验的干预假设，并使用受控比较来估计单项效应与交互效应。选择性冻结组件、定向消融与显式的依赖记录，有助于区分一次有用的修复与对上游缺陷的补偿。协同搜索随后应在约束变化时把投入分配到数据、模型、harness 与环境上。5.1 节 Theseus 的工作区研究表明，把环境改进与任务模型的改动分离开来十分重要；所报告的是组件级增益，完整学习回路仍待确立。研究目标是识别哪种干预能改进整体系统、在什么条件下改进，以及由此获得的知识是否指导后续改进决策。

以学习器为条件的经验获取与可靠的学习信号。 L3 的分析区分了经验的三种性质：它是否有效、它对当前学习器有多难，以及从中学习是否产生持久收益。AZR 在依赖学习器的任务提议之外使用可执行检查，而 R-Zero 用求解器一致性作为难度的代理 [99, 103]。正确性与估计难度单独都不足以确立学习价值。自适应课程可能反复选择含糊的任务、强化评估器错误，或集中于进展容易测量的狭窄区域。这类错误既能进入学习器，也能进入决定其下一步经验的状态。

未来的获取机制应跨多轮估计学习价值，同时保持有效性、多样性以及对先前已获得能力的覆盖。这包括从已有数据中选择、生成新任务、寻求交互，以及在内部判断不足时请求更强的外部反馈。一个核心挑战是决定昂贵的验证何时值得其成本，以及不确定的经验应如何影响后续训练。评估应允许所获取的分布不同，同时匹配数据源访问权限以及总获取与学习预算。冻结获取机制的学习器状态输入，或用与学习器无关的日程替代自适应选择，可以检验以学习器为条件的选取是否带来超出额外训练效应的迁移收益。

持久状态管理与可靠复用。 L4 系统继承参数、记忆、技能、工具与 harness 代码，但保留一个产物并不证明后续智能体能从中受益。L4 分析识别出激活与执行两方面的失败：相关技能可能从未被检索，或智能体检索到它却未正确遵循。积累还带来额外困难。Library Drift 表明，不断扩张的技能库可能损害检索并阻碍改进，而过于激进的退役同样可能有害 [152]。因此，持久性要求管理所保留改动的持续适用性与相互作用。

未来工作应把继承的产物与其支持证据、适用条件、依赖关系及在后续任务中观察到的效应关联起来。HDSO 的配对评估等准入测试提供了一个起点 [106]，但随着任务分布、执行器与周围系统变化，验证必须持续进行。研究应分别测量更新质量、激活、忠实使用与下游收益，然后考察何时合并、修订、退役或重新验证产物。跨模型复用引出进一步的问题：一个对其作者有用的技能，可能不适合不同的执行器。解决这些问题将把成功的更新生成与跨会话、跨后继系统的可靠能力迁移连接起来。

领域特定反馈下的受治理适应。 四种应用体制说明了为什么共同的改进回路需要不同的验证策略。在科学中，一次不成功的实验可能反映假设、协议或仪器的问题，证据必须保留其假设与不确定性。在具身智能中，当前策略决定观察到哪些状态，而物理试验消耗资源且可能产生不可逆后果。软件提供可执行反馈，但测试通过仍以规范与测试覆盖为条件。在医疗健康中，结果延迟且混杂，在一个人群或机构中验证的更新可能无法迁移到另一个。这些差异同时约束系统能自主学到什么，以及什么证据支持部署。

未来研究应发展更新策略，以区分暂时性失败与反复出现的局限，并为所提议的改动选择合适的验证过程。仿真、回顾性重放与沙箱化执行可支持初步筛选，随后在预期运行条件下进行有监督或分阶段评估。监测应检验当需求、人群、工具与环境变化时收益是否持续。恢复软件检查点无法撤销物理或临床后果，这使发布前验证在这些场景中不可或缺。人类对重大发布的权威、访问权限与安全约束应保持明确。开放问题是：如何在控制错误向未来交互传播的同时，提高有用的适应。

改进机制的可信演化。 在 L5，对改进器、评估器或研究策略的改动会改变后续后继系统被产生与接受的方式。这造成一个耦合的验证问题：更强的求解器可能暴露其评估器的弱点，但改变评估器也可能使分数不可比或诱发奖励利用。RQGM 通过在 epoch 内冻结评估器、用独立锚点验证替换、并重访受替换影响的分数，解决了这一问题的一部分 [21]。Hyra 中描述的评估器精炼提出了同样的更广泛问题：随着搜索推进，自适应测量如何保持可信。

未来系统应把可编辑的内部反馈机制与独立维护的验收标准区分开，并保留把每次机制修订与后续决策联系起来的证据。受控比较应分别评估候选生成与评估的改动，然后再把收益归因于二者的联合演化。A-Evolve-Training 提供了在固定高层目标内继承策略的一个例子 [17]；这类策略能否迁移到其演化所处研究环境之外，仍有待检验。开放问题包括：如何在反复自适应访问下维持独立评估、检测提议者—评估者的协同错误，以及在不丢失有用经验的情况下撤销有害的机制改动。修订运行中的研究优先级不必转移对系统总体使命的权威。

对继承改进能力的长期评估。 结构性 L5 与有效 L5 的区分应指导评估。结构性证据确立修订后的机制被继承并被调用；有效性则要求表明它产生或选择了更好的后续改进。这仍是一个实质性的实证缺口。例如，本综述考察的 AIDE² 实验在把一个演化出的 harness 安装为外层改进器时，并未确立统计显著的效率优势 [94]。软件谱系研究进一步说明，应把当前任务表现与产生有用后代的能力区分开来，因为暂时较弱的变体可能促成后续进展。

未来基准应从可比的初始系统与证据出发，在匹配的总预算下比较原始机制与修订机制，包括开发与评估这些机制的成本。把演化出的机制固定在新任务上，可以检验其改进策略是否迁移，HyperAgents 即为一例 [93]。更长期的研究应报告跨重复运行的完整轨迹，包括被拒绝的更新、回归、恢复、保留的能力与资源使用。受保护的参考任务可以保持可比性，而新任务与不熟悉的约束则检验迁移与发现。这些协议应确立：继承的改动是否改变后续改进能力、收益何时进入平台期，以及表面上的加速在计入额外搜索与评估投入后是否仍然成立。

资源感知的改进与人类协作。 驱动 RSI 的效率目标要求计入整个改进过程。更快的内核、更好的训练配方或更长的无人值守运行，仍可能需要大量候选生成、评估、基础设施维护与人工评审。Meta 的回归分析工作流保留对提议改动的工程评审 [5]；Humanlaya 也保留人工验证，并同时报告处理时间与质量。这些实践说明，为什么自主性应与所需人类努力的数量和类型一并评估。更强的基础模型与更多并行试验，会进一步混淆改进策略之间的比较。

未来工作应研究如何在诊断、经验获取、候选搜索、验证与部署监测之间分配总预算。廉价筛选可以减少昂贵试验，前提是其预测相对于独立结果保持校准。复用经过验证的工具与先前的失败可能减少重复工作，但其维护成本也必须计入。评估应报告达到某个已验证能力目标所需的时间与总成本，并同时报告评审投入与返工。自适应停止是另一个研究重点：系统应以其预期学习价值与不确定性来证明继续实验的合理性，并明确暂停、升级给人类或终止无产出搜索的条件。

面向跨轮继承的可复现基础设施。 后继系统需要了解一次改进是如何获得的，包括不成功的备选方案以及其证据成立的条件。产业案例揭示了互补的需求：Lark 强调有时间依据的数据与失败归因；Humanlaya 保留带版本的质量系统更新；Hyra 存储可执行经验；Agent-Native Research Lab 则提出保留代码、规格、探索历史与实证轨迹的研究产物。这些实践推动建立一种共享基础设施，以跨轮携带研究证据，不过这种继承的完整纵向收益仍有待确立。

一种可复用的产物格式应把父代状态、提议的改动、动机证据、评估配置、接受决定与后续使用连接起来。带版本的数据、环境与评估器将使结果更易于重放，并澄清一次更新之后哪些比较仍然有效。确定性重抽取可以核查所报告的测量，形式化验证可以确立相对于某个规范的性质；二者单独都不能确立实验或规范捕捉到了预期能力。因此，公开评估应把可检查的产物与重放研究配对，并分别报告结果来源、产物可得性与独立复现情况。在数据保密时，可共享的评估子集与受控重放接口可以支持部分验证，同时保留可核查范围的界限。

贯穿这些方向，朝向真正 RSI 的进展应通过改进能力方面反复、可归因且可迁移的提升来证明。决定性证据是：在明确的资源与权威约束下，继承的改动帮助后续轮次获得更有用的经验、发现更好的干预，或更有效地验证后继系统。

7　结论

在本报告中，我们提出一个以自主性为中心的递归自我改进路线图，涵盖五个阶段：改进执行、策略选择、经验获取、环境适应与递归元改进。我们以改进回路为分析单元，澄清系统改变什么、后继系统继承什么，以及哪些决策仍由人类控制。我们把这一路线图连接到科学发现、具身智能、软件工程与医疗健康，说明反馈可得性、验证成本与部署约束如何塑造各领域通向 RSI 的进展。产业实践与初步实证发现进一步把路线图锚定在已被展示的能力与当前局限上。要确立这些机制在明确资源约束与人类监督下带来可迁移收益，仍需长期评估。归根结底，RSI 的前景在于使每一代 AI 都能让未来的改进更可靠、更高效，并更有利于新颖发现。

参考文献

::: {.refs}

[1] Moonshot AI, “Kimi K3: Open frontier intelligence,” Kimi Research Blog, Jul. 2026. [Online]. Available: https://www.kimi.com/en/blog/kimi-k3

[2] Alibaba Cloud, “Alibaba unveils Qwen3.8-Max: Its largest and most capable flagship model to date,” Alibaba Cloud Press Release, Aug. 2026. [Online]. Available: https://www.alibabacloud.com/en/press-room/alibaba-unveils-qwen3-8-max

[3] OpenAI, “GPT-5.6: Frontier intelligence that scales with your ambition,” OpenAI Product Announcement, Jul. 2026. [Online]. Available: https://openai.com/index/gpt-5-6/

[4] I. Moshkov, D. Hanley, I. Sorokin, S. Toshniwal, C. Henkel, B. Schifferer, W. Du, and I. Gitman, “Aimo-2 winning solution: Building state-of-the-art mathematical reasoning models with openmathreasoning dataset,” arXiv preprint arXiv:2504.16891, 2025.

[5] Meta Engineering, “Capacity efficiency at meta: How unified ai agents optimize performance at hyperscale,” https://engineering.fb.com/2026/04/16/developer-tools/capacity-efficiency-at-meta-how-unified-ai-agents-optimize-performance-at-hyperscale/, Apr. 2026, published April 16, 2026; accessed September 9, 2026.

[6] T. Patwardhan, R. Dias, E. Proehl, G. Kim, M. Wang, O. Watkins, S. Fishman, M. Aljubeh, P. Thacker, L. Fauconnet et al., “Gdpval: Evaluating ai model performance on real-world economically valuable tasks,” in International Conference on Learning Representations, vol. 2026, 2026, pp. 24 005–24 040.

[7] L. Phan, A. Gatti, Z. Han, N. Li, J. Hu, H. Zhang, C. B. C. Zhang, M. Shaaban, J. Ling, S. Shi et al., “Humanity’s last exam,” arXiv preprint arXiv:2501.14249, 2025.

[8] C. E. Jimenez, J. Yang, A. Wettig, S. Yao, K. Pei, O. Press, and K. Narasimhan, “Swe-bench: Can language models resolve real-world github issues?” in International Conference on Learning Representations, vol. 2024, 2024, pp. 54 107–54 157.

[9] S. Yao, N. Shinn, P. Razavi, and K. Narasimhan, “τ-bench: A benchmark for tool-agent-user interaction in real-world domains,” arXiv preprint arXiv:2406.12045, 2024.

[10] M. Ferrari, P. Tillet, A. Ibrahim, J. Gershenson, and S. Coffey, “How GPT-5.6 fuses frontier intelligence with frontier efficiency,” OpenAI Engineering, July 2026, published July 29, 2026; accessed September 3, 2026.

[11] S. Jeong, M. Kim, and T. Kim, “Agentic neural architecture search,” arXiv preprint arXiv:2607.07984, 2026. [Online]. Available: https://arxiv.org/abs/2607.07984

[12] DeepSeek-AI, A. Liu, A. Mei et al., “Deepseek-v3.2: Pushing the frontier of open large language models,” 2025. [Online]. Available: https://arxiv.org/abs/2512.02556

[13] Anthropic, “How we built our multi-agent research system,” 2025. [Online]. Available: https://www.anthropic.com/engineering/multi-agent-research-system

[14] J. Schmidhuber, “Gödel machines: Self-referential universal problem solvers making provably optimal self-improvements,” arXiv preprint cs/0309048, 2003. [Online]. Available: https://arxiv.org/abs/cs/0309048

[15] E. Zelikman, E. Lorch, L. Mackey, and A. T. Kalai, “Self-taught optimizer (STOP): Recursively self-improving code generation,” in Conference on Language Modeling, 2024. [Online]. Available: https://arxiv.org/abs/2310.02304

[16] J. Zhang, S. Hu, C. Lu, R. Lange, and J. Clune, “Darwin gödel machine: open-ended evolution of self-improving agents,” in International Conference on Learning Representations, vol. 2026, 2026, pp. 104 223–104 294.

[17] Z. Shi, B. He, Y. Sang, H. Lu, and B. Dumoulin, “A-evolve-training: Autonomous post-training of a 30b model,” arXiv preprint arXiv:2606.20657, 2026. [Online]. Available: https://arxiv.org/abs/2606.20657

[18] A. Razzhigaev, A. Gritsaev, A. Kaznacheev, N. Dragunov, R. Yampolskiy, and A. Kuznetsov, “Ouroboros: A self-developing frontier coding agent with reviewed core evolution,” 2026. [Online]. Available: https://arxiv.org/abs/2608.08311

[19] X. Yin, X. Wang, L. Pan, L. Lin, X. Wan, and W. Y. Wang, “Gödel agent: A self-referential agent framework for recursive self-improvement,” in Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics, 2025. [Online]. Available: https://aclanthology.org/2025.acl-long.1354/

[20] J. Wen, L. Qiu, J. Benton, J. H. Kirchner, and J. Leike, “Automated weak-to-strong researcher,” Anthropic Alignment Science Blog, 2026. [Online]. Available: https://alignment.anthropic.com/2026/automated-w2s-researcher/

[21] A. Iacob, A. Jovanović, W. F. Shen, D. Burkhardt, M. Kurmanji, N. Tastan, L. Sani, N. A. E. Venanzi, A. Odonnat, Z. Cao, B. Marino, X. Qiu, and N. D. Lane, “The red queen gödel machine: Co-evolving agents and their evaluators,” arXiv preprint arXiv:2606.26294, 2026. [Online]. Available: https://arxiv.org/abs/2606.26294

[22] G. Penedo, H. Kydlíček, L. B. allal, A. Lozhkov, M. Mitchell, C. Raffel, L. Von Werra, and T. Wolf, “The fineweb datasets: Decanting the web for the finest text data at scale,” in Advances in Neural Information Processing Systems, A. Globerson, L. Mackey, D. Belgrave, A. Fan, U. Paquet, J. Tomczak, and C. Zhang, Eds., vol. 37. Curran Associates, Inc., 2024, pp. 30 811–30 849. [Online]. Available: https://proceedings.neurips.cc/paper_files/paper/2024/file/370df50ccfdf8bde18f8f9c2d9151bda-Paper-Datasets_and_Benchmarks_Track.pdf

[23] H. Zhang, S. Zhang, K. Li, C. Zhang, Y. Chen, Y. Zhang, L. Bai, and S. Hu, “Self-harness: Harnesses that improve themselves,” arXiv preprint arXiv:2606.09498, 2026. [Online]. Available: https://arxiv.org/abs/2606.09498

[24] S. team, A. Bolton, A. Lerchner, A. Cordell, A. Moufarek, A. Bolt, A. Lampinen, A. Mitenkova, A. O. Hallingstad, B. Vujatovic, B. Li, C. Lu, D. Wierstra, D. P. Sawyer, D. Slater, D. Reichert, D. Vercelli, D. Hassabis, D. A. Hudson, D. Williams, E. Hirst, F. Pardo, F. Hill, F. Besse, H. Openshaw, H. Chan, H. Soyer, J. X. Wang, J. Clune, J. Agapiou, J. Reid, J. Marino, J. Kim, K. Gregor, K. Sridhar, K. McKinney, L. Kampis, L. M. Zhang, L. Matthey, L. Wang, M. A. Raad, M. Loks-Thompson, M. Engelcke, M. Kecman, M. Jackson, M. Gazeau, O. Purkiss, O. Knagg, P. Stys, P. Mendolicchio, R. Hadsell, R. Ke, R. Faulkner, S. Chakera, S. S. Baveja, S. Legg, S. Kashem, T. Terzi, T. Keck, T. Harley, T. Scholtes, T. Roberts, V. Mnih, Y. Liu, Z. Wang, and Z. Ghahramani, “Sima 2: A generalist embodied agent for virtual worlds,” 2025. [Online]. Available: https://arxiv.org/abs/2512.04797

[25] Y. Li, Y. Miao, Y. Shen, and Y. Liu, “Pando: Efficient multimodal ai agents via online skill distillation,” arXiv preprint arXiv:2605.24785, 2026.

[26] Z. Tao, T.-E. Lin, X. Chen, H. Li, Y. Wu, Y. Li, Z. Jin, F. Huang, D. Tao, and J. Zhou, “A survey on self-evolution of large language models,” 2024. [Online]. Available: https://arxiv.org/abs/2404.14387

[27] H.-a. Gao, J. Geng, W. Hua, M. Hu, X. Juan, H. Liu, S. Liu, J. Qiu, X. Qi, Q. Ren, Y. Wu, H. Wang, H. Xiao, Y. Zhou, S. Zhang, J. Zhang, J. Xiang, Y. Fang, Q. Zhao, D. Liu, C. Qian, Z. Wang, M. Hu, H. Wang, Q. Wu, H. Ji, and M. Wang, “A survey of self-evolving agents: What, when, how, and where to evolve on the path to artificial super intelligence,” Transactions on Machine Learning Research, Jan. 2026. [Online]. Available: https://openreview.net/forum?id=CTr3bovS5F

[28] J. Fang, Y. Peng, X. Zhang, Y. Wang, X. Yi, G. Zhang, Y. Xu, B. Wu, S. Liu, Z. Li, Z. Ren, N. Aletras, X. Wang, H. Zhou, and Z. Meng, “A comprehensive survey of self-evolving ai agents: A new paradigm bridging foundation models and lifelong agentic systems,” 2025. [Online]. Available: https://arxiv.org/abs/2508.07407

[29] Z. Ren, Y. Chen, D. Guo, G. Rong, T. Li, R. B. Xiong, Q. Lan, W. Wang, L. Nanbo, Y. Yang, M. Zhuge, and J. Schmidhuber, “Self-improvements in modern agentic systems: A survey,” 2026. [Online]. Available: https://arxiv.org/abs/2607.13104

[30] S. Liu, Z. Lin, Y. Zhang, Y. Ren, Y. Wu, Y. Li, Z. Wang, Z. Fu, and J. Ye, “The path to recursive self-improving agents: Foundation, framework, and future directions,” Preprints, Aug. 2026. [Online]. Available: https://www.preprints.org/manuscript/202608.0051

[31] Q. Zong, J. Liu, J. Shen, Z. Tang, L. Wu, Y. Liu, R. Wang, Z. Wang, W. Wang, C. Qian, X. Chen, and Y. Song, “Co-Evolution in Agentic Systems: Toward Self-Directed Evolution Beyond Human Design,” 2026. [Online]. Available: https://arxiv.org/abs/2608.10299

[32] Y. Xu, W. Zhang, Y. Chen, X. Lin, and Y. Zhang, “Self-Evolving Agents as Dynamic Graph Transformation: A Survey and New Perspective,” 2026. [Online]. Available: https://arxiv.org/abs/2608.18104

[33] D. Ye, Z. Zhang, H. Wang, and C. Miao, “A Survey on AI for AI: When the Improver Becomes the Improvee,” Preprints.org, 2026, preprint. [Online]. Available: https://www.preprints.org/manuscript/202609.0591

[34] D. Li, B. Jiang, L. Huang, A. Beigi, C. Zhao, Z. Tan, A. Bhattacharjee, Y. Jiang, C. Chen, T. Wu, K. Shu, L. Cheng, and H. Liu, “From generation to judgment: Opportunities and challenges of LLM-as-a-judge,” in Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, C. Christodoulopoulos, T. Chakraborty, C. Rose, and V. Peng, Eds. Suzhou, China: Association for Computational Linguistics, Nov. 2025, pp. 2757–2791. [Online]. Available: https://aclanthology.org/2025.emnlp-main.138/

[35] A. Yehudai, L. Eden, A. Li, G. Uziel, Y. Zhao, R. Bar-Haim, A. Cohan, and M. Shmueli-Scheuer, “A Survey on Evaluation of LLM-based Agents,” in Findings of the Association for Computational Linguistics: ACL 2026. Association for Computational Linguistics, 2026, pp. 26 690–26 714. [Online]. Available: https://aclanthology.org/2026.findings-acl.1330/

[36] Z. Shan and F. Shao, “A Survey on Rubric-Guided Reinforcement Learning for Language Models,” 2026, arXiv version 2, revised 2026-08-31; Accepted to Findings of EMNLP 2026. [Online]. Available: https://arxiv.org/abs/2608.27505

[37] H. Kim, D. Ryu, X. Yi, J. Yao, J. Lian, M. Huang, S. Duan, J. Bak, and X. Xie, “The Road to Artificial SuperIntelligence: A Comprehensive Survey of Superalignment,” 2024, arXiv version 4, revised 2026-06-17. [Online]. Available: https://arxiv.org/abs/2412.16468

[38] P. Slattery, A. K. Saeri, E. A. C. Grundy, J. Graham, M. Noetel, R. Uuk, J. Dao, S. Pour, S. Casper, and N. Thompson, “The AI risk repository: A meta-review, database, and taxonomy of risks from artificial intelligence,” 2024, arXiv version 3, revised 2026-05-05. [Online]. Available: https://arxiv.org/abs/2408.12622

[39] L. Pan, M. Saxon, W. Xu, D. Nathani, X. Wang, and W. Y. Wang, “Automatically correcting large language models: Surveying the landscape of diverse automated correction strategies,” Transactions of the Association for Computational Linguistics, vol. 12, pp. 484–506, 2024. [Online]. Available: https://aclanthology.org/2024.tacl-1.27/

[40] V. Venktesh, M. Rathee, and A. Anand, “Trust but Verify! A Survey on Verification Design for Test-time Scaling,” 2025, arXiv version 3, revised 2025-09-09. [Online]. Available: https://arxiv.org/abs/2508.16665

[41] S. Niu, G. Chen, Y. Chen, Z. Wen, J. Hu, Z. Deng, D. Chen, S. Zhang, R. Chen, Z. Lian, S. Xu, G. Dai, Y. Zhang, W. Luo, Y. Zhang, M. Tan, and C. Deng, “A Survey on Self-Improving Test-Time Intelligence: Feedback-Driven Adapting, Learning, and Scaling at Inference,” 2026, accepted by Machine Intelligence Research. [Online]. Available: https://arxiv.org/abs/2609.01679

[42] L. Long, R. Wang, R. Xiao, J. Zhao, X. Ding, G. Chen, and H. Wang, “On LLMs-driven synthetic data generation, curation, and evaluation: A survey,” in Findings of the Association for Computational Linguistics: ACL 2024, L.-W. Ku, A. Martins, and V. Srikumar, Eds. Bangkok, Thailand: Association for Computational Linguistics, Aug. 2024, pp. 11 065–11 082. [Online]. Available: https://aclanthology.org/2024.findings-acl.658/

[43] J. Zheng, C. Shi, X. Cai, Q. Li, D. Zhang, C. Li, D. Yu, and Q. Ma, “Lifelong Learning of Large Language Model based Agents: A Roadmap,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026, arXiv version 2, revised 2026-01-11. [Online]. Available: https://arxiv.org/abs/2501.07278

[44] W.-C. Huang, W. Zhang, Y. Liang, Y. Bei, Y. Chen, T. Feng, X. Pan, Z. Tan, Y. Wang, T. Wei, S. Wu, R. Xu, L. Yang, R. Yang, W. Yang, C.-Y. Yeh, H. Zhang, H. Zhang, S. Zhu, H. P. Zou, W. Zhao, S. Wang, W. Xu, Z. Ke, Z. Hui, D. Li, Y. Wu, L. He, C. Wang, X. Xu, B. Huang, J. Tan, S. Heinecke, H. Wang, C. Xiong, A. A. Metwally, J. Yan, C.-Y. Lee, H. Zeng, Y. Xia, X. Wei, A. Payani, Y. Wang, H. Ma, W. Wang, C. Wang, Y. Zhang, X. E. Wang, Y. Zhang, J. You, H. Tong, X. Luo, X. Liu, Y. Sun, W. Wang, J. McAuley, J. Zou, J. Han, P. S. Yu, and K. Shu, “A Survey of Agent Memory in the Second Half: Towards Self-Evolving and Long-Horizon Agents,” Transactions on Machine Learning Research, 2026, arXiv version 4, revised 2026-08-04; Survey Certification. [Online]. Available: https://arxiv.org/abs/2602.06052

[45] C. Zhou, H. Chai, W. Chen, Z. Guo, R. Shan, Y. Song, T. Xu, Y. Yang, A. Yu, W. Zhang, C. Zheng, J. Zhu, Z. Zheng, Z. Zhang, X. Lou, C. Zhang, Z. Fu, J. Wang, W. Liu, J. Lin, and W. Zhang, “Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering,” 2026. [Online]. Available: https://arxiv.org/abs/2604.08224

[46] K. Ramnath, K. Zhou, S. Guan, S. S. Mishra, X. Qi, Z. Shen, S. Wang, S. Woo, S. Jeoung, Y. Wang, H. Wang, H. Ding, Y. Lu, Z. Xu, Y. Zhou, B. Srinivasan, Q. Yan, Y. Chen, H. Ding, P. Xu, and L. L. Cheong, “A systematic survey of automatic prompt optimization techniques,” in Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, C. Christodoulopoulos, T. Chakraborty, C. Rose, and V. Peng, Eds. Suzhou, China: Association for Computational Linguistics, Nov. 2025, pp. 33 078–33 110. [Online]. Available: https://aclanthology.org/2025.emnlp-main.1681/

[47] Y.-A. Lee, G.-T. Yi, M.-Y. Liu, J.-C. Lu, G.-B. Yang, and Y.-N. Chen, “Compound AI systems optimization: A survey of methods, challenges, and future directions,” in Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, C. Christodoulopoulos, T. Chakraborty, C. Rose, and V. Peng, Eds. Suzhou, China: Association for Computational Linguistics, Nov. 2025, pp. 28 760–28 775. [Online]. Available: https://aclanthology.org/2025.emnlp-main.1463/

[48] L. Yue, K. R. Bhandari, C.-Y. Ko, D. Patel, S. Lin, N. Zhou, J. Gao, P.-Y. Chen, and S. Pan, “From Static Templates to Dynamic Runtime Graphs: A Survey of Workflow Optimization for LLM Agents,” 2026. [Online]. Available: https://arxiv.org/abs/2603.22386

[49] J. Li, Z. Jin, T. Men, Y. Hao, K. Zhu, L. Wang, D. Huang, L. Wang, S. Hua, L. Wang, J. Gao, H. Yuan, R. Xu, K. Liu, and J. Zhao, “Agentic Environment Engineering for Large Language Models: A Survey of Environment Modeling, Synthesis, Evaluation, and Application,” 2026. [Online]. Available: https://arxiv.org/abs/2606.12191

[50] T. Ding, A. Nannapaneni, B. Liu, and L. Zhang, “Autonomous Research Agents: A Survey of AI Scientists and the Verification Gap,” 2026. [Online]. Available: https://arxiv.org/abs/2608.05179

[51] H. Zhou, H. Hu, T. Luo, Y. Shang, C. Fang, Z. Chen, L. Xiao, and Q. Zhang, “Self-Evolving Coding Agents,” 2026, arXiv version 3, revised 2026-08-29. [Online]. Available: https://arxiv.org/abs/2608.03392

[52] C. Zhu, L. Tian, B. Tan, Z. Zhou, Y. Sun, Y. Wang, C. Lv, Y. Wen, Y. He, J. Lin, Y. Chen, C. W. Tan, Q. Wei, L. Zhao, B. Pu, K. Li, Y. Xue, and J. Lin, “The Path to Self-Evolving Clinical Systems: Scaling Medical Agents from Assistance to Autonomy,” 2026, arXiv version 2, revised 2026-08-12. [Online]. Available: https://arxiv.org/abs/2607.11175

[53] M. A. Merrill, A. G. Shaw, N. Carlini, B. Li, H. Raj, I. Bercovich, L. Shi, J. Y. Shin, T. Walshe, E. K. Buchanan, J. Shen, G. Ye, H. Lin, J. Poulos, M. Wang, M. Nezhurina, J. Jitsev, D. Lu, O. M. Mastromichalakis, Z. Xu, Z. Chen, Y. Liu, R. Zhang, L. L. Chen, A. Kashyap, J.-L. Uslu, J. Li, J. Wu, M. Yan, S. Bian, V. Sharma, K. Sun, S. Dillmann, A. Anand, A. Lanpouthakoun, B. Koopah, C. Hu, E. Guha, G. H. S. Dreiman, J. Zhu, K. Krauth, L. Zhong, N. Muennighoff, R. Amanfu, S. Tan, S. Pimpalgaonkar, T. Aggarwal, X. Lin, X. Lan, X. Zhao, Y. Liang, Y. Wang, Z. Wang, C. Zhou, D. Heineman, H. Liu, H. Trivedi, J. Yang, J. Lin, M. Shetty, M. Yang, N. Omi, N. Raoof, S. Li, T. Y. Zhuo, W. Lin, Y. Dai, Y. Wang, W. Chai, S. Zhou, D. Wahdany, Z. She, J. Hu, Z. Dong, Y. Zhu, S. Cui, A. Saiyed, A. Kolbeinsson, J. Hu, C. M. Rytting, R. Marten, Y. Wang, A. Dimakis, A. Konwinski, and L. Schmidt, “Terminal-bench: Benchmarking agents on hard, realistic tasks in command line interfaces,” 2026. [Online]. Available: https://arxiv.org/abs/2601.11868

[54] W. Huang, C. Lee, L. Tng, and S. Ge, “Deepswe: Measuring frontier coding agents on original, long-horizon engineering tasks,” 2026. [Online]. Available: https://arxiv.org/abs/2607.07946

[55] Z. Wang, T. Shi, J. He, M. Cai, J. Zhang, and D. Song, “Cybergym: Evaluating ai agents’ real-world cybersecurity capabilities at scale,” 2026. [Online]. Available: https://arxiv.org/abs/2506.02548

[56] S. Lee and D. Brumley, “Exploitbench: A capability ladder benchmark for llm cybersecurity agents,” 2026. [Online]. Available: https://arxiv.org/abs/2605.14153

[57] D. Shepard and R. Salimans, “Automationbench,” 2026. [Online]. Available: https://arxiv.org/abs/2604.18934

[58] J. Wei, Z. Sun, S. Papay, S. McKinney, J. Han, I. Fulford, H. W. Chung, A. T. Passos, W. Fedus, and A. Glaese, “Browsecomp: A simple yet challenging benchmark for browsing agents,” 2025. [Online]. Available: https://arxiv.org/abs/2504.12516

[59] W. Wang, P. Piękos, L. Nanbo, F. Laakom, Y. Chen, M. Ostaszewski, M. Zhuge, and J. Schmidhuber, “Huxley-g\”odel machine: Human-level coding agent development by an approximation of the optimal self-improving machine,” in The Fourteenth International Conference on Learning Representations, 2026. [Online]. Available: https://openreview.net/forum?id=T0EiEuhOOL

[60] S. Chen, S. Lin, Y. Shi, H. Lian, X. Gu, L. Yun, D. Chen, L. Cao, J. Liu, N. Xia, and Q. Wang, “Swe-exp: Experience-driven software issue resolution,” 2026. [Online]. Available: https://arxiv.org/abs/2507.23361

[61] Z. Sun, Z. Liu, Y. Zang, Y. Cao, X. Dong, T. Wu, D. Lin, and J. Wang, “SEAgent: Self-evolving computer use agent with autonomous learning from experience,” in Forty-third International Conference on Machine Learning, 2026. [Online]. Available: https://openreview.net/forum?id=AvBgmOGsdQ

[62] Z. Dai, S. He, H. Li, Q. Zhou, J. Li, M. Song, G. Long, H. Si, X. Yao, L. Zhang et al., “Metis: Bridging text and code memory for self-evolving agents,” arXiv preprint arXiv:2606.24151, 2026.

[63] J. Lin, S. Liu, C. Pan, L. Lin, S. Dou, Z. Xi, X. Huang, H. Yan, Z. Han, T. Gui, and Y.-G. Jiang, “Agentic harness engineering: Observability-driven automatic evolution of coding-agent harnesses,” 2026. [Online]. Available: https://arxiv.org/abs/2604.25850

[64] H. Shi, Z. Xu, H. Wang, W. Qin, W. Wang, Y. Wang, Z. Wang, S. Ebrahimi, and H. Wang, “Continual learning of large language models: A comprehensive survey,” ACM Comput. Surv., vol. 58, no. 5, Nov. 2025. [Online]. Available: https://doi.org/10.1145/3735633

[65] R. Wang, J. Lehman, J. Clune, and K. O. Stanley, “Paired open-ended trailblazer (poet): Endlessly generating increasingly complex and diverse learning environments and their solutions,” 2019. [Online]. Available: https://arxiv.org/abs/1901.01753

[66] S. Hu, C. Lu, and J. Clune, “Automated design of agentic systems,” in International Conference on Learning Representations, 2025.

[67] J. Zhang, J. Xiang, Z. Yu, F. Teng, X.-H. Chen, J. Chen, M. Zhuge, X. Cheng, S. Hong, J. Wang, B. Zheng, B. Liu, Y. Luo, and C. Wu, “AFlow: Automating agentic workflow generation,” in International Conference on Learning Representations, 2025.

[68] OpenAI, “Research engineer / research scientist / ai systems engineer, rsi,” https://openai.com/careers/research-engineer-research-scientist-ai-systems-engineer-rsi-san-francisco/, 2026, accessed: 2026-09-08.

[69] Tencent, “Tencent releases and open-sources Tencent Hy4 preview,” Tencent, Aug. 2026, published August 28, 2026; accessed September 5, 2026. [Online]. Available: https://www.tencent.com/tencent-releases-and-open-sources-tencent-hy4-preview/

[70] Anthropic Institute, “When ai builds itself,” https://www.anthropic.com/institute/recursive-self-improvement, Jun. 2026, accessed: 2026-09-08.

[71] T. Wu, L. Luo, Y.-F. Li, S. Pan, T.-T. Vu, and G. Haffari, “Continual Learning for Large Language Models: A Survey,” 2024, arXiv version 2, revised 2024-02-07. [Online]. Available: https://arxiv.org/abs/2402.01364

[72] J. Zheng, S. Qiu, C. Shi, and Q. Ma, “Towards lifelong learning of large language models: A survey,” ACM Comput. Surv., vol. 57, no. 8, Mar. 2025. [Online]. Available: https://doi.org/10.1145/3716629

[73] P. Trirat, W. Jeong, and S. J. Hwang, “Automl-agent: A multi-agent LLM framework for full-pipeline automl,” in ICML, ser. Proceedings of Machine Learning Research, vol. 267. PMLR / OpenReview.net, 2025.

[74] Y. Shang, Y. Li, K. Zhao, L. Ma, J. Liu, F. Xu, and Y. Li, “AgentSquare: Automatic LLM agent search in modular design space,” in International Conference on Learning Representations, 2025.

[75] J. S. Chan, N. Chowdhury, O. Jaffe, J. Aung, D. Sherburn, E. Mays, G. Starace, K. Liu, L. Maksin, T. Patwardhan, L. Weng, and A. Mądry, “MLE-bench: Evaluating machine learning agents on machine learning engineering,” in International Conference on Learning Representations, 2025. [Online]. Available: https://openreview.net/forum?id=6s5uXNWGIh

[76] Y. Yamada, R. T. Lange, C. Lu, S. Hu, C. Lu, J. Foerster, J. Clune, and D. Ha, “The ai scientist-v2: Workshop-level automated scientific discovery via agentic tree search,” 2025. [Online]. Available: https://arxiv.org/abs/2504.08066

[77] G. Starace, O. Jaffe, D. Sherburn, J. Aung, C. J. Shern, L. Maksin, R. Dias, E. Mays, B. Kinsella, W. Thompson, J. Heidecke, A. Glaese, and T. Patwardhan, “Paperbench: evaluating ai’s ability to replicate ai research,” in Proceedings of the 42nd International Conference on Machine Learning, ser. ICML’25. JMLR.org, 2025.

[78] C. Fernando, D. Banarse, H. Michalewski, S. Osindero, and T. Rocktäschel, “Promptbreeder: self-referential self-improvement via prompt evolution,” in Proceedings of the 41st International Conference on Machine Learning, ser. ICML’24. JMLR.org, 2024.

[79] T. Li, Y. Wang, Z. Chen, Z. Wang, L. Ma, and G.-J. Qi, “C-evolve: Consensus-based evolution for prompt groups,” in International Conference on Learning Representations, C. Vondrick, B. Hariharan, C. Raffel, L. Pinto, D. Yang, and A. Faust, Eds., vol. 2026, 2026, pp. 37 510–37 586. [Online]. Available: https://proceedings.iclr.cc/paper_files/paper/2026/file/3f1351a10a3f904e6f3845a94275a909-Paper-Conference.pdf

[80] J. Chen, Z. Song, J. Liu, S. Zhou, H. Wu, H. Shi, C. Zhou, H. Li, X. Yang, D. Zhu et al., “Decoevo: Scoredecoupled co-evolution of solver and rubric-generator skills in text space,” arXiv preprint arXiv:2607.25675, 2026.

[81] Z. Wu, L. Zhang, T. Wang, R. Zhao, P. Andrews, C. Aloisi, and Y. He, “EDIT: Evidence-diagnosed intervention training for rule-faithful llm grading,” arXiv preprint arXiv:2606.06350, 2026. [Online]. Available: https://arxiv.org/abs/2606.06350

[82] L. A. Agrawal, S. Tan, D. Soylu, N. Ziems, R. Khare, K. Opsahl-Ong, A. Singhvi, H. Shandilya, M. J. Ryan, M. Jiang, C. Potts, K. Sen, A. G. Dimakis, I. Stoica, D. Klein, M. Zaharia, and O. Khattab, “GEPA: Reflective prompt evolution can outperform reinforcement learning,” in International Conference on Learning Representations, 2026.

[83] Y. Choi, D. Kim, J. Baek, and S. J. Hwang, “Multimodal prompt optimization: Why not leverage multiple modalities for mllms,” 2026. [Online]. Available: https://arxiv.org/abs/2510.09201

[84] G. Wang, Y. Xie, Y. Jiang, A. Mandlekar, C. Xiao, Y. Zhu, L. Fan, and A. Anandkumar, “Voyager: An open-ended embodied agent with large language models,” 2023. [Online]. Available: https://arxiv.org/abs/2305.16291

[85] S. Ouyang, J. Yan, I. Hsu, Y. Chen, K. Jiang, Z. Wang, R. Han, L. Le, S. Daruki, X. Tang et al., “Reasoningbank: Scaling agent self-evolving with reasoning memory,” in International Conference on Learning Representations, vol. 2026, 2026, pp. 94 327–94 354.

[86] J. Ni, Y. Liu, X. Liu, Y. Sun, M. Zhou, P. Cheng, D. Wang, E. Zhao, X. Jiang, and G. Jiang, “Trace2skill: Distill trajectory-local lessons into transferable agent skills,” arXiv preprint arXiv:2603.25158, 2026.

[87] H. Lu and C. Xia, “Agent-agnostic end-to-end c/c++ application performance optimization,” in Proceedings of the 2026 International Conference on Supercomputing Workshops. Association for Computing Machinery, 2026, pp. 65–69. [Online]. Available: https://doi.org/10.1145/3774895.3812199

[88] OpenAI, “Harness engineering: Leveraging codex in an agent-first world,” https://openai.com/index/harness-engineering/, Feb. 2026, published February 11, 2026; accessed September 9, 2026.

[89] J. Su, Z. Wu, S. Huang, and W. Feng, “AIPC: Agent-based automation for ai model deployment with qualcomm ai runtime,” arXiv preprint arXiv:2604.14661, 2026. [Online]. Available: https://arxiv.org/abs/2604.14661

[90] J. Jaber and O. Jaber, “Autokernel: Autonomous gpu kernel optimization via iterative agent-driven search,” arXiv preprint arXiv:2603.21331, 2026.

[91] Y. Wu, J. Zhang, J. Shi, X. Lei, Q. Gu, Y. Zhang, Z. Wang, C. He, C. Huang, M. Song et al., “Harnessdev: Can llms create and evolve their own agent harness?” arXiv preprint arXiv:2609.01437, 2026.

[92] OpenAI and Thrive Holdings, “Building self-improving tax agents with Codex,” Engineering case study, 2026. [Online]. Available: https://openai.com/index/building-self-improving-tax-agents-with-codex/

[93] J. Zhang, B. Zhao, W. Yang, J. Foerster, J. Clune, M. Jiang, S. Devlin, and T. Shavrina, “Hyperagents,” arXiv preprint arXiv:2603.19461, 2026. [Online]. Available: https://arxiv.org/abs/2603.19461

[94] Weco Team, “AIDE2: The first evidence of recursive self-improvement,” Weco AI Blog, Jul. 2026, industrial research disclosure; technical report and artifact release announced as forthcoming at the time of writing. [Online]. Available: https://www.weco.ai/blog/first-evidence-of-recursive-self-improvement

[95] Microsoft Research, “SynthLLM: Breaking the ai data wall with scalable synthetic data,” https://www.microsoft.com/en-us/research/articles/synthllm-breaking-the-ai-data-wall-with-scalable-synthetic-data/, 2025, accessed September 9, 2026.

[96] Z. Wang, Y. Liang, X. Zhang, Q. Wu, S. Han, A. Bastos, R. Wang, C. Bansal, B. Peng, J. Gao, S. Rajmohan, and H. Yao, “SynthAgent: Adapting web agents with synthetic supervision,” in Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Association for Computational Linguistics, 2026, pp. 15 730–15 752. [Online]. Available: https://aclanthology.org/2026.acl-long.716/

[97] NVIDIA, “Nemotron-4 340b technical report,” arXiv preprint arXiv:2406.11704, 2024. [Online]. Available: https://arxiv.org/abs/2406.11704

[98] H. Lu, Y. Wen, P. Cheng, R. Ding, J. Guo, H. Xu, C. Wang, H. Chen, xiaoxi jiang, and guanjunjiang, “Search selfplay: Pushing the frontier of agent capability without supervision,” in The Fourteenth International Conference on Learning Representations, 2026. [Online]. Available: https://openreview.net/forum?id=ZmGirmNJqE

[99] A. Zhao, Y. Wu, T. Wu, Q. Xu, Y. Yue, M. Lin, S. Wang, Q. Wu, Z. Zheng, and G. Huang, “Absolute zero: Reinforced self-play reasoning with zero data,” in NeurIPS, 2025.

[100] K. Dong and T. Ma, “STP: self-play LLM theorem provers with iterative conjecturing and proving,” in ICML, ser. Proceedings of Machine Learning Research, vol. 267. PMLR / OpenReview.net, 2025.

[101] A. Wilf, P. Aggarwal, B. Parno, D. Fried, L.-P. Morency, P. P. Liang, and S. Welleck, “Propose, solve, verify: Self-play through formal verification,” in Forty-third International Conference on Machine Learning, 2026. [Online]. Available: https://openreview.net/forum?id=Vuaq1qXCki

[102] X. Zeng, Y. Chen, L. Liu, C. Luo, Y. Chen, and Zhuangzhuoran, “Teaching llm to be persuasive: Reward-enhanced policy optimization for alignment from heterogeneous rewards,” in Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics: Industry Track, 2026. [Online]. Available: https://aclanthology.org/2026.acl-industry.34/

[103] C. Huang, W. Yu, X. Wang, H. Zhang, Z. Li, R. Li, J. Huang, H. Mi, and D. Yu, “R-zero: Self-evolving reasoning LLM from zero data,” in The Fourteenth International Conference on Learning Representations, 2026. [Online]. Available: https://openreview.net/forum?id=96apU6YzSO

[104] Q. Zhang, C. Hu, S. Upasani, B. Ma, F. Hong, V. Kamanuru, J. Rainton, C. Wu, M. Ji, H. Li et al., “Agentic context engineering: Evolving contexts for self-improving language models,” in International Conference on Learning Representations, vol. 2026, 2026, pp. 86 069–86 100.

[105] W. Zhang, X. Zhang, C. Zhang, L. Yang, J. Shang, Z. Wei, H. P. Zou, Z. Huang, Z. Wang, Y. Gao et al., “Personaagent: Bridging memory and action for personalized llm agents,” in Findings of the Association for Computational Linguistics: ACL 2026, 2026, pp. 26 421–26 439.

[106] F. Shang and Y. Yang, “Hypothesis-driven skill optimization for llm agents,” arXiv preprint arXiv:2606.22330, 2026.

[107] R. K. Arora, J. Wei, R. Soskin Hicks, P. Bowman, J. Quiñonero-Candela, F. Tsimpourlas, M. Sharman, M. Shah, A. Vallone, A. Beutel, J. Heidecke, and K. Singhal, “Healthbench: Evaluating large language models towards improved human health,” arXiv preprint arXiv:2505.08775, 2025. [Online]. Available: https://arxiv.org/abs/2505.08775

[108] A. Karpathy, “autoresearch: Ai agents running research on single-gpu nanochat training automatically,” GitHub repository, 2026. [Online]. Available: https://github.com/karpathy/autoresearch

[109] Y. Wu, J. Zhang, J. Shi, Y. Zhang, X. Lei, J. Zhou, Z. Wang, Y. Wu, H. Zhou, D. Wang et al., “Aspire: Can models self-evolve from vague goals?” arXiv preprint arXiv:2608.31111, 2026.

[110] M. Suzgun, M. Yuksekgonul, F. Bianchi, D. Jurafsky, and J. Zou, “Dynamic cheatsheet: Test-time learning with adaptive memory,” in Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1: Long Papers), 2026, pp. 7080–7106.

[111] P. Wang, Z. Ma, Y. Chang, X. Luo, X. Yang, S. Feng, Y. Yang, and D. Li, “Self-evolving embodied agents via skill-harness evolution,” 2026. [Online]. Available: https://arxiv.org/abs/2608.11350

[112] A. Madaan, N. Tandon, P. Gupta, S. Hallinan, L. Gao, S. Wiegreffe, U. Alon, N. Dziri, S. Prabhumoye, Y. Yang et al., “Self-refine: Iterative refinement with self-feedback,” Advances in neural information processing systems, vol. 36, pp. 46 534–46 594, 2023.

[113] N. Shinn, F. Cassano, E. Berman, A. Gopinath, K. Narasimhan, and S. Yao, “Reflexion: Language agents with verbal reinforcement learning,” 2023. [Online]. Available: https://arxiv.org/abs/2303.11366

[114] S. Yao, D. Yu, J. Zhao, I. Shafran, T. Griffiths, Y. Cao, and K. Narasimhan, “Tree of thoughts: Deliberate problem solving with large language models,” in NeurIPS, 2023.

[115] P. Banerjee, M. Moshtaghi, and A. Chadha, “APEX-EM: Non-parametric online learning for autonomous agents via structured procedural-episodic experience replay,” 2026. [Online]. Available: https://arxiv.org/abs/2603.29093

[116] A. Zhao, D. Huang, Q. Xu, M. Lin, Y.-J. Liu, and G. Huang, “ExpeL: LLM agents are experiential learners,” in Proceedings of the AAAI Conference on Artificial Intelligence, vol. 38, no. 17, 2024, pp. 19 632–19 642. [Online]. Available: https://ojs.aaai.org/index.php/AAAI/article/view/29936

[117] K. Tsui, “Self-correction bench: Uncovering and addressing the self-correction blind spot in large language models,” 2026. [Online]. Available: https://arxiv.org/abs/2507.02778

[118] G. Tyen, H. Mansoor, V. Carbune, P. Chen, and T. Mak, “LLMs cannot find reasoning errors, but can correct them given the error location,” in Findings of the Association for Computational Linguistics: ACL 2024, 2024, pp. 13 894–13 908. [Online]. Available: https://aclanthology.org/2024.findings-acl.826/

[119] J. Huang, X. Chen, S. Mishra, H. S. Zheng, A. W. Yu, X. Song, and D. Zhou, “Large language models cannot self-correct reasoning yet,” in International Conference on Learning Representations, 2024. [Online]. Available: https://openreview.net/forum?id=IkmD3fKBPQ

[120] Y. Li, “Decomposing LLM self-correction: The accuracy-correction paradox and error depth hypothesis,” arXiv preprint arXiv:2601.00828, 2026. [Online]. Available: https://arxiv.org/abs/2601.00828

[121] T. X. Olausson, J. P. Inala, C. Wang, J. Gao, and A. Solar-Lezama, “Is self-repair a silver bullet for code generation?” in International Conference on Learning Representations, B. Kim, Y. Yue, S. Chaudhuri, K. Fragkiadaki, M. Khan, and Y. Sun, Eds., vol. 2024, 2024, pp. 36 545–36 593. [Online]. Available: https://proceedings.iclr.cc/paper_files/paper/2024/file/9ddc141bdbf9d1db510cefff56c586ad-Paper-Conference.pdf

[122] Y. Verma, “Try again, don’t look back: Blind resampling outperforms self-repair in small code models,” arXiv preprint arXiv:2607.26117, 2026. [Online]. Available: https://arxiv.org/abs/2607.26117

[123] J. Liu, C. S. Xia, Y. Wang, and L. Zhang, “Is your code generated by ChatGPT really correct? rigorous evaluation of large language models for code generation,” Advances in Neural Information Processing Systems, vol. 36, pp. 21 558–21 572, 2023. [Online]. Available: https://arxiv.org/abs/2305.01210

[124] Google Research, “Achieving 10,000x training data reduction with high-fidelity labels,” https://research.google/blog/achieving-10000x-training-data-reduction-with-high-fidelity-labels/, Aug. 2025, published August 7, 2025; accessed September 9, 2026.

[125] M. Abdin, S. Agarwal, A. Awadallah, V. Balachandran, H. Behl, L. Chen, G. de Rosa, S. Gunasekar, M. Javaheripi, N. Joshi, P. Kauffmann, Y. Lara, C. C. T. Mendes, A. Mitra, B. Nushi, D. Papailiopoulos, O. Saarikivi, S. Shah, V. Shrivastava, V. Vineet, Y. Wu, S. Yousefi, and G. Zheng, “Phi-4-reasoning technical report,” arXiv preprint arXiv:2504.21318, 2025. [Online]. Available: https://arxiv.org/abs/2504.21318

[126] NVIDIA, “NVIDIA NeMo Curator: Data curation for generative ai,” https://docs.nvidia.com/nemo/curator/, 2025, accessed September 9, 2026.

[127] D. Chen, Y. Huang, Z. Ma, H. Chen, X. Pan, C. Ge, D. Gao, Y. Xie, Z. Liu, J. Gao, Y. Li, B. Ding, and J. Zhou, “Data-juicer: A one-stop data processing system for large language models,” in Proceedings of the 2024 International Conference on Management of Data, 2024. [Online]. Available: https://doi.org/10.1145/3626246.3653385

[128] P. Liu, J. Wu, and U. Thakore, “Leveraging agents to debug nccl watchdog timeouts: A technical, repeatable workflow,” @Scale: Systems & Reliability, Jun. 2026, published June 25, 2026.

[129] Amazon Web Services, “Agent toolkit for aws,” https://aws.amazon.com/products/developer-tools/agent-toolkit-for-aws/, May 2026, announced May 6, 2026; accessed September 9, 2026.

[130] LinkedIn Engineering, “Contextual agent playbooks and tools: How linkedin gave ai coding agents organizational context,” LinkedIn Engineering Blog, Jan. 2026, published January 27, 2026.

[131] OpenAI, “Research acceleration: The view inside OpenAI,” OpenAI, Sep. 2026. [Online]. Available: https://openai.com/index/research-acceleration-view-inside-openai/

[132] E. Wang and D. Meyerzon, “How we optimized Dash’s relevance judge with DSPy,” Dropbox.Tech, Mar. 2026, published March 17, 2026; accessed September 5, 2026. [Online]. Available: https://dropbox.tech/machine-learning/optimizing-dropbox-dash-relevance-judge-with-dspy

[133] L. Quintanilla and V. Dibia, “Introducing agent optimizer in Foundry Agent Service,” Microsoft Foundry Blog, Jun. 2026, published June 3, 2026; accessed September 5, 2026. [Online]. Available: https://devblogs.microsoft.com/foundry/agent-optimizer-build2026/

[134] D. Rodge, “Post-train NVIDIA Cosmos 3 in one day using agent skills,” NVIDIA Technical Blog, Jul. 2026. [Online]. Available: https://developer.nvidia.com/blog/post-train-nvidia-cosmos-3-in-one-day-using-agent-skills/

[135] OpenAI, “GPT-6 Astra system card,” OpenAI Deployment Safety Hub, Sep. 2026. [Online]. Available: https://deploymentsafety.openai.com/gpt-6-astra/vision

[136] J. Ning, X. Li, J. Zeng, H. Kang, and C. Xiong, “Auto research with specialist agents develops effective and non-trivial training recipes,” 2026. [Online]. Available: https://arxiv.org/abs/2605.05724

[137] L. Soldaini, R. Kinney, A. Bhagia, D. Schwenk, D. Atkinson, R. Authur, B. Bogin, K. R. Chandu, J. Dumas, Y. Elazar, V. Hofmann, A. H. Jha, S. Kumar, L. Lucy, X. Lyu, N. Lambert, I. Magnusson, J. Morrison, N. Muennighoff, A. Naik, C. Nam, M. E. Peters, A. Ravichander, K. Richardson, Z. Shen, E. Strubell, N. Subramani, O. Tafjord, P. Walsh, L. Zettlemoyer, N. A. Smith, H. Hajishirzi, I. Beltagy, D. Groeneveld, J. Dodge, and K. Lo, “Dolma: an open corpus of three trillion tokens for language model pretraining research,” in ACL (1). Association for Computational Linguistics, 2024, pp. 15 725–15 788.

[138] . AI, :, A. Young, B. Chen, C. Li, C. Huang, G. Zhang, G. Zhang, G. Wang, H. Li, J. Zhu, J. Chen, J. Chang, K. Yu, P. Liu, Q. Liu, S. Yue, S. Yang, S. Yang, W. Xie, W. Huang, X. Hu, X. Ren, X. Niu, P. Nie, Y. Li, Y. Xu, Y. Liu, Y. Wang, Y. Cai, Z. Gu, Z. Liu, and Z. Dai, “Yi: Open foundation models by 01.ai,” 2025. [Online]. Available: https://arxiv.org/abs/2403.04652

[139] A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, C. Zheng, D. Liu, F. Zhou, F. Huang, F. Hu, H. Ge, H. Wei, H. Lin, J. Tang, J. Yang, J. Tu, J. Zhang, J. Yang, J. Yang, J. Zhou, J. Zhou, J. Lin, K. Dang, K. Bao, K. Yang, L. Yu, L. Deng, M. Li, M. Xue, M. Li, P. Zhang, P. Wang, Q. Zhu, R. Men, R. Gao, S. Liu, S. Luo, T. Li, T. Tang, W. Yin, X. Ren, X. Wang, X. Zhang, X. Ren, Y. Fan, Y. Su, Y. Zhang, Y. Zhang, Y. Wan, Y. Liu, Z. Wang, Z. Cui, Z. Zhang, Z. Zhou, and Z. Qiu, “Qwen3 technical report,” 2025. [Online]. Available: https://arxiv.org/abs/2505.09388

[140] M. Abdin, J. Aneja, H. Behl, S. Bubeck, R. Eldan, S. Gunasekar, M. Harrison, R. J. Hewett, M. Javaheripi, P. Kauffmann, J. R. Lee, Y. T. Lee, Y. Li, W. Liu, C. C. T. Mendes, A. Nguyen, E. Price, G. de Rosa, O. Saarikivi, A. Salim, S. Shah, X. Wang, R. Ward, Y. Wu, D. Yu, C. Zhang, and Y. Zhang, “Phi-4 technical report,” 2024. [Online]. Available: https://arxiv.org/abs/2412.08905

[141] J. Li, A. Fang, G. Smyrnis, M. Ivgi, M. Jordan, S. Y. Gadre, H. Bansal, E. K. Guha, S. S. Keh, K. Arora, S. Garg, R. Xin, N. Muennighoff, R. Heckel, J. Mercat, M. F. Chen, S. Gururangan, M. Wortsman, A. Albalak, Y. Bitton, M. Nezhurina, A. Abbas, C. Hsieh, D. Ghosh, J. Gardner, M. Kilian, H. Zhang, R. Shao, S. M. Pratt, S. Sanyal, G. Ilharco, G. Daras, K. Marathe, A. Gokaslan, J. Zhang, K. R. Chandu, T. Nguyen, I. Vasiljevic, S. M. Kakade, S. Song, S. Sanghavi, F. Faghri, S. Oh, L. Zettlemoyer, K. Lo, A. El-Nouby, H. Pouransari, A. Toshev, S. Wang, D. Groeneveld, L. Soldaini, P. W. Koh, J. Jitsev, T. Kollar, A. Dimakis, Y. Carmon, A. Dave, L. Schmidt, and V. Shankar, “Datacomp-lm: In search of the next generation of training sets for language models,” in NeurIPS, 2024.

[142] Y. He, C. Huang, Z. Li, J. Huang, and Y. Yang, “Visplay: Self-evolving vision-language models,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2026, pp. 26 274–26 284.

[143] Y. Li, J. Yang, Z. Zheng, Z. Hu, Y. Sui, S. Wang, Y. He, and B. Hooi, “Apex: Autonomous policy exploration for self-evolving llm agents,” arXiv preprint arXiv:2605.21240, 2026.

[144] K. Liang, J. Kruk, S. Qian, X. Yang, S. Bi, Y. Yao, S. Nie, M. Zhang, L. Liu, J. F. Fisac et al., “Learning personalized agents from human feedback,” arXiv preprint arXiv:2602.16173, 2026.

[145] S. A. Er, D. Ribeiro, Y. Virkar, S. Lakew, A. Kalyanpur, J. Gung, T. Delteil, and A. Gupta, “Memtoolagent: Leveraging memory for tool using agents based on environment and user feedback,” arXiv preprint arXiv:2606.07909, 2026.

[146] Z. Bai, S. Li, T. Huang, and B. F. Karlsson, “Practice: From experience to expertise in self-evolving embodied agents,” arXiv preprint arXiv:2608.30760, 2026.

[147] Y. Xiao, Y. Sun, H. Wu, W. Hui, W. Da, Z. Luo, M. Chuan, Y. Hu, W. Li, and C. Jiang, “Pilot in the loop: Live self-improvement for long-horizon agents,” arXiv preprint arXiv:2608.26530, 2026.

[148] T. Wei, Z. Shi, M. Lin, B. He, Z. Liu, Y. Sang, Y. Bei, X. Ning, J. Zou, T.-W. Li et al., “Evo-harness: Context-to-harness skill compilation for self-evolving agents,” arXiv preprint arXiv:2608.15071, 2026.

[149] T. Wei, N. Sachdeva, B. Coleman, Z. He, Y. Bei, X. Ning, M. Ai, Y. Li, J. He, E. H. Chi et al., “Evo-memory: Benchmarking llm agent test-time learning with self-evolving memory,” arXiv preprint arXiv:2511.20857, 2025.

[150] J. Shi, S. Tao, Y. Wu, Z. Wang, J. Zhang, J. Liu, X. Lei, X. Zhang, S. Fang, Z. Tan et al., “S3gym: Can llms turn self-testing and self-judging into self-improvement?” arXiv preprint arXiv:2608.31100, 2026.

[151] M. Lin, J. Wu, Z. Wang, Z. Shi, Y. Sang, B. He, Z. Liu, T. Wei, Z. Wu, Z. Zhang et al., “Harness updating is not harness benefit: Disentangling evolution capabilities in self-evolving llm agents,” arXiv preprint arXiv:2605.30621, 2026.

[152] X. Zhang, Y. Cui, G. Wang, Z. Li, W. Qiu, B. Zhu, and P. He, “Library drift: Diagnosing and fixing a silent failure mode in self-evolving llm skill libraries,” arXiv preprint arXiv:2605.19576, 2026.

[153] Y. Liu, Z. Su, Y. Zhang, J. Guo, Z. Xie, H. Jing, L. Xie, Q. Zong, Y. Yim, Z. Zhang et al., “Rethinking self-evolving agent skills: Feedback dynamics over multiple rounds,” arXiv preprint arXiv:2608.02636, 2026.

[154] K. Hambardzumyan, N. Baldwin, E. Toledo, R. Hazra, M. Kuchnik, B. A. Omari, T. S. Foster, A. Protopopov, J.-C. Gagnon-Audet, I. Mediratta, K. Niu, M. Shvartsman, A. Lupidi, A. Audran-Reiss, P. Pathak, T. Shavrina, D. Magka, H. Momand, D. Dunfield, N. Cancedda, P. Stenetorp, C.-J. Wu, J. N. Foerster, Y. Bachrach, and M. Josifoski, “AIRA2: Overcoming bottlenecks in AI research agents,” arXiv preprint arXiv:2603.26499, 2026. [Online]. Available: https://arxiv.org/abs/2603.26499

[155] Y.-H. Chen, J. Wen, and J. H. Kirchner, “Automated researchers can mitigate well-characterized alignment failures,” Anthropic Alignment Science Blog, Aug. 2026, research report; accessed September 6, 2026. [Online]. Available: https://alignment.anthropic.com/2026/automated-alignment-researchers/

[156] S. Jiang, L. Ma, Z. Hong, K. Wang, Z. Lu, T. Wang, S. Chen, J. Zhang, T. Pan, W. Li et al., “Sea-eval: A benchmark for evaluating self-evolving agents beyond episodic assessment,” arXiv preprint arXiv:2604.08988, 2026.

[157] C. Zheng, C. Xue, B. Liang, J. Yang, and C. Zhang, “Seagym: An evaluation environment for self-evolving llm agents,” arXiv preprint arXiv:2606.17546, 2026.

[158] Z. Qian, J. Lei, Y. Wang, and N. Cao, “Hypoforge: A self-improving multi-agent framework for automated hypothesis generation and testing via scientific skill learning,” 2026. [Online]. Available: https://arxiv.org/abs/2608.25770

[159] J. Lu, Z. Kong, Y. Wang, R. Fu, H. Wan, C. Yang, W. Lou, H. Sun, L. Wang, Y. Jiang, X. Wang, X. Sun, and D. Zhou, “Beyond static tools: Test-time tool evolution for scientific reasoning,” 2026. [Online]. Available: https://arxiv.org/abs/2601.07641

[160] Y. Zhang, X. Cheng, T. Liu, Y. Du, and W. Jin, “Drugsage:self-evolving agent experience for efficient state-of-the-art drug discovery,” 2026. [Online]. Available: https://arxiv.org/abs/2605.15461

[161] P. Hebbar, Y. Manawat, S. Verboomen, A. Ivanova, S. Palanimalai, K. Bhatia, and V. Baskaran, “SIA: Self improving ai with harness and weight updates,” arXiv preprint arXiv:2605.27276, 2026. [Online]. Available: https://arxiv.org/abs/2605.27276

[162] X. Liu, Z. Bai, H. Ci, K. Y. Ma, and M. Z. Shou, “World-vla-loop: Closed-loop learning of video world model and vla policy,” 2026. [Online]. Available: https://arxiv.org/abs/2602.06508

[163] J. Li, Y. Lai, W. Li, J. Ren, M. Zhang, X. Kang, S. Wang, P. Li, Y.-Q. Zhang, W. Ma, and Y. Liu, “Agent hospital: A simulacrum of hospital with evolvable medical agents,” 2025. [Online]. Available: https://arxiv.org/abs/2405.02957

[164] Y. He, J. Liu, Z. Hu, Y. Chen, Y. Liu, Y. Sui, Y. Li, N. Chen, J. Hu, B. Hooi, X. Xu, and J. Bian, “Evoclinician: A self-evolving agent for multi-turn medical diagnosis via test-time evolutionary learning,” 2026. [Online]. Available: https://arxiv.org/abs/2601.22964

[165] L. Fan, P. Dai, Z. Deng, H. Wang, X. Gong, Y. Zheng, and Y. Ou, “Evolving medical imaging agents via experience-driven self-skill discovery,” 2026. [Online]. Available: https://arxiv.org/abs/2603.05860

[166] Y. Zhu, Z. Wang, Y. Qi, L. Gu, D. Sui, H. Hu, X. Zhang, Z. He, Y. Wang, J. He, L. Ma, and L. Yu, “HealthFlow: Automating Electronic Health Record Analysis via a Strategically Self-Evolving Multi-Agent Framework,” npj Digital Medicine, vol. 9, no. 1, p. 660, Aug. 2026. [Online]. Available: https://doi.org/10.1038/s41746-026-03097-0

[167] Z. Tang et al., “Workspace-bench 1.0: Benchmarking ai agents on workspace tasks with large-scale file dependencies,” 2026. [Online]. Available: https://arxiv.org/abs/2605.03596

[168] Z. Zhu, Q. He, S. Li, Y. Chen, H. Sun, Z. Li, Y. Li, and Z. Liu, “ForgeTrain: Forging production-grade training frameworks via harness-driven AI development,” https://github.com/OpenBMB/ForgeTrain, 2026, technical report and GitHub repository. [Online]. Available: https://github.com/OpenBMB/ForgeTrain

[169] The ForgeStencil Authors, “ForgeStencil: Autonomous agents for stencil optimization and deployment,” https://github.com/OpenBMB/ForgeStencil, 2026, gitHub repository.

[170] A. Karpathy, “autoresearch: Autonomous ai research on small language models,” https://github.com/karpathy/autoresearch, 2026, gitHub repository.

[171] K. Jordan, J. Bernstein, B. Rappazzo, @fernbear.bsky.social, B. Vlado, Y. Jiacheng, F. Cesista, B. Koszarsky, and @Grad62304977, “modded-nanogpt: Speedrunning the nanogpt baseline,” https://github.com/KellerJordan/modded-nanogpt, 2024, gitHub repository. [Online]. Available: https://github.com/KellerJordan/modded-nanogpt

[172] E. Lin, S. Modi, S. K. S. Hari, Q. Huang, Z. Ye, N. Qin, F. Zhou, Y. Zhang, J. Wang, S. Damani, D. Peri, O. Xie, A. Kane, M. Maor, M. Behar, T. Cao, R. Mehta, V. Singh, V. S. Mailthody, T. Chen, Z. Ye, H. Chen, T. Chen, V. Grover, W. Chen, W. Liu, E. Chung, L. Ceze, R. Bringmann, C. Zeller, M. Lightstone, C. Kozyrakis, and H. Shi, “Sol-execbench: Speed-of-light benchmarking for real-world gpu kernels against hardware limits,” 2026. [Online]. Available: https://arxiv.org/abs/2603.19173

[173] Y. Lyu, X. Zhang, X. Yi, Y. Zhao, S. Guo, W. Hu, J. Piotrowski, J. Kaliski, J. Urbani, Z. Meng, L. Zhou, and X. Yan, “Evoscientist: Towards multi-agent evolving ai scientists for end-to-end scientific discovery,” 2026. [Online]. Available: https://arxiv.org/abs/2603.08127

[174] M. Yuksekgonul, D. Koceja, X. Li, F. Bianchi, J. McCaleb, X. Wang, J. Kautz, Y. Choi, J. Zou, C. Guestrin, and Y. Sun, “Learning to discover at test time,” 2026. [Online]. Available: https://arxiv.org/abs/2601.16175

[175] A. Khajeh, X. Lei, W. Ye, Z. Yang, L. Hung, D. Schweigert, and H.-K. Kwon, “A materials discovery framework based on conditional generative models applied to the design of polymer electrolytes,” Digital Discovery, vol. 4, no. 1, p. 11–20, 2025. [Online]. Available: http://dx.doi.org/10.1039/D4DD00293H

[176] X. Huang, J. Chen, Y. Fei, Z. Li, P. Schwaller, and G. Ceder, “Cascade: Cumulative agentic skill creation through autonomous development and evolution,” 2026. [Online]. Available: https://arxiv.org/abs/2512.23880

[177] N. Team, “S1-nexusagent: a self-evolving agent framework for multidisciplinary scientific research,” 2026. [Online]. Available: https://arxiv.org/abs/2602.01550

[178] S. Shen, W. Cheng, M. Ma, A. Turcan, M. J. Zhang, and J. Ma, “Skillfoundry: Building self-evolving agent skill libraries from heterogeneous scientific resources,” 2026. [Online]. Available: https://arxiv.org/abs/2604.03964

[179] R. Jin, Z. Zhang, M. Wang, and L. Cong, “Stella: Self-evolving llm agent for biomedical research,” 2025. [Online]. Available: https://arxiv.org/abs/2507.02004

[180] Z. Guo, J. Wang, F. Ling, W. Wei, X. Yue, Z. Jiang, W. Xu, J.-J. Luo, L. Cheng, Y.-G. Ham, F. Song, P. Gentine, T. Yamagata, B. Fei, W. Zhang, X. Gu, C. Li, Y. Wang, T. Chen, W. Ouyang, B. Zhou, and L. Bai, “A self-evolving ai agent system for climate science,” 2025. [Online]. Available: https://arxiv.org/abs/2507.17311

[181] Z. Zhang, Z. Qiu, Y. Wu, S. Li, D. Wang, Y. Liu, Z. Zhou, Y. Hu, Y. Chen, D. An, Y. Wang, Y. Li, Z. Zhong, C. Ou, Z. Wang, F. Tang, J. X. Chen, R. Ma, J. Li, X. Wang, W. Lu, H. Xue, W. Zhang, Z. Wei, R. Ma, Z. Shi, K. Wang, Q. Liu, B. Dong, Y. He, T. Liu, J. Gu, S. Song, Q. Feng, J. Zhang, B. Zhang, L. Tian, L. Bai, Q. Gao, S. Sun, and S. Zheng, “Origene: A self-evolving virtual disease biologist automating therapeutic target discovery,” bioRxiv, 2026. [Online]. Available: https://www.biorxiv.org/content/early/2026/02/25/2025.06.03.657658

[182] B. Sun, W. Guo, Z. Yu, and L. Yang, “Self-evolving scientific agent designs physically-reasoned whitebox fluid control,” 2026. [Online]. Available: https://arxiv.org/abs/2606.08405

[183] A. Qu, H. Zheng, Z. Zhou, Y. Yan, Y. Tang, S. Y. Ong, F. Hong, K. Zhou, C. Jiang, M. Kong, J. Zhu, X. Jiang, S. Li, C. Wu, B. K. H. Low, J. Zhao, and P. P. Liang, “Coral: Towards autonomous multi-agent evolution for open-ended discovery,” 2026. [Online]. Available: https://arxiv.org/abs/2604.01658

[184] Y. Du, B. Yu, T. Liu, T. Shen, J. Chen, J. G. Rittig, K. Sun, Y. Zhang, A. Krishnan, Y. Zhang, D. Rosen, R. Pirone, Z. Song, B. Zhou, C. Masschelein, Y. Wang, H. Wang, H. Jia, C. Zhang, H. Zhao, M. Ester, N. Hacohen, T. Head-Gordon, C. P. Gomes, H. Sun, C. Duan, P. Schwaller, and W. Jin, “Accelerating scientific discovery with autonomous goal-evolving agents,” 2026. [Online]. Available: https://arxiv.org/abs/2512.21782

[185] A. Zala, J. Cho, H. Lin, J. Yoon, and M. Bansal, “Envgen: Generating and adapting environments via llms for training embodied agents,” 2024. [Online]. Available: https://arxiv.org/abs/2403.12014

[186] J. Guo, L. Yang, P. Chen, Q. Xiao, Y. Wang, X. Juan, J. Qiu, K. Shen, and M. Wang, “Genenv: Difficulty-aligned co-evolution between llm agents and environment simulators,” 2025. [Online]. Available: https://arxiv.org/abs/2512.19682

[187] M. Faldor, J. Zhang, A. Cully, and J. Clune, “Omni-epic: Open-endedness via models of human notions of interestingness with environments programmed in code,” 2025. [Online]. Available: https://arxiv.org/abs/2405.15568

[188] H. Kang, X. Ye, Y. Liu, S. H. Mantri, L. Mao, J. Fleming, D. Regmi, and L. Qin, “Simworld studio: Automatic environment generation with evolving coding agent for embodied agent learning,” 2026. [Online]. Available: https://arxiv.org/abs/2605.09423

[189] G. Tziafas and H. Kasaei, “Lifelong robot library learning: Bootstrapping composable and generalizable skills for embodied control with language models,” 2024. [Online]. Available: https://arxiv.org/abs/2406.18746

[190] R. Ju, X. Wang, X. Ding, Y. Yang, H. Wu, S. Jiang, Q. Zhang, H. Wen, X. Li, W. Wang, K. Li, Y. Liu, H. Dai, W. Wang, and T. Cao, “Embodiskill: Skill-aware reflection for self-evolving embodied agents,” 2026. [Online]. Available: https://arxiv.org/abs/2605.10332

[191] R. Lu, Y. Wu, E. Kou, L. Fu, W. Xiao, A. Mandlekar, Y. Xu, G. Shi, K. Goldberg, A. Chen, M. Chowdhury, Y. Zhu, L. J. Fan, and G. Wang, “Aspire: Agentic /skills discovery for robotics,” 2026. [Online]. Available: https://arxiv.org/abs/2607.00272

[192] W. Xiao, J. Xie, T. Zhang, H. Lin, L. M. Fu, H. Xue, J. Lu, Y. Yang, C. Dai, Z. Wang, J. Wu, G. Wang, S. S. Sastry, K. Goldberg, L. J. Fan, Y. Zhu, and G. Shi, “Enpire: Agentic robot policy self-improvement in the real world,” 2026. [Online]. Available: https://arxiv.org/abs/2606.19980

[193] S. K. S. Ghasemipour, A. Wahid, J. Tompson, P. Sanketi, and I. Mordatch, “Self-improving embodied foundation models,” 2025. [Online]. Available: https://arxiv.org/abs/2509.15155

[194] A. Sharma, A. M. Ahmed, R. Ahmad, and C. Finn, “Self-improving robots: End-to-end autonomous visuomotor reinforcement learning,” 2023. [Online]. Available: https://arxiv.org/abs/2303.01488

[195] V. Giridhar, A. Khandelwal, J. A. Collins, I. Georgiev, and A. Garg, “Beyond imitation: Self-improving robot policies via off-policy q-planning,” 2026. [Online]. Available: https://arxiv.org/abs/2608.21204

[196] G. Li, R. Han, C. Li, H. Li, S. Wang, W. Ding, H. Zhang, and C. Xu, “Agentic self-evolutionary replanning for embodied navigation,” 2026. [Online]. Available: https://arxiv.org/abs/2603.02772

[197] Y. Guo, T. Lee, L. X. Shi, J. Chen, P. Liang, and C. Finn, “Vlaw: Iterative co-improvement of vision-language-action policy and world model,” 2026. [Online]. Available: https://arxiv.org/abs/2602.12063

[198] H. Bi, Z. Zhou, Y. Tang, J. Pang, S. Huang, H. Liu, R. Wang, S. Huang, Y. Wang, Y. Cheng, R. Zhao, Z. Li, H. Tan, X. Liu, J. Wan, J. Liu, M. Zhao, F. Bao, and J. Zhu, “Motus2: A self-evolving general world model for dexterous manipulation,” 2026. [Online]. Available: https://arxiv.org/abs/2608.30237

[199] C. Luo, Z. Zeng, M. Jia, Y. Du, and C. Sun, “Self-improving loops for visual robotic planning,” 2026. [Online]. Available: https://arxiv.org/abs/2506.06658

[200] M. Robeyns, M. Szummer, and L. Aitchison, “A self-improving coding agent,” in ICLR Workshop on Scaling Self-Improving Foundation Models, 2025. [Online]. Available: https://arxiv.org/abs/2504.15228

[201] Y. Li, Y. Zhang, X. Zhang, X. Liu, and Y. Liu, “Codeskill: Learning self-evolving skills for coding agents,” 2026. [Online]. Available: https://arxiv.org/abs/2605.25430

[202] Y. Hu, Y. Cai, Y. Du, X. Zhu, X. Liu, Z. Yu, Y. Hou, S. Tang, and S. Chen, “Self-evolving multi-agent collaboration networks for software development,” 2024. [Online]. Available: https://arxiv.org/abs/2410.16946

[203] Z. Weng, A. Antoniades, D. Nathani, Z. Zhang, X. Pu, and X. E. Wang, “Group-evolving agents: Open-ended self-improvement via experience sharing,” 2026. [Online]. Available: https://arxiv.org/abs/2602.04837

[204] Y. Zhang, Y. Dai, J. Tan, L. Yang, R. Mullur, T. Hoang, Z. Hu, J. Zhu, P. Mui, S. Savarese, R. Xu, and Z. Chen, “Darwinx: Evolving agent harnesses through natural selection,” 2026. [Online]. Available: https://arxiv.org/abs/2608.07545

[205] T. Fan and C. Huang, “Helix: Model-harness co-evolution for recursive self-improvement,” 2026. [Online]. Available: https://arxiv.org/abs/2608.13951

[206] Y. Wei, Z. Sun, E. McMilin, J. Gehring, D. W. Zhang, G. Synnaeve, D. Fried, L. ZHANG, and S. Wang, “Toward training superintelligent software agents through self-play SWE-RL,” in Forty-third International Conference on Machine Learning, 2026. [Online]. Available: https://openreview.net/forum?id=0ophJB76sC

[207] C. Xiao, Z. Jiao, S. Wang, W. Wang, B. Zhao, H. Wei, L. Zhang, and L. Qu, “Socratic-swe: Self-evolving coding agents via trace-derived agent skills,” 2026. [Online]. Available: https://arxiv.org/abs/2606.07412

[208] K. Lan, B. Jin, Z. Zhu, S. Chen, S. Zhang, K. Q. Zhu, and M. Wu, “Depression diagnosis dialogue simulation: Self-improving psychiatrist with tertiary memory,” 2024. [Online]. Available: https://arxiv.org/abs/2409.15084

[209] M. Almansoori, K. Kumar, and H. Cholakkal, “MedAgentSim: Self-Evolving Multi-Agent Simulations for Realistic Clinical Interactions,” in Medical Image Computing and Computer Assisted Intervention – MICCAI 2025, ser. Lecture Notes in Computer Science, vol. 15968. Springer Nature Switzerland, 2025, pp. 362–372.

[210] R. Ren, Y. Wang, Y. Liang, L. Luo, J. Liu, H. Wang, C. Feng, Y. Zhang, C. Miao, J.-R. Wen, and W. X. Zhao, “Emulating clinician cognition via self-evolving deep clinical research,” 2026. [Online]. Available: https://arxiv.org/abs/2603.10677

[211] X. Han, Y. Fan, S. Zhao, H. Wang, and B. Qin, “Gsem: Graph-based self-evolving memory for experience augmented clinical reasoning,” 2026. [Online]. Available: https://arxiv.org/abs/2603.22096

[212] W. Shen, B. Jian, J. Li, C. Liu, J. Moll, X. Hu, D. Rueckert, H. B. Li, and J. Pan, “Evo-medagent: Beyond one-shot diagnosis with agents that remember, reflect, and improve,” 2026. [Online]. Available: https://arxiv.org/abs/2604.14475

[213] Q. Liu, Z. Hu, T. Huang, Y. Niu, X. Zhang, S. Ma, C. Lin, G. K. Huat, H. E. Kwon, F. Gao, X. Sun, Z. Ying, and G. Qiang, “EvoMDT: A Self-Evolving Multi-Agent System for Structured Clinical Decision-Making in Multi-Cancer,” npj Digital Medicine, vol. 9, no. 1, p. 124, Jan. 2026. [Online]. Available: https://doi.org/10.1038/s41746-025-02304-8

[214] Y. Yang, J. Li, Q. Pan, J. Zhou, K. Chen, Q. Chen, J. Zhao, N. Zhou, X. Li, and L. He, “Psychagent: An experience-driven lifelong learning agent for self-evolving psychological counselor,” 2026. [Online]. Available: https://arxiv.org/abs/2604.00931

[215] H. Sun, W. Li, Y. Zhang, Z. Lin, F. Zhang, K. Chen, X. He, Y. Li, M. Liu, L. Liu, and Y. Jiang, “Experience makes skillful: Enabling generalizable medical agent reasoning via self-evolving skill memory,” 2026. [Online]. Available: https://arxiv.org/abs/2606.09365

[216] S. Li, J. Xu, T. Bao, Y. Liu, Y. Liu, Y. Liu, L. Wang, W. Lei, S. Wang, Y. Xu, Y. Cui, J. Yao, S. Koga, and Z. Huang, “A co-evolving agentic ai system for medical imaging analysis,” 2025. [Online]. Available: https://arxiv.org/abs/2509.20279

[217] Z. Du, L. Zheng, R. Hu, Y. Xu, X. Li, Y. Sun, W. Chen, J. Wu, H. Cai, and H. Ying, “Llms can simulate standardized patients via agent coevolution,” in ACL (1). Association for Computational Linguistics, 2025, pp. 17 278–17 306.

:::

附录 A　RSI 全景

图 18 按自主等级与改进目标汇总了所综述的论文。

图 18　RSI 全景：自主等级与改进目标。 491 篇所综述论文的分布。内环、中环与外环分别表示自主等级（L1–L5）、主要改进目标与子目标。自主等级百分比基于论文计数。与多个改进目标相关的论文按分数权重计入各目标类别。

表 12 详列了图 18 中的主要目标与子目标。

表 12　递归自我改进系统中改进目标的分类法。 该分类法把图 18 中的改进目标分解为主要目标与子目标。对每个子目标，表中给出受修改的具体系统组件。

主要目标	子目标	被修改的组件
1. 提示词与上下文	1.1 指令	系统提示词、角色规范、行为规则、约束与高层指令
	1.2 任务提示词 / 模板	任务描述、问题表述、提示词模板与可复用的任务规范
	1.3 推理提示词 / 协议	显式推理指令与协议，包括思维链、反思、批评与辩论
	1.4 示例 / 范例	上下文中的少样本示例、演示、成功轨迹与已解出的解答
	1.5 上下文组成	上下文选择、排序、压缩、摘要，以及可用上下文预算的分配
2. 记忆与知识	2.1 情节 / 经验记忆	先前交互、执行轨迹、成功与失败尝试以及任务特定反思的记录
	2.2 语义 / 知识记忆	持久的事实、概念与领域知识，包括结构化或外部知识库
	2.3 程序性记忆	可复用策略、由经验导出的规则、启发式、流程与操作手册
	2.4 记忆表示 / 组织	记忆模式、层次结构、摘要、图、索引与向量表示
	2.5 记忆操作	管辖记忆写入、检索、更新、巩固、优先级与遗忘的策略
3. Harness / 工作流与控制	3.1 工作流 / 图	智能体图、流水线、节点、边，以及计算阶段之间的执行依赖
	3.2 规划 / 分解	任务分解、规划模块、子目标结构与执行顺序
	3.3 路由 / 调度	模型路由、智能体路由、工具路由、执行调度与计算资源分配
	3.4 验证 / 反思回路	用于检查与修订中间或最终输出的控制回路，包括批评—修订、验证—重试与反思流程
	3.5 多智能体结构 / 协议	智能体种群、角色分配、交互拓扑、协调机制与通信协议
	3.6 Harness 实现 / 脚手架代码	实现智能体脚手架、编排逻辑、工作流控制器与运行时协调机制的源代码
4. 工具与技能	4.1 工具集 / 清单	系统可用的工具、API、外部服务与可调用能力的集合
	4.2 工具定义 / 接口	工具描述、函数签名、模式、API 封装与输入—输出规范
	4.3 工具实现	实现工具或可调用外部函数的可执行代码与内部逻辑
	4.4 技能 / 宏库	可复用技能、宏、子程序、流程与更高层的行为模块
	4.5 技能组合	把较低层技能组合为更高层流程或能力的规则与结构
5. 模型	5.1 模型权重	主干模型的可训练参数
	5.2 适配器 / 辅助模块	LoRA 模块、适配器、记忆模块及其他可训练辅助组件的参数
	5.3 架构	网络架构、模块组成、连接模式与计算结构
	5.4 推理策略 / 配置	持久化解码策略、测试时策略、推理配置与运行时模型设置
6. 训练器 / 优化系统	6.1 训练目标	损失函数、训练奖励、学习目标与优化准则
	6.2 优化器 / 更新规则	优化器、参数更新算法、学习率策略及相关超参数
	6.3 训练日程 / 流水线	微调、强化学习与蒸馏等训练阶段的次序、配置与相互作用
	6.4 数据选择 / 课程	训练样本选择规则、数据混合、难度日程与课程策略
	6.5 搜索 / 元优化流程	用于生成与选择候选改进的演化、搜索、选择与元优化流程
7. 评估器与反馈系统	7.1 评估器 / 裁判	用于评估候选输出或系统变体的评估器、批评器、评分器、裁判模型及相关组件
	7.2 奖励 / 适应度函数	奖励模型、适应度函数、效用函数、偏好模型与评分规则
	7.3 验证器	正确性验证器、测试生成器、证明检查器、一致性检查与验证机制
	7.4 反馈 / 信用分配	把观察到的结果转化为局部化、聚合或按时间分配的改进信号的机制
8. 数据与环境	8.1 训练 / 经验数据	训练数据集、回放缓冲区、经验池、交互轨迹及用于后续学习的其他数据
	8.2 任务 / 课程生成器	为后续改进周期生成任务、问题、挑战或训练回合的组件
	8.3 环境 / 模拟器	环境动力学、模拟器、交互规则、任务世界，以及管辖系统—环境交互的结构
	8.4 世界模型	用于表示、预测、生成或模拟环境状态与动力学的学习模型
9. 外部产物	9.1 程序 / 解答代码	系统产生的任务级程序、补丁或解答代码，不包括实现智能体本身的代码
	9.2 算法	算法、内核、数学流程、符号方法与计算技术
	9.3 科学 / 设计产物	科学假设、实验设计、架构、电路、工程设计及相关研究产物
10. 全系统 / 共同演化	10.1 多目标 Harness	在同一改进过程内联合修改的多个 harness 级组件，例如提示词、记忆、工作流与工具
	10.2 模型—Harness 共同演化	跨改进周期联合修改的模型参数与周围 harness 或脚手架组件
	10.3 改进回路 / 元 RSI	跨相继改进周期生成、评估、选择并应用候选改动的机制

附录 B　产业图景

表 13 按公司原型与改进目标组织了所综述的产业系统。

新兴 RSI / 自我改进图景中的公司原型

每行对应一个产品或代表性工作；共 72 家不同公司/团队；公开来源快照：2026 年 9 月。

组织原则：按公司原型而非地域划分。RSI 标签是对 B0–L5 方案的一种紧凑映射，并不表示该公司自身使用这一标签。🔗 = 可点击的原始来源。

表 13　按公司原型组织的 RSI / 自我改进公司图景。

公司	产品 / 代表性工作	子场景	改进目标 / 产物	AI 控制的部分	RSI 关系
A. 前沿基础模型与通用智能体实验室	宽泛的模型/平台实验室；RSI 表现为一项能力前沿，而非公司的唯一主张。
OpenAI	Research acceleration / automated research intern	AI-for-AI 研究	研究代码；实验；评估	代码；实验；候选整合	L2
OpenAI	GPT-Red	自博弈鲁棒性	红队策略；对抗数据	攻击；防御；训练；评估	L2
OpenAI	自我改进的税务智能体	生产适应	智能体代码；提示词；评估集	挖掘失败；打补丁；评估	L4 候选
OpenAI	Harness Engineering	智能体优先的软件研发	仓库；CI；智能体指令	编码；测试；PR；修复	L1–L2 邻接
OpenAI	Symphony	智能体编排	任务状态；仓库；工作流	调度；执行；交接	L1 邻接
OpenAI	AgentKit / prompt optimizer / RFT	智能体优化栈	提示词；评分器；权重	优化；评分；微调	L1–L2
OpenAI	Deep Research	自主研究	任务局部证据	搜索；浏览；综合	B0
Anthropic	When AI builds itself	RSI 路线图	AI 开发过程	代码；实验；未来后继系统设计	L5 目标
Anthropic	Automated Weak-to-Strong Researcher	自动化对齐研究	假设；代码；实验日志	提议；训练；评估；共享	L2
Anthropic	Tool optimization with Claude	工具自我优化	工具规格；实现	分析轨迹；重写；评估	L2
Anthropic	Harness design for long-running apps	自主软件研发	Harness；评估器；应用代码	规划；生成；评估；迭代	L2 邻接
Anthropic	Effective long-running agent harnesses	跨上下文持久化	进度文件；git 状态	初始化；编码；交接	L1 邻接
Anthropic	Agent Skills	持久技能基底	技能；脚本；资源	发现；加载；复用	L1 使能
Anthropic	Multi-agent Research	自主研究	任务局部发现	规划；派生；搜索；综合	B0
Anthropic	Managed Agents	长时程智能体基础设施	稳定接口；Harness	运行；恢复；监督	L1 使能
Anthropic	Parallel Claude compiler project	自主软件工程	共享代码库；测试	分解；编码；测试；协调	B0–L1 邻接
Google DeepMind	AlphaEvolve	任务特定程序搜索	算法；内核；系统代码	生成；变异；评估；选择	B0
Google DeepMind	AI Co-Scientist	科学假设搜索	假设；研究提案	生成；辩论；排序；精炼	L2 邻接
Google DeepMind	AlphaChip	AI 与硬件协同设计	芯片布局；设计策略	布局；评分；学习；迁移	L2 邻接
NVIDIA	Eureka	奖励 / 策略设计	奖励代码；机器人策略	奖励合成；仿真；策略训练	L2
NVIDIA	ASPIRE	奖励 / 策略设计	奖励代码；机器人策略	奖励合成；仿真；策略训练	L2
Microsoft	Agent Lightning	智能体强化学习	策略权重；经验轨迹	采集；信用分配；训练；评估	L2
Microsoft	Agent Lightning v1.0	受 harness 约束的智能体强化学习	Harness 轨迹；策略权重	交互；重分词；训练；基准测试	L2
Microsoft	SkillOpt	技能优化	技能文件；指令	编辑；评估；优化	L2
Microsoft	ReVeal	自验证编码智能体	代码；测试；验证器策略	生成；验证；修订；扩展	L2
Meta	Universal Verifier / auto-research	智能体验证研发	评分标准；验证器；评估流水线	设计；测试；比较；精炼	L2 邻接
Meta	Self-Taught Evaluator	评估器自训练	裁判模型；合成偏好	生成；裁判；训练；迭代	L2
Meta	HyperAgents	元智能体自我修改	任务智能体；元智能体；程序	求解；自我编辑；评估；归档	L5 候选
Alibaba / Qwen	Qwen-Agent	智能体训练 / 合成环境	训练数据；环境；后训练	仿真；数据合成；工具使用；RL	L1–L2
Alibaba / Qwen	AgentWorld	智能体训练 / 合成环境	训练数据；环境；后训练	仿真；数据合成；工具使用；RL	L1–L2
Alibaba / Qwen	Qwen-Scope	智能体训练 / 合成环境	训练数据；环境；后训练	仿真；数据合成；工具使用；RL	L1–L2
DeepSeek	R1	推理自举	推理策略；验证器	自生成推理；RL；验证器迭代	L2
DeepSeek	Math-V2	推理自举	推理策略；验证器	自生成推理；RL；验证器迭代	L2
Tencent AI Lab	R-Zero	自博弈推理	任务；伪标签；策略权重	挑战生成；求解；投票；RL	L2–L3
ByteDance Seed	Seed-Thinking	模型 / 智能体后训练	数据；奖励；策略权重	数据过滤；奖励验证；RL	L1–L2
ByteDance Seed	Seed1.5-VL	模型 / 智能体后训练	数据；奖励；策略权重	数据过滤；奖励验证；RL	L1–L2
MiniMax	M2	持久云智能体	记忆；技能；智能体策略	工具使用；长时运行执行；技能复用	L1–L2
MiniMax	MaxHermes	持久云智能体	记忆；技能；智能体策略	工具使用；长时运行执行；技能复用	L1–L2
MiniMax	MaxClaw	持久云智能体	记忆；技能；智能体策略	工具使用；长时运行执行；技能复用	L1–L2
Moonshot AI	Kimi K3	长时程智能体	智能体编排；工具策略	规划；工具使用；群体协调	L1–L2 邻接
Moonshot AI	Agent Swarm	长时程智能体	智能体编排；工具策略	规划；工具使用；群体协调	L1–L2 邻接
Zhipu AI / Z.AI	AutoGLM	计算机使用智能体训练	策略权重；虚拟手机环境	感知；规划；行动；RL	L2
Zhipu AI / Z.AI	AgentRL	计算机使用智能体训练	策略权重；虚拟手机环境	感知；规划；行动；RL	L2
Deep Cogito	Cogito v2	推理后训练	推理策略；权重	搜索；蒸馏；迭代对齐	L1–L2
Deep Cogito	IDA	推理后训练	推理策略；权重	搜索；蒸馏；迭代对齐	L1–L2
Poolside	Model Factory	自动化模型研发	合成数据；RL；架构	评估；代码执行 RL；消融；数据混合	L1–L2
Thinking Machines Lab	Tinker Agent RL	模型定制 / 智能体强化学习	策略权重；工具使用策略	RL；LLM 裁判评分；工具发现	L1–L2
Thinking Machines Lab	Inkling	模型定制 / 智能体强化学习	策略权重；工具使用策略	RL；LLM 裁判评分；工具发现	L1–L2
Nous Research	Hermes Agent	持久智能体	技能；记忆；工具网关	记忆；技能复用；工具编排	L1–L2
B. RSI 原生 / AI4AI 公司	自我改进、面向 AI 的 AI、自我演化或递归改进是公司的核心研究主张。
Recursive Intelligence	AI 芯片协同设计	AI 系统 / 芯片	EDA 设计；计算栈	设计搜索；验证；迭代	L2；L5 愿景
Recursive	Automated AI Research	模型训练研究	训练配方；内核；代码	想法；实验；分支合并	L2
Imbue	Catalyst	研究搜索	配方；代码；假设	种群搜索；实验；解释	L2–L3
Imbue	Darwinian Evolver	研究搜索	配方；代码；假设	种群搜索；实验；解释	L2–L3
Weco AI	AIDE²	研究者的元改进	研究 harness；改进器代码	重写改进器；评估；继承	L5 候选
Sakana AI	Darwin Gödel Machine	自编辑智能体 / AI 研究	智能体源码；研究流水线	自我修改；基准测试；归档；实验	L5 候选
Sakana AI	AI Scientist	自编辑智能体 / AI 研究	智能体源码；研究流水线	自我修改；基准测试；归档；实验	L5 候选
Evolvent AI	Org self-evolving agents	软件智能体演化	技能；记忆；代码；环境	任务；反馈；重构；技能更新	L2–L3
Evolvent AI	RSIBench	软件智能体演化	技能；记忆；代码；环境	任务；反馈；重构；技能更新	L2–L3
Evolvent AI	Terrarium	软件智能体演化	技能；记忆；代码；环境	任务；反馈；重构；技能更新	L2–L3
MetaCircle	ComfyResearch	AI4AI / 自动研究	训练工作流；研究假设	实验组合；代码；假设；评分	L2；L5 愿景
MetaCircle	OPHIS	AI4AI / 自动研究	训练工作流；研究假设	实验组合；代码；假设；评分	L2；L5 愿景
Frontis AI / Xianyuan	OpenRSI	AI4AI / 自我改进智能体	技能；记忆；Harness；权重	经验；更新搜索；评估；后训练	L2–L3
Frontis AI / Xianyuan	Frontis-MA1	AI4AI / 自我改进智能体	技能；记忆；Harness；权重	经验；更新搜索；评估；后训练	L2–L3
EvoMap	Evolver	共享代码演化	基因 / 胶囊；代码资产	生成；测试；发布；复用；适应	L2–L3
EvoMap	GEP	共享代码演化	基因 / 胶囊；代码资产	生成；测试；发布；复用；适应	L2–L3
EvoMap	GeneBench	共享代码演化	基因 / 胶囊；代码资产	生成；测试；发布；复用；适应	L2–L3
Endless Frontier	BigBang-v1	AI 研究数据生成	合成程序；训练数据；批评器	生成；执行；批评；元批评	L2–L3
Mirendil	Self-accelerating AI	AI 研发自动化	模型代码；实验；研究栈	实验生成；执行；迭代	L2
Mirendil	AI Scientist	AI 研发自动化	模型代码；实验；研究栈	实验生成；执行；迭代	L2
Chaoyan Intelligence*	TUMIX	自我演化的研究模型	研究策略；工具使用策略	提问；实验；代码；自检	L2–L3
Chaoyan Intelligence*	R1-Code-Interpreter	自我演化的研究模型	研究策略；工具使用策略	提问；实验；代码；自检	L2–L3
Chaoyan Intelligence*	AI Scientist	自我演化的研究模型	研究策略；工具使用策略	提问；实验；代码；自检	L2–L3
Theseus	Argus	长时程自我演化智能体	经验；记忆；环境设置	规划；编码；评审；经验回写	L2–L3
Theseus	SetupX	长时程自我演化智能体	经验；记忆；环境设置	规划；编码；评审；经验回写	L3
Adaption Labs	AutoScientist	AI 研究自动化	训练配方；数据集；代码	研究计划；实验；选择	L2
Adaption Labs	Forge	AI 研究自动化	训练配方；数据集；代码	研究计划；实验；选择	L2
C. 自主研发与科学发现公司	主要产品是自动化的研究/发现；RSI 相关性来自自动化实验与知识生产回路。
Periodic Labs	自主实验室	面向科学的 AI	假设；实验数据；模型	实验设计；实验室运行；学习	L3 候选
FutureHouse	BixBench	AI 科学家评估	研究任务；基准前沿	生物信息学工作流；开放式评估	B0–L2 邻接
Edison Scientific	Kosmos	自主科学	假设；代码；科学产物	文献；实验；综合	L2–L3
Axiom Math	Putnam 2025	形式数学	证明；验证器轨迹	猜想；证明搜索；形式验证	L2
Axiom Math	IMO 2026	形式数学	证明；验证器轨迹	猜想；证明搜索；形式验证	L2
Harmonic	Aristotle	定理证明	形式证明	翻译；证明；验证	L1–L2
Core Automation	AI 系统研究栈	自动化系统研究	系统代码；研究假设	设计；编码；基准测试；迭代	L2 候选
Discovery Loop	自主发现回路	自动化实验	协议；发现	假设；实验；分析；下一步	L3 候选
Lila Sciences	Autonomous Science 平台	科学发现	假设；实验；后训练数据	设计；实验室执行；实时学习	L3 候选
Karpaty / autoresearch	autoresearch	窄域自动化研究	训练代码；配置	编辑；训练；测量；保留	L2
Prime Intellect	Autonomous research	模型研发	训练配方；优化器；代码	假设；GPU 运行；消融	L2
Prime Intellect	Speedrun Frontier	模型研发	训练配方；优化器；代码	假设；GPU 运行；消融	L2
Analemma	FARS	自主研究	提案；代码；日志；论文	选题；实验；分析；写作	L2–L3
Novix	AutoAgent	AI 研究智能体	研究工作流；评估 harness	想法；工具使用；实验；报告	L2
Novix	OpenHarness	AI 研究智能体	研究工作流；评估 harness	想法；工具使用；实验；报告	L2
Novix	AI-Researcher	AI 研究智能体	研究工作流；评估 harness	想法；工具使用；实验；报告	L2
UniPat	UniScientist	研究 / 评估智能体	研究轨迹；基准	实验；编码；多智能体评估	L1–L2
UniPat	UniSwarm	研究 / 评估智能体	研究轨迹；基准	实验；编码；多智能体评估	L1–L2
UniPat	UniMath	研究 / 评估智能体	研究轨迹；基准	实验；编码；多智能体评估	L1–L2
Kai Chen / venture TBD*	Intern-S1	面向科学的 AI 模型	科学模型；训练数据	模型训练；科学推理	邻接；实体待定
D. 智能体优化、评估与学习基础设施	为反馈、技能、RL、评估、模拟器、训练数据或生产智能体改进提供基础设施。
Warp	技能优化回路	编码智能体技能	技能；指令；示例	反馈挖掘；技能重写；评估	L2
Factory	Signals	生产编码智能体	智能体行为；产品代码	会话挖掘；失败聚类；补丁 PR	L4
Factory	Software Factory	生产编码智能体	智能体行为；产品代码	会话挖掘；失败聚类；补丁 PR	L4
LangChain	LangSmith self-improving evaluators	评估器对齐	裁判提示词；评估器模型	反馈摄取；裁判更新；评估	L1–L2
Replit	Agent 3	软件工程	应用代码；测试	构建；测试；修复；长时运行	L1–L2
MorphMind	Caliper	智能体校准 / 组织记忆	智能体技能；共享经验	测量；路由；复用经验	L1–L2 邻接
DatologyAI	BeyondWeb	数据优化	训练语料；合成数据	策管；过滤；合成；基准测试	L1–L2
DatologyAI	DatBench	数据优化	训练语料；合成数据	策管；过滤；合成；基准测试	L1–L2
Ineffable Intelligence	RL infrastructure	RL / 经验基础设施	训练环境；轨迹	展开；奖励；分布式 RL	L1–L3 使能
Goodfire	Ember	可解释性驱动的训练	特征激活；奖励信号	特征发现；反馈；RL	L1–L2
Goodfire	RLFR	可解释性驱动的训练	特征激活；奖励信号	特征发现；反馈；RL	L1–L2
Patronus AI	Generative Simulators	评估 / 仿真	模拟器；评估套件	场景生成；评分；失败分析	L2–L3 使能
Patronus AI	Percival	评估 / 仿真	模拟器；评估套件	场景生成；评分；失败分析	L2–L3 使能
Braintrust	Loop	生产反馈 / 评估	提示词；评估；数据集	轨迹摄取；评分；提示词优化	L1–L2
Braintrust	Autoevals	生产反馈 / 评估	提示词；评估；数据集	轨迹摄取；评分；提示词优化	L1–L2
Mechanize	RL environments	经验 / 评估基础设施	RL 任务；评分器；环境	任务设计；评分；训练信号	L3 使能
Mechanize	GBA Eval	经验 / 评估基础设施	RL 任务；评分器；环境	任务设计；评分；训练信号	L3 使能
Kando AI	早期公司信号	未披露 / 早期阶段	未披露	未披露	未验证
Entropy Order*	数据专家平台	高质量训练数据	专家数据；评估资产	数据生产；基准测试	L1–L3 使能
Compounding Intelligence / CORAL*	CORAL	多智能体研究	共享笔记；技能；日志	并行实验；知识共享；评估	L2–L3
Naive.ai*	研究实验室信号	早期 RSI 实验室	未披露	未披露	RSI 主张：未验证
E. 具身、世界模型与持续适应公司	持续适应与世界模型、机器人、环境或测试时/持续学习绑定。
AI2 Robotics	FiS-VLA	具身策略学习	VLA 策略；动作数据	数据；训练；规划；控制	L2–L3 邻接
AI2 Robotics	Video2Act	具身策略学习	VLA 策略；动作数据	数据；训练；规划；控制	L2–L3 邻接
X Square Robot	WALL	世界模型 / 技能获取	世界模型；技能；动作策略	视频技能捕获；世界预测；控制	L2–L3
X Square Robot	HOST	世界模型 / 技能获取	世界模型；技能；动作策略	视频技能捕获；世界预测；控制	L2–L3
Galaxea AI	G0 / G0.5	VLA 研发平台	VLA 模型；数据；部署栈	训练；评估；真机部署	L2 邻接
Galaxea AI	GForce	VLA 研发平台	VLA 模型；数据；部署栈	训练；评估；真机部署	L2 邻接
TARS Robotics	AWE	触觉世界模型	触觉世界模型；操作策略	多模态感知；预测；控制	L2–L3 邻接
TARS Robotics	TacForesight	触觉世界模型	触觉世界模型；操作策略	多模态感知；预测；控制	L2–L3 邻接
Synapx Dynamics	SYNWorld	具身数据 / 模型栈	数据；世界模型；后训练	数据合成；训练；评估；控制	L2–L3
Synapx Dynamics	OctoMind	具身数据 / 模型栈	数据；世界模型；后训练	数据合成；训练；评估；控制	L2–L3
Synapx Dynamics	OctoSense	具身数据 / 模型栈	数据；世界模型；后训练	数据合成；训练；评估；控制	L2–L3
MirrOS	Code as Worlds	世界模型 / 测试时适应	世界代码；快速权重	环境建模；评估；测试时更新	L1–L2
MirrOS	Spatial-TTT	世界模型 / 测试时适应	世界代码；快速权重	环境建模；评估；测试时更新	L1–L2
Wuya Zhiyuan*	SHINE	持续 / 测试时学习	LoRA；技能向量；权重	上下文适应；技能迁移	L1–L2
Wuya Zhiyuan*	LIFT	持续 / 测试时学习	LoRA；技能向量；权重	上下文适应；技能迁移	L1–L2
Wuya Zhiyuan*	PaST	持续 / 测试时学习	LoRA；技能向量；权重	上下文适应；技能迁移	L1–L2
Singularity Escape / Nexus*	Nexus	协作式自我演化智能体	共享状态；组织知识；Harness	协作；经验捕获；Harness 适应	L3–L4 候选
F. 持久记忆与个人 AI 公司	跨任务记忆、身份或可复用技能是适应的主要基底。
Engram	Knowledge Cartridges	持久企业记忆	知识模块；记忆	抽取；存储；检索；适应	L1–L2 邻接
Lemon AI / Hexdo	LemonAI Evolving	本地持久智能体	工作区；记忆；经验库	Web / 文件 / 代码；持久化；复用	L1–L2
EverMind	EverOS	智能体记忆 / OS	长期记忆；技能	检索；技能锻造；主动任务；评估	L2–L3
EverMind	Raven	智能体记忆 / OS	长期记忆；技能	检索；技能锻造；主动任务；评估	L2–L3
EverMind	EverMemOS	智能体记忆 / OS	长期记忆；技能	检索；技能锻造；主动任务；评估	L2–L3
Mindverse	Second Me	个人记忆 / 适应	身份模型；记忆；LoRA	记忆建模；个性化；检索	L1–L2
Mindverse	Me.bot	个人记忆 / 适应	身份模型；记忆；LoRA	记忆建模；个性化；检索	L1–L2

阅读指南。B0 仅表示任务内自主。L1–L5 遵循本综述递增的自主性尺度。“adj.”标记 RSI 邻接的基础设施或行为；“cand.”标记看似合理但尚未充分展示的等级；“target”标记明确的未来目标，而非已展示的当前能力。星号表示其公司身份或公开技术边界仍需更强验证的条目。

附录 C　跨应用的 RSI

在按置于 AI 控制之下的改进功能把系统从 B0 分类到 L5 之后，我们现在考察 RSI 如何在不同场景中被应用。如图 9 所示，应用在两个方面存在差异：它们改进什么，以及验证并保留一项更新所需的反馈是什么。我们把证据组织为四种应用体制，包括面向科学的 AI（S1）、具身智能（S2）、软件工程（S3）与医疗健康（S4）。这些场景并非互斥，因为一个医疗健康 AI 科学家可能同时属于 S1 与 S4。

每个小节遵循共同结构。我们首先刻画目标场景中的典型 AI 工作流，识别 RSI 回路如何从其任务与可用反馈中涌现，并综述该场景中 RSI 的挑战。随后按系统所改进的组件或工作流对代表性系统分组，并比较它们干预 RSI 回路的位置、更新什么以及这些改进如何被保留。最后，我们评估当前研究与各场景所设想的完整 RSI 回路之间的差距，突出既有证据的强度、场景特定风险，以及通向更大改进的关键障碍。

C.1　S1：面向科学的 RSI

科学是 RSI 特别重要的场景，因为科学进展不仅取决于解决孤立问题，还取决于改进未来问题、假设与实验被生成的机制。因此，科学 RSI 不同于仅搜索更好分子、方程或假设的自动化发现。一个科学 RSI 回路从研究挑战出发，生成候选假设与实验，通过计算或与物理世界交互来评估它们，并利用由此获得的证据或证伪来诊断 AI-for-science（AI4Sci）系统。

面向科学的 RSI 主要受三个特征挑战。第一，科学发现是开放式的。相关假设的空间与必要工具、实验的集合都无法预先知晓，而昂贵的实验使探索本身成为改进问题的一部分。第二，科学反馈通常稀疏、延迟且不可识别。例如，一次失败的实验可能表明假设不正确，但也可能源于不合适的模型、无效的协议或不可靠的仪器。第三，科学有效性以假设、领域与测量程序为条件。在一个设定中成功的更新，若没有记录其来源、有效范围与不确定性，就不能被安全继承。这些特征使科学 RSI 同时是证据获取、能力演化与认识论控制的问题。据此，我们围绕三个可能演化的组件组织现有工作：科学假设模块、实验智能体，以及反思系统或改进器。

C.1.1　演化科学假设模块

假设模块决定提出并优先考虑哪些解释或候选方法。它的演化需要反馈去改变用于未来假设生成的机制，而不仅仅是为当前问题选出一个更好的假设。HypoForge [158] 持续把科学经验提炼为用于假设生成、实验设计与执行的可复用程序性技能。当直接的经验反馈不可用时，它从判别器的批评中更新生成技能，并从真实执行结果与已归因的失败中精炼检验技能。EvoScientist [173] 则维护一份关于有前景与已失败研究方向的构思记忆，在后续任务中检索以调整后续提议。这产生了基于持久记忆的适应，尽管底层模型、记忆模式与更新程序仍然固定。

一种更直接的方法更新候选生成器本身。TTT-Discover [174] 在测试时应用强化学习，使科学反馈在求解新问题时能够修改模型权重。可自我改进的聚合物发现框架 [175] 同样把经仿真评估的候选加入训练数据，并重新训练其生成模型。这些系统的演化仍限于任务或领域特定，且由固定的训练与选择程序产生。因此，当前证据支持有界的假设级改进，而不支持一种跨领域逐步变得更擅长提出科学假设的通用机制。

C.1.2　演化实验智能体

实验智能体通过选择工具、编写代码或操作实验室设备，把假设转化为可执行流程。当执行反馈被转化为可复用动作时，它的演化便发生了。Test-Time Tool Evolution [159] 在推理期间合成、验证并复用可执行的科学工具，其 SciEvo 基准包含 1,590 个任务，由 925 个演化出的工具支持。CASCADE [176] 为化学与材料科学创建、修复并积累可执行技能，而 S1-NexusAgent [177] 把完整研究轨迹提炼为可复用的 Scientific Skills。SkillFoundry [178] 通过挖掘论文、代码库、文档与 API 等异构资源，把它们编译为可执行的技能包，并依据执行与下游效用验证、合并或剪枝这些技能，从而构建并持续维护一个可复用科学技能库。这些方法使智能体的动作空间持久且可扩展，尽管其工具生成与准入规则仍由外部规定。

其他系统演化更广泛的实验策略与工作流。DrugSAGE [160] 在跨任务记忆中存储经过验证的建模流程、训练策略与反复出现的错误修复。从 16 个任务收集的经验改善了 17 个留出任务上的表现，直接证明继承的经验改变了在新问题上的行为。STELLA [179] 更新推理模板并为生物医学研究扩展一个 Tool Ocean，EarthLink [180] 为气候科学保留成功的脚本与分析工作流，OriGene [181] 利用人类与实验反馈精炼思维模板、工具组合与分析协议。在物理仿真中，自我演化的流体控制智能体 [182] 联合修订其智能体定义及其产出的白盒控制器。该案例也说明了一条重要的评估边界：对实验智能体的改进必须与对科学产物（例如控制器）的改进分开测量。

在这些系统中，最强的证据来自在后续任务上经过验证的复用，而不是工具或记忆库规模的扩大。因此，可靠的实验智能体演化需要明确的技能前提、执行测试、来源记录、版本管理与回滚。没有这些控制，一个局部成功的工作流可能在其验证条件之外被继承。

C.1.3　演化反思系统与改进器

反思系统解释证据并识别失败原因，而改进器决定修改哪个组件、如何修改，以及是否应保留更新。一个修订当前输出的固定批评器执行的是预定义的改进程序，而一个演化的改进器则必须从先前改进的结果中更新自身的诊断、干预或晋升策略。

SIA [161] 在当前 AI4Sci 系统中提供了最广泛的组件级更新回路。其 Feedback-Agent 利用任务结果，在不同策略之间选择修改智能体脚手架、工具、重试与搜索逻辑，以及低秩适配器（LoRA）权重。CORAL [183] 用长期运行的异步智能体替代固定的演化搜索启发式，这些智能体自主检查先前的尝试、决定何时测试或调用评估器，并把发现外化为共享的尝试、笔记与可复用技能，同时以心跳触发的反思与重定向维持长时程探索。SAGA [184] 把可编辑表面扩展到目标层。在固定的高层科学目标下，它诊断被优化候选种群中的失败模式，提出具体目标或重新加权目标，并把它们实现为可执行的评分函数以引导后续搜索。

C.1.4　走向递归改进的科学智能体

综合来看，这些工作指向科学 RSI 的更广阔愿景。其终极形态不仅是产生更好假设或实验结果的系统，而是一个在开展科学时逐步变得更擅长原创性创新的系统。它应联合改进假设如何被生成、实验如何被执行、证据如何被解释，使每个研究周期既产生科学发现，也产生对未来发现的可复用改进。

当前 AI4Sci 系统只部分实现了这一愿景。B0 式的输出精炼已很普遍，而 L1 持久更新已通过模型重训练与记忆积累得到展示 [173–175]。L2 代表当前最强的前沿，系统在模型权重、工具、技能、工作流与脚手架上自主选择或应用更新 [159, 161, 176]。少数系统通过自适应探索与跨任务经验复用表现出 L3 的某些方面 [160, 183]，而端到端的 L4 环境适应与 L5 改进器自身的演化仍基本未被探索。

我们距离真正的科学 RSI 还有多远？ 通向更高层科学 RSI 的进展，将主要需要更可靠的实验结果归因、更具选择性的跨任务改进迁移，以及更强的评估来判断相继的系统更新是否真正改善未来研究。同样重要的是，在改进过程中越来越强大的组件变得自适应时，保持来源记录、可复现性以及稳定的科学与安全约束。

C.2　S2：面向具身智能的 RSI

对具身智能而言，智能体的动作在物理或仿真环境中产生可观察的后果，这为 RSI 提供了天然场景。然而仍存在三个主要挑战。第一，经验是内生的，因为当前策略决定智能体到达哪些状态，从而决定有哪些证据可用于进一步改进。第二，能力分布在感觉运动系统中，包括感知、规划、控制与物理实体，使失败难以归因到单个组件。第三，物理试验无法自由复现、逆转或重置，因此候选更新必须在安全、硬件与资源约束下评估。

因此，具身 RSI 必须同时解决经验生成、跨组件信用分配与安全继承。其交互回路从提供学习任务的环境与课程开始，智能体 harness 组织相关能力，策略执行动作，世界模型与评估器解释产生的结果。经过验证的反馈随后被写回这些组件，使更新后的系统参与下一轮交互。据此，我们综述关于演化环境与课程、智能体 harness、策略与动作模型，以及世界模型与评估器的现有工作。

C.2.1　演化环境与课程

具身 RSI 回路首先确定智能体将经历并从中学习什么。POET [65] 通过共同演化环境—智能体配对种群，解决固定人工设计课程的局限。它变异环境，通过最小准则接纳既非平凡也非不可解的挑战，优化相应策略，并定期跨环境迁移策略以复用行为踏脚石。EnvGen [185] 针对直接部署大语言模型作为具身智能体的高成本，以及静态课程无法应对个体弱点的缺陷。它转而用 LLM 作为课程设计者：LLM 生成模拟器配置，较小的 RL 智能体在其中训练，技能级表现被返回给 LLM，以生成针对智能体剩余弱点的环境。GenEnv [186] 进一步解决静态训练数据与不断改进的学习器之间的失配，把环境模拟器参数化为可训练的课程策略。其 α-Curriculum Reward 偏好接近学习器当前能力前沿的任务，随后用 GRPO 优化学习器，并通过奖励加权回归更新模拟器。

这些方法在既有模拟器内调整任务，而 OMNI-EPIC [187] 解决人工预定义环境分布带来的受限搜索空间。它用 LLM 生成可执行的环境与奖励代码，同时以先前任务档案和当前智能体的学习进展为条件来生成后续提议，以寻找既可学习又新颖的挑战。SimWorld Studio [188] 解决另一个障碍：生成的三维内容往往静态、不可验证，且不适合具身训练。其 SimCoder 智能体编写可执行的 Unreal Engine 代码，利用编译错误、物理检查与视觉语言模型批评来修订环境，并存储成功的工具与技能以供后续生成。学习器表现随后引导它走向逐步更难、兼容 Gym 的世界。总体而言，这些方法把学习器表现转化为一种机制，用以演化未来具身经验的分布与生成器。

C.2.2　演化技能、记忆与智能体 Harness

给定任务后，智能体 harness 决定记忆、技能、工具与执行规则如何被组装为可行动的系统。Voyager [84] 把成功的 Minecraft 行为写入可执行技能库，而 LRLL [189] 使用自引导探索与醒—睡过程来增长并重组可组合机器人程序库。EmbodiSkill [190] 进一步区分由错误技能导致的失败与由智能体未遵循有效指导导致的失败，仅在轨迹提供相关证据时更新技能。

较新的系统把更新目标从单个技能扩展到周围智能体架构。SHAPER [111] 通过环境展开联合演化可复用技能与上下文代码 harness，而 ASPIRE [191] 诊断机器人执行失败、验证候选修复，并把成功的修复保留为可迁移技能。ENPIRE [192] 更进一步，允许编码智能体通过反复的真实世界实验来修订机器人策略、训练程序与支撑基础设施。

这些系统把系统级演化视为经验改变的对象不仅是智能体知道什么，还有其能力如何被选择、组合与改进。由此形成的 harness 最终塑造策略如何把观察与指令转化为动作。

C.2.3　演化策略与动作模型

在任务与执行上下文就位后，策略决定智能体如何在环境中行动。Self-Improving Embodied Foundation Models [193] 从预训练模型导出奖励与成功信号，使机器人能够在有限人工监督下练习任务并改进策略。MEDAL++ [194] 同样通过同时学习如何完成任务与撤销任务来支持自主练习，减少对人工环境重置的需求。其他方法更新更有针对性的组件。Q-Planning [195] 保持一个大的行为克隆策略固定，同时从成功与失败的部署轨迹中持续训练一个较小的价值函数，而 SERP [196] 在重新规划之前根据最近的导航失败调整其动作模型。在每种情况下，当前策略产生的交互都成为其后继系统的训练证据。

然而，更新算法、奖励定义与允许修改的模型组件仍被预先规定，使这些系统主要是策略级自我改进的案例。此外，在此类经验被安全继承之前，系统必须预测并评估其动作实际造成了什么。

C.2.4　演化世界模型与评估器

一旦策略行动，世界模型与评估器就把产生的交互转化为预测、结果判断与学习信号。VLAW [197] 使用真机展开改进一个以动作为条件的视频世界模型，后者随后生成额外的合成经验用于训练视觉—语言—动作策略。World-VLA-Loop [162] 使这一关系迭代化：策略失败精炼世界模型，而精炼后的模型为下一轮策略优化提供更可靠的环境。Motus2 [198] 把策略、仿真与评估功能整合进一个共享模型，利用失败与次优交互改进其动力学与价值预测。SAIL [199] 遵循一个相关回路：视频规划器执行自己生成的计划，并在产生的轨迹上微调。

这些方法不仅改进策略，也改进预测后果与产生未来训练信号的机制。它们的反馈随后可以更新下一轮使用的策略、harness 或课程，从而闭合具身 RSI 回路。尽管如此，其目标与更新程序仍由外部固定，因此它们实例化的是有界的模型—策略共同演化，而非不受限制的递归改进。

C.2.5　走向递归改进的具身智能体

综合来看，这些工作表明具身 RSI 应不仅改进任务表现，还应改进智能体获取并验证新能力的过程。环境生成器应在智能体能力前沿附近提出任务；harness 应组装相关记忆、技能、工具与模型；策略应与环境交互；世界模型与评估器应解释产生的结果。经过验证的改进随后应被策略、世界模型或 harness 继承，使每个交互周期既改进当前行为，也改进未来学习。

当前系统只部分实现这一回路。B0 式的回合内反思与重规划已很普遍。L1 持久改进已通过基于具身经验的策略与模型更新得到展示 [193, 194, 199]。L2 代表当前的主要前沿，系统在固定评估程序下选择并应用对技能、提示词、控制程序与智能体 harness 的更新 [111, 190, 191]。一些系统通过依据学习器状态生成经验并跨任务保留已验证技能，表现出 L3 能力 [84, 189]。L4 智能体—环境共同演化也已出现，主要是在仿真中 [65, 185, 186, 188]。ENPIRE [192] 通过允许编码智能体修订策略、训练程序与支撑基础设施，进一步接近有界 L5。然而，其环境接口、评估器与安全约束仍由外部规定。

我们距离真正的具身智能 RSI 还有多远？ 真正的具身 RSI 要求智能体主动获取有信息量的经验、在完整感觉运动系统中归因结果，并在无法自由重置的物理条件下验证更新。改进必须在任务、环境与具身形态之间保持有效，并具有明确的来源记录、不确定性与回滚。系统还必须学会改进自身的 harness 与评估过程，同时不削弱固定的安全约束。当前方法分别展示了这些能力，但尚未把它们整合为一个安全、持久且自主的真实世界改进回路。

C.3　S3：面向软件工程的 RSI

软件工程为研究 RSI 提供了一个格外具体的场景，因为产品与开发它的智能体都以可执行代码表示。一个典型回路始于编码智能体尝试处理某个 issue，观察仓库层面的反馈（例如测试失败、运行时轨迹或代码评审），并利用这些证据修改自身某个持久组件。被修改的组件可能是智能体的技能、工作流或实现，而被接受的改动会在后续任务中被复用。

因此，软件工程 RSI 面临三个根本挑战。第一，系统必须持续生成针对其当前能力缺口的软件任务，同时保持这些任务可验证且对未来学习有价值。第二，软件工程中的改进必须同时评估一项修改当前是否有效，以及它是否提升了系统进一步改进的能力。一项改动可能提高即时基准表现，却导致后续搜索停滞；而一个暂时较弱的变体可能产生更强的后代。第三，在保持外部契约（例如评估标准、改进目标）的同时协调多个组件的演化，仍是一项挑战。据此，我们围绕三个可能演化的组件组织现有工作：智能体实现与 harness、软件工程经验与协作，以及改进过程本身。

C.3.1　演化编码智能体的实现与 Harness

软件工程 RSI 最直接的形式，是把编码智能体本身视为一个可编辑的软件项目。SICA [200] 允许智能体检查先前的版本与基准结果、修改自身的 Python 代码库，并在下一轮改进中使用所选版本。由于同一系统既是软件开发者又是被开发对象，对文件编辑工具、子智能体或上下文管理的修改既能改善普通编码，也能改善后续的自我修改。然而，其基准、效用函数与沙箱仍由外部固定。

较新的工作把自我修改收窄到智能体 harness（例如中间件、验证规则与控制逻辑）。Self-Harness [23] 利用执行轨迹识别反复出现的弱点，要求同一底层模型对其当前 harness 提出小幅改动，并且仅在回归测试之后保留提议。Agentic Harness Engineering [63] 把 harness 组件暴露为可分别编辑与回滚的文件，把长轨迹提炼为结构化证据，并检查每项提议改动是否产生其预测的效果。其独立的 evolver 角色使回路不像 Self-Harness 那样直接自指，但被接受的 harness 仍会跨后续执行持久存在。Ouroboros [18] 把这一思想扩展到部署：对智能体工具、上下文组装、提示词与核心实现的经评审改动，成为后续工作所使用的运行时。这些系统共同表明，版本控制、回归测试与回滚如何能把智能体自我修改转变为持久且可审计的过程。

C.3.2　演化软件工程经验、技能与协作

一种更轻量的自我演化形式，改变编码智能体如何使用先前的开发经验，而不重写其完整实现。SWE-Exp [60] 把成功与失败的 issue 解决轨迹抽取到经验库中，并为后续仓库任务检索相关教训。CODESKILL [201] 则超越案例存储，学习一种管理策略，在多个层级抽取程序性技能，随着新轨迹到达更新或删除它们，并为未来智能体维护一个紧凑的技能库。在两种情况下，持久输出都是可复用的开发知识，支持跨任务适应。然而，其固定的抽取与更新程序本身不会因使用而变得更好。

自我演化还可以改变软件团队的组织方式。EvoMAC [202] 把多智能体编码工作流表示为角色提示词与通信链路的网络，随后利用测试反馈与文本反向传播来修订智能体及其连接。这改善了用于构造当前程序的工作流，但所报告的更新发生在每个任务的测试期。

C.3.3　演化改进过程

最强的系统并不遵循单一的被接受编辑序列；它们还会搜索替代的演化路径。Darwin Gödel Machine（DGM）[16] 维护一个编码智能体变体档案，选择先前的智能体作为父代，让它们修改自身实现，并在可执行编码任务上评估其后代。保留多个谱系可防止一次有害编辑永久阻断进展，并使暂时较弱的变体成为有用的踏脚石。Huxley–Gödel Machine（HGM）[59] 进一步指出，当前基准表现并不等同于产生更好后代的能力。因此，它从智能体的后代谱系估计元生产力（metaproductivity），并把评估投入分配给具有更强长期改进潜力的智能体。

基于种群的方法拓宽了可跨谱系继承的内容。Group-Evolving Agents [203] 允许多个父代智能体在产生新组时共享成功的修改与失败经验，使有用的发现不会孤立于单一分支。DarwinX [204] 围绕一个冻结模型演化完整 harness 种群，并且仅当变体扩展任务覆盖且不使已解决案例回归时才接纳它。HELIX [205] 提出进一步的模型—harness 回路：harness 演化改善当前执行，并生成用于更新模型的已验证轨迹，随后针对改变后的模型重建 harness。

C.3.4　走向递归改进的软件工程智能体

综合来看，这些工作提示了一个软件工程 RSI 回路：开发挑战 → 智能体级修改 → 仓库扎根的试验 → 回归感知的选择 → 带版本的继承。仓库反馈触发持久智能体更新，该更新在当前与留出任务上被评估，然后作为可追踪、可回滚的版本被继承，用于未来开发与自我改进。

当前系统只部分实现这一回路。B0 式的任务局部精炼已很普遍，而 L1 持久更新出现在跨任务经验与技能学习中 [60, 201]。L2 是已确立的最强层级，智能体在固定目标与评估器下选择对 harness、工具或工作流的改动 [23, 63, 204]。L3 正通过 Self-play SWE-RL 与 Socratic-SWE [206, 207] 中依据学习器状态的任务生成而出现。L4 环境适应基本仍缺失。SICA 与 DGM 通过修改塑造后续自我改进的代码，表现出有界的 L5 特征 [16, 200]，而 HGM 引入了基于谱系的元选择，却未调整选择规则本身 [59]。软件开发改进器的完整 L5 改进尚未被展示。

我们距离真正的软件工程 RSI 还有多远？ 真正的软件工程 RSI 要求稳健的规格、可归因的改进，以及跨仓库与软件版本的可靠迁移。随着测试生成与改进策略变得自适应，用户意图、安全约束、可审计性与回滚必须仍受外部保护。

C.4　S4：面向医疗健康的 RSI

作为 AI 应用最突出的场景之一，医疗健康涵盖诊断、医学图像分析与治疗规划等任务。一个典型的 RSI 回路始于智能体执行临床任务，并从诊断结果、临床医生纠正或临床指南中获得可验证的反馈。随后智能体持久更新其组件（例如临床知识、推理策略、工作流），改进被保留在记忆、技能库或模型参数中，以便在后续病例中复用。

医疗健康 RSI 主要受三个特征挑战。第一，医疗健康不允许无限制的试错，因为诊断与治疗行为可能伤害患者，因而需要专家、伦理与机构监督。第二，临床反馈往往延迟、异质且混杂，难以把患者结局归因于某个特定的智能体决策或更新。第三，临床改进依赖于人群与机构，因此在一个环境中验证的更新，若不记录其来源、范围与不确定性，就不能被安全继承。这些特征使医疗健康 RSI 成为安全反馈获取、可靠信用分配与受治理能力继承的问题。据此，我们围绕三个可能演化的组件组织现有工作：临床记忆与知识、临床推理策略，以及医疗工具与工作流。

C.4.1　演化临床记忆与知识

医疗健康中最常见的 RSI 形式演化智能体的临床记忆，即把已完成病例的反馈转化为可影响后续患者决策的持久知识。早期系统主要保留病例级经验。Agent Hospital 中的 MedAgent-Zero [163] 存储成功的治疗病例，并对失败病例进行反思以导出可复用的诊断规则，使模型权重冻结的医生智能体能在后续模拟接诊中检索这些经验。类似地，Agent Mental Clinic [208] 通过监督模块把精神科智能体的诊断与标注结局比较，并把产生的诊断经验写入分层记忆架构。MedAgentSim [209] 进一步把病历与经验记录结合，使诊断智能体能够复用从先前模拟医患交互中积累的知识。在这些系统中，一次接诊的输出成为智能体推理未来病例时所依据的持久上下文的一部分。

较新的方法演化所记忆知识的结构与可靠性，而不是简单累积原始轨迹。DxEvolve [210] 把诊断接诊提炼为诊断认知原语，这些原语编码可复用的信息获取与诊断推理模式，并可在新病例中检索。GSEM [211] 把经验组织为双层图，并利用后续反馈重新校准节点质量与经验间边权重，从而同时改变记住什么以及哪些记忆被认为适用。Evo-MedAgent [212] 为回顾性临床事件、程序性启发式与工具可靠性维护互补存储。每个胸片病例之后，反思会更新这些存储，使后续病例同时继承临床教训与对诊断工具信任度的修订。然而，大多数证据仍基于带外部提供标签的模拟或回顾性病例，真实世界病例中的演化验证仍然缺失。

C.4.2　演化临床推理策略

除演化临床事实外，医疗健康智能体还可以演化决定证据如何被获取、解释与整合的策略。EvoClinician [164] 通过 Diagnose–Grade–Evolve 回路实例化这一过程：Actor 依次提问并开具检查，Process Grader 根据每项行动的临床收益与资源成本进行评估，Evolver 则利用这些反馈在下一病例之前修订 Actor 的提示词与记忆。因此，被继承的演化对象是一种诊断策略，例如应澄清哪个症状或应优先安排哪项检查。

推理演化也可以发生在多智能体协调层面。EvoMDT [213] 把肿瘤决策分解给角色专门化的智能体，并利用专家评估与结果导向信号更新提示词、共识权重与检索范围。因此，反馈不仅能改变单个智能体的推理，也能改变后续病例中专家的意见如何被加权与协调。在心理咨询中，PsychAgent [214] 从历史咨询轨迹中抽取有实践依据的技能，把它们加入不断演化的技能库，并通过拒绝微调进一步内化所选技能。

C.4.3　演化医疗工具与工作流

第三条工作线通过把成功执行转化为可复用工具、技能或临床工作流，来演化智能体的动作库。MACRO [165] 从一个固定的医学影像工具集合出发，但在已验证的执行轨迹中识别反复出现的多步模式，把它们合成为复合工具，并把这些复合工具注册为后续影像任务的新高层动作。由此，智能体改变的是它能直接调用的内容，而不仅仅是检索先前的解答。SkeMex [215] 在程序性技能层面遵循相关方法：它把有信息量的临床轨迹提炼为通用、任务特定与动作级技能，从环境反馈估计其上下文相关效用，并通过 Read–Write–Assess–Govern 生命周期管理它们，该生命周期可提升、合并、更新或删除条目。在两种情况下，继承都通过一个不断演化的动作空间运作，其组件根据在后续任务中展示的效用被选择。

其他系统演化更大的分析工作流及其支撑组件。TissueLab [216] 允许领域专家检查中间医学影像结果并提供纠正，以指导主动学习、分类器精炼以及跨病理、放射与空间组学任务的后续工作流构建。HealthFlow [166] 把已完成的 EHR 分析转化为持久保护措施、可复用工作流、数据集特定锚点与代码片段；评估器首先识别执行或方法学缺陷，随后反射器在经验被后续分析检索之前验证、更新或退役它。这些系统把医疗健康 RSI 从选择预定义工具推进到构造可复用流程。然而，由于技术成功或病例特定的临床医生反馈并不保证跨患者人群的安全性，演化出的工作流必须在跨病例继承之前被验证且可回滚。

C.4.4　走向递归改进的医疗健康智能体

医疗健康 RSI 的终极形态不仅是产生更好诊断、建议或分析输出的系统，而是一个在执行医疗任务时逐步变得更好、同时保持临床有效性与安全性的系统。每个事件都应同时产生任务结果与对智能体记忆、推理策略或动作库的经过验证的改进，使由此形成的能力能够被安全复用并在后续病例中进一步评估。

B0 式的病例内反思与答案精炼已很普遍，但它们不会持久改变未来行为。L1 持久继承已通过病例记忆、诊断规则与可复用临床知识得到展示 [208–210]。L2 代表当前最强前沿：系统能够诊断失败并自主选择或应用对提示词、记忆、推理策略、工具、工作流与协调机制的更新，同时其目标、评估器与部署门控保持外部固定 [164–166, 211–213, 215]。少数系统通过利用当前不确定性或积累经验来塑造后续证据获取、模拟接诊或专家标注，表现出类似 L3 的成分 [163, 216]；然而，其患者人群、任务分布与准入标准仍主要由外部规定。EvoPatient 通过共同演化模拟患者与医生进一步探索 L4 式适应 [217]，但模拟器的临床真实性与评估标准仍由外部决定。基于真实纵向结局的端到端 L4 适应，以及临床改进器自身的 L5 演化，仍基本未被探索。

我们距离真正的医疗健康 RSI 还有多远？ 通向更高层医疗健康 RSI 的进展，将主要需要可靠的纵向患者结局归因、在无不受限临床探索的情况下安全获取改进反馈，以及跨人群与机构的选择性更新迁移。同样重要的是一个受治理的能力承诺过程：每项持久更新都经过临床验证、前瞻性监测、可追溯到其支持证据，并在其假设或安全保障不再成立时可回滚。