26年10月来自中科大、上海AI实验室、上海交通大学、阿联酋MBZAI和浙大的论文“From VLM Planners To Robotic Agents: Self-evolving Harnesses for History-dependent Manipulation”。

SERA 的主要价值，在于把机器人的任务记忆、执行判断和失败修复组织成一个可修改、可验证的系统；论文支持这种系统设计能改善既定任务上的表现，但尚不足以证明广泛的自主进化与泛化能力。

1. SERA 到底做了什么？

论文研究的是“依赖历史的机器人操作”：当前图像不足以决定下一步，还必须知道之前发生过什么。例如，按钮已经成功按了几次、演示中第二个访问的目标是谁，以及抓取是否真正完成。

如图所示从规划器到智能体：面向依赖历史信息的操控任务。上图：根据任务进度的不同，相似的观测结果可能需要做出不同的决策。(a) 记忆增强型策略为 VLA 模型配备了记忆机制，使其能够保留并利用历史信息。(b) 分层规划将高层规划与底层执行分离开来。(c) SERA 框架利用一套“可编辑的驾驭”（editable harness），将 VLM（视觉-语言模型）转化为智能体；该智能体能够通过观测和交互历史来维护任务上下文。基于执行过程的“自我演化”机制会利用执行反馈（rollout feedback）来不断优化这一辅助架构。虚线箭头指向最终选定的辅助架构，该架构在测试前即已固定。

SERA 采用两层架构：

• 高层 VLM：理解历史、维护任务进度、生成下一条子任务命令。
• 固定的低层 VLA：根据命令和自身观测输入生成动作。
• 两者之间的 harness，即外围运行框架：组织上下文、约束命令格式、判断执行结果并管理恢复流程。

其中有两个不同时间尺度的循环。

任务执行期间：更新状态。

每轮高层规划器接收初始任务指导、近期图像、任务上下文、上一条命令和可用动作候选。它在同一次调用中评估上一动作的效果，更新上下文，并提出下一条命令：

(c_n+1, u_n) = P_H(g, V_n, c_n, u_{n-1}; A_cand,n)

这里最重要的设计是：发出了指令，并不等于完成了动作。 例如，“抓取物体”之后，应结合后续图像判断是否真的抓住，再决定能否进入放置阶段。

开发阶段：修改规则。

系统分析失败轨迹，提出修改，运行环境验证，再选择部署版本。允许修改的主要是：

修改对象	具体含义
规划指导	如何理解方向、安排步骤、进行恢复
执行判断标准	用什么视觉证据判断动作完成
控制规则	何时重新规划、切换命令或推进阶段

因此，“Self-Evolving”具体指开发阶段对外围框架的自动修订。测试期间框架固定，只更新单次任务的上下文；它并不持续训练模型，也不支持不受限制的在线代码自我改写。

2. 主要贡献

智能体执行与辅助架构的自我演化。(a) 该辅助架构负责维护任务上下文，并利用 VLM 为 VLA 执行器规划指令，同时将执行反馈纳入后续的交互轮次中。(b) 执行轨迹（execution traces）为修订规划指导、评估标准及控制规则提供了依据。验证器会对候选方案进行评估，并指导后续的修订与筛选；最终选定的辅助架构在测试前即已固定。图中的tokens代表各类信息，图像堆叠则展示了观测序列。

第一，把记忆从“保留历史信息”推进到“维护任务状态”。

SERA 不只是让模型看到更多历史帧，还要求它维护当前阶段、已完成步骤、物体状态、执行结果和不确定性。这更贴近长程操作的真正需求：机器人需要知道历史事件对下一步决策意味着什么。

例如 VideoPlaceOrder 中，系统既要记住演示所指定的目标，又要更新“当前是否抓取成功”。将持久目标与动态执行状态分开维护，是一个有用的系统设计。

第二，把失败经验转化为可复用的流程修改。

一次失败后的反思，只有影响后续行为才有价值。SERA 将其落实到规划提示、判断标准和控制规则，并通过真实环境 rollout 验证。

PatternLock 的案例较有说服力：系统先修正方向解释，再发现候选动作遗漏了所需方向，随后将候选集合从 5 个扩展到已有的全部 8 个方向。它修复的是规划接口中的具体问题，并未学习新的底层动作。

第三，提供了固定执行器条件下的性能提升证据。

RoboMME 包含 16 个任务，每个任务测试 50 次，共 800 次。图 3 的结果为：

任务类别	无自进化	完整 SERA	提升
Counting	34.00%	49.00%	+15.00 个百分点
Permanence	56.00%	57.00%	+1.00 个百分点
Reference	69.00%	69.50%	+0.50 个百分点
Imitation	18.50%	30.00%	+11.50 个百分点
总体	44.38%	51.38%	+7.00 个百分点

这说明，在该评估设置下，修改高层运行流程能够带来实际收益，而不必额外构造用于微调高层 VLM 的示范数据集。

此外，论文明确说明：部署版本在测试前选定，测试下降的任务也保留在汇总中，不在测试后择优替换。这一点提高了结果的可信度。

3. 主要不足及其影响

（1）新颖性主要在系统组织，独立算法创新有限。

论文自己讨论的相关工作已经涉及记忆、分层规划、执行验证，以及基于 rollout 的提示和 harness 修订。SERA 的贡献更适合定位为：将这些机制整合到历史依赖操作中，并验证其效果。

它没有提出新的底层动作学习算法，也没有给出新的记忆学习目标或自进化收敛理论。尤其缺少与论文所列 SHAPER、HELM 等接近方向的直接对照，因此尚不能充分确定其相对已有 harness 方法的独特优势。

（2）实验不能充分拆分性能提升的来源。

论文使用较强的高层 VLM，并结合任务先验、命令目录、上下文维护及控制规则。主表中的其他方法主要采用官方榜单结果，底座与计算资源并未被统一控制。

因此，“SERA 比某基线高”不能直接解释为“harness 设计本身带来了全部差距”。更有说服力的比较应固定高层模型和低层执行器，分别去掉上下文、执行判断、恢复控制和自进化。

目前的自进化前后比较支持整套修订流程的总收益，但不能确定三类修改各自贡献多少。论文也明确承认，PatternLock 的两轮修订不是隔离变量的消融实验。

（3）整体均值掩盖了明显的任务短板。

附录表 2 中：

• VideoPlaceButton 为 49/50，VideoPlaceOrder 为 46/50。
• ButtonUnmaskSwap、InsertPeg、RouteStick 均为 0/50。
• MoveCube 为 30/50，低于本地复现 MemER 的 45/50。
• ButtonUnmask 为 20/50，低于 MemER 的 41/50。

这说明优势集中在部分任务，并非对所有历史依赖操作均有效。相较榜单中的 FrameSamp+Modul，SERA 的 Counting 和 Imitation 成绩也更低。

还应区分：主表 MemER 为 42.38%，而附录本地复现为 363/800，即 45.38%。对应 SERA 的优势分别约为 9 和 6 个百分点，比较时不能混用这两种结果。

（4）自进化的泛化证据仍然有限。

附录披露，系统使用：

• 已知任务身份；
• 基准提供的任务规格先验；
• 从执行器训练标签提取的命令目录及转移统计；
• 可限定到具体任务的修订规则。

离线诊断还可以使用基准内部轨迹或专家示范。因此，“无需额外构造 SFT 数据集”不等于“完全不依赖示范或特权信息”。

这些设计并不自动构成测试泄漏，但意味着结果更直接支持已知任务中的新 episode 泛化，尚未证明对新任务、新机器人或不同环境的迁移。

（5）验证流程存在过拟合和选择不稳定的风险。

并非所有最终候选都通过了独立的新验证集。附录 B.3 允许在搜索预算耗尽后，保留“多成功一次且没有观察到回退”的开发阶段候选。

小样本面板中的一次改善可能受到随机性影响；如果面板只含原先失败的案例，也无法检测原先成功的案例是否被破坏。论文对此有所披露，但缺少置信区间、多次独立搜索结果，以及详细的搜索和验证预算报告。

因此，+7 个百分点值得关注，但该增益的稳定性和获取成本仍不清楚。

（6）执行验证本身仍可能出错，低层恢复能力也受限。

附录 B.2 中一个重要细节是：执行状态由 VLM 估计，视觉检查与规划在同一次调用中完成，没有独立程序对视觉判断进行否决。因此，系统虽然区分“指令发出”和“实际完成”，却没有可靠地解决完成状态识别问题。

一旦判断错误，错误可能写入最多 1,600 字符的进度摘要，并持续影响后续规划。摘要重写也存在遗忘细节和丢失证据的风险。

同时，高层知道应该做什么，不代表低层能做到。论文的倒水案例中，规划器保留了尚未完成的第二次倒水要求，但执行器提前放置容器，后续重新抓取仍失败。这表明：认知层面的正确状态维护，不能替代物理层面的恢复能力。

此外，论文承认高频 VLM 推理带来延迟，却没有系统报告端到端耗时、推理成本或动态环境中的响应表现；主要量化实验也不足以建立真实机器人部署可靠性。

4. 如何评价这篇论文的结论？

论文最有支撑的结论是：

在 RoboMME 的既定任务和命令接口下，对高层规划外围框架进行基于执行反馈的自动修订，可以提高整体任务成功率。

更强的论断——例如“机器人能够自主学习新技能”“可以持续在线自我进化”“能够普遍泛化到未知任务”——尚未得到这些实验支持。

如果继续推进这项研究，最关键的补充是：统一模型条件的组件消融、严格独立验证下的多次自进化实验，以及新任务和真实机器人的迁移测试。 这些实验才能进一步区分：SERA 学到的是可迁移的规划原则，还是针对既定基准的有效修补。