26年10月来自港科大（广州）、小米机器人、东南大学、清华、浙大、西湖大学、共生知行公司（Symbiosis Robotics）、北大、西交大和北京智源的论文“EmbodiedSmith: Scaling Embodied Data through Recursive Self-Improvement Flywheel in Simulation”。

EmbodiedSmith 最有价值的贡献，是把机器人仿真数据生成做成一个“能够执行、诊断、修复和验收”的闭环系统。 它对“反馈修复能提高示范生成成功率”给出了较强证据；但对标题中的“递归自我改进”、开放式技能创造，以及复杂物理和人类水平灵巧性，现有证据仍然有限。

如图 1 所示 EmbodiedSmith 概述：

---

先看它解决的核心问题。 生成一个视觉合理的房间，并不意味着机器人能在里面完成任务。桌子可能太高，杯子可能抓不住，抽屉把手虽然可达，拉开的轨迹却会碰撞。传统“先生成场景，再生成动作”的流程，会把这些问题留到执行阶段。

如图 2 所示场景生成概览。系统通过功能分区规划、视觉定位（visual grounding）、资产检索与生成，以及经物理验证的场景与桌面布局优化，将场景规格、任务指令和机器人配置转化为可用于仿真的三维场景。

EmbodiedSmith 将任务与机器人形态提前纳入场景构建，再通过仿真反馈修复执行失败。输出包括可执行任务配置、经过验收的轨迹，以及同步记录的图像、机器人状态和动作，可用于后续策略训练。

如图 3 所示闭环机器人任务生成与验证。(a) 指令基于场景、机器人配置及可用技能进行实例化。(b) 智能体提出技能序列与成功条件，用于构建并编译候选任务配置。(c) 候选配置在仿真环境中执行，并通过程序化验收检查进行评估。(d) 独立的 VLM 审查作为上述检查的补充；若执行失败，则触发诊断、修改及重新验证流程。(e) 经最终验收后，交付可执行的配置。

总结的方法与模型框架，可以分成四层。 这篇论文的技术主体是多个模型、规划器和仿真工具组成的系统，理解它时应重点看模块之间如何约束和验证。

1. 资产与场景层：语义生成和几何求解分工。
   已有资产经过语义、朝向、尺度和几何标准化；找不到合适资产时，先生成或调整参考图，再用 SAM3D 重建三维资产，补充碰撞几何和物理参数。关节资产采用基于 Articraft 的程序生成与验证流程。
   场景用 S_0=(G,O,X,Q) 表示，分别包含建筑边界、对象、对象位姿，以及支撑区域和交互约束。VLM 负责功能分区和关系图，分层布局求解器负责摆放，CuRobo 检查机器人可达性。语言模型表达“应该是什么”，几何与仿真工具检查“是否做得到”。
2. 任务层：将自然语言编译为技能 DAG。
   任务智能体把“把杯子放到托盘里”等指令绑定到具体对象，选择 pick、place、open、navigate 等参数化技能，并确定执行顺序、机器人位置和动作参数。
   同时建立任务要求、技能节点和验收证据之间的对应关系。例如，放置成功需要证明杯子已释放、位于托盘有效区域且获得支撑，不能只依据机械臂执行了 place。
3. 验证与修复层：Harness 是系统的关键。
   智能体通过 build / run / inspect / revise / finish 五个工具工作。Harness 负责配置检查、编译、候选版本冻结、仿真调度和最终验收；仿真引擎提供状态、接触、碰撞、技能事件及视频证据。
   失败后可以修改抓取位姿、动作参数、机器人工作位置等，再重新验证。任务成功条件在修复过程中保持固定，降低通过放宽标准“制造成功”的风险；独立 VLM 复核作为程序检查的补充。
4. 执行与数据层：共享技能接口，适配不同机器人。
   人形机器人通过底层适配器结合行走平衡策略与机械臂规划；灵巧手通过接触求解和手指控制实现交互。上层任务结构因此可以复用，但底层仍需要针对机器人和交互方式进行适配。
   数据采集还支持资产组合、物体布局、光照、纹理、相机及初始状态的分层随机化。失败会触发逐级重采样，只有通过任务与数据完整性检查的轨迹进入训练集。

---

实验支持了哪些贡献？

贡献	关键证据	合理的解读
生成更适合机器人操作的场景	20 个场景规格，每种方法各生成 3 次；表 2 中多数感知和几何指标领先	在论文测试范围内，场景功能性与几何可用性较好；文本一致性并非最高
提高示范生成可靠性	表 3 报告平均 ASR 为 67%，SceneSmith + Planner 为 17%，EmbodiedGen V2 + Planner 为 21%	系统级收益明显；后者存在不支持的任务，平均值比较需注意任务覆盖
执行反馈与位置验证有效	去除执行反馈后，四类任务 ASR 为 4%、0%、0%、0%；固定底座长任务去除位置验证后，由 71.6% 降至 13.2%	反馈和运动学约束是主要性能来源
生成数据可改善策略泛化	等时长 20 小时数据下，π0.5 的随机场景成功率由 7.2% 升至 40.2%	在这组任务上，用随机化数据替换部分固定布局数据带来明显收益

其中，示范生成评估采用每任务 10 次独立智能体会话 × 10 个未参与修复的仿真种子，且未生成可执行计划的会话记为零分。这些设计提高了结果的可信度。

但这里的 67% 是生成的任务程序在仿真中的成功率，不能解释成训练出来的机器人策略成功率。下游策略是另外一组实验。

从研究贡献看，我最认可两点：一是把场景的质量目标推进到“机器人能否实际完成任务”；二是建立可追溯的执行证据和验收机制。这比仅依赖视觉评分判断生成质量，更接近可用的数据基础设施。

---

论文的问题主要集中在“主张覆盖范围大于实验验证范围”。

第一，完整的场景—任务共同改进没有被主实验充分隔离验证。
附录 C.4 明确说明：主定量评估最多进行 30 轮修复，但场景资产、对象布局和成功条件保持不变，允许修改的是任务计划和机器人初始位置。

因此，表 3、表 4 主要支持“任务感知场景生成 + 固定场景中的计划修复”。它们不能单独证明，允许修改场景的双向闭环究竟带来多少增益。这是我认为最重要的实验缺口。

第二，“递归自我改进”主要体现为当前实例上的迭代优化。
论文展示了失败、诊断、修复、重试，也有资产持久化复用；但没有展示多轮策略训练后，系统持续变强、生成更有价值的数据、再推动下一轮提升的曲线。

需要区分：

• 当前任务经过更多尝试后成功；
• 历史经验使未来新任务更容易成功；
• 训练后的策略反过来指导下一轮数据生成。

论文对第一种证据较强，对后两种尚缺系统验证。

第三，开放式技能生成的证据不足。
正文强调自主创造和组合技能，但附录 S1 给出了明确的参数化原子技能库，主流程也是技能选择、组合与调参。现有结果充分支持“自动生成任务程序”，尚不足以证明能够自主创造此前不存在的低层操作技能。

类似地，标注为“记忆”的任务主要验证生成程序完成指定事件顺序。由于规划阶段可以读取结构化场景信息，不能直接据此认定学到了基于视觉历史的记忆能力。

第四，复杂物理与“人类水平灵巧性”的证据偏弱。
第 5 页有几个重要限定：

• 实际评估的可变形配置采用简化程序表示和均匀材料属性；
• 释放后恢复不完整被记录为已知局限；
• 该物理资产生成流程与场景生成器的集成仍属于后续工作。

人形和灵巧手部分主要提供示范，缺少广泛任务上的成功率、扰动鲁棒性和对照实验。附录中的海绵擦拭还明确采用刚性海绵，不能作为可变形操作的证据。因此，支持这些模块与证明复杂物理准确、达到人类灵巧水平之间，仍有距离。

第五，下游收益尚未证明广泛泛化和现实迁移。
策略训练实验只有两个场景、十个任务，主要比较固定布局与随机化布局。π0.5 在随机测试中明显提升，但固定布局表现从 61.2% 降到 50.8%；FastWAM 的随机测试也只达到 10.2%。

这说明多样性带来了适应范围与原分布表现之间的权衡。论文尚未充分验证新物体类别、新任务组合、新机器人形态或真实环境中的泛化，也没有提供大规模预训练的规模增长曲线。

第六，评估归因与成本核算仍可加强。
各基线使用自己的资产来源，因此性能差异同时包含资产质量、布局算法和系统集成的影响。场景感知评分由 VLM 完成，其中“物理合理性”主要反映视觉可见的支撑与穿插，并不等价于动力学真实性。

另外，输出 token 数不能完整代表数据成本，还需要统计仿真耗时、GPU 使用、资产生成、失败重试和人工配置。Top-5 ASR 是按评估表现筛选后的结果，应优先结合全候选 ASR 解读。

---

未来工作中，考虑下面五项。

优先方向	具体做法	最关键的验证
1. 隔离验证完整闭环	相同初始场景和计算预算下，对比无修复、仅计划修复、仅场景修复、联合修复	联合修复是否提高成功率、减少成本，并保留原任务要求与难度
2. 从“生成成功”转向“提升学习效果”	用当前策略的失败分布指导任务生成，构造能力边界附近的课程，训练后再更新生成分布	多轮训练能否持续提高固定、未见测试集上的表现
3. 补充物理校准与真实机器人验证	对抽屉摩擦、物体质量、接触刚度等进行实测校准，再逐步扩展到软体与流体	仿真动作能否迁移，物理校准是否比单纯视觉随机化更有效
4. 学习可复用技能与失败恢复	将成功修复沉淀为技能参数先验、失败诊断规则和恢复策略；利用当前被排除的失败轨迹	新任务是否需要更少修复轮次，策略遇到滑落、偏移时能否恢复
5. 建立严格的分布外评估与成本曲线	分开留出资产类别、房间、任务组合和机器人形态，统一预算并进行多次训练	每单位计算成本获得多少泛化收益，收益是否随数据量持续增长

其中最值得发展成下一篇论文的是 “策略驱动的数据生成闭环”。当前系统倾向保留可成功执行的轨迹，连续失败则更换布局或资产；这有利于采集效率，却可能持续排除最需要学习的困难情况。

可以让强规划器证明任务可解，再选择“规划器能完成、当前策略经常失败”的任务用于训练，并在固定测试集上检验每轮收益。这样，数据生成的目标就从提高通过率，进一步变为提高机器人能力，也能更直接地支撑论文所提出的“自我改进飞轮”。