原文链接：https://arxiv.org/pdf/2602.10116
项目链接：https://research.nvidia.com/labs/cosmos-lab/sage/
发表：CVPR-2026

摘要

针对具身智能体的真实世界数据采集成本高昂且存在安全风险，因此亟需可规模化、高真实感且仿真就绪的3D环境。然而，现有场景生成系统多依赖规则化或面向特定任务的流水线，易产生伪影，且生成的场景常存在物理失效问题。

本文提出SAGE——一套智能体框架：针对用户指定的具身任务（例如“拿起碗并放到桌子上”），该框架能够理解任务意图，自动规模化生成仿真就绪的环境。框架中的智能体将多种布局与物体组合生成器，与用于评估语义合理性、视觉真实感与物理稳定性的批评器相结合，通过迭代推理与自适应工具选择对场景进行自优化，直至同时满足用户意图与物理有效性要求。

最终生成的环境兼具真实感与多样性，可直接部署于主流仿真器中用于策略训练。仅基于该数据训练的策略呈现出清晰的规模化提升趋势，且能够泛化至未见过的物体与布局，验证了仿真驱动的规模化方法在具身AI领域的应用潜力。代码、演示与SAGE-10k数据集可访问项目主页获取。

一、方法框架总览

SAGE（Scalable Agentic 3D Scene Generation）是智能体驱动的可规模化3D场景生成框架，核心目标是将用户的开放文本指令，转化为可直接部署到仿真器的「仿真就绪（simulation-ready）」3D室内场景，服务于具身智能的策略训练。

整体采用**「中央决策Agent + 工具化生成器集 + 双维度批评器」的闭环迭代架构**，基于 Model Context Protocol (MCP) 实现模块间标准化交互，完整流程可对应图2的示例：

1. 输入与启动：用户输入开放词汇文本（如“生成用于策略训练的卧室”），中央Agent接收需求并启动生成流程。
2. 场景初始化：Agent调用「场景初始化工具」生成空房间框架与初始物体清单。
3. 迭代构建与修正：Agent动态调用物体放置、移动、删除等生成工具搭建场景；视觉批评器、物理批评器分别从语义合理性、物理稳定性维度给出反馈；Agent根据反馈持续调整优化。
4. 终止与输出：当Agent判定场景满足用户需求与物理有效性时，终止流程并输出最终3D场景。
5. 规模化扩展：生成的基础场景可通过多层级增强技术批量扩展，并自动生成机器人动作演示，直接用于具身策略训练。

区别于传统固定顺序的静态生成流水线，SAGE的核心特点是自适应自优化：没有预设的生成步骤，完全由Agent根据实时反馈自主决策下一步操作，最终产出兼具语义合理性与物理合法性的场景。

---

二、详细方法解析

1. 整体运行机制：基于MCP的智能体编排

SAGE的底层是去中心化的工具调用范式，基于MCP（Model Context Protocol）标准协议构建：

• 中央LLM作为MCP客户端（决策大脑）：负责理解用户需求、规划生成步骤、解读批评反馈、选择并调用下一步工具，最终判断生成是否完成。
• 所有生成器、批评器都作为独立的MCP服务端：对外暴露标准化的调用接口与JSON格式输出，Agent无需关心内部实现，只需按协议调用。

每一轮迭代中，Agent发送结构化请求调用对应工具，工具执行后返回结果；Agent基于返回的反馈自主决策下一步动作，全程无需人工预设流程。这种设计让系统可以灵活应对不同场景的问题，实现自适应的自优化生成。

2. 生成器工具集（Generator）

生成器是场景构建的执行单元，共4类工具，全部由Agent动态调度调用：

（1）场景初始化器（Scene Init）

• 核心功能：接收场景描述，生成基础的3D房间框架（墙面、地板），并输出初始物体提案列表。
• 实现细节：
  • 由LLM根据文本预测房间类型、尺寸、户型结构；多房间场景下会生成房间连通关系与门的位置。
  • 地板、墙面的纹理材质由MatFuse扩散模型生成，保证视觉真实感。
  • 输出的物体清单包含每个物体的文本描述、预估物理属性、摆放约束；会自动包含用户任务相关的核心物体（如“拾取苹果放到碗里”的任务，会自动纳入苹果和碗）。

（2）物体放置器（Asset Placer）

• 核心功能：根据摆放要求，生成3D物体资产并合规放置到场景中。
• 实现细节：
  • 3D资产生成：通过TRELLIS文本转3D模型生成物体，生成后执行网格后处理（面数简化、非流形修复、补洞），保证网格水密性，适配仿真需求。
  • 物理属性估计：通过VLM预测每个物体的尺寸（用于缩放单位模型）、质量（用于物理仿真）、金属度/粗糙度（用于PBR渲染），让物体具备完整的仿真属性。
  • 智能摆放：先由LLM判定物体的摆放类型（地面类、墙面类、桌面堆叠类），再通过带碰撞检测的深度优先搜索，在候选位置中选择最优摆放点；支持多层级堆叠（如书架分层摆放物品），而非仅支持单层放置。

（3）物体移动器（Asset Mover）

• 核心功能：将指定物体移动到新的位置。
• 实现细节：先临时移除目标物体，再复用Asset Placer的摆放逻辑重新定位；若目标位置空间不足、无法稳定摆放，则将物体放回原位并向Agent反馈失败，由Agent决策替代方案。

（4）物体移除器（Asset Remover）

• 核心功能：从场景中删除指定物体。
• 实现细节：通过LLM语义匹配定位目标物体，通常在批评反馈认为物体冗余、遮挡通道、布局拥挤时调用。

3. 双批评器自优化机制（Critic）

单纯堆叠生成器会累积误差，SAGE通过两个互补的批评器提供持续反馈，驱动迭代修正，这是其高质量输出的核心。

（1）视觉批评器（Visual Critic）

• 作用：评估场景的语义合理性、布局完整性与视觉协调性，给出语义层面的修正建议。
• 输入：当前场景的物体布局数据 + 多视角渲染图（顶视图 + 四个角落视角）。
• 反馈类型：
  • 补充建议：识别场景缺失的物品，比如书架上缺少书籍、空旷地面缺少装饰摆件。
  • 调整建议：指出物体摆放不合理，如图2中的“落地灯挡住书架通道”“脚凳让布局过于拥挤”。
  • 任务校验：确认用户指定的任务相关物体是否已正确放置。
• 价值：解决场景“语义不通、内容残缺、布局违和”的问题，提升场景的真实感与功能完整性。

（2）物理批评器（Physics Critic）

• 作用：验证场景的物理稳定性与碰撞合法性，确保场景可以直接在仿真器中运行，这是SAGE区别于多数同类工作的核心特性。
• 实现：仿真器在环（simulator-in-the-loop）验证——每次物体操作（添加/移动/删除）后，将场景导入Isaac Sim仿真器，运行重力与碰撞模拟。
• 判定标准：仿真运行120步后，若物体相对位移超过0.2米、旋转超过8度，则判定为不稳定。
• 处理逻辑：
  • 稳定的摆放方案保留，不稳定的摆放直接剔除。
  • 若多次尝试都无法实现稳定摆放，会向Agent反馈失败，建议更换更小的物体或调整摆放目标面。
  • 效率优化：地面、墙面类物体统一做一次批量仿真，降低开销；桌面堆叠类小物体逐个仿真验证，保证稳定性。
• 对应图中示例：床上新添加的枕头在物理仿真后会自然放平，就是物理批评器的修正效果。

论文消融实验验证：加入物理批评器后，场景物体碰撞率从7.8%降至1.9%，物体稳定率从80.3%提升至99.6%，效果显著。

4. 面向具身AI的规模化扩展

单个场景不足以训练鲁棒的具身策略，SAGE进一步打通了「场景生成→数据增强→动作生成→策略训练」的全链路，形成可规模化的具身AI数据引擎。

（1）多层级场景增强

在保留任务语义的前提下，从三个维度生成场景变体；每一步增强后都会经过物理批评器验证，保证所有变体都满足仿真就绪要求：

• 物体配置级增强：重采样任务相关物体的位置与姿态，增加空间多样性。
• 物体类别级增强：用LLM改写物体描述（改变形状、颜色、材质、外观），再用TRELLIS生成新的3D资产，保证同类别物体的视觉与物理多样性。
• 场景布局级增强：保留任务核心物体，重新生成整个背景房间的户型、装饰与无关物体，生成完全不同布局的同任务场景，提升策略的空间泛化能力。

（2）自动动作生成

基于生成的场景，无需人工标注即可自动生成机器人演示数据：

• 抓取放置任务（Pick-and-Place）：用M2T2从深度图生成抓取位姿，结合Curobo实现碰撞感知的逆运动学与轨迹规划，生成无碰撞的抓取-放置完整轨迹。
• 移动操作任务（Mobile Manipulation）：在抓取放置的基础上，用RRT算法规划机器人导航路径，实现“导航→抓取→导航→放置”的长时序任务。
• 所有样本都会通过碰撞检测与结果校验自动过滤失败案例，保证数据质量。

（3）策略学习

基于生成的大规模演示数据，采用模仿学习框架训练具身策略。论文中使用Diffusion Policy（扩散策略），输入多视角RGB+深度图，输出机器人连续动作。实验验证：随着场景数量和演示数据的增加，策略成功率呈现明显的规模化提升规律，且能有效泛化到未见过的物体与布局。