SceneSmith：仿真就绪室内场景的智能体式生成

原文链接：https://arxiv.org/pdf/2602.09153
项目链接：https://scenesmith.github.io/
发表：ICML 2026 Spotlight（Top 2.2%）

图1 全自动文本到场景生成。整个社区中心场景由SceneSmith仅凭一段151词的文本提示词自动生成，全程无需人工干预（完整提示词见附录P.6）。除明确指定的元素外，SceneSmith还会根据推断的上下文信息放置额外物体，例如在乒乓球桌旁放置球拍与乒乓球。生成的物体按需创建、完全可分离（非复合结构），且包含估算的物理属性，可直接在仿真环境中进行交互。生成的场景可直接在任意物理仿真器中使用（图中添加机器人仅作演示）。

摘要

仿真已成为规模化训练与评估家用机器人的核心工具，但现有环境无法捕捉真实室内空间的多样性与物理复杂度。当前的场景合成方法生成的房间家具陈设稀疏，缺少机器人操作所必需的密集杂物、铰接式家具与物理属性。本文提出SceneSmith，这是一种分层式智能体框架，可根据自然语言提示词生成仿真就绪的室内环境。SceneSmith通过连续阶段构建场景——从建筑布局到家具摆放，再到小型物体填充——每个阶段均由视觉语言模型（VLM）智能体之间的交互实现：设计者、评判者与协调者。该框架深度整合了资产生成能力：静态物体采用文本到3D合成，铰接物体采用数据集检索，并辅以物理属性估计。SceneSmith生成的物体数量是现有方法的3–6倍，物体间碰撞率低于2%，且96%的物体在物理仿真下可保持稳定。在一项包含205名参与者的用户研究中，相较于基线方法，该方法在真实感与提示词保真度上的平均胜率分别达到92%与91%。本文进一步证明，这些环境可用于端到端流水线，实现机器人策略的自动评估。

1 引言

通用机器人领域的最新进展由大规模基础模型推动，这类模型有望在任务、实体形态与环境间实现广泛的泛化能力（Black等，2025；Kim等，2024；Barreiros等，2025a）。1X、Sunday等公司如今已明确将机器人部署到任意人类家庭作为目标。要实现这一愿景，机器人需要具备在真实室内环境的长尾分布中稳定感知、推理与行动的能力——这些空间在布局、物体构成、杂物密度、铰接结构与物理交互可供性上差异巨大。

开发这类机器人的核心挑战，是如何在部署前实现规模化的训练与评估。尽管真实世界数据采集必不可少，但成本高昂、进度缓慢，且难以在机器人预期运行的各类家庭环境中扩展规模。因此，仿真已成为可扩展的机器人训练与评估核心工具，支持快速迭代、可控实验与故障模式的安全测试（Wei等，2025；Maddukuri等，2025；Barreiros等，2025a）。

然而，大多数现有仿真环境仍过于简化，与真实人类室内空间的匹配度较低。典型的仿真环境仅包含陈设稀疏的房间，物体多样性有限，且场景大多为静态（Maddukuri等，2025；Barreiros等，2025a）。相比之下，真实家庭中物体排布密集、存在铰接式家具，且充满细碎杂物。例如，即使是普通的一居室公寓，厨房橱柜中也可能密集摆放着盘子、碗与玻璃杯——所有物品均可单独操作，且物理排布合理。这类杂物是机器人操作中的核心挑战（Zeng等，2022；Jia & Chen，2024），而稀疏的仿真环境无法让机器人充分适应这类场景。仿真环境与真实室内场景分布之间的差距，限制了通用家用机器人基于仿真的训练与评估效果。尽管人工环境设计可以生成高质量场景，但这种方法成本高、耗时长，且难以扩展。

本文旨在缩小这一差距，实现可扩展、真实感强、仿真就绪的室内环境生成，使其能够反映真实家庭的多样性与物理复杂度。具体而言，本文提出的框架接收环境或任务的自然语言描述，通过一系列有依据的决策构建房间级或房屋级的室内环境，最终生成的场景可直接用于仿真，适合机器人交互。该框架生成的样本既能反映真实室内场景分布，又能匹配提示词描述，同时具备物理可行性。

该问题同时涉及资产生成（生成具备几何与物理属性的单个物体）与场景生成（将这些资产组装为布局真实、物体排布合理的多房间室内环境）。现有工作大多孤立地处理这两个方面。以资产为核心的方法专注于重建或合成具备真实几何与物理属性的单个物体（Pfaff等，2025a）。以场景为核心的方法则基于固定资产库生成布局或物体排布（Yang等，2024b；Pfaff等，2025b）。与之不同，本文旨在联合生成仿真就绪资产，并将其组装为完整的房屋级场景，实现端到端的机器人适用环境生成。现有的场景合成方法——无论是程序化、数据驱动还是基于大语言模型的方法——主要针对家具级布局与视觉真实感，将小型物体、铰接资产与物理属性视为次要内容（Deitke等，2022b；Tang等，2024；Yang等，2025）。这与机器人的需求不匹配：对机器人而言，可操作物体的密集排布、层级支撑关系与物理有效配置才是核心。

本文提出SceneSmith，一种分层式智能体框架，用于根据自然语言生成仿真就绪的室内环境。SceneSmith通过一系列阶段构建场景——从建筑布局到家具摆放，再到小型物体填充——以树状结构组织，其中房间与支撑表面形成独立分支。基于智能体人工智能的最新进展，每个阶段均由三类VLM智能体交互实现：提出场景修改的设计者、评估可行性与匹配度的评判者，以及管理迭代优化的协调者。资产生成通过路由机制深度整合：静态物体采用现代文本到3D合成，铰接家具采用数据集检索，并辅以物理属性估计，确保生成的场景可直接用于机器人仿真。

本文在210个多样化的房间级与房屋级提示词上对SceneSmith进行评估，证明其能够生成密集、带铰接结构且物理可行的室内环境。在包含205名参与者的用户研究中，SceneSmith相较于基线方法，真实感平均胜率达92.2%，提示词保真度平均胜率达91.5%。SceneSmith生成的物体数量是基线的3–6倍（平均每个房间71.1个，基线为11–23个），同时保持物体间碰撞率低于2%，95.6%的物体在物理仿真下保持稳定；相比之下，基线方法的碰撞率为3%–29%，稳定性仅为8%–61%。此外，本文展示了一套端到端的机器人策略评估流水线：将自然语言任务描述转换为多样化的场景提示词，仿真机器人在生成的环境中执行策略，由评估智能体结合符号化场景状态与视觉观测联合推理，验证任务完成情况。本文还通过人形机器人（RB-Y1）遥操作与零样本策略部署进行了定性演示，进一步说明SceneSmith生成的场景适用于机器人仿真。

综上，本文的核心贡献包括：

• 提出SceneSmith，一种分层式智能体框架，可根据自然语言构建仿真就绪的室内环境，旨在支持可扩展的机器人训练与评估。
• 开发了整合式资产生成与路由流水线，结合文本到3D合成与铰接物体检索，并为所有资产补充碰撞几何与物理属性。
• 证明SceneSmith在用户研究与自动化指标上均优于所有基线方法，能够生成更密集、无碰撞且物理稳定的场景。
• 展示了SceneSmith在端到端机器人评估流水线中的应用，实现从自然语言任务描述到自动成功验证的全流程。

2 相关工作

室内场景合成。 室内场景合成主要有程序化、数据驱动与语言引导三种范式。程序化方法如ProcTHOR（Deitke等，2022b）与Infinigen Indoors（Raistrick等，2024）通过手工规则编码物体关系。这类方法虽然可扩展，但语义表达能力有限，且跨场景类型的泛化性不足。数据驱动生成模型从3D场景数据集中学习空间分布模式（Tang等，2024；Yang等，2024a；Hu等，2024），但通常基于严格假设（如沿地面对齐的SE(2)布局），生成的场景稀疏、物体多样性有限。

近期研究开始利用大语言模型（LLM）与视觉语言模型（VLM）提供开放词汇的语义先验与自然语言可控性（Yang等，2024b；Çelen等，2025；Sun等，2024；Zhou等，2025；Sun等，2025）。这类方法虽能捕捉高层语义，但往往难以进行细粒度空间推理与物理可行性判断，导致排布不合理或物体相互穿透。更关键的是，上述方法均无法生成机器人仿真所需的碰撞几何与物理属性。

HSM（Pun等，2026）采用分层方式分解场景生成——先放置家具，再摆放小型物体，并识别支撑表面以放置可操作物体。本文沿用其支撑表面检测方法，并采用类似的分层结构。本文的扩展在于：提出分层提示词细化机制，使局部摆放约束可从全局场景描述中推导；提出联合表面填充机制，使相关表面可同步填充以保证一致性，从而实现跨表面的协调排布（例如“一层书架放书，另一层放植物”）。

智能体场景合成。 近期研究已从单次生成转向通过智能体系统进行迭代优化。SceneWeaver（Yang等，2025）采用“推理-行动-反思”范式，由单个LLM规划器每轮从可扩展工具集中选择一个工具，在物理与语义评估的引导下逐步优化。LL3M（Lu等，2025）在3D资产生成中引入了设计者（编码智能体）与评判者之间的迭代优化机制；本文将这一模式适配到场景级生成中。本文在现有智能体方法的基础上，允许智能体每轮调用任意数量的工具，包括视觉观测与状态反馈，使智能体在交接前可自行验证结果。

3 面向仿真就绪环境的智能体场景构建

本文提出SceneSmith，一种分层式智能体系统，可根据自然语言提示词构建仿真就绪的室内环境。SceneSmith将场景创建分解为布局、家具陈设、物体填充与优化等一系列决策步骤，每个阶段均由设计者、评判者与协调者三类智能体交互实现，且各自配备专用工具。

本章首先介绍场景表示与分层构建流程（3.1节），随后详述智能体交互机制与工具抽象（3.2节），接着介绍用于生成仿真就绪物体的资产生成与路由流水线（3.3节），再说明物理可行性后处理步骤（3.4节），最后介绍该方法在机器人策略自动评估中的应用（3.5节）。

3.1 场景层级

本文将场景表示为一组房间 S = { R j ∣ j ∈ { 1 , . . . , M } } S=\{R_j \mid j \in \{1, ..., M\}\} S={Rj​∣j∈{1,...,M}}，由自然语言提示词 $T$ 构建而成。每个房间 $R_j=(G_j,O_j)$ 由建筑几何 $G_j$（墙体、地面、门、窗）与物体集合 $O_j=\{(A_i,X_i)\}$ 组成。每个物体由一个仿真就绪资产 $A_i$ 与位姿 $X_i\in SE(3)$ 配对构成；其中资产 $A_i$ 包含视觉几何、碰撞几何、物理属性，若为铰接物体还包含关节定义。

SceneSmith通过树状阶段流程构建场景 $s$（见图2）。根阶段生成建筑布局，确定房间数量 $M$ 并为每个房间生成几何 $G_j$，该几何定义了房间范围与结构元素。随后，每个房间 $R_j$ 通过连续阶段独立填充物体 $O_j$：家具、壁挂物体与天花板灯具。每个阶段均由从全局提示词 $T$ 推导而来的房间专属提示词 $T_j$ 引导。最后，选定的支撑实体（家具表面、墙面搁板、地面区域）会衍生出额外分支，向 $O_j$ 中添加小型可操作物体，每个分支由实体专属提示词 $T_{j,k}$ 引导。所有阶段均以智能体交互方式实现（3.2节）。

这种分层提示词细化机制使局部决策可独立进行，同时保持与场景整体意图的一致性。最终，所有房间与可操作物体分支被组装为扁平化的场景表示 $s$，可直接导出至机器人仿真器。

图2 SceneSmith的分层场景构建流水线。场景提示词 $T$ 经布局智能体处理，生成 $M$ 个房间的建筑几何。每个房间随后通过家具、壁挂与天花板安装阶段独立填充，使用房间专属提示词 $T_j$。在每个房间中，$K_j$ 个支撑实体进一步形成分支，使用实体专属提示词 $T_{j,k}$ 填充可操作物体。彩色高亮标识各阶段新增的物体。每个阶段（彩色三角）均由设计者、评判者与协调者之间的智能体交互实现。堆叠帧表示并行分支。

3.2 智能体三人组：设计者、评判者与协调者

SceneSmith分层构建流程的每个阶段，均由三类角色互补的智能体交互实现：设计者、评判者与协调者。这种分解将场景提议、评估与控制流分离，既保证了优化过程的结构化，又简化了单个智能体的职责。职责分离还能减少自我评估偏差：独立的评判者更易发现专注于生成的设计者可能忽略的错误或疏漏。

设计者 使用结构化工具对当前阶段的场景状态提出修改方案。评判者 从语义合理性、物理可行性、与阶段目标的一致性等维度评估生成的场景，给出标量分数与自然语言反馈。协调者 协调整个交互过程，跟踪分数并决定何时接受提议、要求进一步优化或终止该阶段。为防止迭代优化过程中质量下降，协调者会维护历史场景状态的检查点，当评判者分数下降时可回滚修改。

智能体工具。 智能体仅通过工具与场景交互，工具提供结构化的观测与修改操作。本文将工具按功能分类，且各阶段通用，包括：状态观测工具（如查询物体元数据与位姿）、视觉观测工具（如渲染场景视图）、场景修改工具（如放置或调整资产）、用于生成或检索仿真资产的资产获取工具，以及可行性验证工具（如碰撞与可达性检查）。

物体放置均相对于支撑表面进行。智能体在表面坐标系内指定 $SE(2)$ 位姿（例如在地面、墙面或搁板上），再通过支撑表面的已知位姿映射，得到完整的 $SE(3)$ 物体位姿。此外，部分阶段提供适配其构建场景的专用工具。例如，家具摆放阶段包含对齐工具，可将物体平移至接触对齐的相对位姿（如椅子对齐桌子、橱柜贴紧墙面），以及关系朝向查询工具，可判断物体朝向另一物体或建筑元素的方向。可操作物体填充阶段还包含组合工具，可将多个资产组装为复合物体组并整体放置（例如先将单个水果相对于碗摆放，构成果碗，再将整个组合放置到支撑表面上）。

智能体单轮可调用任意数量的工具，通过多个原子操作完成复杂编辑。完整工具列表见附录A。工具访问权限按角色划分：设计者拥有场景修改工具权限，评判者仅可使用观测与验证工具，协调者则将设计者与评判者智能体作为工具调用，同时管理状态回滚等全局控制操作。

智能体记忆。 SceneSmith在每个构建阶段内为每个智能体维护持久的会话记忆，使智能体在迭代优化过程中保留上下文。为限制上下文膨胀，每个智能体采用轮次记忆机制：完整保留当前轮与上一轮内容，更早的轮次则由LLM生成摘要替代。视觉观测存储在有限滑动窗口中，不再需要时即丢弃。阶段间记忆会重置。

3.3 资产生成与路由

SceneSmith将资产生成直接整合到场景构建流程中，既支持开放词汇物体集，又确保仿真就绪性。当接收到设计者智能体的资产请求时，资产路由器将请求拆解为一个或多个原子资产，并选择合适的获取策略，返回经过验证的仿真就绪物体。

生成式资产合成。 对于静态物体，SceneSmith主要依靠生成式文本到3D合成，而非从现有资产库中检索。按需生成资产还可避免训练数据污染，使机器人策略能在真正未见过的物体上进行公平评估。给定物体文本描述，首先使用文本到图像模型（GPT Image 1.5）生成参考图像，再用SAM3（Carion等，2025）分割前景物体，最后通过SAM3D（Chen等，2025）从分割图像重建带纹理的3D网格。生成的网格经规范化至标准朝向，按资产请求指定的目标尺寸缩放，并补充碰撞几何与估算的物理属性（见图3）。

铰接物体库。 对于橱柜、抽屉、家电等带活动部件的物体，SceneSmith从ArtVIP库（Jin等，2025）中检索资产。该库为预制作的多连杆模型，包含完整关节定义。本文为其补充了估算的物理属性（附录B.5）。尽管生成式方法对静态物体效果良好，但根据本文实验，当前文本到3D方法尚无法可靠生成适用于机器人仿真的铰接结构与运动学特性（Chen等，2024；Liu等，2024）。

薄型覆盖物。 为表示地毯、海报、桌布等平面装饰元素，本文提出薄型覆盖物：轻量化几何表面搭配基于物理的材质。薄型覆盖物既能保留视觉细节与杂物感，又避免了不必要的刚体复杂度。材质从ambientCG¹检索，当库中资产无法满足需求时， fallback至图像生成材质（附录B.4）。

资产路由与验证。 资产路由器会根据需要将复合请求拆解为单个可操作资产（例如将“果碗”拆分为碗加多个水果），并根据物体类型与放置上下文在生成、铰接检索、薄型覆盖物三种策略中选择。所有候选资产均经过验证，包括网格完整性检查与基于VLM的语义验证。验证失败的资产会重新生成或重新路由，直至达到固定重试上限；若仍失败，则向智能体返回失败反馈。该路由与验证循环无需人工筛选即可实现稳健、可扩展的资产获取（附录B.1、B.7）。

图3 文本到3D资产生成流水线。给定物体描述，先生成图像，再分割前景，最后重建带纹理的3D网格。网格补充碰撞几何（灰色凸块）与由VLM估算的物理属性，包括质量、质心、摩擦系数与转动惯量（蓝色椭球）。网格同时会缩放至目标尺寸。

3.4 仿真就绪性

建筑元素采用体积几何（例如具有厚度的墙体）而非平面，以提升离散时间步长物理仿真下的穿透鲁棒性。所有物体在资产生成阶段均补充了估算的物理属性（质量、质心、转动惯量、摩擦系数），可实现符合真实规律的动力学效果（附录B.5）。

尽管SceneSmith的智能体构建流程通过迭代反馈促使物体排布具备语义合理性与物理可行性，但生成过程中并不要求智能体严格满足物理约束。因此，生成的场景可能存在物体间穿透，或物体排布不满足静态稳定的情况。为确保环境可直接用于仿真，本文在家具摆放阶段与可操作物体填充阶段之后，均执行轻量级后处理步骤，以保证物理可行性。

首先通过非线性优化将物体位姿投影至最近的无碰撞配置，同时保持朝向不变，方法参考Pfaff等（2025b）的工作。随后在Drake仿真器（Tedrake等，2019）中对场景施加重力进行仿真，使不稳定物体沉降至静态稳定构型。该过程无需人工干预或物体焊接，即可最大限度减少穿透并保证静态平衡。

3.5 应用：机器人策略评估

作为SceneSmith的一项应用，本文提出一套端到端评估流水线，将自然语言机器人任务、生成环境、机器人执行与自动任务验证串联起来。该流水线无需人工设计环境或评估判定条件，即可在多样化的仿真就绪场景中对机器人策略进行可扩展评估。

给定自然语言任务描述（例如“找到一个水果并放到桌子上”），首先使用语言模型生成一组符合任务要求的多样化场景提示词。将这些提示词输入SceneSmith，生成多个与任务相关的室内环境，从而支持在不同布局、物体配置与杂物条件下进行评估。

随后机器人直接在生成的环境中执行策略。作为示例实现，本文采用基于模型的抓取放置策略，在生成的仿真场景中运行。本文使用Drake进行演示，同时生成的场景也可导出至其他主流机器人仿真器（如MuJoCo（Todorov等，2012）、Isaac Sim、Genesis，详见附录J）。

最后，由评估智能体结合符号化场景状态与仿真器渲染的视觉观测联合推理，验证任务完成情况。评估智能体不依赖固定的成功判定条件，而是通过结构化工具收集任务完成的证据，包括查询物体位姿、渲染选定物体进行视觉检查。该方法避免了手工设计成功指标，支持开放式任务，但代价是不具备确定性。详见附录L。

4 评估

4.1 实验设置

基线方法。 本文与五种外部基线方法进行对比：HSM（Pun等，2026），一种采用学习到的场景基元的分层框架；Holodeck（Yang等，2024b），采用约束满足进行布局优化；I-Design（Çelen等，2025），一种多角色LLM流水线；LayoutVLM（Sun等，2024），结合视觉提示与可微优化；SceneWeaver（Yang等，2025），一种采用迭代优化的单智能体框架。为公平对比，LayoutVLM分别使用其原始精选资产库与Holodeck采用的更大规模Objaverse（Deitke等，2022a）库进行评估。与现有场景生成系统的功能级对比见附录K。

消融实验。 本文设置六种消融变体进行评估：无评判者（仅初始设计）、非生成式（使用HSSD（Khanna等，2023）资产替代生成资产）、无资产验证、无专用工具（无专用家具或可操作物体工具）、无场景观测（无视觉观测）、无智能体记忆。

输入文本描述。 本文在210个提示词上进行评估，分为五类：SceneEval-100（Tam等，2025）房间级提示词、类型多样性提示词（覆盖宠物店、瑜伽室等代表性不足的房间类型）、物体密度提示词（高物体数量场景）、主题场景提示词（带风格约束）、房屋级多房间提示词。该语料既包含详细指令也包含简略提示，例如“一间带床和衣柜的卧室”。仅SceneSmith与Holodeck支持房屋级提示词，后者是唯一支持多房间的基线方法。完整提示词语料见附录P。

人类研究。 本文开展了成对比较研究，招募205名众包参与者，收集到3051份有效回复。每组对比并排展示两个场景，配有交互式3D查看器，参与者回答两个问题：（1）哪个场景看起来更真实（强制二选一）；（2）哪个场景更符合提示词要求（可选“两者相当”）。详见附录N.1。

自动化评估。 本文使用SceneEval基准（Tam等，2025），包含以下指标：物体数量（CNT）、物体属性（ATR）、物体间关系（OOR）、物体与建筑关系（OAR）、可达性（ACC）、可导航性（NAV）、越界程度（OOB）。需要说明的是，这些基于VLM的指标存在局限性，包括假阳性与假阴性问题（附录M.2）。

本文额外使用Drake仿真器新增两项物理指标，用于评估仿真就绪性：碰撞率（COL）与静态平衡率（STB）。由于基线方法不生成仿真就绪场景，本文为其输出补充碰撞几何与物理属性，以实现公平对比（附录M.2）。

4.2 场景生成结果

图4展示了与基线方法的定性对比。表1呈现了用户研究结果。在所有房间级基线上，SceneSmith的真实感平均胜率达92.2%，提示词保真度平均胜率达91.5%（所有 $p<0.001$）。其中与LayoutVLM变体的差距最大，与HSM的差距最小（真实感88.5%，保真度85.2%）。在房屋级场景上，SceneSmith对比唯一多房间基线Holodeck，真实感胜率为80.3%，保真度胜率为84.7%。

图4 与HSM和Holodeck的定性对比（二者为用户研究中表现最强的两个基线）。SceneSmith生成的场景更密集，对提示词要求的满足度更高。更多定性可视化结果见附录R。项目主页的交互式3D可视化器中可查看大量SceneSmith生成的场景。

消融实验中，影响最大的三项分别为：非生成式（真实感63.8%，保真度67.0%）、无资产验证（63.0%，62.2%）、无场景观测（真实感61.5%），均呈现显著影响。这表明生成式资产获取、资产验证与视觉反馈均具有实质贡献。无评判者、无专用工具、无智能体记忆的影响较小（真实感51%–55%），在当前研究样本量下未达到显著性；要检测到这些效应需增加6–18倍的对比样本。值得注意的是，无评判者变体在偏好分数相近的情况下，成本降低70%（附录O.5），但物体数量减少24%。尽管更高的物体密度能为机器人提供更丰富的操作场景，但对于可接受该权衡的应用场景，无评判者版本是一种低成本替代方案。

表1 用户研究结果（179个房间级、31个房屋级提示词）：SceneSmith对比基线与消融变体。#Obj为对比方法的平均物体数量，附带95%置信区间。胜率为偏好百分比（保真度不计平局），附带95% Wilson得分置信区间。Cohen’s h为效应量。显著性标记：** $p<0.001$，* $p<0.01$，– $p\ge 0.05$（经错误发现率校正）。

表2呈现了自动化评估指标。SceneSmith在物体数量（CNT）、物体属性（ATR）、物体间关系（OOR）、物体与建筑关系（OAR）、碰撞率（COL）与静态平衡率（STB）上均取得最优表现。值得注意的是，其物体间关系指标（OOR）比最优基线提升2.2倍。由于物体数量是基线的3–6倍（71.1个对比11–23个），可达性（ACC）与可导航性（NAV）得分较低属于预期结果——物体密集本身会减少自由空间。

物理质量的差异最为显著：SceneSmith碰撞率仅1.2%，基线为3%–29%；稳定性达95.6%，基线仅8%–61%。剩余碰撞均为轻微穿透（平均深度3.8毫米），比基线浅3–12倍（附录O.1）。这是机器人应用的核心差异——本文场景无需事后校正即可直接用于仿真。房屋级结果趋势类似：SceneSmith生成的物体数量是Holodeck的2.6倍（214个对比81个），同时保持0.9%的碰撞率与79.8%的稳定性，而Holodeck分别为3.8%与17.9%。

除量化指标外，SceneSmith生成的房屋具备合理的房间连通性。例如生成的酒店场景中，入口经前台进入，套内浴室仅可通过对应卧室进入，所有房间通过中央走廊连接。相比之下，Holodeck常生成不合理的布局，例如整间酒店仅能通过一间客房进入，或第二间卧室仅能穿过第一间卧室的浴室才能到达（图24）。更多量化结果见附录N、O，更多定性结果见附录R。

表2 自动化评估结果（179个房间级、31个房屋级场景）。数值为均值 ± 95%置信区间。↑表示越高越好，↓表示越低越好。加粗为同组最优，下划线为次优。完整消融结果见附录O.1。

4.3 机器人策略评估

本文对3.5节提出的智能体式机器人策略评估流水线进行了验证。实验覆盖100个生成场景，包含四项抓取放置任务（三项房间级、一项房屋级）。为验证该流水线能够区分不同质量的策略，本文对比了一种标准的基于模型的策略，以及一种刻意降低性能的变体（放宽运动约束）。标准策略的成功率为16%，退化变体为12%，证明自动评估系统能够检测出策略质量的显著差异。

本文对全部300次评估判断（100个场景 × 3种状态：初始状态、标准策略结果、退化策略结果）进行了人工核验，结果显示评估智能体与人工标注的一致性达99.7%。唯一的分歧出现在一个边界案例：一个水果落在盘子边缘，人工标注为成功，而评估智能体判定为失败。详见附录L。

4.4 机器人仿真演示

为在更多机器人交互场景中验证SceneSmith生成场景的适用性，本文开展了两项定性机器人仿真实验。遥操作测试用于验证生成场景是否支持交互式操作与仿真数据采集；零样本策略部署测试用于验证场景的真实度是否足够，使主要基于真实世界数据训练的外部通用机器人策略，无需针对SceneSmith调优即可直接运行。

遥操作实验中，图5（上）展示了RB-Y1机器人操作橱柜的过程，项目主页还提供了导航、铰接物体操作、移动抓取放置的更多演示视频。零样本策略部署实验中，本文沿用LBM Eval（Barreiros等，2025b）的仿真设置，将其环境替换为SceneSmith生成的场景，并运行Lin等（2026）提出的文本条件机器人策略。

图5（下）展示了一段典型的策略执行轨迹，任务指令为“把苹果从碗里拿出来放到切菜板上”。在该示例中，策略成功识别出碗中的苹果与切菜板，随后按指令完成了抓取与放置。该策略早于SceneSmith提出，未使用任何SceneSmith的渲染、物理、场景或资产训练数据。

图5 定性机器人仿真演示。每行为单条轨迹的采样帧，从左到右按时间顺序排列。上：遥操作的RB-Y1机器人打开铰接橱柜并放入一个瓶子。下：现有工作（Lin等，2026）中的策略在SceneSmith场景中零样本运行；根据图中所示文本指令，将苹果从碗中移动到切菜板上。项目主页提供了更多遥操作与零样本演示视频。

5 结论

本文提出SceneSmith，一种分层式智能体框架，可根据自然语言提示词生成仿真就绪的室内环境。SceneSmith将场景构建分解为多个层级阶段，每个阶段由设计者-评判者-协调者交互驱动，能够生成密集、物理有效的场景，还原真实家庭环境的复杂度。本文的整合式资产流水线结合了生成式文本到3D合成与铰接物体检索，既支持开放词汇生成，又保证了仿真就绪性。

实验结果表明，该方法相比基线方法实现了显著提升：SceneSmith生成的物体数量是基线的3–6倍，同时保持物体间碰撞率低于2%、静态稳定性达95.6%；而基线方法的碰撞率为3%–29%，稳定性仅8%–61%。人类评估者中，SceneSmith在真实感上的平均胜率为92%，提示词保真度平均胜率为91%。定性遥操作与零样本策略部署实验进一步表明，除静态场景质量指标外，生成的场景同样适用于交互式机器人仿真。

本文认为，这些结果标志着环境生成已不再是仿真中规模化机器人训练与评估的主要瓶颈。希望SceneSmith能为机器人领域及更多领域提供实用价值。

附录

A 系统架构

SceneSmith采用分层多智能体架构，通过五个连续阶段构建场景 S = { R j } S=\{R_j\} S={Rj​}：布局生成、家具摆放、壁挂物体放置、天花板物体安装、可操作物体填充。每个阶段均遵循统一的“设计者-评判者-协调者”模式。

A.1 智能体角色

设计者智能体。受协调者调用时，通过工具调用执行场景修改。设计者可观测场景（通过视觉渲染或结构化状态查询），并使用放置、修改与验证工具。每个阶段提供专属工具集，完整工具说明见表4–8。

评判者智能体。从多个维度评估场景质量，给出0–10分的分类评分并附书面理由。评判者指出具体问题并提出改进建议，但不直接修改场景。

协调者。管理“评判-改进”循环，使用表3中的工具协调设计者与评判者。它负责检查点管理，支持质量下降时回滚，并根据分数阈值或迭代次数决定何时终止。

表3 协调者工具（各阶段通用）

图6展示了家具摆放阶段的迭代优化过程，呈现了场景如何经过多轮评判与改进逐步完善。

图6 家具摆放阶段的设计者-评判者迭代过程。每列展示一个不同房间经过两轮评判反馈与设计者优化的演化过程。上排：首轮设计者输出的初始设计，上方为场景提示词。中排：首轮评判-改进循环后的场景。下排：第二轮循环后的场景。文字标注说明各步骤的修改内容。左侧卧室逐步优化上下铺的摆放位置；中间餐厅调整椅子朝向并补充陈设；右侧药房演示了检查点回滚：当设计者的添加内容导致评判分数下降时，协调者回滚至上一个检查点并引导设计者尝试其他方案。

A.2 模型配置

所有智能体与VLM调用均使用GPT-5.2。设计者与评判者采用高推理模式以保证分析深度，规划者采用低推理模式以提升协调效率。辅助VLM任务（资产路由、物理属性估计、验证）采用中等推理模式。

A.3 场景观测

设计者与评判者智能体通过两种互补渠道观测场景：结构化状态查询与视觉渲染。

结构化状态。状态查询工具返回空间元数据，支持无需图像解读的精确推理。物体摆放阶段通过get current scene state查询物体集合 $O_j$，返回物体ID、表面局部位姿、表面归属、包围盒、尺寸与物体描述。布局阶段使用render ascii查询房间布局与墙体分段。

视觉渲染。observe scene工具生成适配各构建阶段的带标注多视角渲染图。后续章节的图8–14展示了各阶段带专属标注的典型输出。

A.4 检查点与回滚

每次评判后，系统保存包含完整场景状态与分数的检查点，同时保留当前与上一轮检查点。若分数下降超过阈值，协调者回滚至上一检查点，并指示设计者尝试替代方案（图6最右列）。场景状态会恢复，但智能体上下文保留，使设计者能从失败尝试中吸取经验并采用其他策略。

A.5 并行场景生成

场景生成可在多块GPU上并行执行，为大规模数据集创建提供实用吞吐量。GPU工作池为每块可用GPU分配一个文本到3D工作进程。

实现高吞吐量的核心设计是批量请求流水线：场景工作进程同时提交多个资产生成请求，而非顺序提交。几何服务器在所有可用GPU上处理这些请求并流式返回结果，使场景工作进程可在GPU处理剩余请求的同时，对已完成资产进行网格后处理（碰撞几何、物理属性估计）。这种并行重叠避免了文本到3D成为性能瓶颈。

多个场景可并行生成。在本文实验中，8块NVIDIA L40S GPU可同时生成25个场景；由于共享几何服务器能高效在所有GPU间分配请求，单场景生成时间几乎不随并行场景数量增加而延长。

B 资产获取

放置前，仿真就绪资产 $A_i$ 通过生成或检索获取，再经处理提取碰撞几何与物理属性。

B.1 资产路由器

智能路由器使用VLM分析每项资产请求，执行三项任务：

阶段过滤。路由器会剔除属于其他构建阶段的物品。例如，家具摆放阶段请求“咖啡杯”会被标记为可操作物体并驳回，同时向设计者返回反馈。

复合拆解。复合请求被拆分为单个可操作资产。“果碗”被拆分为碗加多个水果；“带显示器的书桌”被拆分为家具（书桌）与可操作物体（显示器），分别进入对应阶段。这种拆解对机器人操作至关重要：若果碗生成为单一融合网格，既不真实也无法交互。

策略选择。对每个有效物品，路由器选择一种获取策略：

• 生成式：标准家具与物体采用文本到3D生成
• 铰接式：从精选数据集中检索带活动部件的物体（门、抽屉）
• 薄型覆盖物：平面纹理表面（地毯、桌布、海报）采用程序化生成

B.2 文本到3D生成

标准资产通过“文本-图像-3D”流水线生成：

1. 使用GPT Image 1.5根据文本描述生成参考图像（1024×1024，纯色不透明背景以保证分割效果）
2. 使用SAM3（Carion等，2025）分割前景物体
3. 使用SAM3D（Chen等，2025）从单张图像重建带纹理的3D表面网格

B.3 铰接物体检索

对于橱柜、抽屉、家电等带活动部件的物体，本文从ArtVIP库（Jin等，2025）中检索资产。该库包含预制作的多连杆模型，附带完整关节定义。本文也曾评估PartNet-Mobility（Xiang等，2020），但发现其视觉与关节质量不足以支撑真实感场景生成。

嵌入预计算。为支持语义相似度搜索，本文为库中每个物体预计算视觉嵌入。每个物体从8个视角（4个仰角30°的上方视角+4个下方视角）渲染，关节置于零位。使用ViT-H-14计算CLIP（Radford等，2021）嵌入并对各视角取平均，生成1024维向量存储用于检索。

两阶段检索。参考Pun等（2026）的方法，本文采用两阶段检索流程。给定文本查询与可选目标尺寸：

1. 按物体类型筛选（例如落地家具、壁挂式、天花板式、可操作物体）
2. 按与文本查询的CLIP相似度排序，选取前k个
3. 若指定目标尺寸，按与目标包围盒的L1距离重排序

B.4 薄型覆盖物生成

薄型覆盖物用于表示地毯、桌布、海报等平面纹理表面。地面与可操作物体层的薄型覆盖物为纯装饰元素，无碰撞几何。系统支持矩形与圆形两种形状，根据物体描述自动推断（例如“圆形地毯”→圆形）。

纹理模式。两种纹理模式适配不同场景：

• 可平铺：重复图案（地毯、织物），纹理在表面平铺延展
• 单张图像：覆盖整面的艺术品（海报、画作），无重复

路由器中的VLM根据对描述的语义理解选择合适模式（例如“波斯地毯”→可平铺，“印有详细狗狗洗澡说明的海报”→单张图像）。

纹理检索。系统首先使用CLIP（Radford等，2021）相似度搜索，从材质库（ambientCG²）中检索匹配的PBR材质。预计算嵌入（ViT-H-14，1024维）基于材质预览图生成。

AI生成纹理。检索失败时，系统 fallback 至AI图像生成（GPT Image 1.5）。可平铺纹理提示生成无缝重复图案，艺术品则提示生成无背景的全幅画面。生成的图像补充平面法线贴图与统一粗糙度，构成完整PBR材质。对于可平铺纹理，采用边缘融合算法，通过在过渡区线性混合左右、上下对边，实现无缝重复。

B.5 物理属性估计

视觉语言模型（VLM）分析多视角渲染图，估计物理属性。

B.5.1 刚体属性估计

VLM接收6个视角（顶视图+底视图+4个仰角30°的侧视图），输出：

• 主要材质类别（从19种预定义类型中选取），用于确定摩擦系数
• 质量估计及置信区间 $[m_{min},m_{max}]$。置信区间支持对合理质量范围进行域随机化
• 规范朝向：VLM识别向上轴，并选出哪张图展示了功能正面（例如家具的使用朝向、墙面装饰的展示面）。这种图像选择方式比直接预测轴标签更鲁棒。

转动惯量 $I_B\in S_3$（3×3对称矩阵集合）在均匀密度假设下计算：
$$\rho =\frac{m}{V_{mesh}},I_B=\rho \cdot I_{unit}\text{\hspace{1em}(1)}$$
其中 $V_{mesh}$ 为网格体积，$I_{unit}$ 为基于网格几何的单位密度惯性张量。本文发现SAM3D生成的网格质量足够，无需进行网格修复即可完成上述计算。

根据VLM预测的轴向，网格被变换为Z轴向上、Y轴向前的规范朝向，并按物体类型调整位置：落地与可操作物体底部位于$z=0$，天花板物体顶部位于$z=0$，壁挂物体背面位于$y=0$。这种规范化支持在支撑表面上进行$SE(2)$放置。

B.5.2 铰接体属性估计

对于多部件物体（例如带门的橱柜），按连杆分别估计属性。VLM接收完整物体的组合视图、每个铰接连杆的单独视图，以及整体与各连杆的包围盒尺寸。首先估计物体总质量，再估计各连杆材质（用于摩擦系数）与质量，且各连杆质量之和约束为总质量。先估计总量可将部件估计锚定在更易推理的数值上。各连杆转动惯量 $I_B$ 基于各自的网格几何与分配质量独立计算。

B.6 碰撞几何

视觉网格无法直接用于可交互物体的仿真，因为大多数物理引擎（Tedrake等，2019；Todorov等，2012）要求凸几何以实现高效接触求解。本文使用V-HACD（Khaled Mamou & Peters, 2016）将视觉网格分解为凸块。每个物体的凸块数量设限：家具128块（较大物体需更多细节），壁挂物体与可操作物体64块，天花板物体16块（极少参与碰撞）。

本文也曾评估CoACD（Wei等，2022），其树搜索机制生成的凸块更少，可加快仿真速度。但CoACD倾向于膨胀碰撞几何，导致物体堆叠时视觉网格看起来悬浮。V-HACD无此膨胀效应。此外，本文发现CoACD的计算速度比V-HACD慢一到两个数量级，在生成包含成百上千物体的场景时可能成为瓶颈。

B.7 资产验证

生成与检索的资产均经过基于VLM的验证，确认其适配场景。VLM检查：

• 物体类型：网格与请求匹配（例如请求椅子时拒绝凳子）
• 风格一致性：颜色与材质符合规格（例如请求红色椅子时拒绝棕色）
• 单一物体：无多个物体，或家具附带可操作物体（例如拒绝生成时自带椅子的餐桌）
• 完整性：无缺失部件（例如拒绝缺腿的椅子）
• 比例合理：无严重变形
• 关闭状态：门与抽屉处于关闭状态，因为生成资产无法铰接，打开的门会保持固定姿态

验证器对文字与标签（当前3D生成尚无法可靠生成）、金属或透明材质（超出SAM3D支持的PBR属性范围）持宽松态度。对于铰接物体或HSSD资产消融等检索资产，本文采用更宽松的验证标准，仅关注物体类型与基本结构，忽略外观细节（颜色、风格、饰面）与微小结构差异（例如请求6斗抽屉柜时接受4斗款）。有限的库规模要求接受近似匹配而非严格匹配。

验证失败的资产会重新生成或重新检索，直至达到可配置的重试上限。若所有重试均失败，则向设计者智能体返回失败反馈，设计者可请求替代物体或调整场景。图7展示了通过与未通过验证的资产示例及失败原因。

图7 资产验证示例。每行为一项文本到3D请求，左侧为被拒绝的生成结果，右侧为通过的结果。上：验证器拒绝了生成时附带电视的媒体控制台，违反单一物体要求。下：验证器拒绝了带封闭柜门的书架，不符合“开放式书架”的规格。

C 布局生成

布局智能体接收全局场景提示词 $T$，生成 $M$ 个房间的建筑几何 { G j } j = 1 M \{G_j\}_{j=1}^{M} {Gj​}j=1M​，包括墙体、门、窗与材质分配。它同时推导房间专属提示词 { T j } j = 1 M \{T_j\}_{j=1}^{M} {Tj​}j=1M​，传递给下游智能体。设计者可使用表4中的所有工具，且可按任意顺序调用，根据自身判断或评判者反馈自由迭代。这种灵活性允许设计者重新生成整体布局、调整单个房间，或按需细化建筑细节。

表4 布局智能体工具。权限：D = 设计者，C = 评判者

C.1 房间布局创建

通过generate room specs创建房间布局时，设计者需指定每个房间 $j$ 的类型、尺寸、邻接约束，以及房间专属提示词 $T_j$。这些提示词从全局场景提示词 $T$ 中提取与各房间相关的约束推导而来：

• 房间专属的家具、颜色与特征（例如“带红色沙发的客厅”）
• 适用于所有房间的全屋风格（现代、乡村、极简）
• 歧义项消解：未明确归属房间的家具，根据现有房间类型分配（例如无餐厅时，餐桌归至厨房）

房间提示词 $T_j$ 会传递给所有下游智能体（家具、墙面、天花板、可操作物体），确保摆放的物体与原始场景描述保持一致。

C.2 房间排布算法

给定带邻接约束的房间规格，generate room specs调用排布算法，寻找有效的空间布局。算法采用最佳优先回溯搜索：

1. 对房间排序，使邻接约束可逐步验证
2. 将第一个房间放置在原点
3. 对后续每个房间：沿已放置房间的边缘生成候选位置，对候选打分，按最佳优先顺序探索
4. 完成布局后计算全局得分，记录最优结果
5. 回溯尝试其他排布方式；在超时时间内返回找到的最优布局

该算法在固定房间顺序与离散位置空间内是完备且最优的。不同排序可能生成不同布局，遍历所有排序在计算上不可行。作为随时算法，它可设置超时时间，返回时限内找到的最优布局。以下各小节详述各组件。

C.2.1 房间排序

房间排序遵循以下原则：放置每个房间时，其至少一个必需邻居已被放置，使邻接约束可引导排布。无邻接要求的房间（锚点房间）优先放置，奠定布局基础；有邻接要求的房间（连接房间）待至少一个必需邻居存在后再放置。同一类别内，按面积从大到小排序，将约束更强的房间优先放置。

C.2.2 基于边缘的附着

新房间通过附着到已放置房间的边缘进行排布。算法沿每条边缘采样11个候选位置，对非正方形房间同时测试原始朝向与90°旋转朝向。

C.2.3 排布评分

算法采用两级评分机制。局部分数对候选位置排序，引导最佳优先搜索；全局分数评估完整布局。

局部评分。对每个候选位置打分，优先选择满足邻接约束且布局紧凑的排布：

• 所有有效排布均获得基础分 $S_{base}$
• 每满足一个已放置房间的必需邻接要求，获得邻接奖励 $w_{adj}$
• 距已放置房间质心每偏离一米，扣除质心惩罚 $w_{dist}$

违反与已放置房间必需邻接关系的候选将被直接剔除。

全局评分。从紧凑度与稳定性两方面评估完整布局。紧凑度衡量空间利用率，为总房间面积与包围盒面积的比值：
$$S_{compact}=\frac{A_{rooms}}{A_{bbox}}\text{\hspace{1em}(2)}$$

稳定性奖励房间位置在迭代编辑中保持稳定：
$$S_{stable}=\sum _{r}exp\left(-\frac{{\Vert p_r-p_r^{prev}\Vert }_2}{2}\right)\text{\hspace{1em}(3)}$$
其中 $p_r$ 与 $p_r^{prev}\in {\mathbb{R}}^2$ 分别为当前与上一轮的房间中心。该机制支持增量优化。例如，当设计者收窄中央走廊时，修改后的房间需重新排布，周围房间需移位以保持邻接关系。稳定性评分确保所有房间尽可能靠近原始位置，而非触发整体布局重设计。

C.3 建筑元素

确定房间布局后，设计者添加建筑元素：墙体高度、门（房间内部连接与外部出入口）、窗（外墙上用于自然采光）、开放通道（移除相邻房间的整面共享墙，形成开放布局）、材质（通过语义搜索为每个房间分配地面与墙面材质）。

对于门与窗，设计者指定墙体分段、离散位置（左、中、右）与尺寸；窗户还需指定窗台高度。精确位置在指定分段内均匀采样，形成自然变化。设计者可随时调整任何元素，例如添加门后调整房间尺寸、收到评判反馈后更换材质，或对当前布局不满意时重新生成整体布局。

C.4 布局验证

validate工具检查两项属性。其一，验证房间排布成功完成且房间存在。其二，验证连通性：从带外门的房间出发，通过内门与开放通道进行广度优先搜索，遍历所有可达房间。至少需存在一扇外门，任何无法从外部到达的房间均会被标记为错误。

C.5 评判者评估

评判者从五个维度评估布局，每项0–10分：房间比例（房间尺寸与类型匹配）、空间动线（连接逻辑与通行模式合理）、自然采光（窗户布置与外墙曝光）、材质一致性（材质与房间用途匹配）、提示词遵循度（与场景描述一致）。

C.6 观测

图8展示了布局智能体的观测输出，包括渲染透视图与带墙体分段标注的ASCII布局，用于精确放置门窗。

图8 布局智能体观测工具。左：observe scene工具渲染带房间标签的俯视图，并显示分配的材质与纹理样本。右：render ascii工具提供ASCII平面图，标注墙体分段（A–J）与结构化元数据，包括房间尺寸、连通性验证结果、门窗规格。

D 家具摆放

家具智能体为每个房间 $R_j$ 布置落地家具。它接收来自布局智能体的、包含建筑几何 $G_j$ 的房间场景，以及描述预期陈设的房间专属提示词 $T_j$。每个房间独立处理，使用全新的智能体实例。这种分解支持并行生成，通过将任务范围限制在单个房间内降低了智能体的任务难度，同时通过控制上下文规模减少了推理成本。表5列出了可用工具。

坐标系。设计者将家具位姿指定为地面坐标系中的 $(x,y,\theta )$ 元组，其中 $\theta$ 为偏航角，单位为度。房间坐标系以地面原点为中心，$x\in [-\ell /2,\ell /2]$，$y\in [-w/2,w/2]$，其中 $\ell$ 和 $w$ 分别为房间的长度和宽度。由于落地家具放置在地面上，完整的 $SE(3)$ 位姿 $x_i$ 通过设置 $z=0$ 且横滚、俯仰角固定为零来构建。

表5 家具智能体工具。权限：D = 设计者，C = 评判者

D.1 check facing 算法

许多家具有功能性朝向：椅子应朝向桌子，沙发应朝向影音中心，储物家具（衣柜、梳妆台）应背向墙面，以保证门和抽屉可正常使用。仅凭渲染视图的视觉评估可能因相机角度歧义而不可靠。check facing 工具提供精确的朝向验证，并返回对齐所需的准确旋转角度。

给定源物体A与目标物体B，算法判断A是否朝向/背向B：

1. 从物体A的变换中提取偏航角 ${\theta }_A$
2. 计算前向方向：$d=R_z({\theta }_A)\cdot [0,1,0{]}^{\top }$，其中 $R_z$ 表示绕竖直轴的旋转
3. 选取B上的目标点：圆形物体取中心，否则取轴对齐包围盒（AABB）上距离A最近的点
4. 执行二维射线-AABB相交检测，判断A的前向方向是否与B相交
5. 计算最优旋转角：${\theta }^{\ast }=\text{atan2}(\Delta y,-\Delta x)$

圆形物体通过体积比检测：$V_{mesh}/V_{AABB}<0.80$，其中 $V_{mesh}$ 为网格体积，$V_{AABB}$ 为轴对齐包围盒体积。

D.2 snap to object 算法

将家具靠墙放置或与其他家具相邻摆放通常需要多步操作：粗略放置、朝向检查、旋转校正、位置调整以消除缝隙。snap to object 工具将这些步骤整合为单次操作。它还能处理将椅子推入桌下这类场景——这类场景中，仅靠俯视图的二维包围盒看起来会相交，但三维几何并不会碰撞。

该工具支持三种朝向模式：朝向（将源物体旋转为面向目标，例如椅子朝向桌子）、背向（将源物体旋转为背向目标，例如衣柜门朝向房间内侧）、无旋转（仅消除缝隙，不改变朝向）。

给定待移动的源物体与静止的目标物体，算法分三个阶段执行：

1. 阶段1：碰撞消解。若物体存在重叠，沿重叠量最小的轴将源物体推出。源物体的包围盒按最大边（宽/深取大）视为正方形，确保后续旋转不会重新引入碰撞。
2. 阶段2：朝向对齐。对于朝向与背向模式，使用check facing计算并施加最优偏航旋转。无旋转模式跳过此步。
3. 阶段3：缝隙消除。迭代地将源物体向目标小幅移动，每步检测碰撞。检测到碰撞时停止，并回退到上一个无碰撞位置，在物体间保留微小间距。

D.3 check reachability 算法

为使生成的场景适用于机器人应用，房间的所有区域都应能被目标机器人通行。机器人足迹半宽 $h_r$ 是可配置参数，用户根据自身机器人平台设置。这种可配置性至关重要，因为移动机器人的尺寸差异很大：人形机器人可能仅需20厘米净空，而大型移动操作臂需要更大空间；例如Rainbow Robotics的RB-Y1底座为60×69厘米，约需35厘米净空。通过指定合适的足迹尺寸，用户可确保生成的场景确实能被其特定机器人导航。

为验证可通行性，算法将机器人建模为半径为 $h_r$ 的圆盘 $B_{h_r}$，通过闵可夫斯基和运算计算可行走区域：

1. 收缩地面多边形：$F^{\prime }=F\ominus B_{h_r}$
2. 膨胀每件家具的定向包围盒（OBB）：$O_i^{\prime }=O_i\oplus B_{h_r}$
3. 计算可行走区域：$W=F^{\prime }\setminus {\bigcup }_i{O}_i^{\prime }$
4. 验证 $W$ 为单一连通区域

其中 $\ominus$ 表示闵可夫斯基差（腐蚀），$\oplus$ 表示闵可夫斯基和（膨胀）。腐蚀将地面边界向内收缩，使机器人中心无法过于靠近墙面；膨胀则将家具向外扩展，以计入机器人的物理尺寸。

阻塞识别：对每件家具，工具测试移除它是否会减少不连通区域的数量。会阻断连通性的家具被标记为潜在的重定位候选。

向智能体反馈：工具返回房间是否完全可达、不连通区域数量、可达率（最大区域面积占总可行走面积的比例），以及阻塞家具的ID列表。该反馈帮助设计者识别并重新调整有问题的家具。

D.4 check physics 工具

check physics 工具检测会导致场景不可行的几何与功能问题。在家具摆放阶段，该工具报告：

• 家具碰撞：家具之间或家具与墙面的相互穿透，通过Drake的碰撞检测对碰撞几何执行有符号距离查询得到。
• 地面覆盖物重叠：地毯或地垫重叠，由于这类物体无碰撞几何，通过二维定向包围盒相交检测。
• 地面覆盖物越界：地毯延伸至房间墙体之外。
• 门阻塞：家具挡住了门前的净空区域，导致无法通行。
• 开放通道阻塞：家具挡住了房间之间的开放通道，通过检查是否保留了机器人尺寸的通行空间验证。
• 窗户净空（警告）：家具放置在窗前且高度超过窗台。仅作为警告，由智能体判断该放置是否可接受（例如书桌略微遮挡窗户可能无妨，但高衣柜完全挡住窗户则不可取）。

问题会附带穿透深度与物体标识符报告，使设计者能够进行针对性修正。

D.5 评判者评估

评判者从六个维度评估家具摆放，每项0–10分：真实感（摆放模式自然、场景无碰撞）、功能性（物品支持预期活动且朝向关系正确）、布局（排布逻辑清晰、间距合理、通行动线明确）、整体完备性（房间类型与尺寸对应的陈设充实度合理）、提示词遵循度（严格符合指定的家具与数量）、可达性（机器人可到达所有区域）。

整体完备性与提示词遵循度互为补充：前者根据房间类型的普遍预期评估房间陈设是否恰当，后者检查是否存在明确要求的物品。例如，对于“带一把椅子的客厅”这一提示词，如果放了椅子，提示词遵循度得分会很高，但整体完备性得分会很低，因为客厅通常不止一把椅子。

D.6 观测

observe scene 工具从多个视角渲染房间：一个俯视图与四个角落视角。对于角落视角，相机与房间中心之间的墙体被隐藏，以展示内部。受set-of-mark提示法（Yang等，2023）与SceneWeaver（Yang等，2025）启发，俯视图包含标注以支持空间推理：

• 带 $(x,y)$ 位置标记的坐标网格与坐标系
• 每件家具的包围盒
• 带唯一标识符的物体标签
• 显示每个物体前向朝向的方向箭头
• 建筑元素上的门、窗与开放通道标签

角落视图包含坐标标记作为空间参考。

物体标识符由可读名称加36进制顺序后缀组成（例如chair_0、chair_a、chair_10），在减少视觉杂乱的同时便于智能体引用。图9展示了观测示例。

图9 家具智能体观测输出。左：带坐标网格、坐标系与标注家具的俯视图，家具显示包围盒与方向箭头；墙体、门、窗均有标注，供摆放参考。右：四个角落视角，带坐标标记，用于深度感知与对齐。

E 壁挂物体放置

墙面智能体向 $O_j$ 中添加壁挂物体，包括装饰画、镜子、搁板、时钟等。它接收房间专属提示词 $T_j$ 以及已完成家具摆放的房间。每个房间独立处理。表6列出了可用工具。

坐标系。房间内每面墙都有独立的局部坐标系与唯一标识符。壁挂物体在指定墙面的坐标系内使用 $SE(2)$ 坐标 $(x,z,\theta )$：$x$ 沿墙面从起点（0）延伸至终点（墙长，单位为米），$z$ 竖直方向从地面（0）到天花板高度，$\theta$ 为绕墙面法线的旋转角度，单位为度。由于物体贴墙安装，$y$ 坐标默认为零。

智能体在单次会话中共同完成所有墙面的布置，同时指定目标墙面标识符与每个摆放的局部位姿。系统会自动排除门、窗与开放通道占用的区域，避免无效摆放。

表6 墙面智能体工具。权限：D = 设计者，C = 评判者

E.1 物理验证

check physics 工具检测壁挂摆放特有的几何问题：

• 壁挂物体碰撞：壁挂物体之间的相互穿透
• 边界违规：物体超出墙面边缘或超过天花板高度
• 禁放区违规：摆放在门、窗或开放通道区域上

E.2 评判者评估

评判者从五个维度评估壁挂物体摆放，每项0–10分：真实感（物体安装高度符合其用途的实际情况）、功能性（物体可正常取用且不被家具遮挡）、布局（墙面间分布合理，与开口间距恰当）、整体完备性（墙面装饰程度符合房间类型）、提示词遵循度（要求的墙面物品均已出现）。

E.3 观测

observe scene 工具提供两种互补视图：展示完整房间布局的俯视上下文视图，以及用于精确摆放的各墙面正交视图。每个墙面视图包含：

• 带位置标记的坐标网格，显示墙面局部 $(x,z)$ 坐标与坐标系
• 墙面标识符，用于明确引用墙面
• 门、窗与开放通道以墙面开口形式显示
• 带唯一标识符的壁挂物体标签
• 附近家具作为空间背景渲染（不加标签以减少杂乱）

图10展示了观测示例。

图10 墙面智能体观测输出。右上：展示完整房间布局的俯视上下文视图，标注壁挂物体。其余面板：各墙面的正交视图，带坐标网格、墙面标识符、门窗开口与物体标签；附近家具渲染为空间背景。

F 天花板物体放置

天花板智能体向 $O_j$ 中添加天花板安装物体，包括灯具、风扇、吊灯等。它接收房间专属提示词 $T_j$ 以及已完成家具与壁挂物体摆放的房间。每个房间独立处理。表7列出了可用工具。

表7 天花板智能体工具。权限：D = 设计者，C = 评判者

坐标系。天花板物体使用房间局部 $SE(2)$ 坐标 $(x,y,\theta )$，其中 $x$、$y$ 指定房间范围内的位置，$\theta$ 为偏航旋转角。由于灯具固定在天花板上，$z$ 坐标默认为天花板高度。

F.1 物理验证

check physics 工具检测天花板灯具与场景中其他物体的碰撞。

F.2 评判者评估

评判者从四个维度评估天花板灯具摆放，每项0–10分：真实感（灯具自然居中于功能区域上方）、功能性（房间照明覆盖充足）、布局（对称、间距合理，与高家具保持净空）、提示词遵循度（要求的灯具均已出现）。

F.3 观测

observe scene 工具渲染一个俯视图与两个侧视图。标注包括：

• 天花板高度处的坐标网格，带 $(x,y)$ 位置标记
• 家具与壁挂物体渲染为空间背景（不加标签以减少杂乱）
• 已放置的天花板灯具带唯一标识符标签

图11展示了观测示例。

图11 天花板智能体观测输出。左：带坐标网格与标注天花板灯具的俯视图。右：两个角落视角，带坐标标记，用于验证灯具高度及与高家具的净空。

G 可操作物体放置

可操作物体智能体添加小型可操作物体到 $O_j$ 中，营造真实室内环境特有的密集排布与细碎杂物。专用工具支持生成真实的物体配置，包括竖直堆叠、随机堆放、容器填充（G.6节）。物体放置在现有家具、壁挂物体（如搁板）与建筑元素（如地面）的支撑表面上。

智能体执行前，先通过基于VLM的分析步骤（G.1节）筛选需要放置可操作物体的实体，并为每个支撑实体 $k$ 推导实体专属提示词 $T_{j,k}$。每个支撑实体独立处理，使用全新的智能体实例。如正文3.1节所述，这构成了树状构建流程的第二级分支（第一级为家具、墙面、天花板智能体采用的“房屋-房间”分解），支持并行生成并减小上下文规模。表8列出了可用工具。

表8 可操作物体智能体工具。权限：D = 设计者，C = 评判者

坐标系。实体上的每个支撑表面都有独立的二维局部坐标系与唯一标识符（如S_0、S_1、S_a）。可操作物体在指定表面的坐标系内使用 $SE(2)$ 坐标 $(x,y,\theta )$：$x$ 沿表面从左到右，$y$ 从前到后，$\theta$ 为绕表面法线的旋转角度。原点 $(0,0)$ 位于表面中心。由于物体放置在表面上，$z$ 坐标由表面高度决定。

智能体在单次会话中共同完成实体所有表面的布置（例如书架的所有层板），同时指定目标表面标识符与每个摆放的局部位姿。系统自动验证表面边界，确保物体保持在支撑区域内。

G.1 实体选择与提示词推导

VLM分析房间提示词 $T_j$ 以及渲染后的家具与壁挂物体，确定哪些实体需要放置可操作物体。对每个选中的实体，VLM推导三项结构化输出，共同构成实体专属提示词 $T_{j,k}$：

• 建议物品：待放置的物体，区分为必需项（$T_j$ 中明确提及）与可选项（符合场景上下文）
• 提示约束：从 $T_j$ 中提取的明确要求，包括数量约束（例如“三本书”）与否定约束（例如“仅一台笔记本电脑”）
• 风格说明：影响摆放密度与美学的指导（例如极简、杂乱、规整）

同一次VLM调用还会识别附近的关联家具（例如餐桌周围的椅子），用于指导摆放决策，例如将餐具摆放在椅子正前方，或将面向用户的物体朝向座位方向。关联家具会包含在视觉观测中，辅助引导可操作物体摆放。

G.2 支撑表面检测

本文采用HSM（Pun等，2026）提出的支撑表面识别算法，从家具与壁挂物体网格中提取水平放置表面。对于铰接物体，将所有连杆几何在关节零位（抽屉/门关闭）合并为单一网格，确保净空计算准确。

G.3 物理验证

check physics 工具检测与当前摆放会话相关的碰撞：

• 可操作物体间碰撞：同一实体上可操作物体的相互穿透
• 可操作物体与家具碰撞：可操作物体伸入附近家具

该工具应用上下文感知过滤，仅报告智能体可处理的违规情况，排除涉及其他实体物体的碰撞。违规附带物体标识符报告，支持针对性修正。

G.4 评判者评估

评判者从五个维度评估可操作物体摆放，每项0–10分：真实感（表面上的摆放模式自然）、功能性（物品支持预期活动）、布局（排布逻辑清晰、视觉平衡）、整体完备性（表面填充程度符合家具类型）、提示词遵循度（必需物品均已放置且约束得到遵守）。

G.5 观测

observe scene 工具渲染当前实体（家具或壁挂物体）的聚焦视图。基础输出包含四个侧视图，带坐标标记。额外视图随实体类型变化：

• 单表面：一个俯视图，带坐标网格、表面局部 $(x,y)$ 位置标记与坐标系。
• 多表面：每个表面一张俯视渲染图，各带坐标网格与表面标识符。智能体在单次会话中共同完成所有表面的布置。
• 铰接式：渲染时打开门以展示内部表面；对于带抽屉的实体，每个抽屉单独渲染且仅打开该抽屉，避免堆叠抽屉造成遮挡。

实体选择阶段识别的关联家具可能会被包含在内，用于辅助物体朝向判断（例如餐桌周围的椅子）。已放置的可操作物体带有唯一标识符、包围盒与方向箭头标签。图12、13、14展示了观测示例。

图12 单表面实体的可操作物体智能体观测。上：带坐标网格、表面局部位置标记与坐标系的俯视图；可操作物体标注有包围盒。下：四个侧视图，带坐标标记；办公椅作为关联家具纳入，用于辅助判断物体朝向。

图13 多表面实体的可操作物体智能体观测。上：置物架的四个侧视图，表面标识符（S_4至S_8）用颜色区分。下：单个表面的俯视渲染图（共五个，此处展示两个），颜色与侧视图对应。智能体在单次会话中共同完成所有表面的布置。

图14 铰接式实体的可操作物体智能体观测。左：渲染时打开门以展示内部表面。右：对于带抽屉（棱柱关节）的实体，每个抽屉单独渲染，避免堆叠抽屉造成遮挡（此处展示多个抽屉渲染中的一个）。

G.6 复合物体工具

专用复合工具（表8）利用物理仿真创建多物体排布。这些工具对生成丰富排布至关重要，因为标准摆放工具仅支持表面上的 $SE(2)$ 位姿。每个工具将物体组装为一个复合体，以 $SE(2)$ 位姿放置在支撑表面上。在最终场景中，单个物体独立存储，其完整 $SE(3)$ 位姿由表面变换与物体在复合体内的位姿共同计算得到。图15、16、17、18展示了各工具的输出示例。

G.6.1 CREATE STACK

竖直堆叠物体（例如书籍、盘子、杯子配杯垫、蜡烛配烛台）。接收物体列表（同类或异类），按输入顺序从下到上堆叠：

1. 初始放置：利用碰撞几何包围盒高度计算初始变换。物体按竖直范围沿Z轴依次排布。
2. 物理仿真与稳定性检查：运行Drake仿真，使物体沉降至静态平衡。物体可能嵌套（例如叠放的碗）或发生横向偏移。位移超过阈值的物体标记为不稳定；若有物体掉落，则整个堆叠判定为失败，工具报告保持稳定的物品数量，便于减少物品数量后重试。
3. 净空验证：验证最终堆叠高度符合可用表面净空。
   

图15 create stack 工具示例。堆叠包括同类物体（盘子、碗、杯子）、异类物体（书籍、收纳盒）以及物体叠放组合（杯子配杯垫、蜡烛配烛台、牛角包配餐盘）。物理仿真使物体沉降为稳定构型。

G.6.2 FILL CONTAINER

利用物理仿真向容器中填充多个物体（例如果碗、笔筒、餐具筒、插花花瓶、收纳篮）。接收一个容器资产与填充物体列表：

1. 腔体检测：采用上边缘启发式识别容器内部。将容器高度上部分的顶点投影到XY平面，其凸包定义为开口。凸包向内缩放，留出与容器壁的安全边距。
2. 物体旋转：根据长宽比旋转物体。细长物体（长宽比高于阈值）竖直放置，最长轴沿竖直方向，与容器长度方向对齐。餐具等不对称物体执行“粗端朝上”检查：比较上下两半的占地面积，若底部更粗则翻转物体（确保餐具筒中勺头朝上）。
3. 生成放置位置：对每个填充物体，在内部凸包内通过拒绝采样生成一个XY位置。物体在边缘上方以交错高度生成，间距根据各物体旋转后的高度确定，避免初始重叠。
4. 物理仿真：运行Drake仿真，让物体在容器内自然下落沉降。物体可能发生偏移、嵌套或掉出，具体取决于几何形状与装填密度。
5. 内外分类：仿真后，根据最终Z位置与配置阈值的相对关系对物体分类。低于阈值的物体视为掉出。
6. 迭代重试：掉出的物体在后续迭代中以新的随机位置重新生成。循环持续到所有物体都稳定在内部，或达到迭代上限。已稳定的物体在重试期间保持原位，但可能被新物体推出，此时它们会被重新加入重试列表。

只要至少有一个物体留在内部，工具即判定成功；经过最大迭代次数仍无法稳定的物体将从最终复合体中移除。工具报告哪些物体保留、哪些被移除，便于智能体在需要时尝试其他物体组合。

图16 fill container 工具示例。容器包括果碗、餐具筒、笔筒、玩具收纳箱、插花花瓶、面包篮。带迭代重试的物理仿真使物体在容器腔体内自然沉降。

G.6.3 CREATE ARRANGEMENT

将物品按智能体指定位置摆放在扁平容器上（例如餐垫上的餐具、芝士板上的芝士、托盘上的物品、浴室托盘上的洗漱用品）。与fill container的随机位置不同，该工具提供精确的摆放控制。接收一个容器资产与带局部 $(x,y,\theta )$ 坐标（相对于容器中心）的物品列表：

1. 位置验证：通过网格体积比分析判断容器为圆形还是矩形，然后验证每件物品的中心位置是否在边界内。对于圆形容器，检查到中心的欧氏距离是否小于半径；对于矩形容器，检查轴对齐包含关系是否满足半长/宽范围。仅验证中心位置，允许叉子、刀具等细长物体平行于边缘放置时靠近边缘。
2. 预碰撞检查：物理仿真前，使用Drake的有符号距离查询检测物品间碰撞。若有物品重叠，工具立即失败，并反馈碰撞对与穿透深度。
3. Z向物理沉降：在指定XY位置上方生成物品，然后运行Drake仿真使其在重力作用下沉降。物品可能发生轻微位移后静止。
4. 全有或全无验证：仿真后按最终Z位置对物品分类。若有任何物品从容器上掉落（Z低于阈值），整个排布判定失败。工具报告掉落的物品与容器边界，便于智能体将位置调整得更靠近中心。

这种“全有或全无”的语义保证了排布的完整性与一致性。工具不带重试机制；若物品掉落，智能体必须显式调整位置后重试。

图17 create arrangement 工具示例。物品按智能体指定位置摆放在扁平容器上：烤盘、芝士板、调料架、蜡烛托盘、浴室托盘、切菜板。与fill container不同，该工具提供精确的摆放控制。

G.6.4 CREATE PILE

主要用于两种场景：（1）表面上的随机散乱排布（例如桌面上的回形针、散落的玩具、成堆的衣物）；（2）将物体放入家具内置腔体中（例如水槽里的脏盘子）——这类场景无法使用fill container，因为后者需要独立的容器资产。对于内置腔体，腔体几何本身会在物理仿真过程中自然限制物体位置。接收资产列表（最少2个，同类或异类均可）：

1. 生成半径计算：计算所有物体的平均包围盒对角线，乘以配置系数得到生成半径，确保物体自然散开且无过大间隙。
2. 位置与旋转生成：对每个物体，从半径为生成半径的圆盘内均匀采样XY位置，径向分量做平方根变换保证面积均匀分布；朝向在SO(3)上均匀随机采样。
3. 交错Z向生成：物体在表面上方以交错高度生成，间距根据各物体的包围盒对角线确定，避免物理沉降前发生初始重叠。
4. 物理仿真：运行Drake仿真，使物体在重力作用下落沉降。物体可能发生偏移、翻滚、嵌套或从表面掉落，具体取决于几何形状与初始位置。
5. 表面分类：仿真后按最终Z位置对物体分类。低于配置阈值的物体视为从放置表面掉落。
6. 最少物体验证：工具要求至少有2个物体留在表面上。若少于2个则判定失败，并反馈建议：将堆放在离边缘更远的位置，或减少物体数量。

与fill container不同，该工具不带迭代重试。工具返回哪些物体留在表面、哪些掉落，便于智能体根据情况调整配置后重试。

图18 create pile 工具示例。左：地面上的随机堆放：散落的玩具与厨房地面上的脏盘子。右：水槽里的脏盘子。水槽内置在台面中，因此无法使用需要独立容器资产的fill container。

H 物理可行性后处理

尽管SceneSmith的智能体构建流程通过迭代反馈促使物体排布具备物理合理性，但生成过程中并不要求智能体严格满足物理约束。生成的场景可能存在物体间穿透，或物体排布不满足静态稳定的情况。为确保环境可直接用于仿真，本文在家具摆放阶段与可操作物体填充阶段之后，均执行两阶段后处理流水线。壁挂与天花板物体无需后处理，因为它们与世界固接，仿真中保持固定。

H.1 非穿透投影

本文通过非线性优化将物体位姿投影至最近的无碰撞配置，以消解物体间穿透。参考Pfaff等（2025b）的方法，求解如下问题：
$$\underset{P}{\min }{\Vert p-p_0\Vert }_2^2\text{s.t. }d(i,j)\ge ϵ,\forall i\ne j$$
其中 $P$ 与 $P_0$ 分别为优化后与原始的物体平移量，$d(i,j)$ 为通过Drake碰撞检测器计算的物体间有符号距离，$ϵ=10^{-5}\text{m}$ 为微小分离容差。优化过程中朝向保持固定，避免旋转调整导致物体在后续重力仿真中倾倒。

优化使用SNOPT（Gill等，2002）求解，基于Drake的逆运动学框架实现。

H.2 重力沉降

投影消解穿透后，本文使用Drake对场景施加重力进行仿真，使物体沉降为静态稳定构型。

H.3 流水线集成

该流水线在三个节点执行“投影+重力沉降”流程：

1. 家具摆放后：所有家具均可自由平移
2. 每个支撑实体的可操作物体摆放后：使用仅包含该实体与其可操作物体的子场景，实体保持固接
3. 所有可操作物体摆放完成后：所有家具固接，仅优化可操作物体

H.4 掉落物体移除

物理仿真可能导致物体倾倒或从表面掉落。系统会根据类型特定准则自动检测并移除掉落物体：

• 家具：计算物体Z轴与世界竖直方向的倾斜角，超过阈值则标记为掉落并移除。
• 可操作物体：采用两种检测方式识别小型掉落物体：
  1. 地面穿透检测：移除穿入地面的物体，表明物理不稳定
  2. 表面脱离检测：移除原本放置在家具上、最终接近地面且发生显著向下位移的可操作物体，表明其从预期支撑表面掉落

I 随机摆放

本文观察到，智能体摆放物体时倾向于选择规整的位置与旋转值（例如距墙恰好1.0米、旋转精确为90°），导致排布过于工整，与真实场景相比不自然。为解决这一问题，本文对物体摆放施加高斯噪声，将摆放视为带噪声的动作，从而生成更真实的变化。

I.1 模式选择

协调者根据提示词关键词选择摆放风格：

• 自然风格：关键词如“生活化”、“温馨”、“随意”
• 完美风格：关键词如“崭新”、“展厅级”、“画廊式”

若无匹配关键词则默认自然风格。实际应用中，噪声幅值较小（自然模式下位置1–3厘米、旋转0.5°–3°），在不破坏功能排布的前提下引入细微瑕疵；完整噪声参数见表9。

表9 按物体类型与摆放风格划分的高斯噪声标准差（σ）

I.2 风格感知评估

评判者接收摆放风格信息以校准预期。自然风格允许细微瑕疵（例如餐椅角度略有差异）；完美风格则要求在公差范围内精确对齐。

J 导出与仿真器兼容性

SceneSmith采用“仿真器在环”的场景创建方式，以Drake作为原生仿真后端。碰撞检测、非穿透投影与重力沉降均在构建流程中全程通过Drake执行，确保构建过程中的物理一致性。场景原生使用SDFormat格式表示，附带Drake模型指令。

为兼容其他仿真器，SceneSmith可将场景导出为MJCF与USD格式。导出内容包含视觉几何、碰撞几何、物理属性（质量、质心、转动惯量、摩擦系数）以及铰接物体的关节定义。导出格式可适配大多数主流机器人仿真器，包括MuJoCo（Todorov等，2012）、PyBullet（Coumans & Bai, 2016–2021）、Isaac Sim³、Genesis⁴。同时支持导出至Blender用于可视化与渲染，仅包含视觉几何。

K 与现有场景生成系统的对比

表10总结了SceneSmith与代表性现有室内场景生成系统的高层能力对比。“新型静态资产生成”指按需生成新的静态物体资产，而非从固定检索库中选取。“可分离多物体组合”指果碗、盘子堆、餐具筒等排布中，每个组件均可单独操作，而非融合为单一网格。ProcTHOR作为广泛使用的程序化场景生成系统纳入对比。

表10 与现有场景生成系统的功能对比

L 机器人策略评估

本节提供正文3.5节所述机器人策略评估流水线的实现细节。图19展示了该流水线结构。

图19 机器人操作评估流水线。给定操作任务（例如“从果碗里拿一个水果放到盘子上”），LLM生成多样化的场景提示词，描述任务隐含的场景约束。SceneSmith根据每个提示词生成场景。机器人策略在仿真中尝试完成任务，评估智能体利用仿真器状态查询与视觉观测验证成功与否。该流水线无需人工设计环境或成功判定条件，即可实现可扩展的策略评估。

L.1 场景提示词生成

给定自然语言任务描述（例如“拿一个水果放到盘子上”），LLM生成多样化的场景提示词，使任务可执行且不会预先给出答案。生成器首先分析任务，提取：

• 房间要求：是否需要特定房间类型（显式如“在厨房里”，隐含如“餐桌”对应餐厅），或灵活可选。房屋级任务可能需要多个房间。
• 必需物体：必须存在的物体（例如果、盘子）。
• 初始状态约束：初始时不能成立的条件。例如对于“把水果放到盘子上”，水果初始不能已经在盘子上。
• 可变维度：可在不同提示词间变化的方面（风格、物体变体、额外家具）。

生成器随后生成N个多样化的场景提示词，描述一个包含必需物体且物体处于非目标位置的房间，同时补充上下文物体以增加多样性。提示词在风格（现代、乡村、极简）、物体变体（苹果、香蕉、橙子）与摆放配置上各不相同。每个提示词输入SceneSmith生成完整场景。

L.2 评估智能体

每次策略执行后，评估智能体判断任务是否成功。智能体接收任务描述与最终场景状态，然后使用两类工具收集证据：

• 状态工具：几何查询，包括物体列表、物体对间的有符号距离计算、支撑关系验证（接触检测与表面重叠百分比）。
• 视觉工具：场景或特定物体的多视角渲染，提供俯视图与侧视图，用于空间关系的视觉验证。这些工具复用SceneSmith场景观测工具的渲染基础设施。

智能体穷举测试可能满足任务要求的候选物体对，优先使用状态工具以提升效率，对于包含关系等模糊情况则 fallback 至视觉工具。该方法避免了手工设计成功判定条件，可泛化到多样的任务规格。表11列出了可用工具。

表11 评估智能体工具

L.3 示例策略

为演示该流水线，本文实现了一种基于模型的抓取放置策略，采用安装在移动底座上的KUKA LBR iiwa14机械臂，底座带伸缩升降关节。策略首先使用VLM将任务解析为结构化组件：目标谓词（在…上、在…里、靠近）、目标与参考物体类别，以及可选前置条件。VLM随后将这些类别与场景中的具体物体匹配，生成排序的候选绑定并按顺序尝试。

策略获取每个候选物体的分割点云，迭代采样对跖抓取点（Tedrake, 2024, §5.4），直到找到一个使抓手无碰撞的位姿。随后求解带避障约束的逆运动学优化问题，确定抓取构型的完整机器人姿态（Tedrake, 2024, §6.1）。为确定放置构型，在目标区域内采样抓手位姿并求解同类逆运动学问题。策略同时求解启发式的预抓取与预放置构型，即将抓手位姿沿抓取方向远离物体移动一段距离。

规划分段执行，按顺序连接：机器人起始构型、预抓取构型、抓取构型、抓取后构型（与预抓取相同）、预放置构型、放置构型。路径规划使用RRT-Connect（Kuffner & LaValle, 2000）结合随机捷径优化（Sekhavat等，1998, §6.4.1）。在抓取后到预放置的路径段，要求抓手周围障碍物的净空更大，防止掉落被操作物体。

路径段经过时间最优路径参数化后处理（Verscheure等，2009），确保生成的轨迹满足机器人的速度、加速度与力矩限制。本文额外对抓手位姿施加空间速度与加速度限制，防止突然运动导致抓握打滑。

最后，本文构造了一种刻意降低性能的策略，以验证智能体评估系统可用于性能对比。劣化策略不施加抓手位姿的速度与加速度限制，因此更易掉落物体；同时不在规划阶段增大抓手净空，导致被操作物体更易与环境碰撞。

L.4 实验结果

任务。本文在四项抓取放置任务上评估，每项任务25个生成场景：

1. 从果碗里拿一个水果放到餐桌上的盘子里。
2. 从架子上拿一罐可乐放到桌子上。
3. 从地上拿一个杯子放到水槽里。
4. 从厨房拿一瓶水放到客厅的咖啡桌上。（房屋级）

评估准确率。为验证评估智能体的准确性，本文人工标注了全部300次评估（100个场景 × 3种状态：初始状态、标准策略结果、劣化策略结果）。评估智能体与人工判断在299/300例中一致（99.7%）。唯一分歧出现在一个边界案例：水果落在盘子边缘，人工标注为成功，而评估智能体判定为失败。

策略对比。表12呈现了各任务的成功率。标准策略整体成功率为16%，劣化策略为12%，证实两种策略的性能差异符合预期。这表明自动评估系统能够检测出策略质量的显著差异。

表12 100个生成场景下的机器人策略评估结果（每项任务25个场景）

M 评估方法论

本节提供实验设置与评估指标的详细说明。

M.1 实验设置

M.1.1 基线方法

本文与五种外部基线方法进行对比，它们均使用LLM或VLM进行场景生成，但架构思路不同。其中Holodeck是唯一支持房屋级生成的基线。LayoutVLM使用两种不同资产库进行评估。所有基线均使用其开源代码库进行评估。

• HSM（Pun等，2026）：分层场景生成框架，将场景生成从房间级家具递归分解到表面上的小型物体。它利用学习到的“场景基元”（反复出现的空间模式，如餐桌周围的餐椅）捕捉排布结构。资产从HSSD库（Khanna等，2023）中通过CLIP相似度检索，碰撞通过空间优化消解。
• Holodeck（Yang等，2024b）：提示LLM生成物体间的空间关系，再使用约束满足求解器将其转化为物理合理的布局。它将语义理解与几何优化解耦，以避免碰撞与边界违规。Holodeck是唯一同时支持房间级与房屋级生成的基线。
• I-Design（Çelen等，2025）：基于LLM的流水线，使用一系列专用提示（设计者、建筑师、工程师、校正者、优化者）逐步构建场景图。每个角色细化场景描述：设计者选择物体，建筑师指定空间关系，校正阶段解决冲突。场景图通过回溯算法转换为物体位姿，从约束交集中采样有效位置。
• LayoutVLM（Sun等，2024）：结合视觉提示与可微优化实现布局生成。它从带标记的图像中生成位姿估计值与空间关系，筛选自洽项后联合优化语义一致性与碰撞避免。该方法原本设计用于摆放给定物体集合，本文实现其附录B.1中的开放词汇扩展，即先从库中检索物体。本文评估两种资产库：精选版使用作者提供的小型精选资产库；Objaverse版使用ProcTHOR与Holodeck采用的Objaverse子集Objathor（Deitke等，2022a；b）。
• SceneWeaver（Yang等，2025）：单智能体LLM框架，通过“推理-行动-反思”范式迭代优化合成3D场景。独立的VLM使用物理与感知指标评估渲染后的场景，智能体根据评估结果选择工具逐步优化。该方法采用带反馈规划的标准化工具接口，以保持空间一致性。

M.1.2 消融实验

本文设置六种消融变体，以理解各组件的贡献：

• 无评判者（NoCritic）：无评判迭代，仅保留初始设计
• 非生成式（NotGenerated）：使用HSSD检索资产替代生成资产
• 无资产验证（NoAssetValidation）：无基于VLM的资产验证（保留路由组件）
• 无专用工具（NoSpecializedTools）：无专用摆放工具（对齐、朝向、堆叠、填充、排布、堆放）
• 无场景观测（NoObserveScene）：无视觉观测，仅使用结构化状态
• 无智能体记忆（NoAgentMemory）：设计者与评判者无迭代历史记忆

M.1.3 提示词语料

本文共在210个提示词上评估，分为五类：

• SceneEval-100（房间级）：来自SceneEval基准的94个房间级提示词（Tam等，2025），主要为卧室、客厅、餐厅，复杂度各异（其余6个SceneEval提示词为房屋级，归入房屋级类别）
• 类型多样性：50个提示词，每个对应一种SceneEval-100中代表性不足的房间类型（宠物店、药房、瑜伽室、酒窖等）
• 物体密度：25个专门用于高物体数量场景压力测试的提示词（例如“厨房搁板上至少有10个盘子、8个碗和8个杯子”）
• 主题场景：10个带特定风格约束的提示词（星球大战主题卧室、蒸汽朋克风格家庭办公室、哈利波特主题图书馆等）
• 房屋级：31个多房间场景提示词（SceneEval-100房屋子集加上额外房屋提示词）

由于大多数基线仅支持房间级生成，本文分别评估房间级提示词（共179个）与房屋级提示词（共31个）。房间级多方法对比结果见第N、O节；房屋级SceneSmith与Holodeck（唯一支持多房间的基线）的对比结果见正文表1与表2。

M.2 SceneEval指标

本文使用SceneEval基准（Tam等，2025）的以下指标：

• CNT（物体数量）：物体数量要求的满足率。VLM将场景物体映射到提示词指定的物体，再将实例数量与标注数量（精确或相对）进行对比。
• ATR（物体属性）：物体属性（颜色、材质等）的满足率。渲染正面视图与带人物的参考视图用于比例参照，再由VLM评估物体是否满足指定属性。
• OOR（物体间关系）：物体间空间关系（例如“椅子在书桌前”）的满足率。评估预定义的关系类型。
• OAR（物体-建筑关系）：物体与建筑元素关系（例如“沙发靠墙”、“地毯在房间中央”）的满足率。检查物体与建筑元素的关系类型。
• ACC（可达性）：衡量物体功能面是否可到达。VLM识别功能面（例如沙发正面、床的侧面），再通过二维占用分析判断这些面是否无遮挡。
• NAV（可导航性）：最大连通自由地面面积占总自由面积的比例。使用二维占用投影与连通分量分析，判断物体摆放是否造成孤立区域。
• OOB（越界）：超出平面图边界的物体比例。对表面点采样并向地面投射射线，若少于99%的射线命中地面则判定物体越界。

M.2.1 面向仿真就绪性的物理指标

除上述语义指标外，本文额外提出两项基于Drake的物理指标（Tedrake等，2019），用于评估生成场景是否可直接用于机器人仿真。

所有基线均无法生成可直接在物理仿真器中运行的场景，因为它们缺少碰撞几何与物理属性（质量、质心、转动惯量、摩擦系数）。为实现评估，本文首先对基线场景进行仿真兼容处理：使用V-HACD凸分解生成碰撞几何（最多128个凸包，与本文流水线一致），并假设均匀密度$1000\text{kg}/{\text{m}}^3$（水的密度）估算质量、质心与转动惯量。参考SceneWeaver（Yang等，2025）的做法，地毯不计入这些指标。该后处理步骤反映了将基线输出用于机器人仿真所需的工作量。而SceneSmith生成的场景开箱即可用于仿真，无需此类后处理。

• COL（碰撞率）：使用Drake的有符号距离查询对碰撞几何计算。报告穿透深度超过1毫米的物体比例。该指标反映场景是否物理可行。深度穿透可能导致物体在仿真时因接触力过大而炸开，轻微穿透通常可接受。
• STB（静态平衡）：施加重力运行5秒物理仿真（时间步长1毫秒）。若沉降后位移小于1厘米且旋转小于0.1弧度，则标记为稳定。墙面与天花板物体固接到世界坐标系，因为它们是安装固定件。为公平起见，所有方法的支撑类型（地面、墙面、天花板或物体支撑）均由SceneEval的VLM分类确定，而非使用本文流水线的真值标签。

N 人类评估

本节介绍人类评估研究的方法。完整成对对比结果见正文表1。p值使用双侧二项检验计算，原假设为胜率50%，并对28组同时检验（14组对比 × 2个维度）进行Benjamini-Hochberg错误发现率校正。效应量使用Cohen’s h（小≈0.2，中≈0.5，大≈0.8）。本研究的统计效力可检测胜率≥63%（95%置信度）；要检测更小的效应（53%–55%），需增加6–18倍的对比样本。

N.1 研究设置

本文采用以下设置开展人类评估研究：

• 平台：Prolific⁶，仅招募美国参与者
• 参与者：招募210人，其中205人提供完整数据
• 报酬：每人12.50美元（平均完成时间约32分钟）
• 场景：179个房间级 + 31个房屋级提示词（与第M节相同）
• 设计：成对对比，每组对比为SceneSmith与一个基线或消融变体
• 每人对比组数：15组场景对
• 有效回复总数：3051份

N.2 界面设计

界面经过12名独立测试者的多轮反馈迭代优化，测试者完成研究并提供详细建议。最终设计优先考虑非专业用户的易用性，包含交互式教程、上下文提示与多种查看模式，以适配不同偏好与设备性能。本文通过压缩GLB文件实现快速下载、实现懒加载、为3D查看器与图像添加加载指示器，优化了不同网速下的体验。界面截图见附录Q。

每组对比并排展示两个场景，包含以下组件：

• 主视图：自定义Babylon.js 3D查看器，支持完整交互（轨道旋转、平移、缩放）
• 物体检视：点击选中物体并高亮显示
• 控制项：隐藏选中、全部显示、聚焦（将相机对准物体）、重置视图、全屏
• 替代视图：点击切换轮播（9个相机角度）与网格视图，用于基于图像的查看
• 提示词展示：文本描述显著显示在对比上方

评估全程盲测：隐藏方法名称，场景左右位置随机化。

N.3 问题

参与者每组对比回答两个问题。每个问题附带简短提示（显示在问题文字下方）与可展开的详细说明。欢迎页也提供了每个问题的解读背景。

问题1：真实感（二选一：场景A / 场景B）
“哪个场景看起来更真实？”
提示：“考虑维度：真实感、物体摆放、布局连贯性”
详细说明：“考虑每个场景的真实程度：它看起来像真实的房间吗？物体与家具摆放合理、尺寸恰当吗？整体布局连贯可信吗？”

问题2：提示词保真度（三选一：场景A / 场景B / 两者相当）
“哪个场景更符合文本描述中的要求？”
提示：“考虑维度：要求的物体、房间类型、描述细节”
详细说明：“考虑每个场景与提示词中具体要求的匹配程度：场景包含要求的物体吗？房间类型正确吗？颜色、数量、排布等细节与描述一致吗？添加符合房间类型的额外物体是允许的。”

选择“两者相当”时，参与者会看到确认提示：“您确定两个场景都同样符合描述吗？仅在您确实无法区分哪个场景更匹配提示词时选择‘两者相当’。”

N.4 随机化与平衡

• 左右位置：每组对比随机化，避免位置偏差
• 基线分配：每个基线由同等数量的参与者评估
• 对比顺序：每人看到的15组对比按随机顺序呈现
• 问题顺序：每组对比的问题顺序随机化，避免问题1与问题2间的顺序效应
• 无重复提示词：每人最多看到每个提示词一次

N.5 按提示词分类的结果

表13展示了房间级场景按提示词分类的胜率。物体密度类提示词的真实感胜率最高（94.7%），验证了本方法处理复杂、富物体场景的能力。主题场景类的保真度胜率最高（94.9%），说明方法对特定风格约束的遵循度高。所有房间级类别在两项指标上均超过89%，证明方法在多样场景类型上性能一致。房屋级结果见正文表1。

表13 按提示词分类的用户研究胜率（房间级场景，所有外部基线的平均值）。n为成对对比组数（保真度不计平局）。

O 自动化评估

本节提供自动化评估指标的结果，包括SceneEval基准分数与生成成本。

O.1 SceneEval基准结果

表14呈现了179个房间级提示词上所有方法的SceneEval指标与物理指标。误差线：所有数值均为均值 ± 95%置信区间，使用t分布计算：
$$CI=t_{0.975,n-1}\times (s/\sqrt{n})$$
其中$s$为样本标准差，$n$为场景数量。置信区间不重叠表明方法间存在统计显著差异。

表14 SceneEval基准结果（179个房间级场景）。指标：CNT = 物体数量，ATR = 属性，OOR = 物体间关系，OAR = 物体-建筑关系，ACC = 可达性，NAV = 可导航性，COL = 碰撞率，STB = 稳定性，OOB = 越界。数值为均值 ± 95% t分布置信区间。↑表示越高越好，↓表示越低越好。置信区间不重叠表明统计显著差异。

消融实验中，大多数语义指标与SceneSmith的置信区间重叠，表明这些自动化指标对系统组件的区分度不足。例外是非生成式变体，其在CNT（75.7%对比82.9%）、OOR（53.7%对比67.6%）与STB（88.4%对比95.6%）上出现统计显著下降，置信区间均不重叠。这表明生成式资产相比固定资产库带来了实质提升。无场景观测与无资产验证变体在用户研究中呈现显著差异，但未被这些自动化指标捕捉。其他消融（无评判者、无智能体记忆、无专用工具）的用户研究胜率接近50%（真实感52%–55%），在当前研究样本量下未达显著性，自动化指标也同样难以区分。

非生成式消融同时控制了资产库的影响。它保留SceneSmith的构建流水线，仅将生成资产替换为检索得到的HSSD资产（与HSM使用的资产来源相同）。其相比HSM的提升说明，SceneSmith的优势并非仅来自生成资产的外观或词汇量；而其与完整SceneSmith的差距则说明生成资产仍有额外贡献。

O.2 基础模型替换对照

在主对比中，本文按各基线的发布配置进行评估，包括其原始模型、提示词与设置。这保留了每种方法的原始设计，因为提示词与工具调用本身就是系统的一部分，且通常针对作者使用的模型做了调优。作为基础模型对照，本文还将两个最强基线HSM与Holodeck替换为GPT-5.2（高推理模式），在179个房间级提示词上重新运行，同时保持其提示词与工具不变。

表15显示，模型替换对两个基线均有影响，但并非全面提升：HSM-GPT-5.2提升了物体数量、CNT、OOR与OAR，但降低了ATR、ACC、NAV与STB，且COL与OOB变差；Holodeck-GPT-5.2增加了物体数量，CNT、ATR、NAV、COL、OOB略有改善，但OOR、OAR、ACC与STB下降。SceneSmith在大多数指标上仍保持领先，尤其在CNT、ATR、OOR、OAR、COL与STB上差距显著，表明其优势并非仅由基础模型带来。

表15 最强基线的基础模型替换对照（179个房间级场景）。数值为均值 ± 95% t分布置信区间。↑表示越高越好，↓表示越低越好。置信区间不重叠表明统计显著差异。每个基线与其GPT-5.2重跑结果分组显示。GPT-5.2行中，绿色/红色表示相对对应原始基线的均值提升/下降，同时考虑指标方向；物体数量不标注颜色。

O.3 平衡统计

STB指标仅报告稳定物体的比例，未体现不稳定的严重程度。表16呈现了5秒物理仿真的详细平衡统计，显示物体沉降后的位移与旋转幅度。

SceneSmith的平均位移为12.3 ± 4.5毫米，置信区间较窄，表明场景稳定性一致：物体可靠地沉降在约1厘米范围内。基线的平均位移高出30–75倍（382–932毫米），置信区间不重叠，证实统计显著差异。方差的对比也值得关注：例如无智能体记忆变体（795 ± 1079毫米）的置信区间大于均值，表明表现不稳定，部分场景运行良好，部分场景物体严重失效。注意，部分不稳定性源于VLM对物体支撑类型的误分类（例如壁挂物体被误判为地面支撑，进而掉落），这对所有方法的影响是一致的。

表16 房间场景的平衡统计（179个提示词）。数值为均值 ± 95% t分布置信区间，按场景平均。MD = 每个场景中非固接物体的平均位移；XD = 每个场景的最大位移；MR = 每个场景的平均旋转。数值越低表示物体沉降时移动越少，对仿真就绪场景至关重要。置信区间不重叠表明统计显著差异。置信区间为对称近似；实际值以零为下界。

O.4 碰撞深度统计

COL指标仅报告碰撞物体的比例，未体现穿透的严重程度。表17呈现了穿透深度统计，显示每个场景中碰撞物体的平均穿透深度。

SceneSmith不仅碰撞发生率低（1.2%），穿透也很浅：碰撞物体的平均穿透深度仅3.77 ± 1.28毫米，对应密集排布的可操作物体间的轻微重叠（例如果碗里的水果），不会导致仿真不稳定——因为接触力与穿透深度成正比。基线的穿透深度高出3–12倍（10.87–47.05毫米），其中I-Design尽管碰撞率较低（3.0%），但穿透极深（47.05 ± 25.31毫米），说明其少量碰撞均为严重重叠。

消融变体中，非生成式变体的碰撞率（7.4%）与穿透深度（6.14毫米）均最高，表明检索得到的HSSD资产的视觉几何生成的V-HACD碰撞分解效果更差，导致物理后处理中穿透更多。

表17 房间场景的碰撞深度统计（179个提示词）。数值为均值 ± 95% t分布置信区间，按场景平均。COL = 碰撞物体比例（穿透>1毫米）；MPD = 每个场景中碰撞物体的平均穿透深度。数值越低表示穿透越轻。置信区间不重叠表明统计显著差异。置信区间为对称近似；实际值以零为下界。

O.5 生成成本与时间

表18报告了用于自动化指标的179个房间级场景中，每个场景的生成成本与耗时。时间统计面向吞吐量优化的评估设置，即8块L40S GPU同时生成25个场景；因此不应解读为优化后的单场景延迟。

表18 179个房间级场景中每个场景的生成成本与时间统计。时间测量条件：8块L40S GPU并发生成25个场景。

无评判者变体可降低70%成本（4.24美元对比13.98美元），生成速度提升51%（1小时40分对比3小时26分），但场景更稀疏（平均54.0个物体对比71.1个），体现了正文讨论的质量-成本权衡。无场景观测变体成本降低31%（9.62美元对比13.98美元），速度提升37%（2小时10分对比3小时26分），因为图像会消耗大量token。反之，无智能体记忆变体成本高出17%（16.41美元对比13.98美元），速度慢23%（4小时14分对比3小时26分），因为设计者与评判者会重复尝试之前失败过的方案，却不记得之前的尝试。

表19拆分了SceneSmith在这179个场景中按智能体组件的成本分布。设计者调用占成本的75.9%，说明优化循环是进一步降本的主要方向。将部分设计者或评判者调用替换为更小的模型或开源模型，是降低生成成本与时间的可行方向。

表19 SceneSmith在179个场景中按智能体组件的成本拆分。设计者包括初始、修改与布局子智能体；协调者包括可操作物体规划器；其他包括资产物理分析与家具选择的VLM调用。

P 评估提示词

本节列出评估中使用的提示词示例。完整210个提示词语料可在项目仓库中获取。

P.1 SceneEval-100房间级示例

• “一间带一张大号床、两个床头柜、一盏台灯、一个梳妆台、一把椅子和一个衣柜的卧室。梳妆台上方挂着一面镜子。房间铺有地毯。”
• “一间带一张沙发、一张咖啡桌、一个电视柜、一台电视、一张扶手椅、一个书架和一盏落地灯的客厅。书架上放着书和装饰品。”
• “一间带一张餐桌、四把餐椅、一个餐具柜和一盏吊灯的餐厅。餐桌上放着餐垫和餐具。”

P.2 类型多样性示例

• “一间宠物店，有多个宠物笼、货架、猫粮狗粮袋、玩具、项圈、牵引绳、一个收银台和一个展示鱼缸。”
• “一间药房，有处方药货架、非处方药货架、一个配药柜台、一个称重秤、血压计、洗手液分配器和等候椅。”
• “一间瑜伽室，有瑜伽垫、瑜伽砖、瑜伽带、冥想坐垫、一面墙镜、植物和储物架。”

P.3 物体密度示例

• “厨房的三个搁板上至少有12个盘子、10个碗、8个马克杯、6个玻璃杯、4个平底锅和3个锅。”
• “书架有六层，每层至少有15本书、3个装饰品和2个相框。”
• “工作台面上有螺丝刀套装、扳手组、电钻、锤子、钳子、卷尺、水平仪、砂纸卷、钉子盒和螺丝盒。”

P.4 主题场景示例

• “星球大战主题卧室，有太空主题床上用品、光剑壁灯、千年隼造型书架、角色海报和宇宙飞船模型。”
• “蒸汽朋克风格家庭办公室，有黄铜装饰书桌、齿轮造型时钟、管道造型书架、复古台灯和皮质办公椅。”
• “哈利波特主题图书馆，有深色木质书架、漂浮蜡烛造型吊灯、复古地球仪、羽毛笔套装、皮革装订书籍和魔药瓶装饰品。”

P.5 房屋级示例

• “一栋三居室住宅，有带沙发和电视的客厅、带餐桌和六把椅子的餐厅、带岛台的厨房、主卧室带独立卫浴、两间次卧、一间共用浴室和一个带储物柜的玄关。”
• “一套两居室公寓，有开放式厨房客厅、一张餐桌、两间卧室、一间浴室、一个阳台和一个步入式衣橱。”

Q 界面截图

本节展示人类评估研究使用的界面截图。界面经过多轮用户测试迭代优化，优先考虑非专业用户的易用性与不同网速下的加载性能。

图 20 用户研究界面：3D 视图模式用户对比界面采用交互式 Babylon.js 三维查看器，参与者可独立对两个场景进行轨道旋转、平移、缩放操作。界面控件包含「隐藏选中物体」「显示全部物体」「重置视图」与全屏功能。底部为全屏模式，点击物体可高亮选中，支持镜头聚焦按钮将画面缩放至目标物体。

图 21 用户研究界面：备选浏览模式
上图为轮播静态图模式，支持 9 个预设相机角度切换；下图为网格视图，同时展示全部视角，适配设备性能较差、无法流畅运行 3D 交互的参与者。

图 22 用户研究答题界面
上方为两道评估问题：第一题仅二选一，判断哪个场景真实感更强；第二题提供「场景 A / 场景 B / 两者相当」三个选项。下方为弹窗提示，仅当参与者确实无法区分优劣时，才可选择 “两者相当”。

R 定性结果

本节展示额外的定性对比示例，涵盖不同场景类型与难度级别。完整定性结果画廊可在项目网站查看。

图 23 用户引导弹窗界面
界面内置交互式新手引导，包含三类悬浮提示：切换显示模式说明、3D 查看器操作指引、物体隐藏 / 显示功能介绍。

R 补充定性结果

R.1 基线方法对比

图24对比了酒店场景下SceneSmith与Holodeck的房间连通布局。图25、图26分别针对房屋级提示词、房间级提示词，提供SceneSmith与各基线方法的定性可视化对照。

R.2 SceneSmith额外生成样例

图27至图31展示SceneSmith生成的更多场景，覆盖多种房间类型与复杂度层级。

R.3 可操作物体与主题场景生成

图32展示可操作物体智能体能够根据场景上下文，为各类家具填充适配小件物品。图33验证SceneSmith可生成高度贴合特定视觉主题的室内房间。

图 24 酒店户型房间连通性对比
上图为 SceneSmith 生成结果，下图为 Holodeck 基线结果，对应房屋级提示词 25（附录 P.6），均包含前台、休息区、餐厅、厨房、走廊、健身房、四间客房与四间卫浴。青色线条代表房间通行路径。Scene 生成户型逻辑合理：入口连通前台、卫浴仅能从对应客房进入、厨房对接餐厅，全部房间由中央走廊连通；Holodeck 生成布局不符合现实逻辑，例如厨房仅能经由卫浴进入，客房需穿过其他卧室与卫生间才能抵达。

图 25 房屋级定性对比
上方 SceneSmith 生成结果，下方 Holodeck 基线结果，基于多房间提示词生成场景对照。

图 26 房间级基线定性对比
从上至下依次为 SceneSmith、HSM、Holodeck、I-Design、精选资产版 LayoutVLM、SceneWeaver。提示词展示在每组场景上方。SceneSmith 生成场景物体密度更高，更贴合文本描述需求，更多定性可视化案例见附录 R，项目官网可交互 3D 查看完整场景样本。

图27 高密度储物卧室定性对照
全部基线场景均存在家具稀疏、缺少小件可交互物体、墙体碰撞、家具悬浮等缺陷，SceneSmith完整生成配套储物小件。

图28 小众瑜伽室场景定性对比
Scene完整生成全套瑜伽垫、瑜伽辅具、置物架；基线仅生成少量基础家具，缺少场景专属杂物。

图29 开放式厨房岛台细节特写对比
SceneSmith在台面、橱柜内部、地面多层填充可操作物体，全部物体经物理沉降稳定无穿透；基线台面空旷、橱柜无任何小件。

图30 RB-Y1人形机器人遥操作演示
每一行单条轨迹采样帧从左至右时序排布：人形机器人遥控操作铰接橱柜，向柜内放置瓶子。

图31 零样本机器人策略运行演示
文本指令：从果碗取出苹果放到切菜板。机器人策略无任何SceneSmith相关训练数据，直接在本文生成场景中完成抓取放置任务。

图32 可操作物体智能体生成样例
展示置物架、橱柜、水槽等支撑表面自动填充贴合场景的各类小型杂物。

图33 主题场景生成样例：哈利波特图书馆
左侧SceneSmith，右侧HSM。Scene对主题风格、细节道具还原度更高，物品排布更贴合主题真实场景。

图34 各类典型失效案例示意

S 局限性与失效案例分析

SceneSmith 在场景密度、提示词匹配度、物理稳定性、仿真适配性上相比以往场景生成基线模型取得了大幅提升，但该流水线仍存在部分局限性与失效案例。本文基于210组评估生成场景开展复盘，总结出典型失效模式与整体系统局限。自动化评估与用户研究过程中，所有生成场景均直接使用，未丢弃、重新生成任何输出。下文所述问题均为场景内局部瑕疵，而非整体场景完全失效。

S.1 典型失效模式

资产层面失效

检索得到铰接资产偶尔会出现语义相近但不符合需求的问题，如图34a所示：提示词要求小型冰箱，检索返回的却是储物柜。该问题根源在于铰接资产库覆盖范围有限，生成式资产可按需匹配描述，检索资产无法做到完全贴合需求。为此，我们针对检索铰接资产采用宽松校验标准；若使用严格校验规则，绝大多数铰接候选资产都会被驳回。宽松校验策略保留了物体铰接功能，但偶尔会放行语义近似、并不匹配目标的资产。
除此之外，当前静态资产重建模块采用SAM3D模型，无法输出完整基于物理渲染（PBR）材质通道。因此透明、金属、高反光物体的材质视觉效果会存在偏差。如图34b所示，玻璃呈现不透明质感，餐具也缺失金属材质的光学表现。若将SAM3D替换为支持完整PBR材质的新一代图生3D骨干网络（如TRELLIS.2，Xiang等人，2025），即可解决该缺陷。

视觉语言模型（VLM）推理失效

部分误差产生于资产处理、物体摆放阶段的视觉/空间推理缺陷。
图34c中，壁挂灯具经过标准化朝向校正后，相对安装墙面的朝向出现错误；
图34d中餐桌两侧摆放餐具时未做镜像处理，两侧餐具朝向完全一致，不符合用餐场景逻辑。

分层构建带来的失效问题

SceneSmith 按“布局→家具→可操作小件”的顺序分阶段生成场景，分层设计保障了生成流程可拓展，但后序阶段无法修改前序阶段的生成结果。
家具摆放阶段有时会过度满足提示词要求，将本应属于可操作小件阶段的物体直接集成在家具资产内。图34e的电视柜生成资产中自带电视，但电视应当留至小件生成阶段单独创建。
支撑面检测算法也存在缺陷，会遗漏小型放置平面；同时前序摆放的家具可能挤占后序物体的放置空间。如图34f，花架顶部小型台面未被识别，盆栽只能摆放在地面；同理，置物架生成后层板可用空间不足，无法放置多瓶容器。

S.2 系统整体局限性

运行耗时与生成成本

整套系统优先保障高保真、可直接用于仿真的生成效果，并未针对单场景低延迟做优化。生成成本主要由设计者智能体与迭代优化循环占据。无评判者消融版本可降低生成成本，但生成场景物体密度更低，存在保真度与开销的权衡取舍。

铰接物体多样性受限

铰接物体的种类由检索资产库决定。若检索无匹配物体，资产路由模块会降级使用文本到3D生成，但生成产物为静态模型，不具备铰接运动结构。这导致模型对新颖、分布外机械结构的覆盖能力不足。随着图生铰接物体生成相关方法不断成熟，将其集成进流水线，可突破固定资产库的种类限制。

物理参数估算

质量、摩擦系数、质心、转动惯量均由模型自动估算。为减少参数臆造失真问题，SceneSmith 先通过VLM判别物体材质种类，再映射对应摩擦系数；质量输出为区间范围，便于域随机化。这套估算方案能够支撑大范围仿真实验，但无法替代真实世界实测物理参数，尤其对于强接触交互类机器人任务，精准动力学参数至关重要。

可仿真物理现象覆盖范围

SceneSmith 当前仅支持刚体、铰接物体仿真。可变形物体、流体、易碎物体、精细材质动力学行为均不在当前系统的处理范围内，这类物体需要专用资产表征，同时高效稳定的仿真实现仍存在技术难点。基于SceneSmith生成场景开展仿真到现实（sim-to-real）迁移的系统性研究，属于未来工作方向。