PhysX-Omni：面向刚体、可变形体与关节物体的统一仿真就绪物理三维生成方法

原文链接：https://arxiv.org/pdf/2605.21572
项目链接：https://physx-omni.github.io/

图1：借助PhysXVerse的高度多样性，PhysX-Omni能够生成涵盖刚体、可变形体与关节物体的精细化通用三维资产，产出适用于下游任务的仿真就绪物理资产。

摘要

仿真就绪的物理三维资产因其在下游任务中的广泛适用性，已成为极具前景的研究方向。然而，现有大多数三维生成方法要么忽略物理属性，要么仅局限于单一种类的资产（例如刚体、可变形体或关节物体）。为解决上述局限，本文提出PhysX-Omni——一套适用于多种资产类型的统一仿真就绪物理三维生成框架。具体而言，本文设计了一种适配视觉-语言模型的新型高效几何表示方法，该方法无需压缩即可直接编码高分辨率三维结构，显著提升了生成性能。此外，本文构建了首个通用仿真就绪三维数据集PhysXVerse，覆盖丰富的室内外物体类别。为全面、灵活地评估真实场景下的生成能力与理解能力，本文进一步提出PhysX-Bench基准测试，涵盖几何结构、绝对尺度、材质、功能可供性、运动学、语义描述六大核心属性。基于传统评价指标与PhysX-Bench的大量实验表明，PhysX-Omni在生成与理解任务上均表现优异。进一步的验证研究证实了PhysX-Omni在仿真就绪场景生成与机器人策略学习等下游应用中的潜力。本文认为，PhysX-Omni将有力推动大量下游应用的发展，尤其在具身人工智能与基于物理的仿真领域。

官方主页：https://physx-omni.github.io/

---

1 引言

高质量的仿真就绪（sim-ready）三维资产因其在游戏设计、机器人、具身人工智能、交互式仿真等下游任务中的广泛应用，受到了学界的高度关注。然而，现有大多数三维生成方法主要聚焦于实现照片级真实的外观与精细化的几何结构[1–8]。尽管这类方法生成性能优异，但生成的三维资产往往缺乏真实世界部署所需的核心物理属性，从而限制了其适用性，尤其在基于物理的场景中。

为弥补这一差距，已有多项工作聚焦于生成关节资产[9–13]与可变形资产[14–19]。但这类方法通常仅针对特定资产类型（如关节物体或可变形物体）建模有限的物理属性子集，而忽略了其他关键属性。作为仿真就绪物理三维生成的开创性工作[20, 21]，相关方法能够合成更丰富的物理属性，但仍受限于大规模、高质量标注三维数据集的稀缺，导致生成资产的多样性不足，进而限制了其在下游具身人工智能与控制任务中的实际应用价值。此外，目前缺乏有效的基准测试来评估真实场景（无真值标注）下的物理属性，极大地限制了有效评价的开展。

为应对上述挑战，本文提出PhysX-Omni——一套统一的仿真就绪物理三维生成框架，支持刚体、可变形体、关节资产等多种物体类型，具备广泛的应用潜力（如图1所示）。具体而言，本文提出了一种适配视觉-语言模型（VLM）的新型几何表示方法，无需在训练中引入额外特殊词元，即可直接对高分辨率三维结构进行建模。通过显式建模三维结构，PhysX-Omni避免了由分割带来的失效模式，显著提升了生成性能。同时，由于无需额外的解码器精调步骤，本框架可兼容现有的基于体素的解码器[1, 6, 22]，从而合成高保真外观。

为解决数据稀缺问题，本文构建了首个通用仿真就绪物理三维数据集PhysXVerse。该数据集包含超过8000个资产，覆盖2000余种室内外类别（例如直升机、坦克、赛车、摩天大楼、玩具等），由PartVerse[23]筛选与整理得到。此外，为全面评价仿真就绪三维生成效果，本文搭建了首个物理三维生成基准测试PhysX-Bench，覆盖几何结构、绝对尺度、材质、功能可供性、运动学、语义描述六大核心属性。通过结合基于物理的仿真与强大的视觉-语言模型，PhysX-Bench能够在真实场景中实现鲁棒、真实的评价。基于传统指标与PhysX-Bench的大量实验表明，与现有最优方法相比，PhysX-Omni在生成质量与泛化能力上均实现了更优的性能。最后，为验证资产在标准仿真器与物理引擎中的可部署性，本文在通用仿真环境中开展了实验，结果表明本文生成的仿真就绪资产可直接应用于存在丰富接触的机器人策略学习任务。本文认为，该工作将为三维生成、具身人工智能与机器人领域的未来研究开辟新的方向。

综上，本文的主要贡献如下：

• 提出PhysX-Omni，一套适用于多种资产类型的新型统一仿真就绪物理三维生成框架。通过采用全新的定制化几何表示方法，本方法可直接对精细化几何结构进行建模，显著提升了生成性能与泛化能力。
• 构建首个通用仿真就绪物理三维数据集PhysXVerse，覆盖超过2000种室内外类别（如卡车、喷气式飞机、花卉等），并配备高质量的物理属性标注。
• 提出首个仿真就绪物理三维生成基准测试PhysX-Bench。通过将基于物理的仿真与强大的视觉-语言模型相结合，PhysX-Bench提供了一套全面且鲁棒的评价框架，可从六大核心维度评估真实场景下的生成方法。
• 在PhysX-Bench与传统基准上的大量评价实验表明，PhysX-Omni实现了出色的生成质量与鲁棒的泛化能力。此外，本文验证了仿真就绪资产在标准仿真环境中的可部署性，为下游具身人工智能与机器人操作应用提供了便利。

2 相关工作

2.1 以外观为核心的三维生成

早期的三维生成研究主要以生成对抗网络（GAN）为主，为该领域奠定了基础[24, 25]。尽管GAN类方法取得了初步成功，但在适配更复杂、更多样的数据分布时，往往存在训练不稳定、鲁棒性有限的问题。DreamFusion[26]的提出标志着该领域的重要转向，其引入了分数蒸馏采样（SDS）技术，利用预训练二维扩散模型的强大先验知识实现三维生成。然而，这类基于优化的流程计算成本高昂，且易出现雅努斯效应等伪影问题。为解决上述局限，近年来的研究越来越倾向于采用前馈架构，以提升生成效率与稳定性[1–3, 27–35]。

与此同时，学界也探索了其他生成范式，包括对三维结构进行序列建模的自回归方法[36, 37]。为缓解几何建模中词元序列过长的挑战，LLaMA-Mesh[38]采用了简化的网格表示，而MeshLLM[4]则引入了分层部件级生成策略以进一步提升生成质量。ShapeLLM-Omni[5]通过VQ-VAE对三维表示进行压缩，但代价是需要引入专用词元与专属分词器，增加了训练流程的复杂度。

相比之下，PhysX-Anything[21]探索了利用纯文本表示对仿真就绪物理三维资产进行建模的方法。得益于视觉-语言模型的强大先验知识，该方法实现了优异的生成性能与鲁棒性。然而，其依赖显式分割阶段的设计引入了性能瓶颈，整体生成质量受分割模块的制约。为突破这一限制，本文提出了一种新型几何表示方法，可直接对高分辨率三维结构进行建模。通过简化整体框架，本方法相较基线方法显著提升了生成性能。

2.2 物理三维资产生成

近年来，关节物体生成因其广泛的下游应用受到了越来越多的关注[13, 39–44]。现有关节生成方法大致可分为几类范式。其中主流的一类采用基于检索的策略，即通过从预定义源库中检索并组装网格来构建关节资产[9, 11]。这类方法在已知类别中效果显著，但本质上受限于数据库的覆盖范围，难以泛化到全新的结构。另一类研究采用图结构表示[10, 45]，将运动学图与扩散模型相结合，实现了结构感知的生成。但这类方法通常仅关注几何结构，无法生成高质量带纹理的资产，真实感有限。

除上述范式外，DreamArt[12]等基于优化的方法尝试从视频生成输出中重建关节物体。尽管这类方法灵活性较强，但依赖人工标注的部件掩码，且在处理含大量可动组件的物体时易出现不稳定的问题。URDF-Anything[46]与URDF-Anything+[47]可直接生成URDF表示，但其性能高度依赖高质量的点云输入或网格数据，且难以生成精细化纹理。近期，MonoArt[13]利用三维生成与分割的先验知识推断运动学参数，取得了可观的效果。尽管如此，上述方法均主要关注单一类型的物理属性，缺乏对物理对象的整体建模能力。

除关节物体生成外，已有多项工作也探索了三维资产变形的建模[16–19, 48]，但这类方法同样忽略了其他关键物理属性，限制了资产的真实感。为推动三维生成本着物理保真度的方向发展，PhysXGen[20]提出了一套统一框架，可直接生成具备绝对尺度、密度等核心物理属性的三维资产。沿着这一研究方向，PhysX-Anything[21]进一步将该范式拓展至仿真就绪三维资产生成领域。然而，该方法仍受限于现有仿真就绪数据集多样性不足的问题，且在高效生成高质量、精细化资产方面面临挑战。

为解决上述局限，本文在统一框架内提出了一种定制化的几何表示方法，并构建了首个通用高质量仿真就绪三维数据集。得益于更丰富的数据多样性与高效的几何表示，本文提出的PhysX-Omni在生成复杂拓扑结构与精准物理属性方面展现出更强的鲁棒性与更优异的性能。本文认为，该方法为利用合成数据推动下游应用发展开辟了极具前景的方向。

3 方法

本节将介绍PhysX-Omni的核心组成部分，包括整体生成范式、新建的PhysXVerse数据集，以及首个面向仿真就绪三维资产的基准测试PhysX-Bench。

3.1 PhysX-Omni的生成范式

PhysX-Omni采用基于视觉-语言模型的生成范式，遵循相关研究的思路，通过由粗到精、由全局到局部的推理流程生成仿真就绪物理资产。如图2所示，给定一张完整或部分遮挡的图像，PhysX-Omni首先执行整体理解，推断高层全局信息，包括物体类别、语义标识、绝对尺度、组件层级结构以及潜在物理属性。全局理解为后续的部件级生成提供了强有力的结构与语义先验，有助于维持物体整体与其局部组件之间的一致性。

图2：给定单张完整或部分遮挡的图像，PhysX-Omni首先推断高层全局信息，随后采用多轮生成流程生成精细化的部件级几何结构。得益于全局与局部表示之间的内在对齐特性，这些输出可直接整合为仿真就绪的物理三维资产。

基于推断得到的全局表示，PhysX-Omni进一步预测每个独立部件的精细化几何结构与物理属性。全局表示沿用相关研究提出的树状结构且适配视觉-语言模型的形式，可有效将物体级与部件级信息组织为层次化表示，适配自回归视觉-语言建模流程。

在几何表示方面，本文提出了一种新型高分辨率结构建模策略，能够以紧凑、易于生成的方式直接编码精细化三维几何结构，如图3b所示。与严重依赖网格分解或额外分割模块的现有方法不同，本文提出的表示方法使PhysX-Omni能够直接对复杂几何结构进行建模，同时保留显式的结构信息。因此，PhysX-Omni可无缝利用预训练的基于体素的三维解码器生成高质量网格，无需额外的网格分割流程，从而显著提升了生成质量、鲁棒性与泛化能力，尤其适用于具备复杂拓扑与精细结构的物体。

图3：(a) 三维建模中不同几何表示方法的对比。借助本文提出的几何表示，PhysX-Omni可有效捕捉细粒度三维结构，并提升运动学精度。(b) PhysX-Omni几何表示的细节示意。为直接对高分辨率三维结构建模，本文首先沿$Z$轴对部件级体素网格进行切片，对得到的每张二维掩码采用经典游程编码（RLE）将二值图像转换为紧凑的文本表示。为进一步提升压缩效率，本文引入模板层的设计，使其他层可表示为相对于模板的变体。

现有研究已探索了多种适用于视觉-语言建模的紧凑三维表示，包括顶点量化[4, 38]、三维VQ-GAN表示[5]以及基于文本的体素索引[21]，旨在缩短序列长度、提升生成效率。但这些方法要么依赖额外的特殊词元，要么几何保真度有限，要么难以以适配生成的方式显式建模高分辨率结构。为在保持与现有视觉-语言模型词元空间兼容性的同时解决上述局限，本文提出了一种新型基于文本的几何表示方法，无需在语言模型词表中引入任何额外的特殊词元。

具体而言，受经典二维游程编码（RLE）的启发，本文提出一种基于模板的RLE表示，可显式、直接地对高分辨率三维几何结构进行建模。本文首先对仿真就绪资产进行体素化，并根据标注的物体结构将其分解为部件级体素。随后，将每个部件级体素沿$Z$轴切片为一系列二值二维掩码。对每一切片，本文采用紧凑的二维RLE形式，将占据区域高效编码为文本词元。

然而，与标准二维RLE不同的是，三维结构在相邻切片之间天然存在较强的空间冗余，对于平滑或重复的几何区域尤为明显。为利用这一特性，本文进一步引入了模板层的概念。本方法无需对每个切片进行独立编码，而是允许多个切片共享同一个结构模板，仅存储其相对变化量或残差。通过跨层复用结构模式，本文提出的基于模板的形式大幅降低了词元冗余度与序列长度，同时保留了精细化的几何信息。此外，该设计在整个生成过程中维持了显式的几何结构，对自回归预测误差具备更强的鲁棒性，更适用于高分辨率结构建模。

综上，与传统二维RLE及现有基于文本的显式表示相比，本文提出的基于模板的RLE表示实现了更优的压缩效率与几何保真度。定性结果表明，与采用基于文本的体素索引的基线方法相比，PhysX-Omni生成的几何结构细节更丰富，与物理、运动学属性的对齐效果更好。尤其值得注意的是，该表示使模型能够在复杂关节物体中维持结构一致性，同时保留细粒度几何结构。

3.2 PhysXVerse数据集

为缓解数据稀缺的限制，本文构建了首个通用仿真就绪物理三维数据集PhysXVerse。为获取高质量的仿真就绪资产，本文利用PartVerse[23]提供的经人工验证的分割标注；为保证物理属性的可靠性，进一步采用人在环路的标注流程。具体而言，本文首先对原始数据集进行预处理，过滤无效样本，并合并不必要的细小或噪声部件以提升结构一致性。随后，对每个三维资产渲染多视角图像，利用强大的视觉-语言模型生成初步的物理标注，包括绝对尺度、功能可供性、材质、功能描述以及运动学信息。这些自动生成的标注随后由人工标注员进行验证与修正，以确保物理合理性与标注质量。

最终，PhysXVerse包含超过8700个高质量仿真就绪三维资产，覆盖超过2900个类别，涵盖室内家具、无人机、机器人、车辆、大型场景组件等多种物体类型。如图4所示，与现有仿真就绪数据集相比，PhysXVerse的类别覆盖范围更广，物理标注更全面。此外，本文通过部件数量分布分析了数据集的结构复杂度：部件数量范围为1至65，说明PhysXVerse既包含简单的刚体结构，也涵盖高度复杂的关节系统。这种类别覆盖与结构复杂度的高度多样性，为训练与评估通用仿真就绪物理三维生成模型提供了坚实的基础。

图4：PhysXVerse的统计信息与分布。与现有仿真就绪物理数据集相比，PhysXVerse的类别覆盖范围显著更广，包括汽车、建筑、人体模型、玩具、机器人等。部件数量分布呈长尾模式，词云进一步体现了语义类别的多样性。

3.3 PhysX-Bench的评价维度

为保证基准测试的可复现性与鲁棒性，本文采用开源视觉-语言模型（Qwen3.5-122B-A10B）对生成的物理属性进行评价。此外，为降低理解复杂三维结构与物理属性的难度，本文采用渲染后的图像或视频作为评价输入，而非直接输入物理属性。该基准测试从六大核心维度进行评价：几何结构（评价三维结构与外观）、绝对尺度（评价物理尺寸）、功能可供性（评价人机交互先验）、语义描述（评价语义理解能力）、材质（评价力学属性）、运动学（评价运动行为），如图5所示。

图5：PhysX-Bench整体框架。该基准包含六大核心维度，可全面评价三维结构、外观、基础物理属性与理解能力。

具体而言，几何结构维度定义了三项子属性：1）CLIP得分，用于衡量生成结果与条件图像的对齐程度；2）三维一致性，用于评估多视角渲染结果的结构一致性；3）视觉质量，用于评价外观质量。为获取精准的视觉质量评价结果，本文设计了包含“很差”到“优秀”五个等级的参考评分表。

在语义描述评价中，本文在生成的三维物体上渲染部件级掩码，利用视觉-语言模型评价掩码区域与条件图像中人工标注的参考描述是否语义匹配，以此评估被测生成方法是否能在生成的三维资产中保留并锚定条件图像中的部件级语义。由于功能可供性可能因功能不同存在多种合理结果，本文的评价以人类常识为依据，同时考虑局部与全局合理性，包括典型部件的相对排序合理性、显著错排情况，以及预测功能可供性的整体合理性。与人类常识越一致的预测得分越高。在绝对尺度评价中，本文将生成物体的最大尺寸与视觉-语言模型估计的真实世界最大尺寸进行对比，将对称百分比误差转换为尺度合理性得分。

在材质维度，本文通过将生成资产渲染为不同类型的仿真视频来评估物理属性，主要包括自由落体与落水场景。具体而言，自由落体仿真（尤其是物体接触地面时的行为）可反映杨氏模量、泊松比等属性；而落水仿真主要用于评估密度。本文认为，通过这种可视化的物理行为评价材质，能够形成更直观的评价协议，更符合人类的感知与判断习惯。

在运动学维度，本文遵循以下原则：资产的运动越合理、越符合物理规律，得分越高。具体而言，本文首先将生成资产渲染为运动视频，再从条件图像中推断潜在运动。对于可见部件，本文定义先验部件运动一致性指标，用于评价预测运动与观测组件的预期行为是否一致。对于因条件图像单视角限制而不可见、但在渲染的运动视频中可见的部件，本文引入揭示实体合理性指标，用于评估其揭示的运动是否符合物理与语义逻辑。最后，本文定义全局关节连贯性指标，用于衡量完整运动动力学的整体一致性与合理性。最终的运动学得分为先验部件运动一致性、揭示实体合理性与全局关节连贯性得分的加权平均值。

4 实验

本节将展示基于传统评价指标与本文提出的PhysX-Bench基准的实验结果。此外，本文还将报告人类对齐评价结果，并开展全面的消融实验，分析框架中不同组件的有效性。最后，进一步验证PhysX-Omni在下游仿真就绪场景生成与机器人策略学习任务中的应用潜力。

4.1 实现细节

本文采用阿里云Qwen2.5-VL-7B-Instruct作为视觉-语言模型骨干[49]。模型在64张NVIDIA A100 GPU上训练5个轮次，耗时约14天；峰值学习率设为$2\times 10^{-5}$，采用余弦学习率衰减策略，预热比例为0.03，有效批次大小为128。为支持高分辨率仿真就绪结构与长上下文物理描述的生成，本文将最大序列长度设为16384个词元。在解码阶段，本文采用TRELLIS[1]将生成的体素表示转换为高质量三维网格。得益于本文的显式几何表示，解码器无需额外的网格分割或拓扑精调模块，即可直接重建精细化结构，从而同时提升了鲁棒性与几何保真度。

4.2 数据集

在训练阶段，本文融合了PhysXNet[20]、PhysX-Mobility[21]与新建的PhysXVerse数据集中的仿真就绪资产，构建了包含超过42000个仿真就绪物理三维资产的大规模语料，覆盖丰富的室内外类别。该数据集涵盖刚体、关节物体与可变形物体，具备丰富的几何结构与物理属性。为提升视角一致性并增强视觉理解的鲁棒性，训练过程中为每个物体从不同视角渲染25张图像作为条件输入。这种多视角训练策略使PhysX-Omni能够更好地捕捉视觉外观、几何结构与物理属性之间的对应关系，从而在复杂真实物体上具备更强的泛化性能。

4.3 传统评价指标

在实验中，本文同时采用传统几何指标与物理属性指标评价生成的仿真就绪三维资产，以全面评估视觉保真度、结构质量与物理正确性。在几何评价方面，本文采用峰值信噪比（PSNR）衡量渲染外观质量，采用倒角距离（CD）与F值（F-score）评估重建三维几何的精度。为保证鲁棒性并降低视角偏差，本文从30个不同视角渲染生成资产与真值资产，计算所有渲染视角下的平均评价结果。

除几何质量外，本文进一步沿用相关研究的协议评价生成的物理属性。具体而言，在绝对尺度评价中，本文计算预测物体尺度与真值之间的均方误差（MSE）。在材质、功能可供性与语义描述评价中，本文采用基于热力图的PSNR指标，衡量预测物理属性分布与对应真值标注之间的相似度。这类指标能够更鲁棒地评价生成资产的语义与物理一致性。

在运动学评价中，本文计算预测关节参数与真值之间的均方误差，参数包括关节轴位置、关节方向、关节类型与运动极限。该评价重点评估生成资产能否准确捕捉下游仿真与机器人交互所需的、符合物理规律的关节行为。通过联合评价几何结构、物理属性与关节特性，本文的评价协议可全面衡量仿真就绪物理三维生成的质量。

表1：在传统指标上与其他方法的定量对比。注：倒角距离（CD）的单位为$\times 10^{-3}$，F值（FS）的单位为$\times 10^{-2}$，距离阈值为0.05。结果清晰表明，本文方法在几何与物理属性生成方面均具备更优异的生成性能。

4.4 基于传统指标的评价

本文将PhysX-Omni与近年多种仿真就绪三维生成方法进行对比，包括PhysXGen[20]、Articulate-Anything[11]、MonoArt[13]与PhysX-Anything[21]。遵循PhysXGen[20]与MonoArt[13]的评价协议，本文在PhysXVerse与PhysX-Mobility数据集上开展实验，采用传统几何指标与物理属性评价方法。

如表1所示，PhysX-Omni在两个数据集的几乎所有评价指标上均取得最优性能，验证了本文提出的统一仿真就绪生成框架的有效性。在几何质量方面，PhysX-Omni在PSNR、倒角距离与F值上均显著优于以往方法。在PhysXVerse数据集上，本文方法的PSNR达到21.52，CD为2.95，F值为91.28，大幅超越此前的最优结果。这些提升表明，本文方法能够生成更精准、结构更一致的三维几何，且局部细节更丰富。

优异的几何性能主要得益于本文定制的基于模板的几何表示。与依赖基于文本的体素索引或额外分割模块的以往方法不同，该表示以显式、紧凑的方式直接对高分辨率结构建模。这种设计有效减少了分割带来的伪影，提升了相邻几何区域之间的一致性。因此，PhysX-Omni生成的物体边界更清晰，局部结构更精细，关节组件更连贯，尤其适用于拓扑复杂、几何细粒度高的物体。

除几何生成外，PhysX-Omni在物理属性预测上也实现了大幅提升。尤其值得注意的是，与以往方法相比，本文方法的绝对尺度误差显著降低。在PhysXVerse数据集上，绝对尺度误差从PhysXGen的309.31与PhysX-Anything的298.19降至仅2.79。在PhysX-Mobility数据集上也观察到类似的提升，误差降至2.78。这些结果表明，本文框架对真实世界物体尺寸与物理先验的理解能力显著更强，这对于下游仿真与机器人交互任务至关重要。

在材质、功能可供性与语义描述评价中，PhysX-Omni在两个数据集上同样取得最优性能。在PhysXVerse数据集上，与PhysX-Anything相比，本文方法将材质得分从15.65提升至27.23，功能可供性得分从10.50提升至21.47。在PhysX-Mobility数据集上也呈现出相同的趋势。这些提升表明，PhysX-Omni能够更好地捕捉物体的语义功能与物理特性，生成更真实、更符合物理规律的仿真就绪资产。

值得注意的是，运动学评价的提升幅度最为显著。在PhysXVerse数据集上，PhysX-Omni的运动学得分为0.9185，大幅优于PhysX-Anything（0.4191）与MonoArt（0.3805）等以往方法。在PhysX-Mobility数据集上，本文方法同样取得了0.8603的优异运动学得分。这些结果验证了本文框架能够准确推断关节结构、关节类型与运动约束，从而生成具备物理一致行为的关节资产。

总体而言，定量结果表明PhysX-Omni在几何生成与物理推理两方面均实现了更优的性能。得益于基于视觉-语言模型的全局-局部框架与本文提出的高分辨率几何表示的结合，PhysX-Omni生成的仿真就绪资产视觉保真度更高、物理一致性更强、关节建模更精准。这些结果共同验证了本文提出的统一框架在不同物体类别与物理场景下的优越性、鲁棒性与泛化能力。

表2：在PhysX-Bench上与其他方法的定量对比。结果验证了本文方法在真实世界图像与复杂合成图像上均具备强大的泛化能力，相较所有对比方法实现了显著提升。

4.5 基于PhysX-Bench的评价

为全面评价不同方法在真实场景中的泛化能力，本文进一步在新提出的PhysX-Bench基准上开展评价。基准构建与评价指标的更多细节详见补充材料。如前所述，PhysX-Bench中的条件图像既来自真实世界照片，也来自三维资产的渲染图像，覆盖广泛的常见物体类别与具有挑战性的真实场景案例。与依赖真值标注的传统基准相比，PhysX-Bench更侧重无真值的多维度评价，涵盖几何结构、绝对尺度、材质、功能可供性、运动学与语义描述。

表2中的定量结果有力证明，与现有方法相比，PhysX-Omni的整体性能更优异。具体而言，本文方法在绝大多数物理属性上均取得最优结果，包括绝对尺度、材质、功能可供性、运动学与语义描述。其中，PhysX-Omni的运动学得分为80.72，显著优于PhysX-Anything（65.99）、PhysXGen（69.17）、MonoArt（68.32）与Articulate-Anything（71.25）。在功能可供性理解与语义描述质量上也观察到类似的提升，验证了本文框架强大的物理推理与语义理解能力。

得益于显式编码的高分辨率三维结构，PhysX-Omni能够更好地建模几何结构、关节特性与物理属性之间的内在关联。与严重依赖基于分割的中间表示的以往方法不同，本文框架以统一的方式直接对显式三维结构建模，从而显著提升了结构连贯性与关节一致性。这一优势对于复杂的关节物体与可变形物体尤为重要——这类物体的几何细节与运动学属性高度耦合。

尽管MonoArt在CLIP相似度、三维一致性、视觉质量等若干几何相关指标上表现略优，但这一优势主要源于其完全依赖预训练的TRELLIS几何生成流水线。相应地，MonoArt缺乏对部件级运动与物理交互的显式理解，因此在建模物理属性与关节行为方面能力有限，导致在运动学、功能可供性、绝对尺度等面向仿真的属性上表现明显逊色。相比之下，PhysX-Omni在几何与物理推理任务上实现了更均衡、更鲁棒的性能，如图7所示。

结果表明，本文方法不仅保持了出色的几何质量，还大幅提升了符合物理规律的仿真就绪资产的生成效果。尤其值得注意的是，显式几何表示使模型能够在保留精细结构的同时，避免分割带来的歧义与伪影，从而实现更连贯的关节运动与更可靠的物理属性。

图6：定性结果对比。与现有生成方法相比，本文提出的PhysX-Omni在生成复杂几何结构与丰富物理属性方面表现优异。

为提供更直观的对比，本文进一步在图6中可视化了不同方法的生成结果。定性结果显示，PhysX-Omni在生成复杂结构与高难度关节物体方面表现出卓越的鲁棒性。与基线方法PhysX-Anything相比，本文方法生成的仿真就绪资产质量更高，几何结构更精准，材质与功能可供性预测更合理，关节行为也显著更连贯。此外，图8与图9中的更多可视化结果展示了PhysX-Omni生成包含刚体、可变形体与关节物体的多样化仿真就绪场景的能力。通过直接对显式三维结构建模、无需依赖额外分割模块，PhysX-Omni有效减少了结构歧义与分割带来的误差，进一步验证了本文定制化几何表示与统一仿真就绪生成框架的有效性。

图7：左：PhysX-Omni与其他方法的整体性能对比，验证了PhysX-Omni优异的综合表现。右：PhysX-Bench的人类对齐验证。实验表明，PhysX-Bench在所有维度上的评价结果均与人工标注高度对齐。

图8：PhysX-Omni的更多定性结果。更多结果进一步验证了本文方法在复杂场景下鲁棒的生成性能。

图9：生成的可变形物体可视化。该图展示了本文生成的可变形资产在物理仿真的自由落体过程中呈现出的真实变形行为。

图10：采用不同几何表示的模型可视化结果。该结果有力证明，通过引入高效的几何表示，PhysX-Omni在生成复杂结构方面相较基线方法实现了更优异的性能。

4.6 PhysX-Bench的人类对齐验证

为验证PhysX-Bench能否有效反映人类的感知与评价偏好，本文进一步研究了PhysX-Bench自动评价结果与人工标注之间的相关性。具体而言，遵循以往基准测试的协议，本文采用斯皮尔曼等级相关系数衡量自动评价得分与人类偏好得分之间的一致性。斯皮尔曼相关系数越高，说明基准评价与人类判断的一致性越强。

如图7所示，PhysX-Bench在所有主要评价维度上均与人工标注呈现出高度一致的相关性，包括几何结构、绝对尺度、功能可供性、运动学、材质与语义描述。其中，多项物理属性与人类偏好的等级一致性表现优异：例如，绝对尺度、功能可供性、材质与语义描述的斯皮尔曼系数均达到$\rho =1.0$；运动学评价的斯皮尔曼系数同样达到$\rho =1.0$，且皮尔逊相关系数高达$r=0.992$。这些结果表明，PhysX-Bench给出的排名与人类评价结果高度一致。

此外，即使对于因视觉外观与结构细节多样性而通常更具挑战性的几何评价，PhysX-Bench仍与人类偏好呈现出强相关性（$\rho =0.8$，$r=0.803$）。该结果进一步证明，该基准不仅能够鲁棒地评价物理属性，还能在复杂真实场景中评估几何质量。

总体而言，所有评价维度上的强相关性验证了PhysX-Bench的可靠性、鲁棒性与有效性。这些结果表明，该基准可作为仿真就绪物理三维生成领域值得信赖的自动评价框架，其评价结果与人类感知和判断高度匹配。

4.7 消融实验

为验证本文定制化几何表示的有效性，本文将PhysX-Omni与直接采用基于文本的体素索引建模三维结构的基线方法进行对比。表1与表2中传统指标与PhysX-Bench上的定量结果一致表明，本文提出的基于模板的几何表示带来了显著的性能提升。尤其在运动学与绝对尺度上的提升更为明显，验证了以紧凑、适配生成的方式显式建模高分辨率结构的有效性。

此外，图10中的定性对比更直观地展现了该表示方法的优势。基线方法PhysX-Anything依赖基于文本的体素索引与额外的分割流程，而PhysX-Omni生成的仿真就绪资产细节更丰富、结构更连贯。如高亮区域所示，基线方法常出现结构歧义、局部几何不完整、关节组件不一致等问题，在婴儿车、拖拉机等拓扑复杂、结构细粒度高的物体上尤为明显。

相比之下，通过直接对显式三维几何建模、省去生成过程中的额外分割阶段，PhysX-Omni有效减少了分割带来的伪影与误差累积。该设计使本文方法能够更好地保留局部几何连续性与部件级结构一致性，从而实现更清晰的细节、更精准的关节结构与更符合物理规律的物体布局。例如，在基线方法常失效的高复杂度区域，PhysX-Omni能够生成更精准的车轮结构、更清晰的关节连接与更稳定的局部几何。

此外，对于关节物体与部件交互性强的物体，提升效果尤为明显。得益于显式结构表示，PhysX-Omni能够更好地捕捉几何结构与运动学之间的内在关联，从而同时提升结构推理能力与运动一致性。这些结果共同证明，定制化的几何表示显著增强了仿真就绪物理三维生成的鲁棒性、保真度与泛化能力。

4.8 应用：仿真环境中的机器人策略学习

如图11所示，本文进一步探究了生成的资产能否有效应用于真实仿真环境与下游机器人任务。为此，本文将生成的仿真就绪三维资产直接部署到物理仿真器中，用于机器人交互与策略学习。具体而言，生成的资产连同其几何结构、物理属性与关节参数一同导入，使仿真器无需额外人工处理即可执行基于物理的交互。

图11：在生成的仿真就绪三维资产上进行机器人操作。结果表明，在多种任务中，本文生成的仿真就绪资产均具备高度符合物理规律的行为与精准的几何结构，为机器人策略学习开辟了新方向。

实验结果表明，在动态交互过程中，生成的资产保持了可靠的几何精度、符合物理规律的材质属性与连贯的关节行为。即使在涉及关节运动与物体接触的高难度操作场景中，生成的资产仍能保持结构稳定与物理一致。这些结果说明，PhysX-Omni不仅能够生成视觉真实的三维资产，还能生成具备物理功能的表示，可无缝集成到仿真流水线中，服务于下游机器人与具身人工智能应用。此外，从真实场景图像自动生成仿真就绪资产的能力，显著降低了机器人训练环境中人工构建资产的成本。

4.9 应用：仿真就绪场景生成

此外，本文进一步探索了PhysX-Omni在场景级仿真就绪生成中的潜力。具体而言，本文首先采用图像深度估计方法[50]结合二维分割方法[51]，从输入图像中重建初始三维场景布局。基于估计的深度、分割掩码与场景几何，得到环境中物体的粗略摆放位置与空间关系。随后，将重建的三维布局与PhysX-Omni生成的仿真就绪资产相结合，自动构建符合物理规律的仿真就绪场景，如图12所示。

图12：PhysX-Omni的应用场景。本文探索了PhysX-Omni在仿真就绪场景生成中的潜在应用。

得益于本文框架生成的显式几何结构与物理属性，插入的资产能够保持尺度一致性。此外，由于本框架统一支持刚体、可变形体与关节物体，与以往方法相比，能够构建更多样、更真实的仿真环境。

这些结果表明，PhysX-Omni不仅支持高质量的仿真就绪资产生成，还为可扩展的场景级仿真构建、具身人工智能训练、机器人策略学习以及未来的基于物理的世界生成应用提供了极具潜力的基础。

5 结论

本文提出PhysX-Omni——一套统一的仿真就绪物理三维生成框架，适用于刚体、可变形体、关节物体等多种资产类型。通过为视觉-语言模型设计定制化的几何表示，PhysX-Omni无需引入额外特殊词元，也无需依赖分割模块，即可直接对精细化三维结构建模，从而显著提升了生成质量与鲁棒性。

为缓解数据稀缺的限制，本文进一步构建了首个通用仿真就绪物理三维数据集PhysXVerse，包含超过8700个高质量资产，并配备丰富的物理标注。此外，为评价真实场景下的仿真就绪三维生成效果，本文提出了新型基准测试PhysX-Bench，可从几何结构、绝对尺度、功能可供性、材质、运动学、语义描述六大核心维度开展无真值评价。

在PhysX-Bench与传统评价指标上的大量实验证明，PhysX-Omni具备更优异的性能与更强的泛化能力。进一步的研究验证了该框架在仿真就绪场景生成、机器人策略学习等下游应用中的潜力，凸显了将生成资产直接部署到具身人工智能与机器人仿真环境中的可行性。

局限性与未来工作：尽管PhysX-Omni性能优异，但仍存在若干局限。尤其对于高度复杂的结构与细粒度细节，几何质量仍有提升空间。由于本框架侧重统一物理理解与仿真就绪生成，而非以外观为导向的几何预训练，因此在部分侧重外观的几何指标上可能表现稍逊。未来，本文计划利用更大规模的三维几何数据集与更强的外观监督，在保持物理一致性的同时进一步提升几何保真度。

---

以下内容来源于：https://blog.csdn.net/sdlcjx/article/details/161768087

技术拆解：PhysX-Omni 带来的三点启发

第一，3D 生成的输出格式正在变得更结构化。过去很多生成系统把三维网格或辐射场作为终点，而 PhysX-Omni 所代表的问题设定把物理属性也纳入输出。这意味着未来的 3D 生成模型可能越来越像“资产生成器”，不仅生成表面，还生成可被引擎使用的对象包。[1]

第二，物体类别知识与物理知识需要更紧密结合。刚体、形变体和铰接体的物理属性并非独立于语义类别存在；柜门、抽屉、布料、工具等类别天然暗示不同结构和运动方式。论文把多类对象统一建模，体现出语义、几何和物理之间的耦合关系。[1]

第三，评估标准会从视觉相似度走向交互可用性。对于仿真就绪对象，能否稳定加载、能否正确碰撞、能否按照关节约束运动、能否产生合理形变，都是与任务价值直接相关的指标。PhysX-Omni 的论文主题为这一评估方向提供了明确案例。[1]

应用展望：从资产生成到可交互世界构建

基于论文目标，PhysX-Omni 所服务的直接方向是可交互三维资产生成。它可以为仿真环境、机器人训练、数字内容创作和合成数据构建提供对象级基础。这里的关键不是简单增加资产数量，而是让资产具备可被物理系统使用的结构和属性。[1]

在大规模虚拟环境中，资产的多样性和可操作性同样重要。仅有静态模型的场景可以用于视觉识别或渲染展示，但对于操作学习、任务规划和交互式应用，系统需要知道哪些对象可以移动、哪些对象可以变形、哪些对象包含关节。PhysX-Omni 将这三类对象纳入统一生成范式，为这种场景构建提供了技术参考。[1]

需要强调的是，本文不对论文之外的商业化进展或产品落地做延展判断。所有描述都围绕论文提出的问题、方法和展示材料展开，应用部分只说明这些技术目标与相关场景之间的直接关系。[1][2]

小结：仿真就绪，是 3D 生成的下一层语义

PhysX-Omni 的核心价值，在于把 3D 生成的目标从“生成一个可看的对象”推进到“生成一个可进入物理世界的对象”。刚体、形变体和铰接体分别代表了物理交互中的三类重要资产，论文尝试用统一框架同时覆盖它们，使生成模型能够输出更适合仿真使用的三维对象。[1]

从技术路线看，论文强调几何、结构、物理属性和仿真可用性的结合；从任务意义看，它回应了机器人、具身智能和交互式三维内容对物理资产的需求；从研究趋势看，它提示 3D 生成未来需要更多关注对象在动态环境中的行为，而不仅是静态外观。[1]

如果把视觉生成看作第一步，那么物理就绪可以视作三维生成走向真实交互任务的关键一步。PhysX-Omni 这篇论文提供了一个清晰的统一问题定义，也给后续研究留下了继续完善数据、表示、生成质量和仿真评估的空间。[1][2]

进一步展开：从论文系统看仿真资产生成的工程闭环

如果把一件三维资产放进物理引擎，系统首先面对的并不是渲染，而是对象能否以规范结构被读取。PhysX-Omni 论文围绕 simulation-ready physical 3D assets 展开，意味着生成结果需要包含足够明确的物理语义：对象属于刚体、形变体还是铰接体；几何如何参与碰撞；部件之间是否存在运动约束；材料和形变相关参数如何服务于动力学求解。这样的目标把生成式 3D 的终点从“图形文件”推进到“可运行资产”。[1]

在刚体场景里，工程闭环相对清晰：生成形状之后，需要形成碰撞代理、质量属性和与世界交互的刚体配置。论文把刚体纳入统一框架，说明其并非只把刚体作为常规三维重建结果，而是把它放在可仿真对象集合中，与其他物理类型共享统一任务定义。对于真实场景构建而言，这一点很重要，因为多数环境资产都需要至少具备稳定碰撞和可移动属性。[1]

在形变体场景里，闭环更依赖对象内部结构。柔性对象的可用性不只取决于外表面是否逼真，还取决于仿真器能否根据材料和结构计算出合理形变。论文标题把 Deformable Objects 明确列入统一生成目标，显示系统关注的是可以在物理仿真中出现动态响应的资产，而不是只用于展示的软体外观。本文插入的形变对象图像来自论文 PDF，用于辅助读者观察论文展示的生成结果。[1][3]

铰接体则把三维生成带入运动学结构层面。一个对象是否可操作，常常取决于关节是否存在、关节方向是否正确、运动范围是否与几何部件匹配。PhysX-Omni 将 Articulated Objects 纳入统一范式，使生成系统必须关注部件、连接和自由度。对于机器人任务，这类结构信息直接关系到拉门、开盖、推拉抽屉、操作工具等行为能否在仿真环境中被表达。[1]

论文资料中的 PhysXVerse 相关图像和类别词云，展示了数据侧的多样性。多样数据对于统一框架非常关键，因为模型需要在不同类别、不同物理类型和不同结构复杂度之间建立映射关系。若数据只覆盖单一对象类型，系统就很难学习三类物理资产之间的共性和差异；而论文把刚体、形变体和铰接体并列组织，正是为了支持更广泛的仿真就绪生成任务。[1][3]

从研究方法看，PhysX-Omni 的意义还在于把“物理属性”变成生成任务的显式组成部分。传统流程中，物理属性常由人工后处理补充，例如手动标注关节、调整碰撞体、配置质量和材料。论文提出的统一生成思路则把这些要素前移，让模型直接面向仿真资产需求。这样可以缩短从生成结果到可交互环境之间的距离，也使评估更容易围绕物理可用性展开。[1]