衍象 Synthesis:孪生物理仿真平台
衍象是一款基于数字孪生的物理仿真平台适用于物理准确的工艺仿真及具身智能仿真训练和数据采集利用物理准确的高质量三维仿真资产和模型通过与仿真环境的高度集成,构建出与物理世界11映射的孪生场景满足工艺过程具身智能训练虚拟交互等不同领域的仿真及可视化需求。1面向工艺过程仿真Synthesis可支持导入100格式的三维资产工程模型和实景模型通过在线场景编辑器快速。
衍象是一款基于数字孪生的物理仿真平台,适用于物理准确的工艺仿真及具身智能仿真训练和数据采集,利用物理准确的高质量三维仿真资产和模型,通过与仿真环境的高度集成,构建出与物理世界1:1映射的孪生场景,满足工艺过程、具身智能训练、虚拟交互等不同领域的仿真及可视化需求。
1.面向工艺过程仿真,Synthesis可支持导入100+格式的三维资产、工程模型和实景模型,通过在线场景编辑器快速搭建数字孪生场景,借助内置的蓝图编辑器,用户可以通过可视化编程的方式接入业务数据和设定过程控制逻辑,全程"0"代码完成数据接入—逻辑控制—场景响应,并通过Multiverse数字孪生引擎实现高质量渲染和物理交互。
2.面向具身智能仿真训练,Synthesis平台着重关注仿真训练中高质量三维数据稀缺、构建训练环境复杂,GPU利用效率低,数据采集存储安全问题突出等共性需求,在支持用户导入自有的三维资产和模型的同时,预置提供了大量包含丰富语义标注的真实工程模型、 Sim Ready 铰链资产及3D高斯实景,通过在线场景搭建工具及基于LLM的泛化(材质、灯光、位置),实现仿真训练场景的快速创建,场景数据通过USD及MJCF格式转换与Isaac sim及Mujoco等仿真器无缝集成,尤其是针对Isaac sim,通过云端WebRTC推流实现Isaac sim集群,采集人员只需要借助Web浏览器,在瘦客户机上进行遥操,在云端进行渲染、数据采集和存储,构建出一个真正意义上的“具身智能仿真训练场”。在提供云端方案的同时,我们也为Synthesis的资源库开发了Omniverse(Isaac sim)插件,用户可以在Omniverse(Isaac sim)中像访问官方资源库一样直接访问和加载Sythesis中的三维资产、模型和场景。
一、广泛的三维格式支持
通过自主开发的Connector,Synthesis平台支持市面大部分主流三维软件的三维格式解析、轻量化、结构化以及USD等格式的转换,可以实现既有高质量工程三维模型及数据的再利用,同时,借助Multiverse引擎进行超大体量三维模型的极速加载、浏览、操作,实现高精度、高逼真、高可用的统一。

二、高质量三维资产库与模型库
平台内置大量1:1实物重建的高保真资产(大部分资产均包含铰链,覆盖刚体和软体),实际工程的三维模型、3D高斯泼溅实景模型以及利用这些资产和模型搭建的1:1映射真实场景的全交互物理仿真场景,所有资产均严格按照实物重建,确保仿真场景与真实物理世界严格一致并符合建筑标准和规范。资产在保证实物级几何精度的同时,全面使用PBR材质,保证仿真与真实的视觉一致性;在物理层面,通过详细的物理参数、碰撞体以及关节的动力学参数设定,确保仿真与真实在物理特性上的一致,除此之外,在语义标注、数据组织、坐标设定等方面采用统一标准,确保所有资产均能良好的适用于物理仿真。
Synthesis提供在线浏览工具,在Web浏览器中即可浏览三维资产、建筑、3D高斯泼溅模型,并支持属性、语义及关节信息的查看。
资产、模型、实景均支持在线转换为OpenUSD格式,方便与Isaac sim集成。
部分Sim Ready、建筑模型、全交互场景已经遵照CC BY-NC 4.0开源协议开源,可以从Synthesis直接下载使用。
三、场景搭建与泛化
Synthesis平台提供在线场景搭建工具与基于LLM的泛化,支持在Web浏览器中通过“拖拉拽”的方式将Sim Ready、建筑模型、3D高斯模型添加到场景中并进行位置调整,从而快速构建出符合真实世界的正确的交互场景,借助Synthesis的泛化功能,可通过灯光、天气、材质、资产位置的合理调整快速泛化出大量的真实正确的可用场景。
四、云端仿真集群
基于NVIDIA Isaac Sim的WebRTC推流方案的深度定制构建Isaac sim集群,可以部署在公有云或私有云环境中,Synthesis平台监控每个Isaac sim的运行状态并动态调度,仿真及数据采集人员无需独占GPU或者工作站,仅通过浏览器即可实现仿真场景的加载、仿真交互和数据采集操作,大幅度降低硬件成本,提升硬件利用率。
五、云端仿真的数据采集和存储
通过Synthesis Asset Explorer插件或者Synthesis的WebRTV推流集群方案,可以在Omniverse(Isaac sim)中快速加载云端的资产、模型和场景;同时,通过定制的通信组件,可以实现传感器数据(IOT数据、遥操)低延迟的广播到仿真集群的每个实例,从而实现本地操作,云端仿真、采集和存储,一台终端操作,多个仿真环境同步采集,在充分利用GPU资源,保证数据安全的同时,大幅度提升仿真和数据采集效率。
六、Isaac sim扩展插件
为了更方便的使用Synthesis平台的资产,我们针对Omniverse和Isaac sim开发并开源了Synthesis Asset Explorer插件(https://github.com/Extwin-Synthesis/Synthesis-Assets-Explorer),利用这个插件,您可以像访问Nvidia官方资源库一样访问Synthesis上的高质量USD资产。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)