李飞飞团队开源「Spark 2.0」:让任何人在浏览器访问超大规模 3D 场景

【导语:今日凌晨,李飞飞空间智能独角兽公司 World Labs 官宣推出「Spark 2.0」,将 3D 高斯泼溅世界带入 Web,让任何人可在浏览器中访问超大规模、高保真 3D 场景,还开源了专为 3DGS 打造的渲染器。】

Spark 2.0 是面向 Web 的动态 3D 高斯泼溅(3DGS)渲染器,与当前最流行的 Web 3D 框架 Three.js 集成,基于 WebGL2 运行。只要有浏览器,无论是桌面端、iOS、Android,还是 VR 设备,都能使用。
去年发布的 Spark 就有独特能力,如在同一场景中渲染多个 3DGS 对象、实时编辑与重光照等。而 Spark 2.0 加入细节层级(LoD)系统,可在任意设备上流式加载并渲染超大规模的 3DGS 世界,根据视角自动调整细节等级并按需加载数据。

为解决规模化带来的挑战,Spark 2.0 主要运用三类图形学和系统层面的技术。细节层级(Level-of-Detail)为 splat 生成不同分辨率版本,根据相机视角决定渲染部分,对象远时减少 splat 数量提升性能。
渐进式流加载(Progressive Streaming)定义新文件格式 .RAD 压缩 3DGS 数据,支持随机访问和逐步细化的流式加载。加载初期 3DGS 对象粗略呈现,随后分块获取数据,优先细化粗糙部分并动态调整加载优先级。
虚拟内存(Virtual Memory)在 GPU 分配约 1600 万 splat 的内存池,自动管理 GPU 中 64K splat 的「页」与 .RAD 文件中对应数据块的映射关系,按 LRU 策略替换低优先级旧数据块。

Spark 的 LoD 设计采用连续 LoD 方法,所有 splat 组织在 LoD splat 树中。树中内部节点由子节点合并成低分辨率版本,递归到根节点形成单一大 splat 汇总整体信息。
Spark 2.0 提供两种生成 LoD splat 树的算法。Tiny-LoD 轻量且速度快,在 Web 端默认使用;Bhatt-LoD 质量更高,在命令行环境默认使用。两种方法都「无需训练」,基于 3DGS 数据本身处理。

Spark 2.0 可以流式加载 1 亿 + 的 3DGS 数据,将构建一个全新的 3D 物理世界。随着高保真 3D 内容可在任意设备访问,空间叙事能力向前迈进一大步。
编辑观点:Spark 2.0 的推出是 3D 渲染领域的重大突破,开源特性将推动 3D 技术普及,其技术创新解决了规模化难题,有望在多领域引发变革。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)