本文翻译自:
A Survey of 3D Reconstruction: The Evolution from Multi-View Geometry to NeRF and 3DGS
作者:Shuai Liu, Mengmeng Yang, Tingyan Xing, Ran Yang
期刊:Sensors(MDPI),2025 年,第 25 卷,第 18 期,文章号 5748
DOI:https://doi.org/10.3390/s25185748

原文版权信息:本文原文发表于 MDPI 期刊,根据 Creative Commons Attribution (CC BY) 许可协议开放获取(Open Access)。

本文为译文,仅供学习与学术交流使用。如需引用或研究,请以原文为准。

上篇讲了从sfm到nerf,下篇主要关注3dgs!

4. Three-Dimensional Reconstruction Based on 3DGS

3D Gaussian Splatting (3DGS) [4] 是近年来提出的一种基于显式表示的三维重建与渲染方法。它将场景建模为一组高斯基元,从而在保持较高图像质量的同时,大幅提升了渲染效率。与传统的体素网格表示相比,3DGS 提供了一种连续且更灵活的几何建模方式。通过可微的三维高斯基元,3DGS 不仅提升了场景的表达能力,还能支持参数化的辐射场建模。这种灵活性使其在处理复杂场景和动态物体时表现出更强的适应性。同时,相较于依赖体积光线采样、计算开销巨大的 NeRF,3DGS 采用基于tile的光栅化方法实现实时渲染,不仅显著提高了训练效率,还避免了在空区域的冗余计算。

对比维度 NeRF (Neural Radiance Fields) 3DGS (3D Gaussian Splatting)
表示方式 隐式表示 → 通过 MLP 学习辐射场 显式表示 → 用高斯基元建模场景
核心计算 体积光线采样 (Volume Ray Sampling) 基于 tile 的光栅化 (Rasterization)
存储结构 参数存在 MLP 中,不直观 高斯基元直接存储,连续灵活
训练效率 训练慢,需要大量光线采样 训练快,避免空域冗余计算
渲染速度 渲染慢,难以实时 实时渲染可行
适应性 易过拟合场景,泛化性弱 灵活,可处理动态/复杂场景
优势 高质量新视角合成,细节丰富 高效、实时、适应性强
局限性 计算开销大,训练慢 研究仍在发展,生态未如 NeRF 完备

4.1. Framework of 3DGS

这种方法尤其适合处理复杂场景和动态变化。Kerbl 提出的 3DGS 渲染框架如图 8 所示,其结构主要包括高斯初始化、密集化、投影以及可微分光栅化四个部分。3DGS 以三维点云和多视角图像作为输入,将点云初始化为带有多种参数的高斯基元,并利用图像作为监督信号,通过可微渲染生成新的视角图像。

该框架的结构由高斯初始化、密集化、投影和微光栅化组成。Kerbl 等人 [4] 提出的渲染公式如下:

这一创新框架不仅推动了三维重建技术的发展,还为复杂场景建模提供了有效方案。3DGS 在多个方面取得了突破,包括:提升实时渲染质量、优化稀疏视角数据的重建、增强渲染细节、以及对动态场景变化的处理。通过高效建模和精细渲染,3DGS 能够在有限视角数据条件下实现高精度三维重建,同时在复杂光照和动态环境下输出高质量渲染结果。这些创新使得 3DGS 在 VR/AR、影视制作、游戏开发等领域展现出强大潜力,尤其适合沉浸式体验和实时三维内容创作。

4.2. Rendering Quality Optimization

在3D图形渲染领域,3DGS因其实时渲染能力和高质量视觉效果而备受关注。然而,随着应用需求的不断增加,如何进一步提升3DGS的渲染质量,已经成为研究的核心方向优化渲染质量不仅需要精确捕捉细节和真实再现光照,还要求有效处理场景一致性以及不同视角下的抗锯齿效果。通过结合先进的技术手段与算法创新,研究人员在提升3DGS渲染效果方面取得了显著进展。

在优化3DGS技术的过程中,研究人员特别关注多尺度、多层次策略的应用。例如,MS3D方法[64]采用了一种多尺度3DGS算法。该方法根据不同分辨率选择高斯点的尺度:小尺度高斯用于捕捉细节,而大尺度高斯用于保持场景的整体结构。这种方式有效抑制了锯齿现象,并显著提升了渲染质量和速度。同时,Mip-Splatting方法[65]将多层次混合技术与高斯点渲染结合,利用3D平滑滤波和2D Mip滤波显著减少锯齿伪影,并保证不同分辨率下渲染效果的稳定性和精确性。综合来看,这些技术通过多尺度处理,实现了更精细、准确的场景渲染。

另一方面,优化高斯分布及其参数设置也是提升渲染质量的关键Scaffold-GS[66]通过引入锚点动态优化高斯属性,结合增长与剪枝策略,根据高斯的重要性调整其数量和分布。这种方法避免了冗余,同时显著提升了场景覆盖率和细节表现,在复杂多变的场景中表现出良好的适应性。同时,研究人员也提出了一些针对特定问题的创新方案。例如,GaussianPro[67]提出了一种渐进式传播策略,基于多视图立体(MVS)技术,将重建的几何结构与Patch匹配技术结合,通过迭代传播生成候选像素。此外,该方法利用光度一致性约束,有效解决低纹理区域重建精度不足的问题,显著提升了3D场景整体重建质量。

渲染质量提升的过程中,GSDF[68]进一步推进了技术发展。它结合了3DGS与神经签名距离场(SDF)的优势,采用双分支结构:一个GS分支专注于渲染,另一个SDF分支用于重建,两者相互指导与监督,优势互补。这不仅提升了重建精度,也显著增强了在复杂场景中的适应能力。与此同时,对于超分辨率3D场景SuperGS[69]提出了基于粗到精两阶段训练框架的方法,引入了多分辨率特征高斯点(Multi-Resolution Feature Gaussian Splatting)以及梯度引导选择性分割(Gradient-Guided Selective Segmentation)策略,实现高效细节增强。此外,通过利用伪高分辨率信息和跨视角一致性约束,SuperGS确保了高保真度和一致性,显著提升了新视角合成的质量和效率。

表4总结了上述模型在MipNeRF 360数据集上的评测指标,数据来源于多篇原始论文(具体参考文献可见文章末尾)。五项指标包括峰值信噪比(PSNR)、结构相似性指数(SSIM)、学习型感知图像块相似性(LPIPS)、渲染帧率(FPS)以及模型存储大小(Memory)。

方法/技术 核心策略 主要特点与优势
MS3D [64] 多尺度3DGS算法 根据分辨率选择高斯点尺度,小尺度捕捉细节,大尺度保持整体结构;有效抑制锯齿,提升渲染质量与速度
Mip-Splatting [65] 多层次混合 + 高斯点渲染 结合3D平滑滤波和2D Mip滤波,减少锯齿伪影,保证不同分辨率下的渲染稳定性与精确性
Scaffold-GS [66] 锚点动态优化 + 增长与剪枝策略 根据高斯重要性调整数量与分布,避免冗余,提高场景覆盖率与细节表现,适应复杂场景
GaussianPro [67] 渐进式传播 + MVS + Patch匹配 基于多视图立体重建几何结构,结合光度一致性约束,提升低纹理区域重建精度,提高整体场景重建质量
GSDF [68] 3DGS + 神经SDF双分支结构 一个分支专注渲染,另一个分支专注重建,互相监督,增强复杂场景适应能力,提高重建精度
SuperGS [69] 粗到精两阶段训练 + 多分辨率特征高斯点 + 梯度引导选择性分割 利用伪高分辨率信息和跨视角一致性约束,实现高保真、高细节的新视角合成,提高渲染效率与一致性

4.3. Rendering Efficiency Improvement

随着对复杂场景渲染需求的不断增加,提升3DGS的渲染效率已成为研究的核心方向。目前,在提高3DGS渲染效率的研究中,学者们主要探索两个关键方向:一是优化存储策略以降低内存占用,二是提升模型训练和渲染速度以增强整体性能。这两个方向的研究不仅在各自领域取得了显著进展,同时在一定程度上互相关联,共同推动了3DGS渲染技术的发展。

存储策略优化方面,研究人员提出了一系列方法,有效减少3DGS表示所需的内存空间。LightGaussian[70]、CompGS[71]和EAGLES[72]是该领域的代表性技术。LightGaussian方法通过剔除冗余高斯分布,并引入蒸馏与伪视角增强技术,在保持视觉效果的前提下,实现了超过15倍的压缩率。这种方法不仅大幅降低了存储需求,同时加快了渲染速度。LightGaussian的通信策略流程如图9所示。

CompGS采用基于K-means的向量量化方法对高斯参数进行优化,并通过行程编码进一步压缩索引,从而有效减少存储占用并加快渲染速度。此外,CompGS还通过正则化器鼓励零透明度高斯函数的存在,从而进一步减少高斯函数数量。

EAGLES技术引入了轻量级编码和量化嵌入方法,对高斯参数进行高效压缩与优化。同时,它采用粗到精的训练策略来加速优化过程,在保证高质量场景重建的基础上,实现了显著的存储内存降低与渲染速度提升

在提升模型训练与渲染速度方面,SuGaR[73]和Distwar[74]等方法取得了显著成果。SuGaR采用与表面对齐的高斯分布来精确提取网格,并利用泊松重建算法快速且可扩展地生成网格。此外,SuGaR引入了可选的精细化策略,通过高斯绑定与联合优化进一步提升网格质量和渲染效果。该方法不仅提高了重建精度,还为后续操作如编辑、雕刻、动画制作和重光照等应用提供了便利

另一方面,Distwar是一种针对光栅化渲染管线优化的快速可微分渲染技术。它通过在流多处理器(stream multiprocessors)的子核心上利用寄存器执行线程级归约操作,减少所需的原子操作数量,从而降低GPU负载。此外,Distwar将原子计算在子核心的线程级归约操作和L2原子单元之间进行分配,从而提升整体渲染效率。

通过在优化存储策略加速模型训练和渲染速度这两个核心方向的研究,学者们在提升3DGS渲染效率方面取得了显著进展。这些创新方法不仅降低了存储需求,还加快了渲染速度,为复杂场景的实时渲染提供了坚实保障。

方法/技术 研究方向 核心策略 主要特点与优势
LightGaussian [70] 存储优化 剔除冗余高斯分布 + 蒸馏与伪视角增强 保持视觉效果的同时实现超过15倍压缩率,降低存储需求,加快渲染速度
CompGS [71] 存储优化 K-means向量量化 + 行程编码 + 正则化零透明度高斯 高效压缩高斯参数与索引,减少高斯数量,加速渲染
EAGLES [72] 存储优化 轻量级编码与量化嵌入 + 粗到精训练策略 高效压缩高斯参数,显著降低存储与提升渲染速度,同时保持高质量重建
SuGaR [73] 提升训练与渲染速度 表面对齐高斯 + 泊松重建 + 可选精细化策略 快速生成高质量网格,提高重建精度,支持编辑、雕刻、动画制作及重光照等应用
Distwar [74] 提升训练与渲染速度 子核心线程级归约 + L2原子单元分配 优化光栅化渲染管线,减少GPU负载,提高整体渲染效率

4.4. Sparse View Reconstruction

在稀疏视角下的3DGS新视角合成正受到广泛关注,它能够利用少量视角有效捕捉并重建复杂场景的几何和颜色信息。在这一领域,FSGS[75]、SparseGS[76]、MCGS[77]和LM-Gaussian[78]等多种创新技术虽方法各异,但都致力于在稀疏视角条件下实现高质量的3D重建。

一方面,这些方法通过结合SfM等初始化手段,以及深度估计模型或深度先验,对3D高斯参数进行优化,即使输入视角有限,也能实现高质量重建。这不仅降低了数据采集的成本和难度,同时支持实时渲染和高质量的新视角合成。

另一方面,这些技术采用多种策略进一步提升重建质量:

  • FSGS:通过邻域引导的高斯上采样方法弥补稀疏输入,同时结合预训练单目深度估计模型提供的深度约束。
  • SparseGS:将深度先验与生成模型结合,显式约束3D重建优化,并利用图像生成扩散模型为训练集覆盖有限的场景提供监督。
  • LM-Gaussian:采用基于视觉先验的鲁棒初始化模块恢复相机位姿并生成点云,同时引入背景感知深度指导和多模态正则化高斯重建技术以保证精度。
  • MCGS:通过稀疏匹配与随机填充策略生成紧凑且充足的初始点集,增强初始几何先验,并通过多视角一致性引导的渐进剪枝策略提高高斯场的一致性。

此外,这些技术在实时渲染和新视角合成方面也取得了显著成果:

  • FSGS在多个数据集上实现了超过200 FPS的实时渲染,同时提升了视觉效果。
  • SparseGS支持高质量的360°实时新视角合成。
  • LM-Gaussian通过迭代应用扩散精修方法和视频扩散先验,保留细节并提升画质,使新视角图像更加真实。
  • MCGS通过优化高斯场一致性并去除低贡献高斯,提高了模型鲁棒性、加速渲染速度,并降低了内存消耗。
方法/技术 核心策略 高质量重建特点 实时渲染/新视角合成优势
FSGS [75] 邻域引导高斯上采样 + 预训练单目深度约束 弥补稀疏输入,实现高精度几何与颜色重建 多数据集超过200 FPS实时渲染,提升视觉效果
SparseGS [76] 深度先验 + 生成模型约束 + 图像生成扩散模型监督 显式约束3D重建优化,提高稀疏视角下精度 支持高质量360°实时新视角合成
LM-Gaussian [78] 视觉先验鲁棒初始化 + 背景感知深度 + 多模态正则化高斯 恢复相机位姿、生成精确点云,保证重建精度 迭代扩散精修 + 视频扩散先验,保留细节、提升画质
MCGS [77] 稀疏匹配 + 随机填充生成初始点集 + 多视角一致性渐进剪枝 增强几何先验,提高高斯场一致性 优化高斯场一致性,去除低贡献高斯,提高鲁棒性、加速渲染、降低内存消耗

4.5. Dynamic Scene Reconstruction

动态3D重建突破了静态重建只能捕捉瞬时状态的局限,通过实时更新模型,更真实地反映环境随时间演变的特征;它利用多视角观测或时间序列分析来减少遮挡盲区,并结合运动信息,精确区分动态对象(如行人和车辆)与静态对象(如建筑和道路),为场景语义理解提供基础。生成的实时模型具有低延迟和高频更新能力,能够直接满足机器人路径规划、自动驾驶避障、虚拟现实交互等场景中对动态环境感知的迫切需求。这是静态重建无法实现的核心优势。因此,基于3DGS的动态3D重建研究显得尤为必要。

基于3DGS的动态场景重建技术为捕捉和表现动态元素提供了灵活高效的手段。一些创新技术展示了3DGS在动态场景重建中的独特优势。它们的共同特点是:将动态场景表示为3D高斯集合或动态3D高斯粒子,并利用高斯模型捕捉和表现场景中的运动细节。

具体而言,这些技术通过不同策略优化和精炼高斯表示,以实现高质量的动态场景重建。

  • Deformable 3D-GS:引入可变形3D高斯表示和时间一致性优化,突破传统单目动态场景重建的限制,有效处理动态环境中物体运动、变形和遮挡等复杂问题,实现更精确、稳定的动态3D重建。
  • V4D:采用基于体素的4D新视角合成方法,将时间维度与空间体素结合,不仅提升传统3D模型在新视角合成中的性能,还能有效捕捉并呈现随时间变化的物体细节,增强合成图像的真实感和丰富性。
  • Gaussian-Flow(Lin提出):通过双域变形模型(DDDM)显式建模高斯粒子属性的时间变化,实现快速训练和实时渲染。
  • 4D-GS:利用变形场和4DGS技术实现高效高分辨率渲染,引入分解神经体素编码算法,从4D神经体素构建高斯特征,并通过轻量MLP预测新时间戳下的高斯变形。
  • DN-4DGS:在4D-GS基础上,通过引入去噪可变形网络和时空聚合模块,大幅提升动态场景的表现力,保证图像纯净度与清晰度,同时增强细节表达和整体一致性。DN-4DGS的框架如图10所示。

基于3DGS的动态场景重建技术通过多种方法和策略推动了该领域的发展。这些技术不仅提升了动态场景的渲染质量和实时性能,还为3D计算机视觉与图形学的研究提供了新的思路和方法。随着技术的不断进步和应用领域的扩展,基于3DGS的动态场景重建技术在未来预计将在更多领域中发挥越来越重要的作用。

表5总结了各类动态场景重建方法在D-NeRF[60]和HyperNeRF[84]数据集上的定量对比,数据来源于多篇原始论文。

方法/技术 核心策略 动态重建特点 优势与应用
Deformable 3D-GS 可变形3D高斯表示 + 时间一致性优化 处理动态环境中物体运动、变形与遮挡 突破单目动态重建限制,实现精确、稳定的动态3D重建
V4D 基于体素的4D新视角合成 将时间维度与空间体素结合,捕捉物体随时间变化 提升新视角合成性能,增强图像真实感和细节丰富性
Gaussian-Flow (Lin) 双域变形模型(DDDM)建模高斯粒子时间变化 显式建模高斯粒子随时间变化 快速训练与实时渲染,适合高频动态场景
4D-GS 变形场 + 4DGS + 分解神经体素编码 从4D神经体素构建高斯特征,预测新时间戳高斯变形 高效高分辨率渲染,实现时间维度动态重建
DN-4DGS 去噪可变形网络 + 时空聚合模块 在4D-GS基础上提升动态场景表现力 提升图像纯净度与清晰度,增强细节表达与整体一致性

4.6. Others

近年来,3DGS技术在多个前沿领域取得了突破性进展,尤其是在自动驾驶、大规模场景重建、同步定位与建图(SLAM)技术以及3D编辑方面,其创新应用显著提升了这些领域的性能和效率。

自动驾驶场景中,DrivingGaussian[85]技术利用静态3D高斯函数对静态背景进行逐步建模,有效捕捉环境的结构和特征。同时,通过引入复合动态高斯图,该技术能够灵活处理多个运动物体,为自动驾驶模拟与测试提供了准确且高效的解决方案。这一创新不仅提升了自动驾驶系统的安全性和可靠性,也为未来智能交通系统的发展奠定了坚实基础

针对大规模场景的重建与渲染挑战VastGaussian[86]技术通过划分多个单元并独立优化,实现高保真场景重建。该技术采用块处理和并行优化策略,大幅提升处理效率并降低计算成本。同时,引入解耦的外观建模技术,有效减少渲染中的外观变化,进一步提升渲染质量。VastGaussian技术的出现为大场景的实时渲染和交互提供了强有力的支持

SLAM技术领域IG-SLAM[87]GS-SLAM[88,89]是两条重要技术路线,展现了3DGS技术在SLAM中的不同应用前景。IG-SLAM结合密集SLAM跟踪方法与3D高斯点渲染,通过深度不确定性优化地图,实现快速且逼真的3D重建。GS-SLAM则结合NeRF和SLAM的优势,使用3D高斯表示场景,并通过基于splatting的光栅化技术实现超快渲染速度和高质量地图构建。这两种技术推动了SLAM的发展,为实时3D重建与定位提供新方案,在自动驾驶、虚拟现实等领域展现出广阔的应用潜力。

3D编辑方面,PixelSplat[88]技术为用户提供了更加灵活高效的3D创作工具。该技术利用前馈模型从输入图像对重建由3D高斯原语参数化的3D辐射场,实现可扩展训练和快速3D重建。同时,生成的3D辐射场可解释且可编辑,为VR/AR、游戏开发、建筑设计等多个领域的创作提供丰富素材和便捷手段。PixelSplat技术的出现进一步推动了3D编辑的发展,为用户带来更丰富的创作体验和更广阔的创作空间。

应用领域 方法/技术代表 核心策略 主要特点与优势
自动驾驶 DrivingGaussian [85] 静态3D高斯建模 + 复合动态高斯图 捕捉静态背景与多个运动物体,高效模拟与测试,提高自动驾驶安全性与可靠性
大规模场景重建与渲染 VastGaussian [86] 块划分与独立优化 + 并行处理 + 解耦外观建模 高保真场景重建,高效处理大规模场景,降低计算成本,提升渲染质量
SLAM技术 IG-SLAM [87] 密集SLAM跟踪 + 3D高斯点渲染 + 深度不确定性优化 快速、逼真的3D重建,实现实时地图构建
GS-SLAM [88,89] 结合NeRF + 3D高斯表示 + Splatting光栅化 超快渲染速度,高质量地图构建,适用于实时3D重建与定位
3D编辑 PixelSplat [88] 前馈模型从图像生成3D高斯辐射场 可扩展训练、快速3D重建,可解释且可编辑,支持VR/AR、游戏开发和建筑设计等创作

5. Challenges and Prospects

3D重建技术经历了从传统多视几何方法,到基于神经隐式表示的NeRF,再到具备高效实时渲染能力的3DGS的演进。每一次技术迭代不仅带来了建模效率与重建质量的显著提升,也推动了3D视觉系统从静态分析向动态、实时与可编辑方向发展。

阶段 方法 核心思想 主要贡献 局限性
传统几何阶段 SfM (Structure from Motion) 从多视角图像中恢复相机位姿与稀疏点云 开启了基于图像的3D重建方向,提供基础几何框架 输出稀疏点云,缺乏细节与密度
密集重建阶段 MVS (Multi-View Stereo) 基于 SfM 位姿,利用视差计算得到稠密点云/网格 获得更完整的几何表面,适合静态场景 对光照/遮挡敏感,细节和纹理有限
神经隐式阶段 NeRF (Neural Radiance Fields) 使用 MLP 隐式建模辐射场,通过体积渲染合成新视角 高质量新视角合成,突破传统方法限制 训练慢,计算量大,难实时,泛化性差
显式高效阶段 3DGS (3D Gaussian Splatting) 用可微高斯基元显式表示场景,基于光栅化实现渲染 显著提升训练/渲染效率,可实时运行,适应复杂场景 技术新兴,生态和工具链尚不成熟

5.1传统方法(SfM、MVS)

以稠密多视图输入和几何匹配为核心,生成以Mesh为主体的三维结构。这类方法在几何精度上表现突出,广泛应用于建筑测绘、文化遗产保护等工程领域。然而,它们也存在明显局限:

  • 对动态场景适应性差
  • 在弱纹理或复杂结构区域重建质量不佳
  • 对光照敏感
  • 编辑和修改过程繁琐
  • 虽然传统Mesh方法技术成熟,但难以满足自动驾驶、数字孪生等场景对高实时性和高灵活性的需求。

5.2NeRF

通过可微分渲染学习空间中每个位置的颜色和密度,能够呈现极为逼真的体渲染效果,尤其在软阴影、全局光照与透明材质建模上表现突出。但它也存在以下挑战:

  • 渲染速度慢,难以支持实时交互
  • 对动态场景支持有限,易受运动物体干扰
  • 隐式表示难以直接编辑
  • 训练成本高,对算力与数据质量要求严格
  • 这些限制阻碍了其在工程实践中的广泛应用。

5.3 3DGS

通过不透明度、颜色、协方差和球谐系数等参数表示场景,并采用光栅化渲染生成新视角图像。与前者相比,它显著提升了渲染效率,同时保持了较高的画质:

  • 支持动态场景的实时建模与渲染
  • 光照适应性与可编辑性强
  • 在中等硬件条件下即可实现高帧率渲染
  • 模型结构开放,易于与现有工具集成,直接编辑高斯参数,大幅降低后期制作和迭代成本

但其仍有局限:

  • 大规模场景下需要大量高斯 → 存储与内存消耗高
  • 依赖相机位姿精度,受制于SfM计算误差
  • 这些问题在高精度和高动态场景下会带来挑战。

5.4未来研究方向

1.提升鲁棒性,降低对外部工具依赖
NeRF和3DGS对输入数据质量与数量要求高,且依赖SfM等工具。已有研究 [90–92] 通过多模态数据融合获取高质量初始数据,提升鲁棒性与泛化能力,这也是未来的重要方向。

2.降低计算复杂度,提升处理速度
尽管已有不少效率优化方法,但NeRF与3DGS在实际应用中仍存在计算复杂度高、资源消耗大的问题。未来应探索更高效的网络结构与算法,以适配工程应用。

3.提升泛化能力,适应多样化场景
随着应用扩展至自动驾驶、机器人导航等更复杂领域,技术对场景泛化能力的要求将更高。

4.跨学科融合,形成综合解决方案
将深度学习、计算机视觉和传感器技术与3D重建结合,可构建更全面的系统。例如:

  • 将生成扩散模型[93,94]与3DGS结合,实现更精准且实时的3D重建
  • 新模型DepthSplat [95]将3DGS与多视深度估计结合,在遮挡和复杂纹理场景中显著提升表现

6. Conclusions

本文回顾了3D重建技术的发展历程,从传统方法到基于神经网络的NeRF与3DGS。
传统方法如SfM和MVS,已广泛应用于建筑测绘与自然资源管理等工程领域。然而,在面对动态场景、弱纹理区域或复杂结构时,这类方法对光照变化的适应性较差,同时模型的修改与编辑难以满足实时性与灵活性的要求。

NeRF的隐式表示能够生成高质量的重建结果,尤其在软阴影和透明材质建模方面表现突出。但其计算成本高,训练与渲染速度较慢,使得其在工程实践中的实时交互应用受限。

相较之下,3DGS通过显式表示在图像质量与渲染效率之间实现了更佳平衡,在实时渲染和可编辑性方面展现出优势。然而,它在大规模场景中的存储开销、动态场景的稳定性,以及跨场景知识迁移方面仍面临挑战。

总体而言,尽管3D重建技术在建模精度、视觉真实感与渲染性能上取得了显著进展,但仍存在诸多瓶颈。未来研究应着重突破:

  • 大规模户外环境的扩展性
  • 动态与非约束场景下的鲁棒性
  • 实时应用中的计算效率

与此同时,3D重建与AR/VR、机器人及自动驾驶等领域的深度融合,将为其实际应用开辟更广阔的前景。随着人工智能与计算机图形学的不断交叉发展,3D重建有望成为推动跨领域数字化转型与智能系统演进的重要力量。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐