0.论文基本信息

·论文标题：前馈式三维重建与新视角合成研究进展：综述

·论文链接：https://arxiv.org/abs/2507.14501

·文献类型：综述 Survey

·阅读目的：希望通过该文献快速了解机器人、具身智能感知大背景下的三维重建方向。

1.文献核心信息 What‑Why‑How‑Conclusion

1.1 What（本文做了什么）

        本综述系统性地探讨了用于 3D 重建与视图合成的前馈式技术，并根据底层表示架构（如点云、3D Gaussian Splatting (3DGS)、神经辐射场 (NeRF) 等）进行了分类学梳理。

        传统方法为逐场景迭代优化；前馈方法依靠神经网络单次前向推理直接输出 3D 结果，不需要每个场景单独优化。

        文章按照底层场景表示把现有方法分成 5 大类；梳理各类代表工作、时间发展线；整理下游任务、应用场景；汇总数据集、评测指标；最后总结开放研究挑战与未来方向。

1.2 Why（研究动机 / Gap）

        传统 3D 重建（SfM、原始 3DGS、原始 NeRF）需要逐场景优化，速度慢、依赖稠密多视图输入，很难落地实时真实场景。 前馈深度学习方法可以从大规模数据中学习先验，推理速度快、泛化能力更强，适合机器人、AR/VR、数字孪生等实时业务，但缺少一篇完整综述做系统性梳理，本文填补该综述缺口。

1.3 How（分类框架，综述梳理的技术路线）

文章以底层 3D 场景表示作为核心分类标准，分为 5 大分支：

① 基于 NeRF（神经网络直接从稀疏输入视角中学习推断 NeRF 表征，从而无需针对特定场景进行优化）：

        1D 隐式编码（为 NeRF 预测编码一个全局一维潜码，其中该潜码可在场景中的所有三维点间共享。）、

        2D 图像特征（利用图像编码器提取源视图的图像特征，并通过射线投影获取任意三维点的特征，而无需依赖三维中间特征。）、

        3D 体积特征(构建3D代价体积，存储了输入图像中多个图像上像素/特征的匹配代价（通常沿深度值分布）。这些代价体积用于生成一个神经场景编码体积，该体积存储了每个体素的特征，既包含局部几何信息也包含外观信息。对于任意3D点，其特征可通过从编码体积中进行三线性插值得到，随后由 MLP 解码，以预测相应的密度与颜色。)、

        3D平面特征；代表：PixelNeRF、MVSNeRF、LRM 系列。

前向传播 NeRF 的代表性框架，包括基于以下方法的框架：(a) 一维特征，(b) 二维特征，以及 (c) 与 (d) 三维特征。

② Pointmap 点图：

        DUSt3R 开创（学习了一个基于变换器的编码器-解码器，直接从图像对输出两个与像素对齐的点图，无需已知相机位姿，从而实现密集无约束立体三维重建）；

        衍生 Fast3R（设计了一个全局融合变换器，以同时处理多视图输入）、

        CUT3R（ 提出了一种连续更新变换器，该模型既能利用新信息更新状态，又能从状态中检索已存储的信息。）、

        VGGT（提出了一种基于前馈变换器的大型架构，可直接预测所有关键3D属性——包括相机内参与外参、点图、深度图及3D点轨迹——而无需后处理，从而实现了最先进的3D点与相机位姿重建效果。） 等。

前馈点图重建框架。该框架还支持在相同框架下实现更广泛的任务，例如相机估计、深度估计及点跟踪。

③ 3DGS（3D 高斯溅射）前馈方法：

        分为 Gaussian Map（2D 映射预测高斯-对三维高斯分布进行的二维表示，其中每个二维位置点均对应一个三维高斯分布。）、

        Gaussian Volume（3D 体素高斯-使用高斯体素网格表示三维空间，其中每个体素包含多个高斯原语。）；

        代表：Splatter Image、MVSplat、LaRa。

具有不同 3D 高斯表征输出的代表性框架，包括高斯图（如 Image Splatter 与 pointmap）以及高斯体（如 Triplane 与 3D Volume）。

④ 其他显式 / 隐式表示：Mesh 网格、Occupancy 占据场、SDF 符号距离函数。

⑤ 3D‑Free 无显式 3D 表示：

        无需三维表征/不构建显式 3D，直接回归 / 生成新视图；

        分为回归型（将渲染过程建模为一个回归问题，通过学习一个渲染函数（通常为基于变换器的网络），直接从稀疏视图输入中直接预测新视角下的像素颜色，从而消除如图所示的三维表示中固有的归纳偏置。）、

基于回归的无三维模型的典型框架示意图。

        扩散生成型（利用生成模型，基于已学习的数据分布合成逼真的新视图，从而即使仅凭单张输入图像也能实现视图外推。）（

        图像：Zero‑1‑to‑3（利用为文本到图像生成预训练的潜在扩散模型 [ RBL ∗ 22]，用相对相机位姿替代文本嵌入作为条件，从而实现新型视角合成）、

        MVDream（ 提出了一种多视角扩散模型，同时利用 2D 和 3D 数据，结合了 2D 扩散模型的泛化能力与 3D 渲染的一致性。）、

        视频：ViewCrafter （将点云渲染为图像，作为视频扩散模型的条件，从而实现一致且精确的新视角合成。）等）。

生成式无3D模型的代表性框架。

1.4 下游任务与应用

        相机位姿估计（无需显式多阶段 SfM 处理流程的情况下，高效恢复相机参数。）、

        无位姿重建（从未标注的图像或视频中重建三维场景成为可能，而无需对每个场景进行优化。）、

        动态 4D 重建（单目深度估计：利用时序注意力、生成先验，预测时序一致的深度视频，能在相机空间生成 3D 点。

        基于点图的动态场景重建：多视角3D重建模型中训练一个动态3D模型。

        基于3DGS的动态场景重建。

        利用视频预训练模型进行点图预测：将三维场景建模为几何视频。采用扩散模型来学习多视角RGB图像与几何帧的联合分布。几何视频由标准RGB通道及附加的几何通道组成，后者编码结构信息，如深度、XYZ坐标、彩色点渲染，或点-深度-射线图的组合。）、

        图像匹配、3D 感知图像生成、相机可控视频生成、SLAM、机器人操纵、数字人、3D 理解分割等。

1.5 评测部分

常用数据集中的详细场景类型及标注类型。

各任务常用评估指标。

        对于新视角合成任务的评估， PSNR（峰值信噪比）、 SSIM（结构相似性指数） 以及 LPIPS（学习到的感知图像块相似性）是分别从不同角度评估图像质量的常用指标；

        对于相机位姿估计，RTA（相对平移精度）、 RRA（相对旋转精度）和AUC（曲线下面积）被广泛采用；

        点云 Accuracy/Completeness/Chamfer 距离；

        深度估计 Abs‑Rel 等。

2.Conclusion

2.1 结论

        前馈范式极大改变 3D 重建，实现快速、可泛化的 3D 感知，大量 Transformer 大模型（VGGT、π³ 等）效果已经 SOTA；但是距离传统 MVS 几何精度还有差距。

2.2 作者提出四大开放挑战

        1）数据集模态多样性有限：很多数据集只有 RGB，缺少深度、LiDAR、语义；动态多模态标注数据稀缺。 2）重建精度不足：前馈模型几何精度仍不及传统 MVS。 3）自由视点渲染外推能力差：远离输入相机视角容易出现伪影、模糊。 4）长上下文输入开销巨大：处理大量图片显存爆炸；流式方法又会遗忘旧信息。

2.3 同时讨论社会影响

        数字孪生、文物保护等正向价值；隐私泄露、伪造证据等滥用风险，还有大模型训练推理的算力能耗问题。

3.读后 4 问

3.1 局限性

        ① 文献量巨大，每个方向只能做高度概括，很多方法只给核心思路，不展开细节实现； ② 动态 4D 部分、机器人应用属于介绍性质，没有非常深入拆解； ③ 是 arXiv 预印本综述，部分最新 2025工作刚收录，缺少后续领域验证； ④ 没有给出复现、工程落地的实操指南，偏向理论梳理。

3.2 可借鉴点

        ① 以后读该领域论文可以用这套五分法分类框架体系快速归类； ② 附带时间线图，可以快速追踪每个分支的演进脉络； ③ 整理了完整数据集以及指标表格，做实验的时候可以直接拿来选数据集、选评价指标； ④ 开放挑战部分，非常适合用来开题、找 idea，直接给出 4 大研究缺口； ⑤ 参考文献集合了大量 2021‑2025 顶会关键工作，可以用来批量下载必读论文。

3.3 存疑点

        ① Pointmap 类方法 (DUSt3R/VGGT) 和 3DGS 前馈如何更好结合？优缺点权衡？ ② 长序列输入，“大全局 Transformer” vs “流式 memory 机制” 两条路线如何取舍？ ③ 前馈模型如何在不牺牲推理速度前提下，进一步追赶 MVS 的几何精度？ ④ 3D‑Free 扩散生成和显式 3D 表示，各自适合什么任务场景？

3.4 和我的研究的关联

        用来搭建领域全局知识地图，快速搞懂前馈 3D 各个分支；

        开放挑战部分可以启发课题选题；

        数据集、指标表可以直接服务后续实验设计；

        参考文献列表可以筛选高价值原始论文进行精读。

4.个人小结

        这是一篇入门前馈 3D 重建非常好的综述。最大价值是统一的分类框架、时间线、开放问题汇总。不需要逐字通读，适合泛读抓框架，遇到自己感兴趣的分支再跳转到对应章节精读。 重点关注：Pointmap、前馈 3DGS、长序列重建、动态 4D 这几个热门方向。后续可以从参考文献挑 DUSt3R、VGGT、MVSplat 等代表性原始论文继续读。