单目深度估计最新综述
看到一篇不错的单目深度估计的综述性的论文,而且很新,26年9月份的,适合初学者快速概览单目深度估计方法的发展,包括从传统深度学习方法到深度基础模型(Depth Foundation Model)。论文同时还列出了单目深度估计若干有前景的未来研究方向。
这是论文提供的整篇论文的图形摘要

下面是论文的全文翻译
单张图像的单目深度估计:进展与机遇
原文标题: Monocular Depth Estimation from a Single Image: Progress and Opportunities
作者: Muxin Liu、Xiaoyang Lyu、Yang-Tian Sun、Yi-Hua Huang、Ziyi Yang、Peng Dai、Xiaojuan Qi
期刊: Computational Visual Media
预印本地址: https://arxiv.org/abs/2609.01172 ,2026 年 9 月 1 日
作者单位: 香港大学电机与电子工程系,香港 999077。
作者电子邮箱: Muxin Liu(mxliu@connect.hku.hk);Xiaoyang Lyu(shawlyu@connect.hku.hk);Yang-Tian Sun(sunyangtian98@gmail.com);Yi-Hua Huang(huangyihua16@mails.ucas.ac.cn);Ziyi Yang(14ziyiyang@gmail.com);Peng Dai(daipeng@eee.hku.hk);Xiaojuan Qi(xjqi@eee.hku.hk)。
共同贡献说明: Muxin Liu、Xiaoyang Lyu 和 Yang-Tian Sun 的贡献相同。
论文对应代码仓库: https://github.com/CVMI-Lab/Depth_Survey
摘要
单目深度估计长期以来一直是计算机视觉领域的一项基础性挑战,并为三维重建、机器人、自动驾驶以及增强现实等广泛应用提供支持。本文综述了该领域的发展历程,从早期基于学习的方法一直追溯到具有变革意义的基础模型的兴起。
首先,本文对问题进行了定义,区分了相对深度估计与度量深度估计,并总结了过去十年研究过程中形成的关键挑战。随后,介绍了常见的问题建模方式,以及最广泛使用的数据集,涵盖室内、室外和合成数据。接下来,本文回顾了基础模型时代到来之前的主要进展,提炼了那些推动深度估计在精度、效率和鲁棒性方面不断提升的代表性方法中的核心思想。
在此基础上,本文重点讨论近年来迅速发展的基于基础模型的深度估计方法,并按照判别式方法和生成式方法进行分类,强调大规模预训练(例如 DINOv3)与合成数据在其中发挥的关键作用。本文利用定量基准测试和定性示例对代表性模型进行了比较,同时探讨了将深度估计扩展到视频场景的自然发展方向。
此外,为了展示单目深度估计在现实场景中的应用价值,本文重点介绍了其在视觉 SLAM、内容生成和机器人感知等领域中的集成应用。最后,本文总结了当前尚未解决的挑战以及具有潜力的研究方向,展望了该领域在基础模型时代的进一步发展。
关键词: 单目深度估计;度量深度;相对深度;基础模型;视觉 Transformer;扩散模型。
1 引言与背景
深度信息对于空间感知至关重要,其应用包括机器人、自动驾驶、三维建模、虚拟现实与增强现实,以及计算摄影等。传统方法通常依赖多张图像或专用传感器获取深度,例如双目相机和 Kinect [1]。然而,这些方法会增加硬件复杂度和成本。相比之下,单目深度估计具有更高的灵活性,因此受到了广泛关注。
利用单张图像预测深度的早期学习方法可以追溯到十多年前。在深度学习出现之前,Saxena 等人 [2] 首先利用手工设计的特征和马尔可夫随机场(Markov Random Fields,MRF),探索了数据驱动的单目深度预测。随着深度卷积神经网络的出现,该领域迎来了突破。Eigen 等人 [3] 展示了多尺度 CNN 能够直接从单张 RGB 图像回归稠密深度图,由此开启了现代单目深度估计(Monocular Depth Estimation,MDE)研究的新时代。随后,研究者通过引入更深的网络 [4–6]、改进损失函数(例如尺度不变损失或序数回归损失),以及利用表面法线 [7, 8]、光流 [9, 10] 或语义信息 [11] 等多任务线索,迅速提升了基准数据集上的估计精度。
在早期阶段,单目深度估计模型在训练域之外的泛化能力较差。例如,在 NYU Depth v2 数据集 [12] 的室内场景上训练的模型,在 KITTI [13] 等室外驾驶场景上测试时可能失效,反之亦然。这主要是由于场景尺度和相机内参存在差异。此外,一些模型虽然在特定数据集上取得了最先进的精度,但往往学习到了与数据集相关的偏差,例如有限的深度范围或视场角(Field of View,FoV),因而难以泛化到任意图像。
近年来,随着自然语言处理领域的发展趋势,深度估计领域也出现了基础模型 [14]。深度基础模型是在大规模、多样化数据集(包括无标注数据或合成数据)上训练的大型模型,目标是在广泛的真实场景图像上实现较强的零样本性能。其目标是构建一个具有广泛适用性的统一模型,而不是针对每个数据集分别训练专用模型。该方向早期的尝试包括:通过精心设计的损失函数来混合多个训练数据集 [15],以及利用视觉 Transformer 更好地捕获全局上下文并增强学习能力 [16]。最新的基础模型进一步利用数千万张图像 [17] 学习具有泛化能力的深度预测知识。这些模型对数据量和参数规模的需求通常比传统方法高出多个数量级,也因此显著提升了零样本泛化能力。
本文的组织结构如图 1 所示。第 2 节对问题设置进行形式化描述,并概述单目深度估计中常用的数据集。第 3 节回顾基础模型时代之前的关键进展,涵盖监督学习和自监督学习方法,并重点介绍网络架构创新及有效损失函数的设计。第 4 节聚焦深度基础模型的兴起,这是本文的核心内容。本文从三个角度考察代表性方法:(a)数据集收集与统一;(b)判别式模型;(c)生成式模型。针对现有工作评估协议不一致的问题,本文提出统一的评估流程,并在代表性模型上开展系统的定量和定性比较,以实现更公平的基准评测,并更清晰地分析近期进展。此外,本文还讨论这些模型向视频深度估计的扩展。第 5 节综述单目深度估计在下游任务中的应用,包括 SLAM 与三维重建、图像编辑与内容创作,以及机器人领域。最后,第 6 节总结尚待解决的挑战和未来方向,例如提升细粒度细节和时间一致性、支持多样化相机模型,以及引入几何先验。

图 1 展示了本文的整体组织方式:首先介绍单目深度估计的背景和数据集,随后回顾基础模型出现之前的相关方法;接着讨论深度基础模型及其代表性方向;最后介绍单目深度估计的主要下游应用和未来研究方向。
2 问题设置与数据集
2.1 单目深度估计基础
单目深度估计的目标是根据单张 RGB 图像 III 预测稠密深度图 DDD。其中,每个深度值 D(u,v)D(u,v)D(u,v) 表示沿像素 (u,v)(u,v)(u,v) 对应的视线方向,从相机到场景的距离。
如图 2 所示,深度估计主要分为两种类型:
- 度量深度估计(Metric Depth Estimation) [18–26]:输出以米等真实世界物理单位表示的深度值,与场景的真实尺度相对应。
- 相对深度估计(Relative Depth Estimation) [16, 17, 26–35]:也称为尺度不变深度估计,预测结果仅确定到一个未知尺度,有时还存在一个加性偏移。在这种情况下,如果 DDD 是一个有效预测,那么对于任意尺度因子 α>0\alpha>0α>0,αD+β\alpha D+\betaαD+β 也可以被视为有效结果;其中,尺度不变估计只考虑尺度变化,而仿射不变深度估计还允许加性偏移 β\betaβ。相对深度能够保持不同位置之间正确的深度排序关系和比例关系,但不保留深度的绝对数值。
单目深度估计本质上是一个不适定问题,因为不同尺度的多个三维场景可能产生相同的二维观测。传统方法 [44–46] 在严格假设条件下,利用人工设计的光度和几何线索解决这种歧义,包括明暗变化、透视关系、遮挡和散焦等。相比之下,现代基于学习的方法通过在大规模数据中统计学习这些线索来缓解深度歧义,从而提升鲁棒性和泛化能力 [47]。
监督学习方法依赖真实深度图作为训练标签,这些标签通常通过 RGB-D 传感器(例如结构光或飞行时间相机)、LiDAR,或者多视图立体视觉获取。与之相对,自监督方法 [38, 40] 通过约束双目图像对或视频序列之间的几何一致性来估计深度,无需显式的深度标签 [48]。
对于度量深度估计而言,一个尤为重要的挑战是相机内参的变化。例如,焦距的变化会直接影响图像内容与绝对深度之间的映射关系 [24]。许多早期方法假设相机内参固定,例如所有训练图像具有已知或较窄范围内的焦距 [3, 11, 39, 49–51]。近期研究提出了能够适应未知相机参数的技术,例如将相机内参作为模型条件输入 [19],或者将输入图像归一化到统一的规范相机模型 [24]。这些策略将在后续章节中进一步讨论。

图 2 展示了不同的深度估计范式:(a)通过深度传感器或模拟器获取的真实深度;(b)度量深度估计,预测深度与真实深度在物理单位上保持一致;(c)尺度不变深度估计,预测深度与真实深度之间相差一个全局缩放因子;(d)仿射不变深度估计,预测深度与真实深度之间同时存在全局尺度变化和加性平移。

图 3 简要展示了具有代表性的研究工作及其深度表示形式。采用度量深度估计的方法以红色标示,采用相对深度估计的方法以蓝色标示。
2.2 深度估计数据集
单目深度估计的发展与多样化数据集的可用性密切相关。本文将常见数据集划分为四大类:合成数据集、室内数据集、室外数据集,以及真实互联网图像(in-the-wild)数据集,如表 1 所示。每一类数据集都有其独特优势,同时也存在影响模型性能和泛化能力的局限性。
- 合成数据集。 TartanAir [52]、FoundationStereo [53] 和 BlendedMVS [54] 等数据集通过模拟生成高度逼真的室内和室外场景,并提供完整的真实深度标签。HyperSim [55] 和 Replica [56] 主要面向室内环境;Virtual KITTI 2 [57] 和 MatrixCity [58] 则面向室外场景。这些数据集能够在受控条件下提供完整且精确的标注,但与真实世界数据相比,通常仍存在一定的真实感和多样性差距。
- 室内数据集。 NYU Depth V2 [12]、ARKitScenes [24] 和 SUN RGB-D [59] 等数据集使用 RGB-D 传感器,在住宅或办公环境中提供稠密的短距离度量深度。较新的基准数据集 ScanNet++ [60] 进一步提高了标注精度和场景多样性。这类数据集能够提供室内场景的近距离深度信息,但通常存在分辨率较低的问题;此外,深度传感器本身的局限性也可能导致缺失区域或伪影,尤其是在窗户、镜子等反射或透明区域。
- 室外数据集。 KITTI [13]、nuScenes [61] 和 Waymo [62] 等数据集提供真实驾驶场景,其长距离深度标注由 LiDAR 获取。Argoverse2 [63] 和 A2D2 [64] 等较新的数据集进一步扩展了传感器覆盖范围和场景复杂度。不过,基于 LiDAR 的真实深度通常较为稀疏且含有噪声,尤其是在远距离区域或动态物体处;标注质量也会随传感器和环境条件变化。
- 真实互联网图像数据集。 DIW [65]、MegaDepth [66] 和 ReDWeb [67] 等数据集利用互联网图像和运动恢复结构(Structure-from-Motion,SfM)技术提供多样化的大规模标注。这些数据集能够覆盖真实世界的多样性,有助于减少数据集偏差;但其深度标注通常是近似的,例如序数标签或伪深度,缺乏精确的度量精度。
在基础模型时代,融合来自不同领域的数据集变得越来越重要。基础模型 [18–20, 24, 25, 28, 33] 通常利用多领域混合数据集学习具有泛化能力的表示,从而显著增强模型在真实场景中的鲁棒性和适应性。一些现代深度估计框架还采用混合式和多阶段训练策略 [17, 21, 22, 29]:首先在大规模多领域数据集上进行预训练,以获得基础能力;随后再利用合成数据、教师模型生成的伪标签,或具有更严格损失约束的特定领域数据集进行微调。这种两阶段训练范式能够显著改善深度预测的定性细节和泛化能力。
表 1 常见单目深度估计数据集概览
数据集按照合成、室内、室外/驾驶和互联网真实场景(wild)进行分类,并列出数据规模、分辨率、真实深度获取方式以及主要特点。
| 数据集 | 类型 | 规模 | 分辨率 | 真实深度类型 | 主要特点 |
|---|---|---|---|---|---|
| TartanAir [52] | 合成(室内/室外) | 306K | 640 × 480 | 模拟生成 | 包含 30 个具有多样风格的照片级真实感环境 |
| FSD [53] | 合成(室内/室外) | 1.04M | 1280 × 720 | 模拟生成 | 使用 NVIDIA Omniverse 和多样化 3D 资产生成 |
| KenBurns [68] | 合成(室内/室外) | 76K | 512 × 512 | 模拟生成 | 用于视图合成的合成数据集 |
| Spring [69] | 合成(室内/室外) | 5K | 可变 | 模拟生成 | 面向双目、光流和场景流的高细节基准数据集 |
| HyperSim [19] | 合成(室内) | 77,400 | 1024 × 768 | 模拟生成 | 包含 461 个室内场景,并提供逐像素对应的详细真实几何信息 |
| IRS [70] | 合成(室内) | 103K | 960 × 540 | 模拟生成 | 包含多样场景和光照条件的合成室内数据集 |
| Structured [17] | 合成(室内) | 76K | 可变 | 模拟生成 | 照片级真实感室内场景,提供全面的 3D 结构标注 |
| Replica [56] | 合成(室内) | 18 个场景 | 可变(HDR) | 模拟生成 | 高保真 3D 室内场景及 HDR 纹理 |
| UnrealStereo4K [63] | 合成(室内) | 1,600 | 3840 × 2160 | 模拟生成 | 用于评估高分辨率深度模型的照片级真实感室内场景 |
| Virtual KITTI 2 [57] | 合成(驾驶) | 21,260 | 1242 × 375 | 模拟生成 | KITTI 的合成复刻版本,具有稠密深度、分割标注及多种天气条件 |
| MVS-Synth [71] | 合成(室外/城市) | 12,000 | 可变 | 模拟生成 | 基于 GTA V 场景生成,提供完整视差图 |
| MatrixCity [58] | 合成(室外) | 390K | 1920 × 1080 | 模拟生成 | 使用 Unreal Engine 5 的 City Sample 项目构建 |
| MidAir [72] | 合成(室外) | 423K | 1024 × 1024 | 模拟生成 | 无人机合成数据集,具有多样天气和地形变化 |
| GTA-SfM [73] | 合成(室外) | 19K | 可变(HD) | 模拟生成 | 面向大幅相机运动的 SfM 数据集,涵盖多种场景和条件 |
| Sintel [74] | 合成(室外) | 1,064 | 1024 × 436 | 模拟生成 | 来源于开源 3D 动画电影《Sintel》的 23 个动画场景 |
| NYU Depth v2 [12] | 室内 | 1,449(稠密) | 640 × 480 | Kinect RGB-D | 包含 464 个住宅/办公室场景,也提供密集采样的视频帧 |
| SUN RGB-D [59] | 室内 | 10,335 | 约 640 × 480 | Kinect/RealSense | 由 NYU、Berkeley B3DO、SUN3D 等数据集整合而成,室内场景多样 |
| ScanNet [75] | 室内 | 1,513 个场景 | 约 640 × 480 | Kinect V1 | 使用 Kinect V1 采集,并通过 RGB-D SLAM 系统进行后处理 |
| ScanNet++ [60] | 室内 | 1,000+ 个场景 | 可变 | FARO + RGB-D | 大规模数据集,包含 1,000 多个 3D 室内场景 |
| Hammer [76] | 室内 | 13 个场景(约 16K) | 750 × 500 | 3D 扫描仪 + 多传感器 | 多传感器深度图多模态数据集 |
| iBims-1 [77] | 室内 | 100 | 640 × 480 | DSLR + 激光扫描仪 | 专门用于测试单张图像深度估计的 RGB-D 数据集 |
| Taskonomy [22] | 室内 | 4.5M | 512 × 512 | 对齐的 3D 网格 | 包含来自 537 栋不同建筑的 460 多万张图像 |
| ARKitScenes [24] | 室内 | 5,047 次扫描 | 1920 × 1440 | LiDAR + 激光扫描仪 | 同时包含高分辨率和低分辨率深度图 |
| Make3D [30] | 室外 | 534 | 2272 × 1704 | 激光扫描仪 | 早期室外场景数据集(2009 年),深度以稀疏采样点形式提供 |
| DIODE [78] | 室内/室外 | 27,858 | 1024 × 768 | FARO Focus 360 扫描仪 | 室内和室外数据使用相同传感器采集,覆盖 30 个不同场景 |
| ETH3D [79] | 室内/室外 | 96 | 752 × 480 | 同步 RGB-D | 包含同步全局快门彩色图像和深度图,以及完整轨迹真实值 |
| KITTI [13] | 室外(驾驶) | 22K | 1242 × 375 | LiDAR(稀疏) | 多种光照条件下的驾驶场景;每张图像中深度像素的稀疏度约为 5% |
| A2D2 [80] | 室外(驾驶) | 196K | 1928 × 1208 | LiDAR(稀疏) | 驾驶场景,使用 6 个相机和 5 个 Velodyne VLP-16 LiDAR 传感器 |
| Argoverse2 [63] | 室外(驾驶) | 1,000 个序列 | 1550 × 2048 | LiDAR(稀疏) | 使用 7 个环视相机和 2 个双目相机采集 |
| Waymo [62] | 室外(驾驶) | 1,950 个序列 | 1920 × 1280 | LiDAR(稠密) | 每辆车配备 5 个相机和 5 个 LiDAR 传感器 |
| DDAD [81] | 室外(驾驶) | 19,680 | 1936 × 1216 | LiDAR(稀疏) | 包含单目视频和准确的真实深度标签 |
| nuScenes [61] | 室外(驾驶) | 1,000 个场景 | 1600 × 900 | LiDAR(稀疏) | 面向自动驾驶的大规模公开数据集 |
| MegaDepth [66] | 地标(室外) | 130K | 可变(HD) | SfM(多视图) | 多样化地标场景;伪深度按场景具有不同尺度,并存在较多遮挡 |
| BlendedMVS(G) [54] | 互联网(wild) | 110K | 可变 | 多视图立体匹配 + 重建 | 用于多视图几何问题的大规模数据集 |
| DIW [39] | 互联网(wild) | 495K(稀疏) | 可变 | 人工序数标注 | 随机互联网照片,标注相对深度点对 |
| ReDWeb [67] | 互联网(wild) | 3,600 | 可变 | 人工序数标注 + 双目 | 多样化图像,通过双目立体匹配和人工清理获得稠密深度(近似度量) |
| Depth in the Wild [82] | 互联网(wild) | 50K | 可变 | SfM + 人工标注 | 大规模数据集,提供适用于多样场景的伪深度、法线和边界信息 |

3 大规模基础模型出现之前的深度估计方法
本节回顾大型基础模型出现之前单目深度估计方法的发展历程,如图 4 所示。首先讨论监督学习中的关键进展(第 3.1 节),包括网络骨干架构(第 3.1.1 节)和训练目标(第 3.1.2 节);随后介绍自监督学习范式(第 3.2 节),该范式利用视图一致性损失,不再依赖真实深度标签。

图4 概述了常用的模型结构(CNN、ResNet、ViT)、训练模式(有监督、带或不带位姿标注的无监督)以及深度估计的推理方式(回归、深度区间分类和基于扩散的方法)。
3.1 监督式深度估计方法
监督学习范式主导了单目深度估计发展的早期阶段。在这种方法中,将单张 RGB 图像输入精心设计的神经网络,预测深度图、点云或离散深度区间等三维表示。为了引导网络学习准确的深度预测,研究者使用了多种损失函数,其形式涵盖逐像素回归损失,以及几何和结构一致性损失。
3.1.1 网络架构设计:从 CNN 到视觉 Transformer
在单目深度估计发展的早期阶段,Eigen 等人 [3, 11] 在 NYU-v2 [12] 和 KITTI [13] 数据集上训练了多尺度卷积神经网络(CNN)。为了获得稠密且细致的深度预测,其架构由两个级联网络组成:粗尺度网络负责预测深度的整体粗略结构,细尺度网络则进一步细化局部细节。这种方法建立了基础性的性能基准,后续方法均在此基础上发展。
随着 ResNet [49] 的出现,Laina 等人 [6] 引入了 ResNet-50 编码器,并使用上投影模块(up-projection blocks)解码稠密深度。该方法证明,更深的网络能够改善性能和泛化能力。这一发现促使后续大量工作 [66, 83–92] 设计基于 ResNet 骨干网络、层数不断增加的深度估计架构。
然而,基于卷积神经网络的架构 [93, 94] 在平衡全局上下文与细粒度细节方面仍存在困难。由于感受野有限,卷积网络往往无法充分捕获全局上下文和大尺度场景结构,从而产生“条带化”(banding)等伪影,或者导致远距离区域之间的深度不一致。
视觉 Transformer(Vision Transformer,ViT)在这一领域的应用显著缓解了上述局限。Ranftl 等人 [16] 提出了稠密预测 Transformer(Dense Prediction Transformer,DPT),利用在 ImageNet 上预训练的 ViT 编码器捕获全局上下文,同时采用卷积解码器和来自编码器的多尺度特征恢复细粒度细节。与 CNN 基线相比,该方法在多个基准数据集上最多将相对误差降低了 28%,并生成空间一致性更好的深度图。此后,近期方法 [17, 23, 95–101] 普遍采用 ViT 编码器与 CNN 解码器相结合的混合设计,以有效融合全局信息和局部信息,实现稠密深度估计。
3.1.2 训练目标
传统上,深度估计被建模为一个判别式学习问题,研究者探索了多种学习目标,包括回归、分类和序数回归。给定输入图像 III,可训练神经网络 fθf_\thetafθ 生成预测深度图 D∈RH×WD\in\mathbb{R}^{H\times W}D∈RH×W:
D=fθ(I),(1) D=f_\theta(I), \tag{1} D=fθ(I),(1)
下文中,D∗D^*D∗ 表示真实深度图。
回归(Regression)。 深度估计可以自然地表示为回归任务。常用的标准损失包括 L1L_1L1 范数和 L2L_2L2 范数:
L1(D,D∗)=1n∑i=1n∣yi−yi∗∣,(2) \mathcal{L}_1(D,D^*)=\frac{1}{n}\sum_{i=1}^{n}|y_i-y_i^*|, \tag{2} L1(D,D∗)=n1i=1∑n∣yi−yi∗∣,(2)
L2(D,D∗)=1n∑i=1n(yi−yi∗)2,(3) \mathcal{L}_2(D,D^*)=\frac{1}{n}\sum_{i=1}^{n}(y_i-y_i^*)^2, \tag{3} L2(D,D∗)=n1i=1∑n(yi−yi∗)2,(3)
其中,yiy_iyi 和 yi∗y_i^*yi∗ 分别表示像素 iii 处预测的深度值和真实深度值,nnn 表示有效像素的数量。尽管这些损失在概念上非常简单,但它们通常会使深度不连续边界变得模糊,并且难以保留场景中的细微结构细节。
为了平衡较小和较大的残差(误差),Laina 等人 [6] 提出了反向 Huber 损失(inverse Huber loss),也称为 berHu 损失:
B(x)={∣x∣,∣x∣≤c,x2+c22c,∣x∣>c,(4) B(x)= \begin{cases} |x|, & |x|\leq c,\\[3pt] \dfrac{x^2+c^2}{2c}, & |x|>c, \end{cases} \tag{4} B(x)=⎩⎨⎧∣x∣,2cx2+c2,∣x∣≤c,∣x∣>c,(4)
其中,x=yi−yi∗x=y_i-y_i^*x=yi−yi∗ 表示残差,阈值 ccc 根据经验设置为
c=15maxi∣yi−yi∗∣. c=\frac{1}{5}\max_i|y_i-y_i^*|. c=51imax∣yi−yi∗∣.
对于误差较小的像素,该损失表现为 L1L_1L1 损失;对于误差较大的像素,则切换为 L2L_2L2 损失。这种混合形式同时改善了模型收敛性和边界精度。后续工作(例如 CLIFFNet [102])引入了层次化损失,利用中间特征增强多尺度一致性,而不再局限于逐像素精度。
尺度不变损失(Scale-invariant Loss)。 单目深度估计本质上是不适定问题,因为不同尺度的三维场景可能产生相同的二维图像。为了缓解这一歧义,Eigen 等人 [3] 提出了尺度不变损失:
Lsi(D,D∗)=1n∑i=1ndi2−λn2(∑i=1ndi)2,(5) \mathcal{L}_{si}(D,D^*)=\frac{1}{n}\sum_{i=1}^{n}d_i^2-\frac{\lambda}{n^2}\left(\sum_{i=1}^{n}d_i\right)^2, \tag{5} Lsi(D,D∗)=n1i=1∑ndi2−n2λ(i=1∑ndi)2,(5)
其中,di=lnyi−lnyi∗d_i=\ln y_i-\ln y_i^*di=lnyi−lnyi∗,λ∈[0,1]\lambda\in[0,1]λ∈[0,1] 是一个超参数。当 λ=1\lambda=1λ=1 时,该损失完全具有尺度不变性,鼓励模型准确预测相对深度,而不是绝对深度大小。
仿射不变损失(Affine-invariant Loss)。 在尺度不变损失的基础上,近期方法 [17, 27–29, 32, 103, 104] 采用仿射不变形式,通过全局尺度 sss 和平移量 ttt 将预测深度与真实深度对齐:
Lssi(D,D∗)=mins,t1n∑i=1n∥syi+t−yi∗∥.(6) \mathcal{L}_{ssi}(D,D^*)=\min_{s,t}\frac{1}{n}\sum_{i=1}^{n}\left\|s y_i+t-y_i^*\right\|. \tag{6} Lssi(D,D∗)=s,tminn1i=1∑n∥syi+t−yi∗∥.(6)
参数 sss 和 ttt 通常通过最小二乘法求解。随后,利用 L1L_1L1 或 L2L_2L2 损失评估对齐后的预测结果。
分类(Classification)。 直接回归连续的深度数值具有一定难度。受到人类感知更偏好相对深度线索、而非精确数值这一特点的启发,Cao 等人 [105] 将该任务重新表述为分类问题。具体而言,将深度值离散化为预先定义的区间,并训练网络判断每个像素属于哪个深度区间。
序数回归(Ordinal Regression)。 标准分类无法充分捕获深度的序数关系。DORN [39] 将近裁剪平面 α\alphaα 与远裁剪平面 β\betaβ 之间的深度范围划分为 KKK 个区间,并提出均匀离散化(Uniform Discretization,UD)和空间递增离散化(Spacing-Increasing Discretization,SID)两种方式:
UD:ti=α+(β−α)⋅iK,(7) \mathrm{UD}:\quad t_i=\alpha+(\beta-\alpha)\cdot\frac{i}{K}, \tag{7} UD:ti=α+(β−α)⋅Ki,(7)
SID:ti=exp[log(α)+log(β/α)⋅iK],(8) \mathrm{SID}:\quad t_i=\exp\left[\log(\alpha)+\log(\beta/\alpha)\cdot\frac{i}{K}\right], \tag{8} SID:ti=exp[log(α)+log(β/α)⋅Ki],(8)
其中,tit_iti 表示各深度区间的阈值。
模型输出序数深度张量 Y∈RH×W×2KY\in\mathbb{R}^{H\times W\times 2K}Y∈RH×W×2K,并根据该张量恢复深度:
l^(w,h)=∑k=0K−1I(P(w,h)k≥0.5),(9) \hat l(w,h)=\sum_{k=0}^{K-1}\mathbb{I}\left(P^k_{(w,h)}\geq 0.5\right), \tag{9} l^(w,h)=k=0∑K−1I(P(w,h)k≥0.5),(9)
d^(w,h)=tl^(w,h)+tl^(w,h)+12−ξ,(10) \hat d(w,h)=\frac{t_{\hat l(w,h)}+t_{\hat l(w,h)+1}}{2}-\xi, \tag{10} d^(w,h)=2tl^(w,h)+tl^(w,h)+1−ξ,(10)
Pk(w,h)=ey(w,h,2k+1)ey(w,h,2k)+ey(w,h,2k+1),(11) P^k(w,h)=\frac{e^{y(w,h,2k+1)}}{e^{y(w,h,2k)}+e^{y(w,h,2k+1)}}, \tag{11} Pk(w,h)=ey(w,h,2k)+ey(w,h,2k+1)ey(w,h,2k+1),(11)
其中,ξ\xiξ 用于确保 α+ξ=1\alpha+\xi=1α+ξ=1,I(⋅)\mathbb{I}(\cdot)I(⋅) 为指示函数。此外,作者还提出了序数回归损失:
Lord=1n∑i=1n(∑k=0li−1log(Pik)+∑k=liK−1log(1−Pik)).(12) \mathcal{L}_{ord}=\frac{1}{n}\sum_{i=1}^{n}\left(\sum_{k=0}^{l_i-1}\log(P_i^k)+\sum_{k=l_i}^{K-1}\log(1-P_i^k)\right). \tag{12} Lord=n1i=1∑n(k=0∑li−1log(Pik)+k=li∑K−1log(1−Pik)).(12)
在这一思路的基础上,研究者观察到不同图像中的深度分布可能存在显著差异:例如,桌面场景的深度范围可能集中在较窄区间内,而走廊场景的深度范围则可能较宽。为此,有研究引入 Transformer 预测头,同时预测一组与图像相关的深度区间中心 c(b)={c1,…,cB}c(b)=\{c_1,\ldots,c_B\}c(b)={c1,…,cB}。为了进一步捕获像素级深度范围变化,LocalBins [106] 提出为每个像素局部预测深度区间,从而获得更精细的空间粒度。此后,若干方法 [107–112] 提出了不同的区间预测策略变体,以进一步提升性能。
几何一致性损失(Geometric Consistency Loss)。 许多方法 [7, 8, 18, 28, 113–119] 利用深度与表面法线之间的几何关系,通过联合估计二者并强制二者保持一致来提高预测精度。深度和表面法线具有内在联系:一个点处的表面法线由局部三维表面的切平面决定,而该切平面可以从深度图推导得到;反过来,表面法线所定义的切平面方向也会约束深度。通过引入从深度估计法线、以及从法线估计深度的模块,可以设计一致性损失,使预测结果(或真实标签)与推导结果相互对齐。典型的一致性损失形式为:
Ldepth=1n∑i=1n(∥yi−yi∗∥22+η∥y^i−yi∗∥22),(13) \mathcal{L}_{depth}=\frac{1}{n}\sum_{i=1}^{n}\left(\|y_i-y_i^*\|_2^2+\eta\|\hat y_i-y_i^*\|_2^2\right), \tag{13} Ldepth=n1i=1∑n(∥yi−yi∗∥22+η∥y^i−yi∗∥22),(13)
Lnormal=1n∑i=1n(∥ni−ni∗∥22+λ∥n^i−ni∗∥22).(14) \mathcal{L}_{normal}=\frac{1}{n}\sum_{i=1}^{n}\left(\|n_i-n_i^*\|_2^2+\lambda\|\hat n_i-n_i^*\|_2^2\right). \tag{14} Lnormal=n1i=1∑n(∥ni−ni∗∥22+λ∥n^i−ni∗∥22).(14)
其中,yiy_iyi 和 y^i\hat y_iy^i 分别表示像素 iii 处初始和细化后的深度预测,yi∗y_i^*yi∗ 为对应的真实深度。类似地,nin_ini 和 n^i\hat n_in^i 分别表示初始和细化后的预测表面法线,ni∗n_i^*ni∗ 表示真实法线。权重 η\etaη 和 λ\lambdaλ 用于控制细化后预测结果的贡献。
3.2 自监督学习
单目深度估计的监督训练方案高度依赖准确的真实深度或点云标注,而这类标注通常获取成本较高且难以获得。相比之下,人类无需显式的几何监督,就能够直观地推断三维场景结构和自身运动。受这一观察启发,大量研究 [83, 120–142] 开始探索自监督深度估计。这些方法通过利用像素级一致性损失作为监督信号,消除了对直接深度标签的依赖。
3.2.1 双目监督
Garg 等人 [37] 首先使用双目图像对探索无监督深度估计,以避免依赖标注的真实深度。给定经过校正的双目图像对 Il,IrI_l,I_rIl,Ir,网络预测左图像 IlI_lIl 的视差 dld_ldl,随后利用图像变形(warping)合成右图像 I^rl\hat I_r^lI^rl。网络通过光度重建损失进行监督:
Lphoto=∣Ir−I^rl∣2.(15) \mathcal{L}_{photo}=|I_r-\hat I_r^l|_2. \tag{15} Lphoto=∣Ir−I^rl∣2.(15)
Monodepth [36] 对这一框架进行了改进,同时预测左到右和右到左的视差(dl,drd_l,d_rdl,dr),强制施加左右一致性约束,并引入额外的外观损失和平滑损失:
La=1N∑i,j[α1−SSIM(I^rl,Ir)2+(1−α)∣I^rl−Ir∣1],(16) \mathcal{L}_a=\frac{1}{N}\sum_{i,j}\left[\alpha\frac{1-\mathrm{SSIM}(\hat I_r^l,I_r)}{2}+(1-\alpha)|\hat I_r^l-I_r|_1\right], \tag{16} La=N1i,j∑[α21−SSIM(I^rl,Ir)+(1−α)∣I^rl−Ir∣1],(16)
Lsm=1N∑i,j(∣∂xdl∣e−∣∂xIl∣+∣∂ydl∣e−∣∂yIl∣).(17) \mathcal{L}_{sm}=\frac{1}{N}\sum_{i,j}\left(|\partial_xd_l|e^{-|\partial_xI_l|}+|\partial_yd_l|e^{-|\partial_yI_l|}\right). \tag{17} Lsm=N1i,j∑(∣∂xdl∣e−∣∂xIl∣+∣∂ydl∣e−∣∂yIl∣).(17)
3.2.2 视频序列
虽然基于双目的自监督方法不再需要深度标签,但仍然需要双目相机系统,这限制了其可扩展性。为了解决这一问题,Zhou 等人 [38] 提出了 SfMLearner,该方法利用单目视频序列,并通过第二个网络估计相对相机位姿。其框架通过视图合成,联合学习未标注视频中的深度和自运动(ego-motion)。
给定一个序列 S={I0,I1,…,IN}S=\{I_0,I_1,\ldots,I_N\}S={I0,I1,…,IN},将其中一帧指定为目标视图 ItI_tIt,其余帧作为源视图 IsI_sIs(s≠ts\neq ts=t)。深度网络 fθf_\thetafθ 预测目标图像 ItI_tIt 的视差 D^t\hat D_tD^t,而位姿网络 gϕ(It,Is)g_\phi(I_t,I_s)gϕ(It,Is) 则估计 4×44\times44×4 变换矩阵 Tt→sT_{t\rightarrow s}Tt→s。目标帧中的像素 ptp_tpt 可以投影到源帧中:
ps∼KTt→sD^t(pt)K−1pt,(18) p_s\sim K T_{t\rightarrow s}\hat D_t(p_t)K^{-1}p_t, \tag{18} ps∼KTt→sD^t(pt)K−1pt,(18)
其中,KKK 为相机内参矩阵。通过目标图像 ItI_tIt 与其变形重建图像 I^t\hat I_tI^t 之间的光度一致性损失(式(15)),联合监督深度和位姿估计。
Monodepth2 [40] 进一步改进了这一流程,引入自动掩码(auto-masking)策略以处理动态物体和遮挡问题,并采用在 ImageNet 上预训练的 ResNet 骨干网络。Monodepth2 表明,借助更深的网络架构和良好的初始化,自监督方法在标准基准上的性能可以达到甚至超过部分监督方法。这一范式得到了广泛采用,后续研究继续在网络架构设计 [141, 143–148]、不确定性建模 [130, 149]、动态场景理解 [150, 151],以及与下游应用集成 [125, 152–154] 等方面进行创新。
3.3 小结
在大型基础模型出现之前,单目深度估计研究在网络架构和训练目标两个方面都已逐渐形成较为成熟的技术路线。在架构方面,混合 CNN-ViT 模型,尤其是 DPT 风格架构,表现出更优的性能,并成为多个后续基础模型 [17, 19–21, 23–26, 29, 33, 155] 的基础骨干。在训练方面,尺度不变损失函数在相对深度估计中得到广泛采用,并被沿用到基础模型的训练过程中 [17, 27–32, 34, 35]。此外,表面法线正则化已成为提高三维重建保真度的常用策略,这一实践同样影响了现代基础模型的训练 [18, 25, 28, 34, 35, 156]。
4 深度基础模型
大型基础模型在自然语言处理以及图像/视频理解领域取得了巨大成功,近期也推动了单目深度估计领域的范式转变,促成了深度基础模型(Depth Foundation Models)的出现。这些模型利用大规模预训练基础模型的能力,例如 DINOv2 [157]、DINOv3 [158] 和 Stable Diffusion [159],并在大规模 RGB-D 数据集上进一步微调。其主要目标是在真实场景图像上实现准确的深度估计。通常,深度基础模型需要满足以下目标:
- 零样本鲁棒性。 单个模型应能够有效泛化到此前未见过的输入,在多种相机类型(例如针孔相机、广角相机和鱼眼相机)以及多样化场景(例如室内、室外、真实场景、以物体为中心的场景和风格化环境)中提供可靠的深度估计,而无需额外微调。
- 细节保留。 预测的深度图不仅应具有较高精度,还应能够保留细粒度几何细节,形成边界清晰、结构完整的表示。
本节首先总结现有深度基础模型训练方法在多样化数据集统一与融合方面的近期进展,随后根据预测范式的不同,将最新方法划分为判别式模型和生成式模型,并全面回顾这两类方法的研究进展。

图5 单目深度估计的判别式(左图)与生成式(右图)框架示意图。判别式方法通常利用视觉Transformer(ViT)编码器,该编码器使用预训练的基础模型(如DINOv2)进行初始化,并在大规模多样化数据集上进行训练,从而直接回归出深度图。相比之下,生成式方法利用VAE结构,通过以合成数据集为条件的去噪过程来迭代优化深度预测,从而有效地捕捉复杂的细节和结构连贯性。
4.1 数据集收集与统一
混合数据对齐(Mixed Data Alignment)。 RGB-D 数据集中的深度标注往往具有显著异质性,可能包括绝对深度(例如由激光传感器获取,或者由已知标定参数的双目相机获取)、尺度未知的深度(例如由运动恢复结构技术获取),或者视差图(例如由未标定的双目系统获取)。为了解决这一问题,MiDaS [15] 引入了仿射不变损失(式(6)),使模型能够对尺度变化和平移变化保持鲁棒,从而解决不同数据集之间最主要的不兼容来源。该方法使模型能够有效整合多种数据来源,并利用其中的全部可用信息。
高质量合成数据的出现(Emergence of High-Quality Synthetic Data)。 在真实场景中,利用基于激光的传感器(RGB-D 相机或 LiDAR)获取的深度标签通常会受到噪声影响,尤其是在透明或高度反光区域,还可能存在深度值缺失。近年来,研究者利用 Unreal Engine、Unity 和 Isaac Sim [162] 等模拟器或游戏引擎,快速构建带有深度信息的照片级真实感渲染数据集。这些合成数据集具有逼真的视觉效果和准确标注的深度标签,能够显著增强深度估计模型的鲁棒性。
困难条件下的数据(Data in Challenging Conditions)。 近期一些研究关注具有挑战性或分布外(Out-of-Distribution,OOD)条件下的深度估计,例如水下环境、恶劣天气(如雾、雨),或者以非朗伯表面(例如反射或半透明材料)为主的场景。在这些场景中,获取真实深度标注尤其困难,甚至无法实际完成。为缓解这一问题,研究者 [163–165] 转向使用具有深度感知控制机制的先进文生图扩散模型,生成与特定深度结构相匹配的高质量合成图像。这些模型在合成真实视觉内容的同时保持几何一致性,从而能够针对罕见或复杂环境生成训练数据。
4.2 判别式方法
许多现有深度基础模型将该任务建模为判别式学习问题,直接学习从图像到深度值的映射。在视觉 Transformer(ViT)出现之前,早期零样本单目深度估计方法(例如 MegaDepth [66]、MiDaS [15] 和 LeReS [31])主要依赖卷积神经网络(CNN)作为骨干网络。这些网络通常在大规模图像分类数据集上预训练(例如使用 ResNet-101、DenseNet-161),以增强特征提取能力。尽管这些基于 CNN 的方法在未见数据集上表现出一定潜力,但其深度估计精度仍然有限。尤其是在混合数据集训练方面,它们面临较大困难,且往往无法超过基于特定领域数据训练的模型,随着数据规模增加也表现出较差的可扩展性。
为克服这些局限,MiDaS v3.1 [33] 引入了首批采用基于 ViT 的 DPT 架构的深度基础模型。该架构能够捕获全局上下文和长距离空间关系,因此取得了更好的性能。随后,基于 ViT 的架构成为新的标准,并被广泛应用于基础深度模型 [17–20, 28, 29, 166]。具有代表性的判别式模型结构如图 5 所示。
4.2.1 相对深度估计
Transformer 架构(Transformer Architectures)。 自 DPT [16] 引入 Transformer 并将其用于稠密预测以来,该架构便被广泛用于构建相对深度估计基础模型。基于 DPT 架构,MiDaS 系列模型(v2 [167]、v3 [15])率先利用来自不同来源的 110 万张图像训练模型,其中包括 ReDWeb [83]、MegaDepth [66]、WSVD [168] 等数据集,从而生成能够从广泛输入中有效捕获几何结构的相对深度估计结果。这些模型表明,单个模型可以良好地泛化到室内、室外,甚至艺术风格图像,确立了 DPT 作为基础模型架构的重要地位,并推动了深度基础模型的发展。
规模化学习(Scale-up Learning)。 Depth Anything [17] 使用 DPT 架构,其核心并非提出全新的网络架构,而是构建大规模“数据引擎”,以获得真实场景泛化能力。该方法收集了 150 万张有标签图像和 6,200 万张无标签图像,并利用模型集成生成伪深度标注。其中一个重要成功因素是使用视觉基础模型 DINOv2 的预训练视觉表示。该方法因此在六个公开数据集以及多样化真实图像上取得了出色的零样本相对深度估计性能。不过,Depth Anything 仍然难以生成边界足够锐利的结果。为解决这一问题,Depth Anything V2 [29] 在训练教师模型时,将所有真实场景标签替换为合成标签,并使用预训练的 DINOv2 模型 [157] 初始化 ViT 编码器权重。
基于点的表示(Point-based Representation)。 Wang 等人提出 MoGe [28],它并非直接预测相对深度,而是构建了一个基于 DPT 架构的基础模型,预测逐像素的仿射不变三维点图(pointmap),而不是深度。该方法绕过了对相机内参的依赖,从而能够实现高质量点云重建。MoGe 采用了专门设计的训练目标,包括仿射不变的全局点监督(与式(6)类似,但应用于点空间)、多尺度局部几何损失和法线损失,所有这些目标都有助于改善表面重建和局部细节。该模型采用 DPT 风格架构,并使用 DINOv2 [157] 初始化 ViT 编码器;训练数据包含 900 万张图像,覆盖室内、室外、航空和合成等领域。这种训练方式使模型学习到高度可迁移的几何先验,可以快速标定到度量尺度,或用于下游三维视觉任务。
4.2.2 度量深度估计
挑战(Challenges)。 除了相对深度估计基础模型之外,许多研究工作 [18–21, 24, 25] 还试图解决难度更高的单目度量深度估计问题。由于未知相机内参(例如焦距、传感器类型)所引入的固有歧义,以及不同场景之间显著的域偏移(例如室内、室外、以物体为中心、真实或合成环境中的深度范围不同),这一问题从根本上更加困难。
如图 6 所示,本文使用四种不同相机渲染同一个室内场景。相机设置包括针孔相机(绿色、蓝色、红色)和鱼眼相机(紫色),其中针孔相机进一步设置为两种不同的视场角。
当这些相机位于相同的物理位置(蓝色、红色、紫色)时,尽管它们观察的是相同场景几何结构,并且同一物体具有相同的深度值,但由于相机模型或视场角设置不同,生成的视觉外观可能存在显著差异。反过来,两个视场角不同、位置也不同的针孔相机(绿色和蓝色),可能生成视觉上相似的图像,尽管它们对应的底层度量深度不同。
这些观察结果凸显了单目度量深度估计的内在难度:模型必须能够在不同相机内参和畸变类型之间实现泛化,同时保持准确且一致的几何理解。

图6 跨不同相机模型和内参的度量深度歧义示意图。我们使用四种不同的相机渲染了同一个室内场景:三个具有不同视场角(FoV)的针孔相机(绿色、蓝色、红色),以及一个鱼眼相机(紫色)。其中三个相机被放置在同一个位置(蓝色、红色、紫色),尽管它们共享相同的底层几何结构,但由于相机内参和畸变的差异,它们产生了显著不同的外观模式。相比之下,具有不同视场角的针孔相机(绿色与蓝色)虽然产生了视觉上相似的图像,但对应于不同的深度分布。
相机内参建模(Modeling Camera Intrinsics)。 一项重要研究方向是在网络架构设计中显式引入相机模型,以降低相机内参变化引起的歧义。Metric3D [24] 提出共享的规范相机空间变换模块,通过将输入图像归一化到统一的相机内参系统,缓解度量深度歧义。该方法在来自不同来源的大规模数据集上训练,表现出较强的零样本泛化能力。在此基础上,Hu 等人提出 Metric3D v2 [25],将深度和表面法线的联合约束纳入模型,进一步提升了零样本性能。不过,这些方法需要已知相机内参才能执行规范化变换。
为克服这一限制,UniDepth [19] 引入自提示相机模块(self-prompted camera module),用于推断相机内参的稠密表示,并引入几何不变性损失,帮助模型将相机特定效应与深度预测解耦。其后续版本 UniDepthV2 [20] 通过采用基于 DINOv2 初始化的视觉 Transformer 和正弦位置编码,以更高效的设计替代球谐函数 token 化,从而简化网络架构,并在降低复杂度的同时改善性能。
类似地,DepthPro [21] 引入了一个学习式焦距预测头,使模型无需显式相机元数据即可估计度量深度。该方法还利用合成数据提升性能并保留细节。
从规范相机变换、自提示相机内参,到学习式焦距估计,这些策略使模型能够在多样化成像条件下实现更鲁棒、更通用的度量深度估计。
将相对深度估计重新用于度量深度预测(Repurposing Relative Depth Estimation for Metric Depth Prediction)。 另一条研究路线试图将相对深度估计模型改造为度量深度预测模型。具有代表性的例子是 ZoeDepth [22]:它基于预训练的相对深度模型,引入一个度量深度区间模块,自适应地预测区间中心,以适应不同图像之间的差异。在 NYU 和 KITTI 数据集上微调后,该模型在多种场景中表现出较强的泛化能力。
近期,MoGe-2 [18] 在统一框架中将仿射不变相对深度估计与全局度量尺度估计解耦,从而扩展了前代模型 MoGe [28]。该方法使用轻量级 MLP 分支预测全局尺度因子,以获得准确的度量深度。此外,MoGe-2 引入了数据细化流程,利用高质量合成标签筛除噪声较大的真实场景深度数据,从而获得更清晰的物体边界和更丰富的深度细节。研究表明,经过细化的数据能够显著提高深度估计质量。
在相对深度向度量深度迁移的基础上,FoundationGeo [26] 指出,度量误差不仅来自全局尺度歧义,还来自空间变化的尺度漂移和残余射线方向偏差。该方法进一步将焦距覆盖范围不匹配识别为零样本泛化的关键瓶颈。为此,FoundationGeo 引入逐像素尺度校正场和射线方向校正场,并使用针对性的多焦距合成数据。结合两阶段训练策略和广泛的多领域数据覆盖,该方法进一步提高了模型的性能上限,同时在不同领域和相机模型之间表现出稳定的泛化能力。
4.3 生成式方法
扩散模型最初用于概率生成建模。近年来,由于它们能够捕获复杂的数据分布并保留细节,逐渐被应用于深度估计。越来越多的工作 [27, 30, 32, 34, 35, 169–171] 利用预训练扩散模型提升深度预测的真实感和可靠性。如图 5(右)所示,Marigold [27] 是一个具有代表性的例子,它通过 Stable Diffusion 微调得到,用于深度估计。该方法在通道维度上拼接 RGB 图像潜变量与噪声,使 U-Net 能够通过迭代去噪输入噪声,生成细化后的深度图。值得注意的是,尽管 Marigold 仅在有限的合成数据上训练,但它仍表现出有竞争力的性能,尤其是在细粒度细节方面。
效率与细节增强(Efficiency and Detail Enhancement)。 由于存在多步去噪过程,并且为了处理采样不确定性而在测试时使用集成策略,Marigold 的推理速度较慢:对于 578×578578\times578578×578 的输入,推理时间约为 24 秒。为了提升效率,近期方法将深度估计重新表述为单步扩散过程。GenPercept [35] 和 Diffusion-E2E [34] 研究了去噪调度器的作用,并提出确定性的单步替代方案。通过将深度估计重新构建为直接预测任务,这些方法能够实现更快推理,同时允许通过仿射不变损失函数引入像素级监督。
尽管扩散模型擅长生成细节丰富的输出,但在针对特定任务进行适配时,精细结构仍可能退化,这可能与灾难性遗忘有关 [32]。为解决这一问题,Lotus [32] 引入任务切换器,在生成深度/法线预测与重建输入图像两种任务之间交替切换,从而鼓励模型保留结构和纹理线索。此外,GeoWizard [30] 利用扩散模型的灵活性联合估计深度和表面法线,使不同模态能够共享互信息,并提升二者之间的一致性。
超越扩散模型(Beyond Diffusion)。 除传统扩散模型之外,少数工作受到视觉自回归建模(Visual Autoregressive Modeling,VAR)[172] 的启发,将深度估计重新表述为跨多个分辨率进行的下一尺度预测序列 [107]。不过,这些方法的鲁棒性和性能上限仍处于早期探索阶段。
讨论(Discussions)。 通常而言,生成式模型能够产生边界更锐利、结构一致性更强的输出,而判别式模型则具有更高的计算效率。受到二者互补优势的启发,研究者提出了多种混合策略。例如,BetterDepth [169] 将扩散模型用作即插即用的细化器,提升预训练判别式网络(如 DPT [16])所生成粗略输出的质量,尤其改善细节质量。
此外,GenPercept 和 Diffusion-E2E [34] 表明,将扩散过程缩减为单步采样方案,同时采用判别式风格的损失函数,可以提高模型性能。这些发现体现出一种日益明显的趋势:不再仅将扩散模型视为生成式采样器,而是将其重新用作确定性预测器或特征提取器,从而在生成式灵活性和判别式效率之间架起桥梁。
4.4 基准性能
由于不同方法通常采用不同的评估协议,例如使用不同的基准数据集或尺度校准策略,因此各篇论文报告的结果无法直接比较。为了确保评估公平且一致,本文在统一框架下标准化评估流程。
首先,在统一的基准数据集上评估所有方法。具体而言,本文采用 MoGe-2 [18] 提出的基准,该基准包含来自多个领域的 10 个数据集,例如室内场景、街景、物体扫描和合成动画。该基准排除了反射表面等存在歧义的区域,并采用一致的评估协议评价预测深度图。
其次,为了使预测深度与真实深度对齐,本文采用统一的仿射不变对齐流程,通过最小二乘拟合计算尺度和平移量。被评估的方法分为三类:
- 度量深度估计: UniDepth [19]、UniDepthV2 [20]、FoundationGeo [26]、DepthPro [21]、ZeroDepth [23]、Metric3D [24]、Metric3DV2 [25] 和 MoGe-2 [18]。
- 相对深度估计: MoGe [28]、Marigold [27]、GeoWizard [30]、LeReS [31]、Diffusion-E2E-FT [34]、GenPercept [35]、DepthAnythingV3 [43] 和 VGGT [42]。
- 视差估计: MiDaS v3.1 [33]、Depth Anything [17]、Depth Anything V2 [29]、DPT [16] 和 Lotus [32]。
尽管度量深度模型的设计目标是预测绝对深度值,但在直接与真实深度比较时,它们往往仍存在尺度不一致问题。因此,在计算标准深度指标之前,本文也对度量深度方法应用仿射对齐(尺度 + 平移)。对于本身不具有绝对尺度的相对深度模型,同样采用仿射不变对齐。基于视差的方法则分别在深度空间或视差空间进行对齐。通过对所有方法采用统一的仿射不变对齐,本文确保比较只关注深度分布的准确性,而不受尺度和标定差异的影响。
为了确保最佳性能,本文遵循每种方法的官方数据预处理流程,并评估其性能最佳的开源实现。报告以下常用指标:
-
绝对平均相对误差(Absolute Mean Relative Error,AbsRel):
AbsRel=1M∑i∣ai−yi∗∣yi∗, \mathrm{AbsRel}=\frac{1}{M}\sum_i\frac{|a_i-y_i^*|}{y_i^*}, AbsRel=M1i∑yi∗∣ai−yi∗∣,
-
δ1\delta_1δ1 准确率(δ1\delta_1δ1 Accuracy): 满足下式的像素所占比例:
max(aiyi∗,yi∗ai)<1.25, \max\left(\frac{a_i}{y_i^*},\frac{y_i^*}{a_i}\right)<1.25, max(yi∗ai,aiyi∗)<1.25,
其中,aia_iai 表示对齐后的预测深度,yi∗y_i^*yi∗ 表示真实深度,MMM 表示有效像素总数。
表 2 不同方法的统一评估结果
该基准主要用于零样本评估。最优结果以粗体标出,次优结果以下划线标出。灰色数值表示在对应基准数据集上训练过的模型,因此不纳入排名。表中分别报告深度对齐和视差对齐两组结果,覆盖 NYUv2、KITTI、ETH3D、iBims-1、GSO、Sintel、DDAD、DIODE、Spring 和 HAMMER 等 10 个数据集。

表2 不同方法的统一评估。该基准测试主要用于零样本(zero-shot)评估。最佳结果以粗体突出显示,次佳结果以下划线标出。灰色数字表示在相应的基准数据集上训练过的模型,因此被排除在排名之外。

图 7 展示了代表性模型 [18–21, 24, 25, 27–29, 32, 42, 43] 在多种场景中的深度估计结果,包括室内场景 [12, 78]、室外场景 [79]、驾驶场景 [13, 81],以及物体级场景 [76]。尽管部分方法在定量指标上表现突出,但数值性能与视觉质量之间仍存在差异,尤其体现在边界锐利程度和细节保留能力方面。
4.5 扩展到视频
视频深度估计相比单张图像预测面临一些独特挑战:
- 时间一致性至关重要。 逐帧独立预测的朴素方法通常缺乏跨帧信息,容易产生闪烁结果,并导致不同帧之间的尺度不一致。
- 数据稀缺也是一个瓶颈。 高质量、时间上稠密的视频深度标注很难获取。
- 长序列深度估计要求模型兼具计算效率和时间稳定性。
如图 8 所示,近期方法 [173–179] 大体可分为两类:(1)基于扩散模型的生成式方法;(2)配备时间一致性模块的判别式模型,其中包括离线式设计和流式处理设计。

图8 视频深度估计的结构。与使用空间层处理单张图像的图像深度估计模型不同,视频深度估计模型额外引入了时间层,或者通过循环神经网络利用先前的潜在状态,以确保跨帧(帧间)的一致性。
生成式视频扩散模型(Generative Video Diffusion Model)。 基于生成式扩散的视频模型(包括 DepthCrafter [173]、ChronoDepth [176] 和 Depth Any Video [174])利用预训练视频扩散先验,同时建模空间细节和时间连贯性。DepthCrafter [173] 最多处理 110 帧,并使用重叠拼接处理长视频。ChronoDepth [176] 引入两阶段训练方案,先学习空间表示,再通过跨帧注意力机制注入时间一致性。Depth Any Video [174] 使用 4 万多个合成视频片段扩大训练规模,并通过插值推断最多 150 帧的深度。这些模型无需位姿或光流监督,在零样本设置下也能够实现有效泛化,并生成具有较强时间稳定性的高保真深度图。不过,它们通常不支持流式推理,且内存使用量会随着输入帧数增加而增大。
判别式(可流式处理)模型(Discriminative / Streamable Models)。 Video Depth Anything [175](图 8(a))和 FlashDepth [178](图 8(b))等判别式模型旨在不使用基于扩散的生成过程,直接实现视频深度估计。二者均以 Depth Anything V2 作为核心单目骨干网络,但引入时间建模模块,使预测结果在时间维度上更加稳定。Video Depth Anything [175] 集成轻量级时空预测头和时间梯度一致性损失,以强制时间平滑性,但在处理流式视频时仍面临挑战。
FlashDepth [178] 则从网络架构角度处理时间建模问题。它采用双流设计,将快速的高分辨率流与鲁棒的低分辨率流结合,并通过交叉注意力进行融合。一个循环模块(Mamba)负责跨帧对齐时间特征。这种架构能够以 2K 分辨率(2044 × 1148)实现实时视频深度估计,无需批处理或离线处理,能够生成边界更清晰、时间稳定性更强的结果,并天然支持流式处理。
近期的 DyFN [179] 将流式处理中的不一致归因于潜在特征统计量波动造成的尺度—平移漂移,而不是逐帧几何估计不准确。为此,该方法引入轻量级因果循环归一化模块,以稳定这些统计量。训练时仅更新 DyFN,同时冻结骨干网络,从而在保留单帧精度的同时,最多将时间稳定性提升 14%。
4.6 扩展到任意相机
大多数深度基础模型是在经过校正的透视成像假设下开发和评估的,而真实系统经常使用任意投影模型和大视场角相机,例如鱼眼相机和 360° 全景相机。直接将以透视相机为中心的流程迁移到这些设备上往往会失败,因为模型无法处理球面畸变,也可能丢失全局上下文。从针孔相机扩展到任意相机的深度(及三维)估计会引入若干额外挑战:
- 几何不匹配。 不同相机模型下,像素到视线射线的映射关系不同,这会使学习到的针孔相机先验在大视场角畸变下变得脆弱。
- 上下文与畸变之间的权衡。 裁剪或去畸变操作要么会丢弃远距离上下文,要么会引入空间变化的变形,从而违背常见的模型归纳偏置。
- 数据稀缺。 与透视 RGB-D/LiDAR 监督相比,鱼眼或全景图像对应的成对度量深度数据要少得多。
- 视场角/分辨率变化。 规范球面表示或等距柱状投影(Equirectangular Projection,ERP)表示会导致采样密度不均匀和分辨率不匹配,增加稳定训练和部署的难度。
近期进展 [180–185] 遵循一种共同思路:将几何对齐的规范化或参数化方式与数据规模扩展/适配结合,而不是完全依赖新的骨干网络。UniK3D [181] 通过球面形式预测与相机模型无关的射线束(pencil-of-rays)以及逐射线径向距离,显式建模相机变化,从而支持大视场角相机的度量三维/深度估计。Depth Any Camera(DAC)[182] 严格使用透视 RGB-D 数据训练,但通过将输入映射到规范 ERP 空间、结合考虑俯仰角的转换、视场角对齐以及多分辨率增强,改善了模型的泛化能力。PanDA [183] 通过在大规模无标注全景图像上执行教师—学生自训练,将 Depth Anything 适配到全景图像,并利用基于 Möbius 变换的空间增强约束球面一致性。Depth Any Panoramas(DAP)[185] 则通过数据闭环引擎(整合公开数据、合成数据和网络全景图像)以及多阶段伪标签筛选,进一步推动面向全景图像的基础模型发展;同时结合全景图像专用的预测头和目标函数(例如距离范围掩码,以及面向几何和锐度的优化),实现不同距离范围内稳定的度量预测。最后,DA2 [184] 将可扩展的全景数据筛选引擎(透视图到全景图生成)与感知球面的 ViT 结合,通过编码球面坐标构建端到端全景估计器,获得较强的零样本泛化能力,且效率优于透视图分块处理流程。
总体而言,这些方法表明,“任意相机”深度估计依赖于显式几何对齐,以及能够扩展的监督/正则化机制,使现有基础模型先验能够从针孔相机设置扩展到更广泛的相机类型。
4.7 小结
总的来说,近期深度基础模型表明,将异构 LiDAR、RGB-D、合成数据和伪标签数据进行规模化扩展,并结合强大的预训练编码器,是实现零样本鲁棒性和细节保留能力的关键。基于 ViT 的判别式架构 [17–21, 28, 29, 186] 涵盖相对深度、度量深度以及基于点的表示;在仿射不变目标、相机感知设计和轻量级全局尺度预测头的配合下,这些架构能够实现高效而准确的深度估计。生成式扩散方法 [27, 30, 32, 34, 35, 169, 170] 则通过引入强大的图像先验与之互补,在细粒度几何方面表现突出,并逐渐被蒸馏为单步模型或混合细化器,以缩小效率差距。进一步将这些技术扩展到视频领域,结合视频扩散模型 [173, 174, 176] 和轻量级时间模块 [175, 178],可以在长序列和高分辨率视频上实现时间一致、可流式处理的深度估计。这些进展指向统一的深度基础模型,使其能够同时处理相对/度量深度,以及图像/视频输入。最后,任意相机扩展 [181–183, 185] 表明,稳健的非针孔相机泛化依赖于显式几何对齐(例如球面射线—径向距离表示或 ERP 规范化),再结合可扩展的全景监督/正则化,从而在鱼眼相机和 360° 相机上实现较强的零样本迁移能力。
5 深度估计的下游应用
从单目图像中获得高质量深度图,可以为计算机视觉和计算机图形学中的大量下游应用提供支持。图 9 展示了与深度估计密切相关的一些重要且常见的应用。本节介绍从单目深度估计进展中获益的若干应用类别,并重点说明前文讨论的新型模型如何为这些应用提供支持。 、

图9 深度估计是计算机视觉中的一个基本挑战,在赋能众多关键的下游任务中发挥着至关重要的作用,例如3D生成 [187]、图像编辑与生成 [188]、运动恢复结构(Structure from Motion)[42]、同步定位与建图(SLAM)[189]、3D重建 [190]、自动驾驶 [191] 以及机器人导航 [192]。
5.1 SLAM 与三维/四维场景重建
深度信息是从图像进行三维重建的基础。传统方法,例如运动恢复结构(Structure-from-Motion,SfM)[193]、多视图立体视觉(Multi-View Stereo,MVS)[194] 和同步定位与建图(SLAM)[195],通过对图像对应关系进行三角测量来重建场景,需要足够的相机运动和精确初始化,而这两点都能够从准确的深度线索中获益。
在深度学习兴起之前,深度传感器在基于融合的 SLAM 系统中发挥了核心作用。KinectFusion [196] 及其扩展工作 [197–199] 引入了用于稠密建图的体素融合方法。后续系统,例如 RGB-D SLAM [200]、ElasticFusion [201] 和 BundleFusion [202],则利用主动深度感知实现实时、高质量的三维重建。
SLAM。 由于深度传感器在分辨率和鲁棒性方面存在局限,深度学习逐渐被用于细化或替代传感器深度。早期工作通过与判别器联合训练 [203] 和多视图融合 [204] 改进深度图。其他方法 [205, 206] 则利用预测的相对深度恢复度量深度。CNN-SLAM [207, 208] 是最早将基于 CNN 的单目深度估计器集成到 SLAM 中的工作之一,以学习得到的深度预测取代深度传感器。近期,MegaSaM [189] 利用 Depth Anything V2 [29] 并通过 UniDepth [19] 进行标定,扩展了基于光流的 SLAM [209],提升了模型在大规模数据集上的 SLAM 精度。
度量单目深度估计还使基于 NeRF 和 3D Gaussian Splatting(3DGS)的系统能够实现统一 SLAM 与建图。IMAP [210] 首先展示了将 NeRF 用作 SLAM 地图表示的可行性,其中深度在初始化和优化中发挥重要作用。NICE-SLAM [211] 引入了由粗到细的渲染损失,以实现鲁棒的束调整;NICER-SLAM [212] 则完全摆脱了深度传感器,依赖单目线索完成重建。与此同时,基于 3DGS 的 SLAM 系统 [213–215] 也采用单目深度进行正则化,并施加各向同性高斯约束。
三维/四维场景重建与渲染(3D/4D Scene Reconstruction and Rendering)。 除 SLAM 之外,单目深度估计已成为几何重建 [216, 217] 和场景生成的重要工具。VGGT [42] 在 DUSt3R [218] 的基础上扩展出基于 Transformer 的前馈 SfM 模型,通过多任务训练和深度估计预测头,同时增强 SfM 与深度学习。DAv3 [43] 使用轻量级原生 DINO Transformer 骨干网络,并结合逐层特征传递和统一的深度—射线预测目标,无需复杂的多任务目标函数,就能够生成空间一致的几何表示。MapAnything [219] 进一步表明,通过将位姿和相机内参等辅助几何先验作为条件输入统一 Transformer,可以增强单目深度线索,直接回归具有全局一致性和度量尺度的三维场景。Prometheus [220] 和 SplatFlow [221] 等方法则将多视图输入和估计的单目深度编码到潜在空间,并在该空间中训练光流 [222] 或扩散模型 [223],用于三维场景生成 [224]。
神经渲染方法,特别是 NeRF [225],已经证明融合单目深度线索能够提高场景重建的准确性和鲁棒性。MonoSDF [190] 和 Neuralangelo [226] 等模型利用深度先验约束几何结构。为了有效利用深度顺序信息,并解决单目深度模型固有的度量歧义,SparseNeRF [227] 引入排序损失来正则化 NeRF 几何结构。在以速度和渲染质量著称、如今广受关注的 3D Gaussian Splatting(3DGS)[224] 中,深度监督变得更加关键,尤其是在稀疏视图条件下 [228–233],深度能够用于引导高斯基元的对齐和正则化。
总体而言,这些方法揭示了单目深度估计与 NeRF 类生成式表示之间日益增强的融合趋势:深度越来越多地被用作显式监督信号或几何先验,以正则化神经场景模型,特别是在观测稀疏或不受约束的情况下。这一趋势有助于连接传统的“估计”视角与现代三维生成建模。
单目深度估计已经发展为一种强大的、具备几何感知能力的信号,支撑传统和基于学习的 SLAM、SfM 以及神经重建流程,从而实现可扩展、准确且无需深度传感器的三维建图。此外,它也已成为从真实单目视频进行四维重建的重要线索,在传感需求最小化的情况下支持动态场景理解。
5.2 图像编辑与内容创作
深度估计已经成为图像编辑和创意应用中的基础工具,使人们能够仅从二维输入生成具有可信三维效果的内容,并进行具备空间感知能力的图像操作。
视图合成与视差效果(View Synthesis and Parallax Effects)。 对一张图像估计深度图之后,可以通过图像变形和对未观测区域(disoccluded regions)进行补全,从新的视点重新渲染图像,从而生成三维照片效果 [234, 235]。Facebook 等平台普及了此类效果,其实现通常依赖由 MiDaS 等单目深度网络生成的分层深度图(Layered Depth Images)或浅层网格。对于更大范围的视点变化,近期方法 [187, 236, 237] 使用渐进式深度引导变形和大规模图像补全,重建房间尺度的三维场景。立体图像合成 [238, 239] 则能够将单张单目输入提升为适用于 VR 的左右眼图像对;SVG [240] 和 StereoCrafter [241] 等视频扩展方法能够实现时间一致、具备深度感知能力的 3D 视频合成。这些应用高度依赖高质量深度图,特别是清晰的边界和准确的序数关系,以尽量减少畸变和遮挡显露伪影。
生成模型的控制(Control for Generative Models)。 深度图如今被广泛用于引导图像生成。ControlNet [188] 等模型能够构建深度到图像的生成流程,在保留场景几何结构的同时,通过提示词进行风格化或语义修改。例如,可以先对真实世界图像进行深度估计,再将其转换成风格化的冬季场景,同时保持结构保真度。深度也被用于引导具备三维感知能力的图像/视频合成 [242–244],而生成质量与深度精度密切相关。基础模型显著改善了这类应用的控制能力和真实感。
计算摄影(Computational Photography)。 深度能够支持先进的摄影任务,例如人像模式(散景效果,bokeh),系统利用深度对背景进行模糊处理,以模拟浅景深 [245, 246]。物体边缘附近的深度精度至关重要,否则容易出现视觉伪影。在重新照明(relighting)任务中,深度能够用于估计几何表面法线 [196, 247],并与材质和光照模型结合,以实现照片级真实感渲染 [248]。GeoWizard [30] 等模型联合预测深度和法线,能够支持神经重新照明框架 [249],用于生成阴影和镜面高光等效果。
5.3 机器人导航与操作
单目深度估计已经成为现代机器人系统的重要组成部分,为 LiDAR 和双目相机提供了一种轻量、低成本的替代方案,用于三维场景理解。深度基础模型能够将 RGB 输入转换为度量深度图或相对深度图,使机器人可以感知障碍物、分割可通行空间,并规划安全轨迹 [250–252]。
导航(Navigation)。 单目深度估计已成为一种轻量且经济的替代方案,可用于不依赖地图的导航,并替代 LiDAR 或双目相机组合 [253–255]。早期工作 ORB-SLAM [48] 利用单个运动相机重建稀疏三维地图;Mancini 等人 [256] 则展示了利用 RGB 图像实时预测深度,以实现障碍物规避。近期研究侧重于完全机载部署:MonoNav [257] 使微型无人机能够以 30 fps 估计深度;Dang 等人 [258] 提出基于全卷积网络(FCN)的障碍规避策略;Lee 等人 [259] 将目标检测与深度回归融合,用于种植园场景中的无人机导航。Machkour 等人 [260] 提出的集成流程则将 MonoDepth 与检测、分割相结合,实现面向目标、具备障碍物感知能力的导航。
操作与抓取(Manipulation and Grasping)。 单目深度估计也已应用于机器人操作和抓取规划。近期研究 [261–264] 表明,将单目深度集成到抓取流程中,可以在无需额外传感器的情况下提高实时抓取成功率,并提升准确的六自由度(6-DoF)位姿估计能力。工业系统通常为了可靠性而采用结构光传感器,但基于学习的深度模型可以利用形状先验 [265–267] 处理眩光或透明物体等具有挑战性的条件。
自动驾驶(Autonomous Driving)。 在自动驾驶中,单目深度估计是 LiDAR 的一种低成本替代方案,并正越来越多地集成到感知流程中。一种策略是将深度图转换为伪 LiDAR 点云,以便使用基于 LiDAR 的 3D 检测方法,从而显著提高车辆检测精度 [191, 268]。其他方法则将单目深度模块与目标检测器集成到多任务框架中,联合估计物体类别和距离 [269–273]。这些模型能够在多样化环境中提供稠密且准确的深度信息,为下一代自动驾驶系统提供支持。
医疗与手术机器人(Medical and Surgical Robotics)。 在医疗和手术机器人领域,当只能获取内窥镜或显微镜视图时,单目深度估计对于场景理解至关重要。早期方法通过合成数据训练 [274],或利用自监督视频学习,在没有显式标签的情况下联合估计深度和相机位姿 [275],以解决真实深度标签缺失的问题。近期基于 Depth Anything [17] 架构构建的医疗深度基础模型 [276–279],在机器人内窥镜场景的精度和鲁棒性方面建立了新的基准。
5.4 超越 RGB:多模态及其他应用
单目深度估计越来越多地被用于补充其他深度感知模态,并将深度感知扩展到专门领域。
与其他深度感知技术结合(Combine with Other Depth Sensing Techniques)。 单目深度估计能够提供稠密、具备语义信息且结构一致的先验,弥补传统传感器的局限,从而增强其他深度感知技术。在 FoundationStereo [280] 中,单目先验用于引导双目匹配,提高无纹理或存在歧义区域的鲁棒性。Prompt Depth Anything [281] 使用稀疏 LiDAR 作为提示,同时利用稠密单目特征传播和细化测量结果,生成高分辨率深度图。PriorDepth [282] 则利用单目预测补全并正则化来自 LiDAR 或 SfM 的噪声或稀疏先验。这些工作表明,单目估计提供的语义引导能够提高混合深度系统的精度、覆盖率和保真度。
专用领域(Specialized Domains)。 单目深度估计最初面向通用场景开发,如今正在逐渐应用于水下和医学成像等专用领域,在这些领域中稠密真实深度难以获取。Atlantis [163] 利用基于扩散模型的合成数据生成方法,在具有已知几何结构的照片级真实感水下图像上训练模型,使其无需真实标注也能够进行鲁棒的深度预测。在医学领域 [283],Depth Anything 展示了向内窥镜和腹腔镜场景进行强零样本泛化的能力;当标注数据稀缺时,它为专用任务模型提供了一种可行替代方案。这些进展凸显了单目深度模型通过合成数据、领域迁移和提示条件化适应复杂感知环境的能力。
6 未来研究方向
单目深度估计已经取得显著进展,但仍然存在一些挑战和开放的研究问题。结合当前文献中存在的不足以及实际应用中的新需求,本文讨论以下若干有前景的未来研究方向。
缩小相对深度与度量深度之间的差距
尽管基础模型缩小了相对深度与度量深度之间的差距,但实现通用的度量深度估计仍然是一项开放挑战。Metric3D [24]、UniDepth [19] 和 DepthPro [21] 等方法展示了良好的泛化能力,但仍需要进一步改进。
一个方向是增强相机适应能力:开发能够推断或适应焦距之外其他内参参数(例如畸变、传感器尺寸)的模型,将提高不同设备之间的可靠性。另一个有前景的思路是少样本度量标定:模型默认输出相对深度,但利用少量度量参考点对全局尺度进行调整。通过元网络学习快速尺度适配,可以在用户输入极少的情况下,实现针对不同设备的便捷标定。
高保真深度与不确定性
随着深度模型精度不断提高,量化不确定性以指导下游任务的需求也日益增加。在无纹理或远距离区域,深度预测本身就存在歧义;如果能够提供逐像素置信度或深度值分布,就有助于评估预测可靠性。扩散模型能够采样多个合理的深度图,但如何将这些结果转换成可用于实际任务的统计量(例如均值和方差)仍然是一个开放问题。现有方法,例如模型集成或蒙特卡洛 Dropout [284],可以估计不确定性,但对于大型基础模型而言,这些方法并不实用。另一种方案是训练模型为每个像素输出少量量化假设,或输出参数化分布(例如高斯分布)。
另一个研究前沿是实现超高分辨率和细节增强。PatchFusion [63] 和 DepthPro [21] 等模型已经开始处理高分辨率输入,但将分辨率扩展到 4K 或 8K 仍受到内存占用和边缘保留能力的限制。未来方向包括采用多尺度 Transformer,或使用隐式神经表示生成连续分辨率输出。细长结构恢复仍然是一项长期挑战:即使是当前最先进的模型,也难以处理电线或树枝等结构。这可能需要专门的合成数据(例如由 CAD 生成的细长结构),或者能够强制保持拓扑一致性的新型损失函数。
困难区域:天空、边界和非朗伯表面(Challenging Regions: Sky, Boundaries, and Non-Lambertian Surfaces)。 除整体精度之外,模型的持续失败案例往往集中在若干困难区域。无限距离区域(例如天空/地平线)缺乏有效的几何线索,因此模型可能会外推任意的度量深度;将这些像素视为开放集类别(例如“未知/无穷远”),并为预测结果提供经过校准的不确定性,是一个有前景的研究方向。物体边界处的深度不连续性往往被过度平滑,这表明需要更关注边界的训练策略,例如边缘/法线一致性、分割引导细化,以及保持细长结构拓扑的约束。最后,由于非朗伯效应,以及 RGB-D/LiDAR 监督经常缺失或遭到破坏,透明/反光表面仍然难以处理 [285]。未来工作可以结合不完整标签下的鲁棒学习、针对性的合成数据和额外线索(例如偏振信息),以更好地处理这类情况。
时间一致性与多视图一致性
大多数基础模型都在单张图像上训练,缺乏多视图或时间一致性的内置机制,因此在视频或多相机设置中容易出现闪烁和不一致。一个有前景的方向是开发能够强制时间或多视图一致性的深度模型。这可以通过在具有已知深度的视频上使用时间损失进行训练,或者引入递归模块或基于 Transformer 的模块,在不同帧之间传播深度来实现。另一种方式是结合光流或特征跟踪,在运动物体上保持深度稳定性。为了保留单图训练所带来的泛化能力,两阶段方案可能是有效的:首先使用基础模型获得初始深度,然后再使用以时间上下文为条件的轻量级细化模块。
领域适配与专用领域
尽管训练数据覆盖范围很广,医学成像、卫星视角或水下场景等专用领域仍然经常超出现有模型的适用范围。未来研究可以探索仅需少量监督的领域适配技术,例如利用光衰减等物理先验,通过无监督方法将 Depth Anything [17] 适配到水下图像。
另一个有前景的方向是多模态深度估计,将偏振或语言等输入纳入模型。例如,“地板距离我 3 米”这样的语言提示可以帮助消除深度歧义 [286],使模型能够利用物体先验推理尺度。融合这类高层次知识,例如利用汽车的典型高度校准预测结果,可以推动结合感知和语义信息的 LLM 辅助深度模型发展。
基准测试与评估指标
随着深度模型不断发展,RMSE 等传统指标可能不再能够反映感知质量或结构质量,因此需要新的评估协议来衡量跨数据集泛化能力和三维一致性。目前社区正在推动构建多样化基准,但进一步扩展为持续评估流(即让模型持续接受未见过的图像或视频测试)可能更有助于衡量鲁棒性。此外,还可以通过将预测深度重新投影到多个视图中并检查一致性,评估几何合理性,从而鼓励模型生成全局连贯的三维结构,而不只是优化逐点精度。
与三维理解集成
深度只是场景理解的一个组成部分,将其与物体识别、分割和三维检测集成仍然是一项开放挑战。联合预测深度和检测物体的端到端系统 [287] 能够相互受益:深度信息有助于确定物体尺度,而检测结果则提供语义依据。尽管早期已有多任务学习工作,但仍需要进一步研究如何有效融合深度和其他标签。未来的基础模型可能输出整体场景表示,例如带有分割物体的分层深度图,甚至粗略三维重建,从而迈向神经场景表示,使单目深度成为统一三维模型中的一个组成部分。
我们还预计深度估计与生成模型之间将形成日益紧密的协同关系。生成式 AI 能够合成罕见或具有挑战性的训练样本(例如极端天气场景),以填补数据缺口。反过来,深度预测可以指导 NeRF [225] 或 3D GAN [288] 等三维生成模型,例如通过深度初始化 NeRF 来加速收敛。随着这些领域相互融合,估计和生成之间的边界可能逐渐模糊,从而使系统能够感知并想象可见场景之外的深度。
总之,单目深度估计正朝着更加通用、准确和集成化的方向发展。研究社区正在积极解决当前局限,未来模型有望为任意图像或视频无缝提供稠密、度量化且可靠的深度,成为日常设备和复杂 AI 系统中三维视觉的重要基础。
7 结论
单目深度估计已经从早期的基于学习的方法迅速发展到当代基础模型,在精度、鲁棒性和泛化能力方面取得了显著进展。近期发展有效缩小了相对深度估计与度量深度估计之间的差距,并融合了强大的视觉 Transformer 架构、大规模合成数据和伪标签数据,以及 DINOv2 等预训练视觉基础模型和扩散模型。
这些进展解锁了大量实际应用,包括三维重建、视觉 SLAM、图像编辑、机器人和多媒体内容创作。然而,仍然存在一些挑战,包括增强时间和多视图一致性、解决专用领域适配问题、量化预测不确定性,以及融合全面的场景理解能力。未来围绕这些方向的研究,有望进一步巩固单目深度估计作为计算机视觉基础组成部分的地位,使其具备鲁棒、可扩展且普遍适用的深度感知能力。
数据和材料可用性
本文基准测试部分所使用的评估数据集均为公开发布的数据集。代码和脚本可在 CVMI-Lab/Depth-Survey 获取。
参考文献
[1] Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International journal of computer vision, 2002, 47: 7–42.
题目翻译: 稠密双帧立体对应算法的分类体系与评估。
[2] Saxena A, Sun M, Ng AY. Make3D: Depth Perception from a Single Still Image. In Aaai, volume 3, 2008, 1571–1576.
题目翻译: Make3D:从单张静态图像进行深度感知。
[3] Eigen D, Puhrsch C, Fergus R. Depth map prediction from a single image using a multi-scale deep network. Advances in neural information processing systems, 2014, 27: 2366–2374.
题目翻译: 使用多尺度深度网络从单张图像预测深度图。
[4] Kundu JN, Uppala PK, Pahuja A, Babu RV. Adadepth: Unsupervised content congruent adaptation for depth estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, 2656–2665.
题目翻译: AdaDepth:用于深度估计的无监督内容一致性自适应。
[5] Mayer N, Ilg E, Hausser P, Fischer P, Cremers D, Dosovitskiy A, Brox T. A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, 4040–4048.
题目翻译: 用于训练视差、光流和场景流估计卷积网络的大规模数据集。
[6] Laina I, Rupprecht C, Belagiannis V, Tombari F, Navab N. Deeper depth prediction with fully convolutional residual networks. In 2016 Fourth international conference on 3D vision (3DV), IEEE, 2016, 239–248.
题目翻译: 使用全卷积残差网络进行更深层次的深度预测。
[7] Qi X, Liao R, Liu Z, Urtasun R, Jia J. Geonet: Geometric neural network for joint depth and surface normal estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, 283–291.
题目翻译: GeoNet:用于联合深度和表面法线估计的几何神经网络。
[8] Qi X, Liu Z, Liao R, Torr PH, Urtasun R, Jia J. Geonet++: Iterative geometric neural network with edge-aware refinement for joint depth and surface normal estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(2): 969–984.
题目翻译: GeoNet++:通过边缘感知细化进行联合深度和表面法线估计的迭代几何神经网络。
[9] Yin Z, Shi J. Geonet: Unsupervised learning of dense depth, optical flow and camera pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, 1983–1992.
题目翻译: GeoNet:稠密深度、光流和相机位姿的无监督学习。
[10] Saxena S, Herrmann C, Hur J, Kar A, Norouzi M, Sun D, Fleet DJ. The surprising effectiveness of diffusion models for optical flow and monocular depth estimation. Advances in Neural Information Processing Systems, 2023, 36: 39443– 39469.
题目翻译: 扩散模型在光流和单目深度估计中的惊人效果。
[11] Eigen D, Fergus R. Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture. In Proceedings of the IEEE international conference on computer vision, 2015, 2650–2658.
题目翻译: 使用统一的多尺度卷积架构预测深度、表面法线和语义标签。
[12] Silberman N, Hoiem D, Kohli P, Fergus R. Indoor segmentation and support inference from rgbd images. In European conference on computer vision, Springer, 2012, 746–760.
题目翻译: 基于 RGB-D 图像的室内分割与支撑关系推断。
[13] Geiger A, Lenz P, Stiller C, Urtasun R. Vision meets robotics: The kitti dataset. The international journal of robotics research, 2013, 32(11): 1231–1237.
题目翻译: 视觉与机器人学的结合:KITTI 数据集。
[14] Xu Z, Zhou H, Peng S, Lin H, Guo H, Shao J, Yang P, Yang Q, Miao S, He X, et al… Towards depth foundation models: Recent trends in vision-based depth estimation. Computational Visual Media, 2026: 243–271.
题目翻译: 迈向深度基础模型:基于视觉的深度估计最新趋势。
[15] Ranftl R, Lasinger K, Hafner D, Schindler K, Koltun V. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer. IEEE transactions on pattern analysis and machine intelligence, 2020, 44(3): 1623– 1637.
题目翻译: 迈向鲁棒单目深度估计:通过混合数据集实现零样本跨数据集迁移。
[16] Ranftl R, Bochkovskiy A, Koltun V. Vision transformers for dense prediction. In Proceedings of the IEEE/CVF international conference on computer vision, 2021, 12179–12188.
题目翻译: 用于稠密预测的视觉 Transformer。
[17] Yang L, Kang B, Huang Z, Xu X, Feng J, Zhao H. Depth anything: Unleashing the power of large-scale unlabeled data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 10371–10381.
题目翻译: Depth Anything:释放大规模无标签数据的力量。
[18] Wang R, Xu S, Dong Y, Deng Y, Xiang J, Lv Z, Sun G, Tong X, Yang J. Moge-2: Accurate monocular geometry with metric scale and sharp details. Advances in Neural Information Processing Systems, 2026, 38: 35928–35959.
题目翻译: MoGe-2:具有度量尺度和锐利细节的精确单目几何估计。
[19] Piccinelli L, Yang YH, Sakaridis C, Segu M, Li S, Van Gool L, Yu F. UniDepth: Universal monocular metric depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 10106– 10116.
题目翻译: UniDepth:通用单目度量深度估计。
[20] Piccinelli L, Sakaridis C, Yang YH, Segu M, Li S, Abbeloos W, Van Gool L. Unidepthv2: Universal monocular metric depth estimation made simpler. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025: 2354–2367.
题目翻译: UniDepthV2:让通用单目度量深度估计更加简洁。
[21] Bochkovskiy A, Delaunoy A, Germain H, Santos M, Zhou Y, Richter S, Koltun V. Depth pro: Sharp monocular metric depth in less than a second. In International Conference on Learning Representations, volume 2025, 2025, 75602–75637.
题目翻译: Depth Pro:在不到一秒内实现清晰的单目度量深度估计。
[22] Bhat SF, Birkl R, Wofk D, Wonka P, Müller M. Zoedepth: Zero-shot transfer by combining relative and metric depth. arXiv preprint arXiv:2302.12288, 2023.
题目翻译: ZoeDepth:通过结合相对深度与度量深度实现零样本迁移。
[23] Guizilini V, Vasiljevic I, Chen D, Ambrus , R, Gaidon A. Towards zero-shot scale-aware monocular depth estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 9233–9243.
题目翻译: 迈向零样本尺度感知单目深度估计。
[24] Yin W, Zhang C, Chen H, Cai Z, Yu G, Wang K, Chen X, Shen C. Metric3d: Towards zero-shot metric 3d prediction from a single image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 9043–9053.
题目翻译: Metric3D:迈向从单张图像进行零样本度量三维预测。
[25] Hu M, Yin W, Zhang C, Cai Z, Long X, Chen H, Wang K, Yu G, Shen C, Shen S. Metric3D v2: A Versatile Monocular Geometric Foundation Model for Zero-Shot Metric Depth and Surface Normal Estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024, 46(12): 10579–10596, doi:10.1109/tpami.2024.3444912.
题目翻译: Metric3D v2:用于零样本度量深度和表面法线估计的通用单目几何基础模型。
[26] Liu M, Lyu X, Ren T, Dai P, Wu X, Zhang Z, Zhang J, Lin J, Shi S, Qi X. FoundationGeo: Learning Spatial Pixel- Wise Fields for Monocular Metric Geometry. arXiv preprint arXiv:2607.11588, 2026.
题目翻译: FoundationGeo:学习用于单目度量几何的空间逐像素场。
[27] Ke B, Obukhov A, Huang S, Metzger N, Daudt RC, Schindler K. Repurposing diffusion-based image generators for monocular depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 9492–9502.
题目翻译: 将基于扩散的图像生成器重新用于单目深度估计。
[28] Wang R, Xu S, Dai C, Xiang J, Deng Y, Tong X, Yang J. Moge: Unlocking accurate monocular geometry estimation for open-domain images with optimal training supervision. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 5261–5271.
题目翻译: MoGe:通过最优训练监督释放开放域图像的准确单目几何估计。
[29] Yang L, Kang B, Huang Z, Zhao Z, Xu X, Feng J, Zhao H. Depth anything v2. Advances in Neural Information Processing Systems, 2024, 37: 21875–21911.
题目翻译: Depth Anything V2。
[30] Fu X, Yin W, Hu M, Wang K, Ma Y, Tan P, Shen S, Lin D, Long X. Geowizard: Unleashing the diffusion priors for 3d geometry estimation from a single image. In European Conference on Computer Vision, 2024, 241–258.
题目翻译: GeoWizard:释放扩散先验,实现从单张图像进行三维几何估计。
[31] Yin W, Zhang J, Wang O, Niklaus S, Mai L, Chen S, Shen C. Learning to recover 3d scene shape from a single image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, 204–213.
题目翻译: 学习从单张图像恢复三维场景形状。
[32] He J, Li H, Yin W, Liang Y, Li L, Zhou K, Zhang H, Liu B, Chen Y. Lotus: Diffusion-based visual foundation model for high-quality dense prediction. In International Conference on Learning Representations, volume 2025, 2025, 89454– 89467.
题目翻译: Lotus:用于高质量稠密预测的基于扩散的视觉基础模型。
[33] Birkl R, Wofk D, Müller M. MiDaS v3.1 – A Model Zoo for Robust Monocular Relative Depth Estimation. arXiv preprint arXiv:2307.14460, 2023.
题目翻译: MiDaS v3.1——鲁棒单目相对深度估计模型库。
[34] Garcia GM, Abou Zeid K, Schmidt C, De Geus D, Hermans A, Leibe B. Fine-tuning image-conditional diffusion models is easier than you think. In 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2025, 753–762.
题目翻译: 图像条件扩散模型的微调比你想象的更容易。
[35] Xu G, Liu M, Fan C, Xie K, Zhao Z, Chen H, Shen C, et al… What matters when repurposing diffusion models for general dense perception tasks? In International Conference on Learning Representations, volume 2025, 2025, 6786–6799.
题目翻译: 将扩散模型重新用于通用稠密感知任务时,哪些因素最重要?。
[36] Godard C, Mac Aodha O, Brostow GJ. Unsupervised monocular depth estimation with left-right consistency. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, 270–279.
题目翻译: 具有左右一致性的无监督单目深度估计。
[37] Garg R, Bg VK, Carneiro G, Reid I. Unsupervised cnn for single view depth estimation: Geometry to the rescue. In European conference on computer vision, Springer, 2016, 740–756.
题目翻译: 无监督单视图深度估计 CNN:几何来解决问题。
[38] Zhou T, Brown M, Snavely N, Lowe DG. Unsupervised learning of depth and ego-motion from video. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, 1851–1858.
题目翻译: 从视频中无监督学习深度和自运动。
[39] Fu H, Gong M, Wang C, Batmanghelich K, Tao D. Deep ordinal regression network for monocular depth estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, 2002–2011.
题目翻译: 用于单目深度估计的深度序数回归网络。
[40] Godard C, Mac Aodha O, Firman M, Brostow GJ. Digging into self-supervised monocular depth estimation. In Proceedings of the IEEE/CVF international conference on computer vision, 2019, 3828–3838.
题目翻译: 深入研究自监督单目深度估计。
[41] Eftekhar A, Sax A, Malik J, Zamir A. Omnidata: A Scalable Pipeline for Making Multi-Task Mid-Level Vision Datasets From 3D Scans. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, 10786–10796.
题目翻译: Omnidata:从三维扫描构建多任务中层视觉数据集的可扩展流程。
[42] Wang J, Chen M, Karaev N, Vedaldi A, Rupprecht C, Novotny D. Vggt: Visual geometry grounded transformer. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 5294–5306.
题目翻译: VGGT:视觉几何驱动的 Transformer。
[43] Lin H, Chen S, Liew JH, Chen DY, Li Z, Zhao Y, Peng S, Guo H, Zhou X, Shi G, Feng J, Kang B. Depth Anything 3: Recovering the Visual Space from Any Views. In The Fourteenth International Conference on Learning Representations, 2026, 1–19.
题目翻译: Depth Anything 3:从任意视图恢复视觉空间。
[44] Pentland AP. A new sense for depth of field. IEEE transactions on pattern analysis and machine intelligence, 1987, (4): 523– 531.
题目翻译: 一种新的景深感知方法。
[45] Nayar SK, Nakagawa Y. Shape from focus. IEEE Transactions on Pattern analysis and machine intelligence, 2002, 16(8): 824–831.
题目翻译: 基于焦点的形状恢复。
[46] Hoiem D, Efros AA, Hebert M. Automatic photo pop-up. In ACM SIGGRAPH 2005 Papers, 2005, 577–584.
题目翻译: 自动照片弹出效果。
[47] Danier D, Aygün M, Li C, Bilen H, Mac Aodha O. DepthCues: Evaluating Monocular Depth Perception in Large Vision Models. In Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR), 2025, 20049–20059.
题目翻译: DepthCues:评估大型视觉模型中的单目深度感知能力。
[48] Mur-Artal R, Montiel JMM, Tardos JD. ORB-SLAM: A versatile and accurate monocular SLAM system. IEEE transactions on robotics, 2015, 31(5): 1147–1163.
题目翻译: ORB-SLAM:一种通用且准确的单目 SLAM 系统。
[49] He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, 770–778.
题目翻译: 用于图像识别的深度残差学习。
[50] He L, Wang G, Hu Z. Learning Depth From Single Images With Deep Neural Network Embedding Focal Length. IEEE Transactions on Image Processing, 2018, 27(9): 4676–4689, doi:10.1109/tip.2018.2832296.
题目翻译: 使用嵌入焦距的深度神经网络从单张图像学习深度。
[51] Wang X, Yin W, Kong T, Jiang Y, Li L, Shen C. Taskaware monocular depth estimation for 3d object detection. In Proceedings of the AAAI conference on artificial intelligence, volume 34, 2020, 12257–12264.
题目翻译: 面向三维目标检测的任务感知单目深度估计。
[52] Wang W, Zhu D, Wang X, Hu Y, Qiu Y, Wang C, Hu Y, Kapoor A, Scherer S. Tartanair: A dataset to push the limits of visual slam. In 2020 IEEE. In RSJ International Conference on Intelligent Robots and Systems (IROS), 2020, 4909–4916.
题目翻译: TartanAir:推动视觉 SLAM 极限的数据集。
[53] Wen B, Trepte M, Aribido J, Kautz J, Gallo O, Birchfield S. Foundationstereo: Zero-shot stereo matching. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 5249–5260.
题目翻译: FoundationStereo:零样本双目匹配。
[54] Yao Y, Luo Z, Li S, Zhang J, Ren Y, Zhou L, Fang T, Quan L. Blendedmvs: A large-scale dataset for generalized multi-view stereo networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, 1790–1799.
题目翻译: BlendedMVS:用于通用多视图立体网络的大规模数据集。
[55] Roberts M, Ramapuram J, Ranjan A, Kumar A, Bautista MA, Paczan N, Webb R, Susskind JM. Hypersim: A photorealistic synthetic dataset for holistic indoor scene understanding. In Proceedings of the IEEE/CVF international conference on computer vision, 2021, 10912–10922.
题目翻译: HyperSim:用于整体室内场景理解的照片级真实感合成数据集。
[56] Straub J, Whelan T, Ma L, Chen Y, Wijmans E, Green S, Engel JJ, Mur-Artal R, Ren C, Verma S, Clarkson A, Yan M, Budge B, Yan Y, Pan X, Yon J, Zou Y, Leon K, Carter N, Briales J, Gillingham T, Mueggler E, Pesqueira L, Savva M, Batra D, Strasdat HM, Nardi RD, Goesele M, Lovegrove S, Newcombe R. The Replica Dataset: A Digital Replica of Indoor Spaces. arXiv preprint arXiv:1906.05797, 2019.
题目翻译: Replica 数据集:室内空间的数字复刻。
[57] Cabon Y, Murray N, Humenberger M. Virtual kitti 2. arXiv preprint arXiv:2001.10773, 2020.
题目翻译: Virtual KITTI 2。
[58] Li Y, Jiang L, Xu L, Xiangli Y, Wang Z, Lin D, Dai B. Matrixcity: A large-scale city dataset for city-scale neural rendering and beyond. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 3205– 3215.
题目翻译: MatrixCity:面向城市尺度神经渲染及更广泛任务的大规模城市数据集。
[59] Song S, Lichtenberg SP, Xiao J. Sun rgb-d: A rgb-d scene understanding benchmark suite. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, 567–576.
题目翻译: SUN RGB-D:RGB-D 场景理解基准套件。
[60] Yeshwanth C, Liu YC, Nießner M, Dai A. Scannet++: A high-fidelity dataset of 3d indoor scenes. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 12–22.
题目翻译: ScanNet++:高保真三维室内场景数据集。
[61] Caesar H, Bankiti V, Lang AH, Vora S, Liong VE, Xu Q, Krishnan A, Pan Y, Baldan G, Beijbom O. nuscenes: A multimodal dataset for autonomous driving. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, 11621–11631.
题目翻译: nuScenes:用于自动驾驶的多模态数据集。
[62] Sun P, Kretzschmar H, Dotiwalla X, Chouard A, Patnaik V, Tsui P, Guo J, Zhou Y, Chai Y, Caine B, et al… Scalability in perception for autonomous driving: Waymo open dataset. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, 2446–2454.
题目翻译: 自动驾驶感知的可扩展性:Waymo Open Dataset。
[63] Li Z, Bhat SF, Wonka P. Patchfusion: An end-to-end tilebased framework for high-resolution monocular metric depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 10016– 10025.
题目翻译: PatchFusion:用于高分辨率单目度量深度估计的端到端分块框架。
[64] Saxena S, Hur J, Herrmann C, Sun D, Fleet DJ. Zero-Shot Metric Depth with a Field-of-View Conditioned Diffusion Model. In ECCV 2024 Workshop on Wild 3D: 3D Modeling, Reconstruction, and Generation in the Wild.
题目翻译: 基于视场角条件扩散模型的零样本度量深度估计。
[65] Chen W, Fu Z, Yang D, Deng J. Single-image depth perception in the wild. Advances in Neural Information Processing Systems, 2016: 730–738.
题目翻译: 真实场景中的单图像深度感知。
[66] Li Z, Snavely N. Megadepth: Learning single-view depth prediction from internet photos. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, 2041–2050.
题目翻译: MegaDepth:从互联网照片学习单视图深度预测。
[67] Xian K, Shen C, Cao Z, Lu H, Xiao Y, Li R, Luo Z. Monocular relative depth perception with web stereo data supervision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, 311–320.
题目翻译: 使用网络双目数据监督的单目相对深度感知。
[68] Niklaus S, Mai L, Yang J, Liu F. 3D Ken Burns Effect from a Single Image. ACM Transactions on Graphics, 2019, 38(6): 184:1–184:15.
题目翻译: 从单张图像生成 3D Ken Burns 效果。
[69] Mehl L, Schmalfuss J, Jahedi A, Nalivayko Y, Bruhn A. Spring: A high-resolution high-detail dataset and benchmark for scene flow, optical flow and stereo. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, 4981–4991.
题目翻译: Spring:用于场景流、光流和双目匹配的高分辨率、高细节数据集与基准。
[70] Wang Q, Zheng S, Yan Q, Deng F, Zhao K, Chu X. IRS: A Large Naturalistic Indoor Robotics Stereo Dataset to Train Deep Models for Disparity and Surface Normal Estimation. In 2021 IEEE International Conference on Multimedia and Expo (ICME), IEEE Computer Society, 2021, 1–6.
题目翻译: IRS:用于训练视差和表面法线深度模型的大规模自然室内机器人双目数据集。
[71] Huang PH, Matzen K, Kopf J, Ahuja N, Huang JB. Deepmvs: Learning multi-view stereopsis. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, 2821–2830.
题目翻译: DeepMVS:学习多视图立体。
[72] Fonder M, Droogenbroeck MV. Mid-Air: A multi-modal dataset for extremely low altitude drone flights. In Conference on Computer Vision and Pattern Recognition Workshop (CVPRW), 2019, 0–0.
题目翻译: Mid-Air:用于超低空无人机飞行的多模态数据集。
[73] Wang K, Shen S. Flow-motion and depth network for monocular stereo and beyond. IEEE Robotics and Automation Letters, 2020, 5(2): 3307–3314.
题目翻译: 用于单目双目及更多场景的流—运动与深度网络。
[74] Butler DJ, Wulff J, Stanley GB, Black MJ. A naturalistic open source movie for optical flow evaluation. In A Fitzgibbon et al (Eds), editor, European Conf. on Computer Vision (ECCV), Part IV, LNCS 7577, 2012, 611–625.
题目翻译: 用于光流评估的自然真实感开源电影。
[75] Dai A, Chang AX, Savva M, Halber M, Funkhouser T, Nießner M. Scannet: Richly-annotated 3d reconstructions of indoor scenes. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, 5828–5839.
题目翻译: ScanNet:具有丰富标注的三维室内场景重建。
[76] Jung H, Ruhkamp P, Zhai G, Brasch N, Li Y, Verdie Y, Song J, Zhou Y, Armagan A, Ilic S, et al… On the importance of accurate geometry data for dense 3d vision tasks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, 780–791.
题目翻译: 准确几何数据对于稠密三维视觉任务的重要性。
[77] Koch T, Liebel L, Fraundorfer F, Korner M. Evaluation of cnnbased single-image depth estimation methods. In Proceedings of the European Conference on Computer Vision (ECCV) Workshops, 2018, 0–0.
题目翻译: 基于 CNN 的单图像深度估计方法评估。
[78] Vasiljevic I, Kolkin N, Zhang S, Luo R, Wang H, Dai FZ, Daniele AF, Mostajabi M, Basart S, Walter MR, et al… Diode: A dense indoor and outdoor depth dataset. arXiv preprint arXiv:1908.00463, 2019.
题目翻译: DIODE:稠密室内与室外深度数据集。
[79] Schöps T, Sattler T, Pollefeys M. BAD SLAM: Bundle Adjusted Direct RGB-D SLAM. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, 134–144, doi:10.1109/CVPR.2019.00022.
题目翻译: BAD SLAM:束调整直接 RGB-D SLAM。
[80] Geyer J, Kassahun Y, Mahmudi M, Ricou X, Durgesh R, Chung AS, Hauswald L, Pham VH, Mühlegg M, Dorn S, et al… A2d2: Audi autonomous driving dataset. arXiv preprint arXiv:2004.06320, 2020.
题目翻译: A2D2:奥迪自动驾驶数据集。
[81] Guizilini V, Ambrus R, Pillai S, Raventos A, Gaidon A. 3d packing for self-supervised monocular depth estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, 2485–2494.
题目翻译: 用于自监督单目深度估计的三维打包。
[82] Chen W, Qian S, Fan D, Kojima N, Hamilton M, Deng J. Oasis: A large-scale dataset for single image 3d in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, 679–688.
题目翻译: OASIS:用于真实场景单图像三维理解的大规模数据集。
[83] Xian K, Shen C, Cao Z, Lu H, Xiao Y, Li R, Luo Z. Monocular relative depth perception with web stereo data supervision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, 311–320.
题目翻译: 使用网络双目数据监督的单目相对深度感知。
[84] Lee JH, Kim CS. Monocular depth estimation using relative depth maps. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, 9729–9738.
题目翻译: 使用相对深度图进行单目深度估计。
[85] Lienen J, Hullermeier E, Ewerth R, Nommensen N. Monocular depth estimation via listwise ranking using the Plackett- Luce model. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, 14595– 14604.
题目翻译: 基于 Plackett-Luce 模型、通过列表排序进行单目深度估计。
[86] Lee JH, Heo M, Kim KR, Kim CS. Single-image depth estimation based on fourier domain analysis. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, 330–339.
题目翻译: 基于傅里叶域分析的单图像深度估计。
[87] Atapour-Abarghouei A, Breckon T. Real-Time Monocular Depth Estimation using Synthetic Data with Domain Adaptation. In Proc. Computer Vision and Pattern Recognition, 2018, 1–8.
题目翻译: 利用领域适配和合成数据进行实时单目深度估计。
[88] Xu D, Wang W, Tang H, Liu H, Sebe N, Ricci E. Structured attention guided convolutional neural fields for monocular depth estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, 3917–3925.
题目翻译: 用于单目深度估计的结构化注意力引导卷积神经场。
[89] Patil V, Sakaridis C, Liniger A, Van Gool L. P3depth: Monocular depth estimation with a piecewise planarity prior. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, 1610–1621.
题目翻译: P3Depth:具有分片平面先验的单目深度估计。
[90] You Z, Tsai YH, Chiu WC, Li G. Towards interpretable deep networks for monocular depth estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, 12879–12888.
题目翻译: 面向可解释单目深度估计的深度网络。
[91] Srinivasan PP, Garg R, Wadhwa N, Ng R, Barron JT. Aperture supervision for monocular depth estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, 6393–6401.
题目翻译: 用于单目深度估计的光圈监督。
[92] Gur S, Wolf L. Single image depth estimation trained via depth from defocus cues. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, 7683–7692.
题目翻译: 利用散焦线索训练的单图像深度估计。
[93] Chen Y, Zhao H, Hu Z, Peng J. Attention-based context aggregation network for monocular depth estimation. International Journal of Machine Learning and Cybernetics, 2021, 12(6): 1583–1596.
题目翻译: 用于单目深度估计的基于注意力的上下文聚合网络。
[94] Miangoleh SMH, Dille S, Mai L, Paris S, Aksoy Y. Boosting monocular depth estimation models to high-resolution via content-adaptive multi-resolution merging. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, 9685–9694.
题目翻译: 通过内容自适应多分辨率融合提升单目深度估计模型的分辨率。
[95] Ning C, Gan H. Trap attention: Monocular depth estimation with manual traps. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, 5033–5043.
题目翻译: Trap Attention:采用人工陷阱约束的单目深度估计。
[96] Li Z, Bhat SF, Wonka P. Patchfusion: An end-to-end tilebased framework for high-resolution monocular metric depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 10016– 10025.
题目翻译: PatchFusion:用于高分辨率单目度量深度估计的端到端分块框架。
[97] Guo Y, Garg S, Miangoleh SMH, Huang X, Ren L. Depth any camera: Zero-shot metric depth estimation from any camera. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 26996–27006.
题目翻译: Depth Any Camera:来自任意相机的零样本度量深度估计。
[98] Kong L, Xie S, Hu H, Ng LX, Cottereau B, Ooi WT. Robodepth: Robust out-of-distribution depth estimation under corruptions. Advances in Neural Information Processing Systems, 2023, 36: 21298–21342.
题目翻译: RoboDepth:在图像损坏条件下实现分布外鲁棒深度估计。
[99] Papa L, Russo P, Amerini I. METER: A Mobile Vision Transformer Architecture for Monocular Depth Estimation. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 33(10): 5882–5893, doi:10.1109/tcsvt.2023.3260310.
题目翻译: METER:用于单目深度估计的移动端视觉 Transformer 架构。
[100] Ibrahem H, Salem A, Kang HS. RT-ViT: Real-Time Monocular Depth Estimation Using Lightweight Vision Transformers. Sensors, 2022, 22(10): 3849.
题目翻译: RT-ViT:使用轻量级视觉 Transformer 实现实时单目深度估计。
[101] Yang L, Kang B, Huang Z, Zhao Z, Xu X, Feng J, Zhao H. Depth anything v2. Advances in Neural Information Processing Systems, 2024, 37: 21875–21911.
题目翻译: Depth Anything V2。
[102] Wang L, Zhang J, Wang Y, Lu H, Ruan X. Cliffnet for monocular depth estimation with hierarchical embedding loss. In European Conference on Computer Vision, 2020, 316–331.
题目翻译: 用于具有层次化嵌入损失的单目深度估计的 CliffNet。
[103] Yin W, Liu Y, Shen C. Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2021.
题目翻译: Virtual Normal:通过施加几何约束实现准确且鲁棒的深度预测。
[104] Garg R, Wadhwa N, Ansari S, Barron JT. Learning single camera depth estimation using dual-pixels. In Proceedings of the IEEE/CVF international conference on computer vision, 2019, 7628–7637.
题目翻译: 利用双像素进行单相机深度估计学习。
[105] Cao Y, Wu Z, Shen C. Estimating depth from monocular images as classification using deep fully convolutional residual networks. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 28(11): 3174–3182.
题目翻译: 将单目图像深度估计表述为分类:基于深度全卷积残差网络的方法。
[106] Bhat SF, Alhashim I, Wonka P. Localbins: Improving depth estimation by learning local distributions. In European Conference on Computer Vision, 2022, 480–496.
题目翻译: LocalBins:通过学习局部分布改进深度估计。
[107] Wang J, Liu J, Tang D, Wang W, Li W, Chen D, Chen J, Wu J. Scalable autoregressive monocular depth estimation. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 6262–6272.
题目翻译: 可扩展的自回归单目深度估计。
[108] Shao S, Pei Z, Wu X, Liu Z, Chen W, Li Z. Iebins: Iterative elastic bins for monocular depth estimation. Advances in Neural Information Processing Systems, 2023, 36: 53025– 53037.
题目翻译: IEBins:用于单目深度估计的迭代弹性深度区间。
[109] Lee J, Cho G, Park J, Kim K, Lee S, Kim JH, Jeong SG, Joo K. SlaBins: Fisheye depth estimation using slanted bins on road environments. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 8765–8774.
题目翻译: SlaBins:基于倾斜深度区间的鱼眼道路场景深度估计。
[110] Li Z, Wang X, Liu X, Jiang J. Binsformer: Revisiting adaptive bins for monocular depth estimation. IEEE Transactions on Image Processing, 2024, 33: 3964–3976.
题目翻译: BinsFormer:重新审视用于单目深度估计的自适应深度区间。
[111] Zhu R, Song Z, Liu L, He J, Zhang T, Zhang Y. Ha-bins: Hierarchical adaptive bins for robust monocular depth estimation across multiple datasets. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 34(6): 4354–4366.
题目翻译: HA-Bins:用于跨数据集鲁棒单目深度估计的层次自适应深度区间。
[112] She Y, Li P, Wei M, Liang D, Chen Y, Xie H, Wang FL. evitbins: Edge-enhanced vision-transformer bins for monocular depth estimation on edge devices. IEEE Transactions on Intelligent Transportation Systems, 2024, 25(12): 20320– 20334.
题目翻译: EViTBins:面向边缘设备单目深度估计的边缘增强视觉 Transformer 区间方法。
[113] Shao S, Pei Z, Chen W, Wu X, Li Z. Nddepth: Normaldistance assisted monocular depth estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 7931–7940.
题目翻译: NDDepth:法线—距离辅助的单目深度估计。
[114] Piccinelli L, Sakaridis C, Yu F. idisc: Internal discretization for monocular depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, 21477–21487.
题目翻译: iDisc:用于单目深度估计的内部离散化。
[115] Wofk D, Ma F, Yang TJ, Karaman S, Sze V. Fastdepth: Fast monocular depth estimation on embedded systems. In 2019 International Conference on Robotics and Automation (ICRA), IEEE, 2019, 6101–6108.
题目翻译: FastDepth:面向嵌入式系统的快速单目深度估计。
[116] Yang X, Ma Z, Ji Z, Ren Z. Gedepth: Ground embedding for monocular depth estimation. In Proceedings of the IEEE/CVF international conference on computer vision, 2023, 12719– 12727.
题目翻译: GEDepth:用于单目深度估计的地面嵌入。
[117] Yuan W, Gu X, Dai Z, Zhu S, Tan P. Neural window fullyconnected crfs for monocular depth estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, 3916–3925.
题目翻译: 用于单目深度估计的神经窗口全连接条件随机场。
[118] Huynh L, Nguyen-Ha P, Matas J, Rahtu E, Heikkilä J. Guiding monocular depth estimation using depth-attention volume. In European Conference on Computer Vision, Springer, 2020, 581–597.
题目翻译: 利用深度注意力体引导单目深度估计。
[119] Ramamonjisoa M, Lepetit V. Sharpnet: Fast and accurate recovery of occluding contours in monocular depth estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, 2019, 0–0.
题目翻译: SharpNet:快速且准确地恢复单目深度估计中的遮挡轮廓。
[120] Yan W, Li M, Li H, Shao S, Tan RT. Synthetic-to-Real Self-supervised Robust Depth Estimation via Learning with Motion and Structure Priors. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 21880– 21890.
题目翻译: 通过运动与结构先验学习,实现从合成到真实的自监督鲁棒深度估计。
[121] Wu H, Gu S, Duan L, Li W. GeoDepth: From Point-to-Depth to Plane-to-Depth Modeling for Self-Supervised Monocular Depth Estimation. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 11525–11535.
题目翻译: GeoDepth:从点到深度到从平面到深度的自监督单目深度估计建模。
[122] Moon J, Bello JLG, Kwon B, Kim M. From-Ground-To- Objects: Coarse-to-fine self-supervised monocular depth estimation of dynamic objects with ground contact prior. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 10519–10529.
题目翻译: 从地面到物体:利用地面接触先验对动态物体进行由粗到细的自监督单目深度估计。
[123] Nguyen HC, Wang T, Alvarez JM, Liu M. Mining supervision for dynamic regions in self-supervised monocular depth estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2024, 10446–10455.
题目翻译: 在自监督单目深度估计中挖掘动态区域的监督信号。
[124] Wang R, Yu Z, Gao S. Planedepth: Self-supervised depth estimation via orthogonal planes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, 21425–21434.
题目翻译: PlaneDepth:通过正交平面进行自监督深度估计。
[125] Zhang N, Nex F, Vosselman G, Kerle N. Lite-mono: A lightweight cnn and transformer architecture for selfsupervised monocular depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, 18537–18546.
题目翻译: Lite-Mono:用于自监督单目深度估计的轻量级 CNN 与 Transformer 架构。
[126] Si H, Zhao B, Wang D, Gao Y, Chen M, Wang Z, Li X. Fully self-supervised depth estimation from defocus clue. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, 9140–9149.
题目翻译: 基于散焦线索的完全自监督深度估计。
[127] Petrovai A, Nedevschi S. Exploiting pseudo labels in a selfsupervised learning framework for improved monocular depth estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, 1578–1588.
题目翻译: 在自监督学习框架中利用伪标签改进单目深度估计。
[128] Gonzalez JL, Kim M. Plade-net: Towards pixel-level accuracy for self-supervised single-view depth estimation with neural positional encoding and distilled matting loss. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, 6851–6860.
题目翻译: PLade-Net:结合神经位置编码和蒸馏抠图损失,实现像素级精度的自监督单视图深度估计。
[129] Guizilini V, Ambrus R, Pillai S, Raventos A, Gaidon A. 3d packing for self-supervised monocular depth estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, 2485–2494.
题目翻译: 用于自监督单目深度估计的三维打包。
[130] Poggi M, Aleotti F, Tosi F, Mattoccia S. On the uncertainty of self-supervised monocular depth estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, 3227–3237.
题目翻译: 自监督单目深度估计的不确定性研究。
[131] Zhao C, Poggi M, Tosi F, Zhou L, Sun Q, Tang Y, Mattoccia S. Gasmono: Geometry-aided self-supervised monocular depth estimation for indoor scenes. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 16209–16220.
题目翻译: GASMono:面向室内场景的几何辅助自监督单目深度估计。
[132] Rodrı́guez-Puigvert J, Batlle VM, Montiel J, Martinez-Cantin R, Fua P, Tardós JD, Civera J. LightDepth: Single-View Depth Self-Supervision from Illumination Decline. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 21273–21283.
题目翻译: LightDepth:利用光照衰减进行单视图深度自监督。
[133] Zhang C, Yin W, Yu G, Wang Z, Chen T, Fu B, Zhou JT, Shen C. Robust geometry-preserving depth estimation using differentiable rendering. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 8951– 8961.
题目翻译: 利用可微渲染实现鲁棒且保持几何结构的深度估计。
[134] Han W, Yin J, Shen J. Self-supervised monocular depth estimation by direction-aware cumulative convolution network. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 8613–8623.
题目翻译: 基于方向感知累积卷积网络的自监督单目深度估计。
[135] Saunders K, Vogiatzis G, Manso LJ. Self-supervised monocular depth estimation: Let’s talk about the weather. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 8907–8917.
题目翻译: 自监督单目深度估计:谈谈天气的影响。
[136] Varghese N, Kumar A, Rajagopalan A. Self-supervised monocular underwater depth recovery, image restoration, and a real-sea video dataset. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 12248– 12258.
题目翻译: 自监督单目水下深度恢复、图像复原及真实海洋视频数据集。
[137] Ji P, Li R, Bhanu B, Xu Y. Monoindoor: Towards good practice of self-supervised monocular depth estimation for indoor environments. In Proceedings of the IEEE/CVF international conference on computer vision, 2021, 12787–12796.
题目翻译: MonoIndoor:面向室内环境自监督单目深度估计的良好实践。
[138] Wang K, Zhang Z, Yan Z, Li X, Xu B, Li J, Yang J. Regularizing nighttime weirdness: Efficient self-supervised monocular depth estimation in the dark. In Proceedings of the IEEE/CVF international conference on computer vision, 2021, 16055– 16064.
题目翻译: 正则化夜间异常:暗光环境下高效的自监督单目深度估计。
[139] Liu L, Song X, Wang M, Liu Y, Zhang L. Self-supervised monocular depth estimation for all day images using domain separation. In Proceedings of the IEEE/CVF international conference on computer vision, 2021, 12737–12746.
题目翻译: 通过领域分离实现全天图像的自监督单目深度估计。
[140] Li B, Huang Y, Liu Z, Zou D, Yu W. StructDepth: Leveraging the structural regularities for self-supervised indoor depth estimation. In Proceedings of the IEEE/CVF international conference on computer vision, 2021, 12663–12673.
题目翻译: StructDepth:利用结构规律进行自监督室内深度估计。
[141] Chen Y, Schmid C, Sminchisescu C. Self-supervised learning with geometric constraints in monocular video: Connecting flow, depth, and camera. In Proceedings of the IEEE/CVF international conference on computer vision, 2019, 7063– 7072.
题目翻译: 单目视频中的几何约束自监督学习:连接光流、深度和相机。
[142] Bello JLG, Kim M. Self-supervised deep monocular depth estimation with ambiguity boosting. IEEE transactions on pattern analysis and machine intelligence, 2021, 44(12): 9131–9149.
题目翻译: 通过歧义增强实现自监督深度单目估计。
[143] Lyu X, Liu L, Wang M, Kong X, Liu L, Liu Y, Chen X, Yuan Y. Hr-depth: High resolution self-supervised monocular depth estimation. In Proceedings of the AAAI conference on artificial intelligence, volume 35, 2021, 2294–2301.
题目翻译: HR-Depth:高分辨率自监督单目深度估计。
[144] He M, Hui L, Bian Y, Ren J, Xie J, Yang J. Ra-depth: Resolution adaptive self-supervised monocular depth estimation. In European Conference on Computer Vision, 2022, 565–581.
题目翻译: RA-Depth:分辨率自适应的自监督单目深度估计。
[145] Patil V, Van Gansbeke W, Dai D, Van Gool L. Don’t forget the past: Recurrent depth estimation from monocular video. IEEE Robotics and Automation Letters, 2020, 5(4): 6813–6820.
题目翻译: 不要忘记过去:从单目视频进行循环深度估计。
[146] Dai Q, Patil V, Hecker S, Dai D, Van Gool L, Schindler K. Selfsupervised object motion and depth estimation from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020, 1004–1005.
题目翻译: 从视频中进行自监督物体运动与深度估计。
[147] Cheng B, Saggu IS, Shah R, Bansal G, Bharadia D. S 3 net: Semantic-aware self-supervised depth estimation with monocular videos and synthetic data. In European Conference on Computer Vision, 2020, 52–69.
题目翻译: S3Net:结合单目视频和合成数据的语义感知自监督深度估计。
[148] Zhao C, Zhang Y, Poggi M, Tosi F, Guo X, Zhu Z, Huang G, Tang Y, Mattoccia S. Monovit: Self-supervised monocular depth estimation with a vision transformer. In 2022 international conference on 3D vision (3DV), 2022, 668–678.
题目翻译: MonoViT:使用视觉 Transformer 进行自监督单目深度估计。
[149] Watson J, Firman M, Brostow GJ, Turmukhambetov D. Self-supervised monocular depth hints. In Proceedings of the IEEE/CVF international conference on computer vision, 2019, 2162–2171.
题目翻译: 自监督单目深度提示。
[150] Sun L, Bian JW, Zhan H, Yin W, Reid I, Shen C. Sc-depthv3: Robust self-supervised monocular depth estimation for dynamic scenes. IEEE transactions on pattern analysis and machine intelligence, 2023, 46(1): 497–508.
题目翻译: SC-DepthV3:面向动态场景的鲁棒自监督单目深度估计。
[151] Shao S, Pei Z, Chen W, Zhu W, Wu X, Sun D, Zhang B. Self-supervised monocular depth and ego-motion estimation in endoscopy: Appearance flow to the rescue. Medical image analysis, 2022, 77: 102338.
题目翻译: 内窥镜中的自监督单目深度与自运动估计:外观光流来提供帮助。
[152] Zhou H, Greenwood D, Taylor S. Self-Supervised Monocular Depth Estimation with Internal Feature Fusion. In British Machine Vision Conference (BMVC), 2021, 1–13.
题目翻译: 具有内部特征融合的自监督单目深度估计。
[153] Johnston A, Carneiro G. Self-supervised monocular trained depth estimation using self-attention and discrete disparity volume. In Proceedings of the ieee/cvf conference on computer vision and pattern recognition, 2020, 4756–4765.
题目翻译: 利用自注意力和离散视差体进行自监督单目训练深度估计。
[154] Madhuanand L, Nex F, Yang MY. Self-supervised monocular depth estimation from oblique UAV videos. ISPRS journal of photogrammetry and remote sensing, 2021, 176: 1–14.
题目翻译: 基于倾斜无人机视频的自监督单目深度估计。
[155] Xue F, Chen W, Zhao M, Zhong G, Ming A, Wang H, Lei D, Lin Z, Zhang H, Sebe N. DepthART: Scaling Foundation Monocular Depth to Tiny Models. arXiv preprint arXiv:2607.17099, 2026.
题目翻译: DepthART:将基础单目深度模型扩展到微型模型。
[156] Zhao Y, Bian H, Chen K, Ji P, Qu L, Lin Sy, Yu W, Li H, Chen H, Shen J, et al… Metric from human: Zero-shot monocular metric depth estimation via test-time adaptation. Advances in Neural Information Processing Systems, 2024, 37: 104724–104753.
题目翻译: Metric from Human:通过测试时自适应实现零样本单目度量深度估计。
[157] Oquab M, Darcet T, Moutakanni T, Vo H, Szafraniec M, Khalidov V, Fernandez P, Haziza D, Massa F, El-Nouby A, et al… DINOv2: Learning Robust Visual Features without Supervision. Transactions on Machine Learning Research Journal, 2024: 1–31.
题目翻译: DINOv2:无需监督学习鲁棒视觉特征。
[158] Siméoni O, Vo HV, Seitzer M, Baldassarre F, Oquab M, Jose C, Khalidov V, Szafraniec M, Yi SE, Ramamonjisoa M, Massa F, HAZIZA D, Wehrstedt L, Wang J, Darcet T, Moutakanni T, Sentana L, Roberts C, Vedaldi A, Tolan J, Brandt J, Couprie C, Mairal J, Jegou H, Labatut P, Bojanowski P. DINOv3. Transactions on Machine Learning Research, 2026: 1–44, featured Certification.
题目翻译: DINOv3。
[159] Rombach R, Blattmann A, Lorenz D, Esser P, Ommer B. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, 10684–10695.
题目翻译: 基于潜在扩散模型的高分辨率图像合成。
[160] Dosovitskiy A, Beyer L, Kolesnikov A, Weissenborn D, Zhai X, Unterthiner T, Dehghani M, Minderer M, Heigold G, Gelly S, et al… An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations, 2020, 1–21.
题目翻译: 一张图像相当于 16×16 个词:用于大规模图像识别的 Transformer。
[161] Kingma DP, Welling M. Auto-Encoding Variational Bayes. In International Conference on Learning Representations, 2014, 1–14.
题目翻译: 自动编码变分贝叶斯。
[162] Mittal M, Yu C, Yu Q, Liu J, Rudin N, Hoeller D, Yuan JL, Singh R, Guo Y, Mazhar H, Mandlekar A, Babich B, State G, Hutter M, Garg A. Orbit: A Unified Simulation Framework for Interactive Robot Learning Environments. IEEE Robotics and Automation Letters, 2023, 8(6): 3740– 3747, doi:10.1109/LRA.2023.3270034.
题目翻译: ORBIT:用于交互式机器人学习环境的统一仿真框架。
[163] Zhang F, You S, Li Y, Fu Y. Atlantis: Enabling Underwater Depth Estimation with Stable Diffusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 11852–11861.
题目翻译: Atlantis:利用 Stable Diffusion 实现水下深度估计。
[164] Shim D, Kim HJ. SEDiff: Structure Extraction for Domain Adaptive Depth Estimation via Denoising Diffusion Models. In European Conference on Computer Vision, 2024, 37–53.
题目翻译: SEDiff:通过去噪扩散模型进行领域自适应深度估计的结构提取。
[165] Tosi F, Ramirez PZ, Poggi M. Diffusion models for monocular depth estimation: Overcoming challenging conditions. In European Conference on Computer Vision, 2024, 236–257.
题目翻译: 用于单目深度估计的扩散模型:克服具有挑战性的条件。
[166] Liu Y, Xue F, Ming A, Zhao M, Ma H, Sebe N. Sm4depth: Seamless monocular metric depth estimation across multiple cameras and scenes by one model. In Proceedings of the 32nd ACM International Conference on Multimedia, 2024, 3469–3478.
题目翻译: SM4Depth:通过一个模型在多相机和多场景间实现无缝单目度量深度估计。
[167] Ranftl R, Lasinger K, Hafner D, Schindler K, Koltun V. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer. IEEE transactions on pattern analysis and machine intelligence, 2020, 44(3): 1623– 1637.
题目翻译: 迈向鲁棒单目深度估计:通过混合数据集实现零样本跨数据集迁移。
[168] Wang C, Lucey S, Perazzi F, Wang O. Web stereo video supervision for depth prediction from dynamic scenes. In 2019 International Conference on 3D Vision (3DV), IEEE, 2019, 348–357.
题目翻译: 用于从动态场景进行深度预测的网络双目视频监督。
[169] Zhang X, Ke B, Riemenschneider H, Metzger N, Obukhov A, Gross M, Schindler K, Schroers C. BetterDepth: Plugand-Play Diffusion Refiner for Zero-Shot Monocular Depth Estimation. Advances in Neural Information Processing Systems, 2024, 37: 108674–108709.
题目翻译: BetterDepth:用于零样本单目深度估计的即插即用扩散细化器。
[170] Song Z, Wang Z, Li B, Zhang H, Zhu R, Liu L, Jiang PT, Zhang T. Depthmaster: Taming diffusion models for monocular depth estimation. IEEE Transactions on Circuits and Systems for Video Technology, 2026.
题目翻译: DepthMaster:驾驭扩散模型进行单目深度估计。
[171] Xu G, Lin H, Luo H, Wang X, Yao J, Zhu L, Pu Y, Chi C, Sun H, Wang B, et al… Pixel-perfect depth with semanticsprompted diffusion transformers. Advances in Neural Information Processing Systems, 2026, 38: 174731–174755.
题目翻译: 通过语义提示扩散 Transformer 实现像素级精确深度。
[172] Tian K, Jiang Y, Yuan Z, Peng B, Wang L. Visual autoregressive modeling: Scalable image generation via next-scale prediction. Advances in neural information processing systems, 2024, 37: 84839–84865.
题目翻译: 视觉自回归建模:通过下一尺度预测实现可扩展图像生成。
[173] Hu W, Gao X, Li X, Zhao S, Cun X, Zhang Y, Quan L, Shan Y. Depthcrafter: Generating consistent long depth sequences for open-world videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2025, 2005–2015.
题目翻译: DepthCrafter:为开放世界视频生成一致的长深度序列。
[174] Yang H, Huang D, Yin W, Shen C, Liu H, He X, Lin B, Ouyang W, He T. Depth any video with scalable synthetic data. In International Conference on Learning Representations, volume 2025, 2025, 97335–97349.
题目翻译: 利用可扩展合成数据实现视频深度估计。
[175] Chen S, Guo H, Zhu S, Zhang F, Huang Z, Feng J, Kang B. Video depth anything: Consistent depth estimation for super-long videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 22831–22840.
题目翻译: Video Depth Anything:面向超长视频的一致性深度估计。
[176] Shao J, Yang Y, Zhou H, Zhang Y, Shen Y, Guizilini V, Wang Y, Poggi M, Liao Y. Learning temporally consistent video depth from video diffusion priors. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 22841–22852.
题目翻译: 从视频扩散先验学习时间一致的视频深度。
[177] Sun YT, Yu X, Huang Z, Huang YH, Guo YC, Yang Z, Cao YP, Qi X. UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation. arXiv preprint arXiv:2505.24521, 2025.
题目翻译: UniGeo:驾驭视频扩散以实现统一且一致的几何估计。
[178] Chou G, Xian W, Yang G, Abdelfattah M, Hariharan B, Snavely N, Yu N, Debevec P. Flashdepth: Real-time streaming video depth estimation at 2k resolution. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2025, 9638–9648.
题目翻译: FlashDepth:以 2K 分辨率进行实时流式视频深度估计。
[179] Lyu X, Liu M, Wu X, Wang R, Huang YH, Sun YT, Shi S, Qi X. Stabilizing Streaming Video Geometry via Dynamic Feature Normalization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2026, 7577–7587.
题目翻译: 通过动态特征归一化稳定流式视频几何。
[180] Pintore G, Almansa E, Sanchez A, Vassena G, Gobbetti E. Deep panoramic depth prediction and completion for indoor scenes. Computational Visual Media, 2024, 10(5): 903–922.
题目翻译: 面向室内场景的深度全景预测与补全。
[181] Piccinelli L, Sakaridis C, Segu M, Yang YH, Li S, Abbeloos W, Van Gool L. UniK3D: Universal Camera Monocular 3D Estimation. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 1028–1039.
题目翻译: UniK3D:通用相机单目三维估计。
[182] Guo Y, Garg S, Miangoleh SMH, Huang X, Ren L. Depth any camera: Zero-shot metric depth estimation from any camera. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 26996–27006.
题目翻译: Depth Any Camera:来自任意相机的零样本度量深度估计。
[183] Cao Z, Zhu J, Zhang W, Ai H, Bai H, Zhao H, Wang L. PanDA: Towards Panoramic Depth Anything with Unlabeled Panoramas and Mobius Spatial Augmentation. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 982–992.
题目翻译: PanDA:利用无标签全景图像和 Möbius 空间增强实现 Panoramic Depth Anything。
[184] Li H, Zheng W, He J, Liu Y, Lin X, Yang X, Chen YC, Guo C. DA2 : Depth Anything in Any Direction. arXiv preprint arXiv:2509.26618, 2025.
题目翻译: DA2:任意方向的 Depth Anything。
[185] Lin X, Song M, Zhang D, Lu W, Li H, Du B, Yang MH, Nguyen T, Qi L. Depth any panoramas: A foundation model for panoramic depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2026, 26835–26844.
题目翻译: Depth Any Panoramas:全景深度估计基础模型。
[186] Ren Z, Zhang Z, Li W, Liu Q, Tang H. AnyDepth: Depth Estimation Made Easy, 2026.
题目翻译: AnyDepth:让深度估计变得简单。
[187] Yu HX, Duan H, Herrmann C, Freeman WT, Wu J. Wonderworld: Interactive 3d scene generation from a single image. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 5916–5926.
题目翻译: WonderWorld:从单张图像进行交互式三维场景生成。
[188] Zhang L, Rao A, Agrawala M. Adding conditional control to text-to-image diffusion models. In Proceedings of the IEEE/CVF international conference on computer vision, 2023, 3836–3847.
题目翻译: 为文生图扩散模型添加条件控制。
[189] Li Z, Tucker R, Cole F, Wang Q, Jin L, Ye V, Kanazawa A, Holynski A, Snavely N. MegaSaM: Accurate, fast and robust structure and motion from casual dynamic videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 10486–10496.
题目翻译: MegaSaM:从自然采集的动态视频中实现准确、快速且鲁棒的结构与运动估计。
[190] Yu Z, Peng S, Niemeyer M, Sattler T, Geiger A. Monosdf: Exploring monocular geometric cues for neural implicit surface reconstruction. Advances in neural information processing systems, 2022, 35: 25018–25032.
题目翻译: MonoSDF:探索用于神经隐式表面重建的单目几何线索。
[191] Wang Y, Chao WL, Garg D, Hariharan B, Campbell M, Weinberger KQ. Pseudo-lidar from visual depth estimation: Bridging the gap in 3d object detection for autonomous driving. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, 8445–8453.
题目翻译: 来自视觉深度估计的伪 LiDAR:弥合自动驾驶三维目标检测中的差距。
[192] Truong J, Zitkovich A, Chernova S, Batra D, Zhang T, Tan J, Yu W. Indoorsim-to-outdoorreal: Learning to navigate outdoors without any outdoor experience. IEEE Robotics and Automation Letters, 2024, 9(5): 4798–4805.
题目翻译: 从室内仿真到真实室外:无需室外经验即可学习室外导航。
[193] Schonberger JL, Frahm JM. Structure-from-motion revisited. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, 4104–4113.
题目翻译: 重新审视运动恢复结构。
[194] Schönberger JL, Zheng E, Frahm JM, Pollefeys M. Pixelwise view selection for unstructured multi-view stereo. In European conference on computer vision, Springer, 2016, 501–518.
题目翻译: 非结构化多视图立体中的逐像素视图选择。
[195] Durrant-Whyte H, Bailey T. Simultaneous localization and mapping: part I. IEEE robotics & automation magazine, 2006, 13(2): 99–110.
题目翻译: 同步定位与建图:第一部分。
[196] Izadi S, Kim D, Hilliges O, Molyneaux D, Newcombe R, Kohli P, Shotton J, Hodges S, Freeman D, Davison A, et al… Kinectfusion: real-time 3d reconstruction and interaction using a moving depth camera. In Proceedings of the 24th annual ACM symposium on User interface software and technology, 2011, 559–568.
题目翻译: KinectFusion:使用移动深度相机进行实时三维重建与交互。
[197] Chen J, Bautembach D, Izadi S. Scalable real-time volumetric surface reconstruction. ACM Trans. Graph., 2013, 32(4): 113–1.
题目翻译: 可扩展的实时体表面重建。
[198] Kähler O, Prisacariu VA, Ren CY, Sun X, Torr P, Murray D. Very high frame rate volumetric integration of depth images on mobile devices. IEEE transactions on visualization and computer graphics, 2015, 21(11): 1241–1250.
题目翻译: 移动设备上深度图的超高帧率体素融合。
[199] Nießner M, Dai A, Fisher M. Combining Inertial Navigation and ICP for Real-time 3D Surface Reconstruction. Eurographics (Short Papers), 2014, 13: 16.
题目翻译: 结合惯性导航和 ICP 实现实时三维表面重建。
[200] Endres F, Hess J, Sturm J, Cremers D, Burgard W. 3-D mapping with an RGB-D camera. IEEE transactions on robotics, 2013, 30(1): 177–187.
题目翻译: 使用 RGB-D 相机进行三维建图。
[201] Whelan T, Salas-Moreno RF, Glocker B, Davison AJ, Leutenegger S. ElasticFusion: Real-time dense SLAM and light source estimation. The International Journal of Robotics Research, 2016, 35(14): 1697–1716.
题目翻译: ElasticFusion:实时稠密 SLAM 与光源估计。
[202] Dai A, Nießner M, Zollhöfer M, Izadi S, Theobalt C. Bundlefusion: Real-time globally consistent 3d reconstruction using on-the-fly surface reintegration. ACM Transactions on Graphics (ToG), 2017, 36(4): 1.
题目翻译: BundleFusion:通过在线表面重新融合实现实时全局一致的三维重建。
[203] Wu Z, Wu X, Zhang X, Wang S, Ju L. Spatial correspondence with generative adversarial network: Learning depth from monocular videos. In Proceedings of the IEEE/CVF international conference on computer vision, 2019, 7494–7504.
题目翻译: 利用生成对抗网络进行空间对应:从单目视频学习深度。
[204] Bae G, Budvytis I, Cipolla R. Multi-view depth estimation by fusing single-view depth probability with multi-view geometry. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, 2842–2851.
题目翻译: 通过融合单视图深度概率与多视图几何进行多视图深度估计。
[205] Yin X, Wang X, Du X, Chen Q. Scale recovery for monocular visual odometry using depth estimated with deep convolutional neural fields. In Proceedings of the IEEE international conference on computer vision, 2017, 5870–5878.
题目翻译: 利用深度卷积神经场估计的深度恢复单目视觉里程计尺度。
[206] Yang N, Wang R, Stuckler J, Cremers D. Deep virtual stereo odometry: Leveraging deep depth prediction for monocular direct sparse odometry. In Proceedings of the European conference on computer vision (ECCV), 2018, 817–833.
题目翻译: 深度虚拟双目里程计:利用深度预测改进单目直接稀疏里程计。
[207] Tateno K, Tombari F, Laina I, Navab N. Cnn-slam: Realtime dense monocular slam with learned depth prediction. In Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, 6243–6252.
题目翻译: CNN-SLAM:利用学习式深度预测实现实时稠密单目 SLAM。
[208] Loo SY, Amiri AJ, Mashohor S, Tang SH, Zhang H. CNN- SVO: Improving the mapping in semi-direct visual odometry using single-image depth prediction. In 2019 International conference on robotics and automation (ICRA), 2019, 5218– 5223.
题目翻译: CNN-SVO:利用单图像深度预测改进半直接视觉里程计建图。
[209] Teed Z, Deng J. Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras. Advances in neural information processing systems, 2021, 34: 16558–16569.
题目翻译: DROID-SLAM:面向单目、双目和 RGB-D 相机的深度视觉 SLAM。
[210] Sucar E, Liu S, Ortiz J, Davison AJ. imap: Implicit mapping and positioning in real-time. In Proceedings of the IEEE/CVF international conference on computer vision, 2021, 6229– 6238.
题目翻译: iMAP:实时隐式建图与定位。
[211] Zhu Z, Peng S, Larsson V, Xu W, Bao H, Cui Z, Oswald MR, Pollefeys M. Nice-slam: Neural implicit scalable encoding for slam. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, 12786–12796.
题目翻译: NICE-SLAM:用于 SLAM 的神经隐式可扩展编码。
[212] Zhu Z, Peng S, Larsson V, Cui Z, Oswald MR, Geiger A, Pollefeys M. Nicer-slam: Neural implicit scene encoding for rgb slam. In 2024 International Conference on 3D Vision (3DV), 2024, 42–52.
题目翻译: NICER-SLAM:用于 RGB SLAM 的神经隐式场景编码。
[213] Matsuki H, Murai R, Kelly PH, Davison AJ. Gaussian splatting slam. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 18039– 18048.
题目翻译: Gaussian Splatting SLAM。
[214] Yugay V, Li Y, Gevers T, Oswald MR. Gaussian-slam: Photorealistic dense slam with gaussian splatting. arXiv preprint arXiv:2312.10070, 2023.
题目翻译: Gaussian-SLAM:利用高斯泼溅实现照片级真实感稠密 SLAM。
[215] Yan C, Qu D, Xu D, Zhao B, Wang Z, Wang D, Li X. Gs-slam: Dense visual slam with 3d gaussian splatting. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 19595–19604.
题目翻译: GS-SLAM:基于 3D Gaussian Splatting 的稠密视觉 SLAM。
[216] Gao J, Wang Z, Fang X, Ren X, Chen Z, Liu S, Cheng Y, Lyu J, Yang X, Yan Y. MoRE: 3D Visual Geometry Reconstruction Meets Mixture-of-Experts. arXiv preprint arXiv:2510.27234, 2025.
题目翻译: MoRE:3D 视觉几何重建与混合专家模型的结合。
[217] Fang X, Gao J, Wang Z, Chen Z, Ren X, Lyu J, Ren Q, Yang Z, Yang X, Yan Y, Lyu C. Dens3R: A Foundation Model for 3D Geometry Prediction. In The Fourteenth International Conference on Learning Representations, 2026, 1–25.
题目翻译: Dens3R:三维几何预测基础模型。
[218] Wang S, Leroy V, Cabon Y, Chidlovskii B, Revaud J. Dust3r: Geometric 3d vision made easy. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 20697–20709.
题目翻译: DUSt3R:让几何三维视觉变得简单。
[219] Keetha N, Müller N, Schönberger J, Porzi L, Zhang Y, Fischer T, Knapitsch A, Zauss D, Weber E, Antunes N, et al… MapAnything: Universal Feed-Forward Metric 3D Reconstruction; map-anything. github. io. In 2026 International Conference on 3D Vision (3DV), IEEE, 2026, 499–509.
题目翻译: MapAnything:通用前馈度量三维重建。
[220] Yang Y, Shao J, Li X, Shen Y, Geiger A, Liao Y. Prometheus: 3d-aware latent diffusion models for feed-forward text-to-3d scene generation. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 2857–2869.
题目翻译: Prometheus:用于前馈式文生三维场景生成的 3D 感知潜在扩散模型。
[221] Go H, Park B, Jang J, Kim JY, Kwon S, Kim C. Splatflow: Multi-view rectified flow model for 3d gaussian splatting synthesis. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 21524–21536.
题目翻译: SplatFlow:用于 3D Gaussian Splatting 合成的多视图 Rectified Flow 模型。
[222] Liu X, Gong C, et al… Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow. In The Eleventh International Conference on Learning Representations.
题目翻译: Flow Straight and Fast:学习利用 Rectified Flow 生成和迁移数据。
[223] Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models. Advances in neural information processing systems, 2020, 33: 6840–6851.
题目翻译: 去噪扩散概率模型。
[224] Kerbl B, Kopanas G, Leimkühler T, Drettakis G. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Transactions on Graphics, 2023, 42(4).
题目翻译: 面向实时辐射场渲染的 3D Gaussian Splatting。
[225] Mildenhall B, Srinivasan PP, Tancik M, Barron JT, Ramamoorthi R, Ng R. Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 2021, 65(1): 99–106.
题目翻译: NeRF:将场景表示为用于视图合成的神经辐射场。
[226] Li Z, Müller T, Evans A, Taylor RH, Unberath M, Liu MY, Lin CH. Neuralangelo: High-fidelity neural surface reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, 8456– 8465.
题目翻译: Neuralangelo:高保真神经表面重建。
[227] Wang G, Chen Z, Loy CC, Liu Z. Sparsenerf: Distilling depth ranking for few-shot novel view synthesis. In Proceedings of the IEEE/CVF international conference on computer vision, 2023, 9065–9076.
题目翻译: SparseNeRF:通过蒸馏深度排序实现少样本新视图合成。
[228] Xu H, Peng S, Wang F, Blum H, Barath D, Geiger A, Pollefeys M. Depthsplat: Connecting gaussian splatting and depth. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 16453–16463.
题目翻译: DepthSplat:连接 Gaussian Splatting 与深度。
[229] Chung J, Oh J, Lee KM. Depth-regularized optimization for 3d gaussian splatting in few-shot images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 811–820.
题目翻译: 面向少样本图像三维高斯泼溅的深度正则化优化。
[230] Sun YT, Huang Y, Ma L, Lyu X, Cao YP, Qi X. Splatter a video: Video gaussian representation for versatile processing. Advances in Neural Information Processing Systems, 2024, 37: 50401–50425.
题目翻译: Splatter a Video:用于多样化处理的视频高斯表示。
[231] Wang Q, Ye V, Gao H, Zeng W, Austin J, Li Z, Kanazawa A. Shape of motion: 4d reconstruction from a single video. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2025, 9660–9672.
题目翻译: Shape of Motion:从单个视频进行四维重建。
[232] Liu Q, Liu Y, Wang J, Lyu X, Wang P, Wang W, Hou J. Modgs: Dynamic gaussian splatting from casually-captured monocular videos with depth priors. In International Conference on Learning Representations, volume 2025, 2025, 97048–97074.
题目翻译: MoDGS:利用深度先验从随意采集的单目视频进行动态高斯泼溅。
[233] Shi C, Shi S, Lyu X, Liu C, Sheng K, Zhang B, Jiang L. UniSplat: Unified Spatio-Temporal Fusion via 3D Latent Scaffolds for Dynamic Driving Scene Reconstruction. In International Conference on Learning Representations, 2026, 1–19.
题目翻译: UniSplat:通过三维潜在支架进行统一时空融合,以重建动态驾驶场景。
[234] Shih ML, Su SY, Kopf J, Huang JB. 3d photography using context-aware layered depth inpainting. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, 8028–8038.
题目翻译: 利用上下文感知分层深度修复实现三维摄影。
[235] Jampani V, Chang H, Sargent K, Kar A, Tucker R, Krainin M, Kaeser D, Freeman WT, Salesin D, Curless B, et al… Slide: Single image 3d photography with soft layering and depth-aware inpainting. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, 12518– 12527.
题目翻译: SLIDE:通过软分层和深度感知修复实现单图像三维摄影。
[236] Fridman R, Abecasis A, Kasten Y, Dekel T. Scenescape: Text-driven consistent scene generation. Advances in Neural Information Processing Systems, 2023, 36: 39897–39914.
题目翻译: SceneScape:文本驱动的一致场景生成。
[237] Höllein L, Cao A, Owens A, Johnson J, Nießner M. Text2room: Extracting textured 3d meshes from 2d text-toimage models. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 7909–7920.
题目翻译: Text2Room:从二维文生图模型中提取带纹理的三维网格。
[238] Wang L, Frisvad JR, Jensen MB, Bigdeli SA. Stereodiffusion: Training-free stereo image generation using latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 7416–7425.
题目翻译: StereoDiffusion:使用潜在扩散模型进行无需训练的立体图像生成。
[239] Kopf J, Matzen K, Alsisan S, Quigley O, Ge F, Chong Y, Patterson J, Frahm JM, Wu S, Yu M, et al… One shot 3d photography. ACM Transactions on Graphics (TOG), 2020, 39(4): 76–1.
题目翻译: 单次拍摄三维摄影。
[240] Dai P, Tan F, Xu Q, Futschik D, Du R, Fanello S, Qi X, Zhang Y. Svg: 3d stereoscopic video generation via denoising frame matrix. In International Conference on Learning Representations, volume 2025, 2025, 26825–26849.
题目翻译: SVG:通过去噪帧矩阵生成三维立体视频。
[241] Zhao S, Hu W, Cun X, Zhang Y, Li X, Kong Z, Gao X, Niu M, Shan Y. Stereocrafter: Diffusion-based generation of long and high-fidelity stereoscopic 3d from monocular videos. arXiv preprint arXiv:2409.07447, 2024.
题目翻译: StereoCrafter:基于扩散模型从单目视频生成长时序、高保真立体 3D 内容。
[242] Gu Z, Yan R, Lu J, Li P, Dou Z, Si C, Dong Z, Liu Q, Lin C, Liu Z, et al… Diffusion as shader: 3d-aware video diffusion for versatile video generation control. In Proceedings of the Special Interest Group on Computer Graphics and Interactive Techniques Conference Conference Papers, 2025, 1–12.
题目翻译: Diffusion as Shader:用于多样化视频生成控制的 3D 感知视频扩散。
[243] Wang Q, Luo Y, Shi X, Jia X, Lu H, Xue T, Wang X, Wan P, Zhang D, Gai K. Cinemaster: A 3d-aware and controllable framework for cinematic text-to-video generation. In Proceedings of the Special Interest Group on Computer Graphics and Interactive Techniques Conference Conference Papers, 2025, 1–10.
题目翻译: CineMaster:面向电影级文生视频生成的三维感知可控框架。
[244] Li Y, Xiao J, Wang Y, Lu Z. DepthGAN: GAN-based depth generation from semantic layouts. Computational Visual Media, 2024, 10(3): 505–522.
题目翻译: DepthGAN:基于 GAN 的语义布局深度生成。
[245] Wadhwa N, Garg R, Jacobs DE, Feldman BE, Kanazawa N, Carroll R, Movshovitz-Attias Y, Barron JT, Pritch Y, Levoy M. Synthetic depth-of-field with a single-camera mobile phone. ACM Transactions on Graphics (ToG), 2018, 37(4): 1–13.
题目翻译: 使用单摄像头手机合成景深效果。
[246] Peng J, Cao Z, Luo X, Lu H, Xian K, Zhang J. Bokehme: When neural rendering meets classical rendering. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, 16283–16292.
题目翻译: BokehMe:神经渲染与传统渲染的结合。
[247] Badino H, Huber D, Park Y, Kanade T. Fast and accurate computation of surface normals from range images. In 2011 IEEE International Conference on Robotics and Automation, 2011, 3084–3091.
题目翻译: 从距离图像快速准确地计算表面法线。
[248] Pharr M, Jakob W, Humphreys G. Physically Based Rendering: From Theory to Implementation. 4 edition, The MIT Press, 2023.
题目翻译: 基于物理的渲染:从理论到实现。
[249] El Helou M, Zhou R, Susstrunk S, Timofte R. NTIRE 2021 depth guided image relighting challenge. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, 566–577.
题目翻译: NTIRE 2021 深度引导图像重新照明挑战赛。
[250] Cao Y, Shen C, Shen HT. Exploiting depth from single monocular images for object detection and semantic segmentation. IEEE Transactions on Image Processing, 2016, 26(2): 836–846.
题目翻译: 利用单目图像深度进行物体检测和语义分割。
[251] Schön R, Ludwig K, Lienhart R. Impact of pseudo depth on open world object segmentation with minimal user guidance. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, 4809–4819.
题目翻译: 伪深度对开放世界目标分割及最少用户引导的影响。
[252] Wang Q, Dai D, Hoyer L, Van Gool L, Fink O. Domain adaptive semantic segmentation with self-supervised depth estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, 8515–8525.
题目翻译: 使用自监督深度估计的领域自适应语义分割。
[253] Pei M, An H, Liu B, Wang C. An improved dyna-q algorithm for mobile robot path planning in unknown dynamic environment. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2021, 52(7): 4415–4425.
题目翻译: 用于未知动态环境中移动机器人路径规划的改进 Dyna-Q 算法。
[254] Zhang J, Wu Y, Jiang H. Survey on monocular metric depth estimation. Computers, 2025, 14(11): 502.
题目翻译: 单目度量深度估计综述。
[255] Wang B, Lin J, Liu C, Hu X, Yu Y, Liu T, Wang Z, Qi X. MG-Nav: Dual-Scale Visual Navigation via Sparse Spatial Memory, 2025.
题目翻译: MG-Nav:通过稀疏空间记忆实现双尺度视觉导航。
[256] Mancini M, Costante G, Valigi P, Ciarfuglia TA. Fast robust monocular depth estimation for obstacle detection with fully convolutional networks. In 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2016, 4296–4303.
题目翻译: 基于全卷积网络的快速鲁棒单目深度估计与障碍物检测。
[257] Simon N, Majumdar A. Mononav: Mav navigation via monocular depth estimation and reconstruction. In International Symposium on Experimental Robotics, Springer, 2023, 415– 426.
题目翻译: MonoNav:通过单目深度估计和重建实现 MAV 导航。
[258] Dang TV, Bui NT. Obstacle avoidance strategy for mobile robot based on monocular camera. Electronics, 2023, 12(8): 1932.
题目翻译: 基于单目相机的移动机器人障碍规避策略。
[259] Lee HY, Ho HW, Zhou Y. Deep learning-based monocular obstacle avoidance for unmanned aerial vehicle navigation in tree plantations: Faster region-based convolutional neural network approach. Journal of Intelligent & Robotic Systems, 2021, 101(1): 5.
题目翻译: 基于深度学习的树木种植园无人机导航单目障碍规避:更快的区域卷积神经网络方法。
[260] Machkour Z, Ortiz-Arroyo D, Durdevic P. Monocular based navigation system for autonomous ground robots using multiple deep learning models. International Journal of Computational Intelligence Systems, 2023, 16(1): 79.
题目翻译: 基于多个深度学习模型的自主地面机器人单目导航系统。
[261] Loss P. Improving Robotic Grasping on Monocular Images Via Multi-Task Learning and Positional Loss. In 2020 25th International Conference on Pattern Recognition. ICPR, 2021, 9843–9850.
题目翻译: 通过多任务学习和位置损失改进基于单目图像的机器人抓取。
[262] Atar S, Li Y, Grotz M, Wolf M, Fox D, Smith J. OptiGrasp: Optimized Grasp Pose Detection Using RGB Images for Warehouse Picking Robots. In 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2025, 16634–16641.
题目翻译: OptiGrasp:面向仓储拣选机器人的 RGB 图像优化抓取位姿检测。
[263] Guo T, Huang B, Yu J. Monocular One-Shot Metric- Depth Alignment for RGB-Based Robot Grasping. In 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2025, 642–649.
题目翻译: 基于 RGB 的机器人抓取中的单目单次度量深度对齐。
[264] Qian J, Han B, Shi C, Xiao L, Yang L, Shi S, Jiang L. Geopredict: Leveraging predictive kinematics and 3d gaussian geometry for precise vla manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2026, 13529–13539.
题目翻译: GeoPredict:利用预测运动学和三维高斯几何实现精确的视觉—语言—动作操作。
[265] Huang Y, Davies T, Yan J, Sun J, Chen X, Hu L. Spatial RoboGrasp: Generalized Robotic Grasping Control Policy. arXiv preprint arXiv:2505.20814, 2025.
题目翻译: Spatial RoboGrasp:通用机器人抓取控制策略。
[266] Jain V, Anunay A, Srivastava A, Gupta A, Aggarwal N, Harikesh H. Depth Estimation Using Monocular Camera for Real-World Multi-Object Grasp Detection for Robotic Arm. In Proceedings of the 2023 8th International Conference on Systems, Control and Communications, 2023, 7–18.
题目翻译: 面向机械臂真实世界多目标抓取检测的单目相机深度估计。
[267] Ma H, Qin R, Shi M, Gao B, Huang D. Sim-to-real grasp detection with global-to-local rgb-d adaptation. In 2024 IEEE International Conference on Robotics and Automation (ICRA), 2024, 13910–13917.
题目翻译: 通过全局到局部 RGB-D 适配实现仿真到真实的抓取检测。
[268] You Y, Wang Y, Chao WL, Garg D, Pleiss G, Hariharan B, Campbell M, Weinberger KQ. Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving. In International Conference on Learning Representations, 2020.
题目翻译: Pseudo-LiDAR++:面向自动驾驶三维目标检测的准确深度。
[269] Shen C, Zhao X, Liu Z, Gao T, Xu J. Joint vehicle detection and distance prediction via monocular depth estimation. IET Intelligent Transport Systems, 2020, 14(7): 753–763.
题目翻译: 通过单目深度估计联合进行车辆检测和距离预测。
[270] Qian R, Garg D, Wang Y, You Y, Belongie S, Hariharan B, Campbell M, Weinberger KQ, Chao WL. End-to-end pseudolidar for image-based 3d object detection. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, 5881–5890.
题目翻译: 面向基于图像的三维目标检测的端到端伪 LiDAR。
[271] Wang Y, Yang B, Hu R, Liang M, Urtasun R. PLUMENet: Efficient 3D object detection from stereo images. In 2021 IEEE/RSJ international conference on intelligent robots and systems (IROS), IEEE, 2021, 3383–3390.
题目翻译: PLUMENet:来自双目图像的高效三维目标检测。
[272] Yan X, Pei M, Shen S. VG3S: Visual Geometry Grounded Gaussian Splatting for Semantic Occupancy Prediction. arXiv preprint arXiv:2603.06210, 2026.
题目翻译: VG3S:用于语义占用预测的视觉几何约束高斯泼溅。
[273] Shi C, Shi S, Sheng K, Zhang B, Jiang L. Drivex: Omni scene modeling for learning generalizable world knowledge in autonomous driving. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2025, 28599– 28609.
题目翻译: DriveX:用于学习自动驾驶通用世界知识的全场景建模。
[274] Mahmood F, Chen R, Durr NJ. Unsupervised reverse domain adaptation for synthetic medical images via adversarial training. IEEE transactions on medical imaging, 2018, 37(12): 2572–2581.
题目翻译: 通过对抗训练对合成医学图像进行无监督反向领域适配。
[275] Turan M, Ornek EP, Ibrahimli N, Giracoglu C, Almalioglu Y, Yanik MF, Sitti M. Unsupervised odometry and depth learning for endoscopic capsule robots. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2018, 1801–1807.
题目翻译: 面向内窥镜胶囊机器人的无监督里程计与深度学习。
[276] Sheikh Zeinoddin M, Lena C, Qu J, Carlini L, Magro M, Kim S, De Momi E, Bano S, Grech-Sollars M, Mazomenos E, et al… Dares: Depth anything in robotic endoscopic surgery with self-supervised vector-lora of the foundation model. In European Conference on Computer Vision, Springer, 2024, 1–11.
题目翻译: DARES:利用基础模型的自监督 Vector-LoRA 实现机器人内窥镜手术中的 Depth Anything。
[277] Lou A, Li Y, Zhang Y, Noble J. Surgical depth anything: depth estimation for surgical scenes using foundation models. In Medical Imaging 2025: Image-Guided Procedures, Robotic Interventions, and Modeling, volume 13408, SPIE, 2025, 77–82.
题目翻译: Surgical Depth Anything:利用基础模型估计手术场景深度。
[278] Li B, Liu B, Yao X, Yue J, Zhou F. Advancing depth anything model for unsupervised monocular depth estimation in endoscopy. In 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE, 2025, 4355– 4362.
题目翻译: 推进 Depth Anything 模型在内窥镜无监督单目深度估计中的应用。
[279] Xu M, Guo Z, Wang A, Ren H. DAUA-Plane: Depth Anything with Uncertainty Map and Attention-based Plane Reconstruction of Surgical Scenes. Procedia Computer Science, 2024, 250: 67–73.
题目翻译: DAUA-Plane:利用不确定性图和基于注意力的平面重建实现手术场景的 Depth Anything。
[280] Wen B, Trepte M, Aribido J, Kautz J, Gallo O, Birchfield S. Foundationstereo: Zero-shot stereo matching. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 5249–5260.
题目翻译: FoundationStereo:零样本双目匹配。
[281] Wang Z, Chen S, Yang L, Wang J, Zhang Z, Zhao H, Zhao Z. Depth Anything with Any Prior. In The Fourteenth International Conference on Learning Representations, 2026, 1–22.
题目翻译: 利用任意先验的 Depth Anything。
[282] Lin H, Peng S, Chen J, Peng S, Sun J, Liu M, Bao H, Feng J, Zhou X, Kang B. Prompting depth anything for 4k resolution accurate metric depth estimation. In Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, 17070–17080.
题目翻译: 提示 Depth Anything 实现 4K 分辨率的精确度量深度估计。
[283] Han JJ, Acar A, Henry C, Wu JY. Depth anything in medical images: A comparative study. In Medical Imaging 2026: Image-Guided Procedures, Robotic Interventions, and Modeling, volume 13927, SPIE, 2026, 58–66.
题目翻译: 医学图像中的 Depth Anything:一项比较研究。
[284] Marsal R, Chabot F, Loesch A, Grolleau W, Sahbi H. Monoprob: Self-supervised monocular depth estimation with interpretable uncertainty. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2024, 3637– 3646.
题目翻译: MonoProb:具有可解释不确定性的自监督单目深度估计。
[285] Liu M, Liu T, Xia J, Lyu X, Wu X, Wang B, Dai P, Wang Z, Shi S, Qi X. OptiGeo: Efficient Monocular Geometry for Embodied Perception in Optically Challenging Scenes, 2026.
题目翻译: OptiGeo:面向光学挑战场景具身感知的高效单目几何。
[286] Zeng Z, Wang D, Yang F, Park H, Soatto S, Lao D, Wong A. Wordepth: Variational language prior for monocular depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 9708–9719.
题目翻译: WorDepth:用于单目深度估计的变分语言先验。
[287] Zhang R, Qiu H, Wang T, Guo Z, Cui Z, Qiao Y, Li H, Gao P. MonoDETR: Depth-guided transformer for monocular 3D object detection. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, 9155–9166.
题目翻译: MonoDETR:深度引导的单目三维目标检测 Transformer。
[288] Goodfellow I, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A, Bengio Y. Generative adversarial networks. Communications of the ACM, 2020, 63(11): 139– 144.
题目翻译: 生成对抗网络。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)