[vip]【CVPR2024】2024年CVPR的3D 目标检测的综述(还在补充中)
透视单目DETR 2D
透视单目DETR 2D的。对于DETR系列消除了 NMS的2D目标检测,RT-DETR[8]设计了一个高效的混合编码器,通过解耦尺度内交互和跨尺度融合来提高速度。采用不确定性最小查询选择,为解码器提供高质量的初始查询,从而提高准确率。
透视单目3D
透视单目3D。MonoCD[1]提出了交叉互补的深度估计方案,回归头分为两部分:局部线索和全局线索。局部线索分支根据预测的 Heatmap 为每个局部峰值点估计维度、关键点、直接深度、方向和 2D 检测。全局线索分支根据所有提取的像素特征预测整个图像的 Horizon Heatmap,用于获得场景中 ygloy_{glo}yglo 的趋势,然后输出嵌入全局线索的互补深度。
异构域检测
在室内和室外场景的大规模数据集上的异构域检测,UniMODE[2]采用一种不均匀的 BEVgrid 设计来处理各种场景的数据具有显著不同的特征导致的收敛不稳定性,以及稀疏的 BEV 特征投影策略来降低计算成本,并开发了一种统一的域对齐方法来处理异构域。
模型在面对与训练数据分布不同的输入时,可能无法正确识别或处理这些输入。 YolOOD[3]在多标签分类任务中,区分图像中感兴趣的对象(分布内)和不相关对象(例如 OOD 对象)。
稠密BEV
对于稠密BEV检测,BEVNeXt[4]采用 CRF 调制深度估计模块、具有扩展感受野的长期时间聚合模块,以及结合透视技术和 CRF 调制深度嵌入的两阶段物体解码器。CLIP-BEVFormer[5]采用利用对比学习技术【CLIP:Contrastive Language-Image Pre-training】的强大功能,通过地面真实信息流增强多视图图像衍生的 BEV 主干,因为BEVFormer缺乏将生成的 BEV 与真实 BEV 对齐的能力,解码是使用一组初始化查询执行的,类似于黑匣子,在解码之前无法确定哪个查询对应于预测哪个真实实例。CLIP-BEVFormer 框架由 Ground Truth BEV (GT-BEV) 模块和 Ground Truth Query Interaction (GT-QI) 模块组成。以使生成的 BEV 与真实 BEV 对齐,确保根据 BEV 元素的类别标签、位置和边界对其进行明确排列。这种由真实信息指导的明确元素排列有助于增强模型的感知能力,从而可以更好地检测和区分 BEV 图上的各种对象。BEVSpread[6] 设计了一个特定的权重函数来根据距离和深度动态控制权重的衰减速度。借助定制的 CUDA 并行加速,BEVSpread 实现了与原始体素池化相当的推理时间。MonoDiff [7]采用反向扩散过程来估计 3D 边界框和方向的新颖框架,采用高斯混合模型在正向扩散过程中对噪声进行采样并初始化反向扩散过程,利用 2D 检测信息通过保持 3D/2D 投影之间的对应关系来提供额外的监督。根据信噪比,我们采用动态加权方案来解释不同时间步长投影监督中的不确定性水平。OccTr[9]设计了一个占用网格图,结合了占用生成阶段和时间线索融合阶段,以使用预帧检测器有效地生成和更新占用图,采用不同的方法成功地整合了两个不同的时间线索——BEV 特征和占用图。
旋转框检测
ACM[10] 认为IoU 联合优化的优点超过了损失平滑的缺点,最终误导研究人员相信边界问题可以通过联合优化来解决。考虑到目前联合优化已经成为主流方案,一种方便的改进策略是通过可逆编码的角度平滑独立优化来校正角度,以及在校正角度的基础上通过联合优化将角度与其他参数融合。因此ACM将可逆性和联合优化从单一的平滑函数中分离为两个不同的实体,首次实现了同时校正角度边界和将角度与其他参数融合的目标。
位置类别检测
[11]充分应用了正交性的,在于未知类别检测中,解开类别头和位置头,通过特征正交化方案。同时在输出空间中强制正交性,这是通过合并新的正则化损失来实现的,该损失会惩罚两个预测之间的统计相关性。还开发了一个跨任务校准层,以在学习新类别时保持特征正交性。
[1] MonoCD: Monocular 3D Object Detection with Complementary Depths
[2]UniMODE: Unified Monocular 3D Object Detection
[3]YolOOD: Utilizing Object Detection Concepts for Multi-Label Out-of-Distribution Detection
[4]BEVNeXt: Reviving Dense BEV Frameworks for 3D Object Detection
[5]CLIP-BEVFormer: Enhancing Multi-View Image-Based BEV Detector with Ground Truth Flow
[6]BEVSpread: Spread Voxel Pooling for Bird’s-Eye-View Representation
[7]MonoDiff : Monocular 3D Object Detection and Pose Estimation with Diffusion Models
[8]DETRs Beat YOLOs on Real-time Object Detection
[9] OccTr: A Two-Stage BEV Fusion Network for Temporal Object Detection
[10]Rethinking Boundary Discontinuity Problem for Oriented Object Detection
[11] Exploring Orthogonality in Open World Object Detection
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)