【视频生成】

[2024 综述] A Survey on Long Video Generation: Challenges, Methods, and Prospects

论文链接：https://arxiv.org/pdf/2403.16407v1

代码链接：无

视频生成是一个快速发展的研究领域，因其广泛的应用范围而引起了广泛关注。这一领域的一个重要方面是长时间视频的生成，它带来了独特的挑战和机遇。本文首次综述了近期在长时间视频生成方面的进展，并将其总结为两个关键范式：分而治之或时间自回归。作者深入研究了每个范式中常用的模型，包括网络设计和条件技术等方面。此外，还全面概述并分类了对于推进长时间视频生成研究至关重要的数据集和评估指标。最后，对现有研究进行了总结，并讨论了这个动态领域的新兴挑战和未来方向。

---

【小目标检测】

[IROS 2024] Similarity Distance-Based Label Assignment for Tiny Object Detection

论文链接：https://arxiv.org/pdf/2407.02394

代码链接：https://github.com/cszzshi/SimD

小目标检测正成为计算机视觉中最具有挑战性的任务之一，因为目标尺寸有限且信息不足。标签分配策略是影响目标检测准确性的关键因素。尽管有一些有效的标签分配策略用于小目标检测，但大多数策略都集中在减少对边界框的敏感性以增加正样本数量，并且需要设置一些固定的超参数。然而，更多的正样本不一定会带来更好的检测结果，事实上，过多的正样本可能导致更多的假阳性。本文引入了一种简单但有效的策略，名为相似度距离（SimD），用于评估边界框之间的相似性。这一策略不仅考虑了位置和形状的相似性，还自适应地学习超参数，确保其能够适应不同的数据集和数据集中的各种目标尺寸。该方法可以简单地应用于常见的基于锚点的检测器中，替代IoU进行标签分配和非极大值抑制（NMS）。在四个主流的小目标检测数据集上的广泛实验表明，所提的方法表现出卓越的性能，特别是在AI-TOD数据集上，比最先进的竞争对手高出1.8个AP点和4.1个非常小目标的AP点。

实验结果

---

【目标检测】

[NeurlPS 2024] Frozen-DETR: Enhancing DETR with Image Understanding from Frozen Foundation Models

论文链接：https://arxiv.org/pdf/2410.19635v1

代码链接：https://github.com/iSEE-Laboratory/Frozen-DETR

最近的视觉基础模型能够提取通用表示，并在各种任务中展示出令人印象深刻的能力。然而，它们在目标检测中的应用被大大忽视了，尤其是在没有对其进行微调的情况下。这项工作展示了冻结的基础模型可以作为一个多功能的特征增强器，即使它们没有为目标检测进行预训练。具体来说，探索了通过以下两种方式将基础模型的高级图像理解直接转移到检测器中。首先，基础模型中的类token提供了对复杂场景的深入理解，这有助于通过提供紧凑的上下文来解码检测器解码器中的对象查询。此外，基础模型中的patch token可以通过提供语义细节来丰富检测器编码器中的特征。利用冻结的基础模型作为即插即用的模块，而不是常用的主干网络，可以在防止检测器主干和基础模型之间的架构差异引起的问题的同时显著提高检测器的性能。借助这种新颖的范式，在使用R50作为检测器主干并在COCO验证集上训练12个周期后，将最先进的基于查询的检测器DINO从49.0% AP提升到51.9% AP（+2.9% AP），并通过整合一个或两个基础模型进一步将其提升到53.8% AP（+4.8% AP）。

实验结果

---