点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

点击进入—>【目标检测】投稿交流群

添加微信号:CVer2233,小助手会拉你进群!

扫描下方二维码,加入CVer学术星球!可以获得最新顶会/顶刊上的论文idea和入门到精通资料,及最前沿应用!发论文/搞科研/涨薪,强烈推荐!

图片

img

给大家分享一下我们最新的工作!

Event-based Tiny Object Detection: A Benchmark Dataset and Baseline

作者:Nuo Chen, Chao Xiao, Yimian Dai, Shiman He, Miao Li, Wei An

单位:国防科技大学,南开大学

论文:

https://arxiv.org/abs/2506.23575

代码:

https://github.com/ChenYichen9527/EV-UAV

一、背景介绍

由于无人机体积小并且其周边环境复杂,反无人机任务中的小目标检测(SOD)是一个具有挑战性的问题。传统的基于帧的相机由于其低帧率、有限的动态范围和数据冗余而难以在复杂环境中准确检测小目标。事件相机具有微秒级的时间分辨率和高动态范围,为SOD提供了一种更有效的解决思路。如图1所示, RGB相机只能在正常光照下捕捉物体,而事件相机可以在各种极端光照条件下捕捉到小目标的连续运动轨迹(如红色曲线所示)。

img

尽管事件相机在SOD领域具有很大的潜力,但是将其用于SOD仍然面临以下挑战:

  • • 首先,小目标的小尺寸和有限的外观线索阻碍了特征学习,而且背景杂波会降低检测性能并导致虚警。

  • • 其次,当前基于事件的检测方法通常将事件转换为类似帧的同步图像表示,这破坏了事件数据的连续性和稀疏性,导致时间信息的丢失和冗余背景数据的不必要处理。

  • • 此外,缺乏大规模、高质量的数据集严重阻碍了基于事件的运动小目标检测的发展。

在本文中,我们首先构建了一个大规模的基于事件相机的运动小目标检测(EVSOD)数据集,然后基于时空事件点云表示开发了一种针对EVSOD的新型检测方法,最后以开发的数据集和提出的方法为基线,广泛评估了EVSOD的各种深度学习方法,从而解决上述挑战,推进基于事件的小运动物体(尤其是无人机的EVSOD)检测的发展。

二、EV-UAV数据集

EV-UAV数据集旨在更好地表示具有挑战性的现实世界场景,它具有大量具有小目标和动态背景的探测场景,为开发和评估反无人机方法提供了强有力的基准,如Figure 2 所示。

img

此外,我们还提出了一种逐事件语义分割标注方法。该方法使用边界框标签逐个生成近似的事件注释,如Figure 3所示。

img

三、EV-SpSegNet

基于帧的检测器需要将事件转换为同步的图像表示,这压缩了事件的时间信息,使得检测已经缺乏明显外观线索的小目标变得更加困难。在原始事件数据中,运动目标产生的事件表现出很强的时空相关性,在事件点云空间中形成细长的连续曲线。利用这一特性,我们提出了EV-SpSegNet,它直接对稀疏事件点云中移动目标生成的事件进行分段。此外,我们引入了一种新的时空相关性损失STCLoss,该损失评估事件的局部时空相关性,以指导网络保留具有连续曲线的目标事件。

  • • 事件稀疏语义分割网络EV-SpSegNet:小运动目标在时空事件点云中形成明显的连续曲线。然而,网络难以提取其特征,因为这些曲线跨越了很长的时间范围,而具有有限感受野的传统卷积操作无法有效地捕获全局特征。虽然注意力机制可以提取全局上下文,但它们的二次计算复杂性限制了它们处理大规模事件数据的能力。为了有效地从时空事件点云中的连续曲线中提取特征,我们设计了一个分组扩展稀疏卷积注意力(GDSCA)模块,如Figure 4(b)所示。该模块首先通过分组扩展稀疏卷积(GDSC)块捕获局部多尺度特征,然后使用Patch Attention实现分块的全局特征交互。

img

时空相关性损失STCLoss:尽管EV-SpSegNet计算结构化输出并专注于大尺度邻域信息以更好地利用长期特征,但常用的语义分割损失(如:BCE Loss)会独立处理每个像素。他们没有考虑邻域的结构,例如对象的时空连续性,这对于描述对象形成的连续曲线至关重要。为此,我们提出了STCLoss,它的核心思想是计算事件周围邻域内所有支持事件的置信度之和,并将其定义为时空相关性权重。它鼓励网络保留更多具有高时空相关性的事件,同时丢弃更多孤立的噪声。

img

四、实验结果

我们对比了通用的目标检测算法、基于事件的目标检测算法和一些点云语义分割算法,我们的EV-SpSegNet在所有评估指标下都实现了最佳的检测性能。定量和定性比较分别如Table 2和Figure 6所示。

img img

更详细的消融实验可参见原文。

顺便宣传一下:最近我们团队系统整理了小目标检测与跟踪(SODT)领域的顶会/顶刊论文资源,方便大家高效追踪SODT领域的前沿进展,为科研工作提供参考。项目会持续更新,欢迎关注与使用!

项目链接:

https://github.com/ChenYichen9527/small_object_detection_resources

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复:何恺明,即可下载本课程的所有566页课件PPT!赶紧学起来!

ICCV 2025 论文和代码下载

在CVer公众号后台回复:ICCV2025,即可下载ICCV 2025论文和代码开源的论文合

CVPR 2025 论文和代码下载

在CVer公众号后台回复:CVPR2025,即可下载CVPR 2025论文和代码开源的论文合集

目标检测交流群成立

扫描下方二维码,或者添加微信号:CVer2233,即可添加CVer小助手微信,便可申请加入CVer-目标检测微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer2233,进交流群
CVer计算机视觉(知识星球)人数破万!如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料,一定要扫描下方二维码,加入CVer知识星球!最强助力你的科研和工作!

▲扫码加入星球学习

▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐