51c~视觉~红外小目标检测~合集1
我自己的原文哦~ https://blog.51cto.com/whaosoft143/14412831
一、红外弱小目标检测算法技术研究综述
红外探测技术具有视觉探测所不具有的独特优势,在预警领域有广泛应用。本文以单帧红外弱小目标检测算法为主体,从技术方向入手,阐述了基于滤波等四类单帧弱小目标检测算法的原理与典型应用,希望对大家有所帮助。
摘要: 红外探测技术具有探测距离远、抗干扰能力强、隐蔽性强和全天候等优势在天基预警、末敏弹制导等领域得到了广泛应用。通过红外成像技术能够得到目标图像从而对目标进行预警、识别和跟踪。在实际场景中,目标图像往往所占像素比例小,信号强度低,容易湮没在背景图像中;背景图像变化剧烈,存在较强的结构信息、边缘和噪声,红外图像信噪比低,目标检测难度较大,一直是目标检测领域的研究难点和热门话题。为提高红外图像弱小目标检测能力,大量的弱小目标检测算法被提出。现有的主流的检测手段根据图像数据检测方式分为单帧检测和多帧检测两大类,多帧算法依赖大量的图像数据支撑,响应周期长,应用潜力低,而单帧检测算法凭借复杂度低、时效性强、便于硬件实现等特点,被广泛应用在高速运动目标检测、预警等领域。
因此本文以单帧红外弱小目标检测算法为主体,从技术方向入手,着重阐述了基于滤波、基于对比度与显著性分析、基于数据优化和深度学习四类单帧弱小目标检测算法的原理与近年来的典型应用,通过仿真试验和算法复杂度对比了不同算法的性能、优势和不足,总结了弱小目标检测算法的研究现状并对本领域的发展趋势进行了展望。本文的工作能帮助读者快速了解本领域的研究现状,为研究人员提供参考。
01 引言
红外搜索与跟踪(Infrared Search And Track, IRST)系统的探测依据是前景目标和背景物体的温度不同,产生的红外辐射强度不同。依赖于材料和光电技术的发展,从最初的热电偶探测器到热成像仪,红外探测器的灵敏度、波长响应范围、分辨率和工作范围等性能都得到了显著提升。红外探测系统常用于与国防安防等领域,所针对的多为非合作目标,由于无法提前获取目标意图,IRST系统有必要尽可能早、尽可能远地对其进行预警。
由于红外探测系统的广泛应用,大量的无人机、浮空器等“低小慢”航空器目标出现在红外探测视野,这些目标在采集的图像中往往具备如下特点:
(1)目标能量弱:目标信号经过长距离衰减,探测器能够接收到的信号强度低,与强干扰背景信号强度的对比度较小,常常容易湮没在背景信号中;
(2)目标形态小:由于成像距离远,目标在图像中仅占据少量像素点,无纹理结构信息;
(3)图像背景复杂:通常来说,目标所处环境中存在大量的干扰物体,在图像中容易产生边缘、角点等干扰信息,增加弱小目标的检测难度。因此如何快速、鲁棒地对红外图像中的弱小目标进行检测是目前IRST系统的核心问题。
红外弱小目标检测根据单次检测数据数量可以分为多帧检测和单帧检测。多帧检测的主要依据是序列图像中弱小目标的运动连续性以及噪声的运动随机性,通过对疑似运动路径的识别从而达到弱小目标检测与随机噪声剔除目的。单帧检测的主要依据是弱小目标在图像中的数据特征信息。在实际应用场景中,目标往往处于动态背景当中,相较于静态背景,多帧算法的检测性能会下降,尤其是时效性会大大降低,而单帧检测算法不需要考虑背景的运动,时效性远强于多帧检测,在天基预警、空空对抗等需快速响应的领域具有重要意义,加之单帧检测算法通常设计简单,其检测结果也可以作为多帧检测的基础模块,近年来单帧检测受到了大量的关注与研究,因此本文以单帧检测的不同技术手段作为着手点,阐述了不同技术手段的检测实现原理与固有优缺点,仿真了部分代表算法,比较了不同算法的检测性能,总结了目前基于单帧检测的发展现状并对发展趋势进行了展望。
02 单帧红外弱小目标检测算法
按照处理技术手段的不同,目前所使用的单帧红外弱小目标检测算法大致可以分为如下三类:
(1)基于滤波的检测方法:其中根据滤波处理域的不同又可以分为空域滤波、变频域滤波和形态学滤波三类;
(2)基于人类视觉对比度机制与显著性分析的检测方法:目前主要包括局部对比度分析和显著性分析两种;
(3)基于数据优化的检测方法:根据背景来源以及复杂程度可以采取单子空间和多子空间两种处理方式,如图1所示。
图1 单帧检测技术
滤波法主要以目标与背景在空域或变换域的数据特征不同为依据选择性的去除非目标像素,从而实现目标检测。对红外图像中的目标进行检测可分为空域滤波、变换域滤波以及形态学滤波三类方法,滤波过程如图2所示。
图2 滤波法流程图,(a)空域滤波,(b)变换域滤波,(c)形态学滤波
2.1.1 基于空域滤波的红外弱小目标检测算法
空域滤波主要是利用弱小目标与背景在红外图像中局部灰度值特征差异,直接在原始图像上进行滤波运算对背景进行估计,然后通过背景图像与原始图像的差分得到弱小目标图像。如式(1)所示:
![]()
其中I、It分别为原始图像、预估背景图像和目标图像,*为滤波操作,K为滤波器,[i,j]为像素的坐标。
早期的空域滤波算法为基于一些经典滤波器设计窗口去遍历原始图像进行背景估计。例如中值滤波[1]以及最大均值滤波算法[2],这两种算法通过使用邻域内像素计算中心像素预估背景,可以在不破坏图像的结构信息情况下去除图像中的噪声与干扰,对于简单场景下的弱小目标可以得到较好的检测效果,后者相较于前者能保证背景边缘信息情况下优化计算量,且提高了信杂比,但两者泛化能力较差且检测效果受窗口大小影响,对于弱小目标的检测效果不理想。文献[3]考虑到弱小目标的各向同性,将高斯差分滤波器(Difference Of Gaussian Filter, DOG)表示为极坐标形式,设计了对方向敏感的扇形滤波模板,然后取8个方向上的最小值作为输出,有效地去除了边缘对弱小目标检测的影响。文献[4]发现滤波器方向的不同会导致不同的预测误差,于是通过增加左向滤波器去除边缘的影响。文献[5]使用相同的模板预测图像块的8邻域块中心像素点的像素值,然后使用得到的8邻域块的中心预测值预测当前图像块中心值。文献[6]加入预测像素块8邻域块的边缘信息,降低了云边缘弱小目标检测的影响,同时通过邻域图像块的预测值自适应地调整迭代步长,提升了算法速度。
考虑到传统的维纳滤波主要适用于均匀灰度背景,鲁棒性差,文献[7]提出了一种通过迭代自适应估计背景的二维最小均方(Two Dimensional Least Mean Square, TDLMS)滤波器。文献[8]将TDLMS滤波器应用到弱小目标检测,该算法通过邻域内的像素点估计当前点像素值,计算估计图像与期望图像之间的偏差更新权重矩阵,自适应迭代进行目标增强,达到检测目的。但自适应因子的选取会影响算法的性能,适当的值会产生少量边缘失真的图像,在处理高亮噪声、强边缘结构干扰效果较差。
随着研究的深入,研究人员将更多的图像信息引入到弱小目标检测当中,文献[9]发现仅以像素的差异作为可分性特征会在前景图像中保留大量的边缘噪声,因此,作者同时考虑像素点的空间距离和像素值差异,提出了双边滤波,尽可能将边缘信息保留在背景图像中,但单一的滤波窗口限制了其场景适应性。于是文献[10]在其基础上,在使用双边滤波器时增加了一个内外层的滤波器模板,并且结合巴氏高通滤波器去除图像中的低频部分,具有较好的弱小目标检测效果。文献[11]考虑到目标中心邻域像素的灰度值与中心像素的灰度值相近,传统双边滤波可能会造成目标漏检的问题,提出了一种背景相关因子调节权重的改进双边滤波算法,通过降低目标背景相关性、抑制目标灰度值来获得更真实的背景图像,降低了算法漏检率。文献[12]分别在时间和空间两个维度上使用双边滤波器,利用空间邻域图像块的方差以及时间序列上的方差构建映射函数,自适应地生成不同图像区域的标准差从而达到保留边缘的效果。文献[13]使用全变分模型对图像序列背景进行预测,然后在相应的序列图像中减去预测的背景,得到减法图像。最后,利用时间对比度滤波器与减影图像的乘积,对目标进行检测。文献[14]考虑到目标中心邻域像素的灰度值与中心像素的灰度值相近,传统双边滤波可能会造成目标漏检的问题,提出了一种背景相关因子调节权重的改进双边滤波算法,通过降低目标背景相关性、抑制目标灰度值来获得更真实的背景图像,提高了算法检测性能。
2.1.2 基于变换域滤波的红外弱小目标检测算法
变换域的主要思想是将待检测图像通过映射变换投影到变换域上,利用弱小目标和背景在变换域上呈现出的特性不同实现弱小目标检测。基于变换域滤波算法可以表示为:
![]()
f为原图,表示为一种映射到变换域的数学方法及其逆运算,为检测出的弱小目标图像,H为变换域上的滤波器,*为变换域滤波操作。
TANG等人[15]将原始图像映射到频域中后,发现弱小目标占高频部分,平滑灰暗背景占低频部分,基于此提出了一种基于频域滤波的目标检测算法,通过原始图像与低通滤波器预估背景图像差分后可获得目标图像。但此算法对一些边缘结构,拐点也很敏感,低通阈值的选择限制了算法的检测效果。文献[16]发现利用傅里叶变换的相位谱可以在突出类高斯弱小目标的同时抑制条带噪声,然后将四元数傅里叶变换引入到弱小目标检测当中,利用facet模型求取四个方向上的二阶导数构建四元数,最后重建目标图像。文献[17]首先使用基于平稳小波变换的方向检测提取目标的潜在位置,然后潜在目标位置采用自交叉验证和预测校正算法确定目标的精确位置。文献[18]通过傅里叶变换,将图像序列在时间轴上进行1D傅里叶变换,在图像平面进行2D傅里叶变换,然后通过硬阈值保留图中的背景结构,使用差分方法得到目标图像,再将得到的运用能量积累确定目标位置。文献[19]首先使用低通滤波器对图像进行平滑处理,然后将图像分为多个子图块,对每个子图块搜寻最大值作为种子点使用区域生长方法,最后使用阈值分割确定目标位置。
2.1.3 基于形态学的红外弱小目标检测算法
形态学滤波是一种建立在格论和拓扑学基础之上的非线性滤波方法。通过以结构元素为内核在内核区域集合运算获得中心像素的方式进行目标检测和背景抑制。主要包括膨胀、腐蚀、开运算和闭运算等基本运算。选择合适的结构元素利用基本运算或运算组合可以有选择性的去除图像中某些区域,提取弱小目标。
Top-Hat滤波器[20]是形态学滤波最具代表性的,其主要思想是通过开运算消除图像较亮的部分,将原图与开运算处理后结果进行差分可以获得目标图像。但此算法无法处理缘杂波,因此文献[21]提出了一种新型的Top-Hat滤波器,通过构建环形新的结构元,在进行开闭运算时分别使用半径不同的结构元,降低了对边缘杂波的敏感性。文献[22]在环形结构元Top-Hat滤波的基础上,利用局部信息熵以及M估计方法确定结构元尺寸,增强了算法对多尺度目标的鲁棒性。文献[23]通过分析海平面红外弱小目标的特点,定义了8个方向不同的结构元素,然后根据弱小目标的时域连续性以及空域紧致性,构建了三个不同的特征图,通过特征图的融合对弱小目标进行检测,降低了对图像中边缘干扰的敏感性。文献[24]则将击中击不中变换应用到红外弱小目标检测当中,使用前景和背景两个结构元,利用前景结构元收缩亮点区域,然后使用背景结构元平滑图像,利用二者的差值对红外目标进行增强。文献[25]使用Top-Hat对图像进行预处理,然后使用网格划分法将图像分成多个子图像,对每个子图像进行峰值搜寻,然后使用灰度面积增长法检测候选弱小目标区域,通过阈值分割对弱小目标进行检测。
2.1.4 基于滤波算法对比
如图3为测试了中值滤波(Median Filter)、最大值滤波(Max-Mean)、低通滤法(Low-Pass Filter, LPF)、双边滤波(Bilateral Filter)和Top-Hat五种算法的目标检测性能。滤波法直接根据目标与背景的空域或变换域特征差异,利用卷积或相关手段实现对目标增强与背景抑制。但通常背景边缘在空域、变换域与目标具有相似的特征,可以从中看出,传统滤波算法都无法很好的抑制边缘杂波干扰。图中中值滤波法在处理背景复杂的图像时,大量轮廓信息无法滤除检测效果差;Max-Mean背景的纹理信息的抑制效果相较中值滤波法有很明显的提升。双边滤波考虑了灰度特征和分布特征的共同影响,更好保留了背景的边缘信息,边缘抑制能力加强。空域滤波算法受限于窗口的尺寸形状选择,尺寸过大拟合出的背景模糊失去边缘信息,窗口过小无法覆盖目标像素。变换域滤波通过映射思想检测目标,相较空域更加突显目标与背景的特征差异,提升了检测性能。但变换域滤波比较依赖阈值的选择,频域滤波在处理单一背景图像时,滤波效果明显,在处理树林、云层等复杂背景图像阈值选择难度大,检测效果不理想。形态学滤波算法可以有选择性的抑制图像的某些特征信息,但检测效果依赖于结构元素的构造,鲁棒性差。
图3 基于滤波算法仿真
2.2 基于视觉对比度分析与显著性分析的红外弱小目标检测算法
人类视觉系统(human visual systems,HVS)特有的对视觉显著性区域快速反应的选择性机制在进行弱小目标检测时具有较好的鲁棒性,因此一些视觉系统的理论机制被引入到弱小目标检测,大量的红外弱小目标检测算法被提出。此类算法主要是通过分析目标像素与邻域像素之间的灰度值、梯度等特征的差异,实现目标增强和背景抑制的目的,流程如图4所示。
图4 视觉理论算法流程图
2.2.1 基于显著性分析的红外弱小目标检测算法
文献[26]使用三层窗口遍历图像,通过计算内层窗口与外层窗口的方差差值构建空间著性图,然后使用时域灰度映射构建时域显著性图,最终融合两张显著图对目标进行检测,能够有效地提取低空慢速弱小目标。文献[27]为避免多尺度运算导致算法复杂度提升和图像区域交叠使目标漏检,提出基于三层模板的局部差异度量算法(tri-layer template local difference measure, TTLDM)。使用单一尺寸的三层模板遍历原始图像就能获得显著性图,提高了复杂背景弱小目标检测的实时性。WANG等人[28]发现现有算法在处理信杂比低,目标所占像素少,缺乏纹理信息,背景纹理丰富的问题时会出现虚警、适应性差和鲁棒性弱等问题。为改良不足,提出了一种基于模板滤波和显著性提取的弱小目标鲁棒检测算法。首先通过空域滤波以后对目标进行增强,得到加权灰度图,对加权灰度图进行目标检测同时使用傅里叶相位谱生成频率显著图对图像中的弱小目标进行检测,对两种方法得到的检测图进行融合后使用自适应分割得到目标,进行目标像素之间的位置分析后去除虚警点。文献[29]提出了一种红外弱小目标快速显著性检测方法,该方法使用Facet模型构建卷积核对图像进行高通滤波处理,然后对处理以后的图像进行平方增强,最后通过平滑消除图像噪声后使用自适应分割检测目标。文献[30]首先使用高斯滤波器在空域对图像进行平滑然后进行差分处理去除均匀背景干扰,然后再利用二维傅里叶变换提取视觉显著性区域对变换后的图像的振幅谱进行抑制去除高亮背景对检测的影响,然后通过快速傅里叶逆变换(Inverse Fast Fourier Transform, IFFT)得到目标位置,最后根据自适应局部对比度(Adaptive Local Contrast Method, ALCM)方法进一步去除虚警目标。文献[31]对于处理以后的图像使用Facet核进行滤波处理,然后根据跨窗口标准差计算局部异质性,再结合低秩表示的结果构建目标的显著性图,通过自适应阈值分割能够很好地得到海平面弱小目标检测效果。文献[32]通过分析图像的相位残差谱提取显著性图像,然后根据显著性图提取兴趣区域,生成掩膜图像,最后根据形态学重建以及背景减除方法检测弱小目标。文献[33]首先通过局部灰度差异值以及全局梯度值通过非线性变换生成图像的空间显著性图,然后根据帧间的差分信息建立时间显著性图,提出了一种自适应的显著性图融合方法对时域跟空域显著性图进行融合实现对目标的检测。
2.2.2 基于局部对比度分析的红外弱小目标检测算法
局部对比度是直接应用于图像的灰度,通过分析目标区域在局部区域中很明显,文献[34]首先提出了一种基于局部对比度(Local Contrast Measure, LCM)的红外弱小目标检测算法,算法计算中心图像块最大灰度值的二次方与8邻域图像块的均值对弱小目标进行增强如图5所示。
图5 局部对比度分析示意图
其中a为待处理图像,w为滑动窗口,t为目标可能所在区域,b为w窗口等分进行邻域划分。局部对比度求解过程如算法1所示。
算法1 求解局部对比度
局部对比度越大出现弱小目标的概率越大,此算法在噪声干扰较低的情况下具备较好的检测效果,但是对于高亮噪声、云边缘的干扰抑制效果较差。文献[35]考虑到差分定义局部对比度能有效抑制高亮背景,但无法增强目标;比值定义局部对比度能增强目标,但无法抑制高亮背景,提出了一种基于局部对比度(Relative Local Contrast Measure, RLCM)利用中心块与邻域块的均值比值构建中心块增强因子,降低了对边缘的敏感性。文献[36]使用一种比值差值结合的局部对比度计算方式,然后根据目标、背景以及两者之间的差异特性构建权重函数,能够很好的抑制随机噪声。文献[37]利用高斯下采样表示局部窗口的灰度特性,且提前根据弱小目标的局部极大值特性消除大量背景干扰,提高了计算效率,最后结合高斯多尺度对比度结果检测目标。为通过简单的自适应滤波准确快速的分割目标,文献[38]提出了一种多尺度的局部对比度方法(Multiscale Patch-Based Contrast Measure, MPCM),MPCM表示像素属于目标区域的概率,通过计算不同尺度下局部对比度的值,通过自适应阈值增强目标和抑制背景。此算法增强了算法对于目标大小变化的鲁棒性,且削弱了正负高斯拉普拉斯滤波(Laplacian Of Gaussian, LOG)的边缘响应,但是检测精度受限于阈值的选择,计算过程中相关参数的估计需要一定的先验信息。文献[39]使用改进后的局部熵对多尺度局部差异对比度进行加权,消除了云边缘对目标检测的影响。文献[40]仿照空间局部灰度值差对比度建立的方法在像素时间轴上构建时间局部像素值对比度机制,综合时间对比度和空间对比度建立时空对比度来实现对弱小目标的检测。文献[41]根据弱小目标的成像特性,对中心图像块采用高斯滤波对目标进行增强,对于邻域图像块,则使用均值滤波器以及标准差滤波器处理尽可能平滑噪声,对处理后的图像使用局部对比度机制处理检测图像中的弱小目标。文献[42]首先在高斯空间确定每个像素点的局部窗口大小,然后计算差值对比度与比值对比度检测弱小目标。文献[43]使用多个滤波器对图像进行预处理,然后使用随机游走算法(Random Walker, RW)对去除预处理图像的部分背景杂波并提取不规则目标,然后根据RW算法标记的概率值计算对比度,获取低对比度目标。文献[44]通过正负高斯拉普拉斯滤波(Laplacian Of Gaussian, LOG)检测疑似目标区域,然后根据多尺度下的灰度差值对比度去除疑似目标区域。文献[45]利用图像的高频信息与局部最大值获取候选目标点,然后根据目标的灰度下降和局部梯度分水岭特征,计算每个候选目标点的对比度提取目标。
单层对比度机制在面对背景与目标对比度不高或背景复杂时,特别是海天背景下,存在大量的噪声和杂波影响,现有算法检测结果虚警率偏高,同时为降低目标检测在复杂背景边缘和拐点误检率,文献[46]提出了一种基于双层窗口的局部对比度算法(Double Window LCM, DLCM)。通过两个背景系数获得背景子窗所在的区域信息,再利用滑窗定义拐点惩罚系数,两个窗口共同构成图像的局部先验信息,降低了目标检测的误检率。文献[47]提出了一种改进的双层对比度机制方法,同时采用汉宁窗对第一层进行加权,同时融合8方向梯度图对目标进行增强,最后通过奇异值分解去除高亮噪声的影响。韩等人[48]为针对复杂背景和低信杂比条件下的红外弱小目标检测提出了一种三层的局部对比度方法。该方法设计单一尺寸的三层嵌套窗口,中间层用于捕获目标主要元素,最外层用于捕获背景元素,中间层用于目标和背景的隔离和过渡,只要目标尺寸不超过中间层大小,即可利用单一尺寸窗口实现对不同尺寸大小目标的检测。该方法相较于多尺度对比方法算法计算量小、实时性强。但由于最外层采用最接近原则,当目标和边缘另一侧亮度相当时目标会被抑制,因此该算法在处理目标靠近高亮背景的图像时效果不理想。鲁等人[49]为解决传统算法在处理复杂背景弱小目标检测低检测率和高虚警率的问题提出了一种改进的加权增强局部对比度(Improved Weighted Enhancement Of Local Contrast Measure, IWELCM)算法。首先,构建嵌套窗口,通过计算中心块和八方向背景块的局部对比度来抑制背景那个边缘;其次,基于弱小目标特征和目标与背景之间的统计差异提出块灰度比概念,计算像素的加权函数;最后,通过多尺度和最大池化操作得到最终的IWELCM达到检测目的。此算法在明亮的云层边缘背景和灰暗目标背景效果显著,但当背景存在强干扰时一些强干扰会无法得到很好的抑制。
2.2.3 基于视觉显著性算法对比
图6为LCM、MPCM、RLCM和DLCM四种算法仿真结果对比,基于视觉显著性检测算法能够在目标纹理特征不明显时较好地提取出目标所在区域,再通过阈值分割等方法结合进行弱小目标检测。LCM法主要利用目标灰度值较邻域灰度值大的特点进行目标增强,同时噪声也会过增强,降低检测效果。MPCM法优点在于能够容易把弱小目标从背景中抽离出来,对于较暗的目标仍有良好的检测能力,但是受到云层、树林等杂波影响较大,鲁棒性差。RLCM法不需要预处理消除高亮背景和边缘杂波干扰,能够实现复杂背景下不同目标的检测,鲁棒性好。DLCM法可实现对不同尺寸弱小目标的检测,杂波抑制能力强,鲁棒性强,检测效果最好。现有的方法大多从算法层面糅合加以改进,并不能从原理层面更好的有机结合图像信息。同时也不用仅限于局部对比度可以通过引入更多信息(局部信息熵[50]等)作为加权函数或融合等手段改进提高算法性能。
图6 基于视觉显著性算法仿真
2.3 基于数据优化的红外弱小目标检测方法
由前面的分析可知,红外弱小目标往往向周围空间辐射大量的能量,在图像上呈现为突兀的光点,在图像中具有稀疏特性而背景像素之间差异一般较小,像素之间的关联性较强,具有低秩性。因此基于数据优化的方法从背景与目标的两种不同特性入手,构建相应的优化模型并解,对背景与目标图像进行分离,从而达到检测弱小目标的目的,如图7所示。
图7 数据优化检测流程图
2.3.1 基于单子空间数据优化的红外弱小目标检测算法
GAO等人[51]考虑到在IRST系统中传感器常处于运动状态,这种场景下生成的红外图像背景不会一成不变,目标也会因运动存在不连续性。目标的类型,环境的干扰都可能造成目标的灰度不满足二维正态分布,同时目标的尺寸也会影响算法的检测性能。为解决传统算法的不足提出了一种(Infrared Patch-Image, IPI)模型:
![]()
其中 是原始图像, 是目标图像, 是背景图像, 是噪声图像。通过分析背景的灰度强度变化平稳, 在灰度空间分布具有较大的相关性可将背景图视为低秩矩阵, 目标所占像素比例小可将目标图视为稀疏矩阵, 目标检测工作转化为从原始图像中最优的分解出一个低秩矩阵和一个稀疏矩阵:

为矩阵所有元素平方和再开方, 。.为矩阵的奇异值之和, 为矩阵所有元素的绝对值之和, 为了更好的估计背景将模型转化为:
![]()
是非负权重,取值不定。该模型通过遍历图像,将每次取得的图像块向量化构建原始矩阵,最后通过加速近端梯度算法(Accelerated Proximal Gradient, APG)求解矩阵的奇异值,该方法能较好地提取图像中的弱小目标,但对边缘、角点敏感,使用矩阵求逆耗时较长。文献[52]利用局部结构知识,使用转向核和协方差对每一个Patch构建权重。文献[53]首先使用引导滤波方法对原始图像进行处理,使用处理的得到的图像构建Patch模型,然后使用奇异值部分求解背景图像达到分离目标的目的。考虑到背景的不均匀性、非平滑性,文献[54]引入全变分正则化项对背景中的边缘结构进行保留,该算法能够在各种场景下都有良好的性能,能够较好的估计背景,这种估计还能进一步应用到运动检测、图像配准等方面。文献[55]对图像进行度多尺度分解,构建多尺度Patch池,计算池中的每Patch的自适应权重,实现多尺度下的目标—背景分离,最后,通过模板匹配相似性度量的阈值分割实现红外弱小目标的检测。文献[56]使用背景张量的核范数代替张量的秩,同时使用原始图像的结构张量特征值构建自适应权重。Sun等人[57]分析了图像块的形状、大小和数量的最优参数原理,提出了一种高效的多尺度低秩红外弱小目标检测方法,经系统地分析,采用三种最优尺度对弱小目标进行检测,充分保留了弱小目标的信息,并提高了运行效率。Zhang等人[58]考虑到IPI模型会在目标图像中留下背景残差和稀疏强边不能完全抑制的问题提出了一种基于非凸秩逼近最小化联合范数(Non-Convex Rank Approximation Minimization, NRAM)的检测算法,该算法通过采用非凸、加权范数来抑制背景,引入结构化范数消除强残差,抑制稀疏强边缘。在此基础上,文献[59]使用背景张量奇异值的拉普拉斯函数值代替张量的秩,对于结构化的稀疏边缘使用范数进行正则化约束。SUN等人[60]针对普通核范数和低秩分量会引起过缩问题提出了一种基于加权Schatten p-范数的时空张量模型(Weighted Schatten p-norm Minimization Spatial-Temporal Infrared Patch-Tensor,WSNM-STIPT),通过对背景部分利用非局部张量全变分约束背景中的边缘结构,计算像素点结构张量矩阵的特征值,构造能自适应区分角点与边缘的目标项自适应权重,使用截断奇异值方法检测弱小目标,该算法在复杂背景和中噪声条件下具有较好的检测性能。文献[61]分析目标往往存在于奇异值最大衰减之前,通过提取最大衰减前的图像层次,然后使用霍夫直线检测去除目标图像中的直线干扰得到弱小目标位置。DAI等人[62]发现IPI模型会出现过度缩小目标或强边缘信息难以滤除的情况提出了一种新的背景抑制模型(Non-negative Infrared Patch-image Partial Sum, NIPPS),考虑目标的非负性,同时提出了一种基于奇异值部分和极小化方法估计背景张量,避免了缺陷样本被误认异常值的可能性,提高了算法的检测性能。文献[63]将IPI模型拓展到张量域,使用奇异值分解(Singular Value Decomposition, SVD)求解背景张量的核范数实现对弱小目标的检测。文献[64]在IPT模型的基础上考虑背景图像贴片与目标图像贴片稀疏性的相关性。文献[65]提出了一种非重叠时空Patch张量构建法,然后使用张量限制核范数估计背景张量块。文献[66]通过环形Top-Hat算法对得到的目标张量进行处理,有效地降低了目标张量中的边缘干扰。文献[67]通过局部对比度方法构建目标张量的自适应权重,然后对S矩阵进行处理,而得到 , 根据 和t-SVD构建新的核范数。考虑到大多数低秩方法对不同的奇异值赋予相同的权重,使背景估计不准确,文献[68]使用Log算子计算背景张量三个维度上纤维核范数代替张量的秩,使用结构张量的特征值构造自适应目标张量权重,提升了算法的各项指标。文献[69]认为时空域上目标变化具有不对称性,提出了非对称时空正则化项保留背景分量中的稀疏结构。Yan等人[70]考虑到当目标被湮没在背景杂波和边缘结构中时,目标检测和背景估计难度更高,提出了一种基于核低秩张量主成分分析的检测方法,使用核低秩逼近方法来估计背景分量,同时利用图拉普拉斯正则化作为稀疏约束约束均匀目标区域。算法在强边缘和强杂波干扰情况下仍能鲁棒的检测目标。文献[71]通过引入了一种新的红外序列张量分解方法,能够结合本征张量秩和空间结构来提高背景恢复。文献[72]针对矩阵分解的残留过优化问题,引入Pareto边界优化策略以及Huber惩罚项,然后使用随机SVD方法加快求解速度。
2.3.2 基于多子空间数据优化的红外弱小目标检测算法
由于真实红外图像中往往存在大量杂波(如云边缘、道路边缘以及地面复杂背景等),许多学者认为使用背景来自单一子空间的数据优化方法会导致结果中存在大量虚警点,因此基于多子空间数据优化方法相继被提出。文献[73]通过红外序列构建时空张量,使用背景的张量的核范数将多子空间性质推广到张量域。文献[74]在多子空间理论的基础上,利用二维高斯模型生成原子,生成过完备目标字典;然后通过低秩稀疏表示模型对重置后的图像数据矩阵进行分解,得到图像的背景分量、噪声分量和目标分量。文献[75]使用重叠边缘信息构建目标图像的加权系数矩阵,然后使用自正则化项挖掘背景中的潜在信息,从多子空间中提取杂波信息实现对图像中的弱小目标检测。文献[76]利用多子空间恢复理论和子空间学习策略,构造了标准正交子空间和范数下包含群稀疏性的优化模型。文献[77]利用稀疏表示模型将目标图像分解为背景分量、目标分量和噪声分量,使用双稀疏模型构造了一个背景字典,并提出了一种改进的在线学习算法来训练字典,同时提出了一种边缘杂波抑制策略提高鲁棒性。ZHANG等人[78]发现在异构场景下仍然很难从背景的稀疏残差中恢复出目标图像,因此提出了一种新的基于边角感知的时空张量(Edge and Corner Awareness-based Spatial-Temporal Tensor, ECA-STT)模型。通过一个可调的边缘和角的权重来突显目标,将背景分离问题等效成一个张量鲁棒主成分分析问题,大大提升了算法的目标增强和背景抑制能力,但总体算法复杂度较大需要引入更加高效的张量秩替代项和TV正则化项优化计算量。
2.3.3 基于数据优化算法对比
如图8为IPI、ECA-STT、NIPPS、WSNM-STIPT和NRAM算法的仿真结果。从目标图可直观看出,基于数据优化法相较传统算法的背景抑制能力更强,检测效果更好,但都存在一些无法消除的噪点,主要是因为数据优化法使原始图像中一些强边缘或角结构在背景恢复过程不准确,被当作孤立稀疏的点被误判定为目标图像。IPI法在每个图像块向量化时,会破坏图像间的结构信息,目标图像估计不准确,导致目标图像会留边缘残差和角残差,检测效果不佳。此法适合背景均匀的场景,输出目标图像噪点少。ECA-STT法为针对IPI法产生残差问题,引入了边缘和角的权重指标,从仿真结果看出目标图像噪点较少,能更好的从稀疏残差中区分真目标,提高了算法的鲁棒性。NIPPS法在背景杂波、强边缘和非目标干扰情况下检测效率不高。WSNM-STIPT法解决了背景估计的过缩问题,目标图杂波少,背景图像恢复更加准确,提高了对厚重杂波和大噪声的抑制能力,目标检测的能力和鲁棒性更强。NRAM法降低了运算复杂度,有较好的鲁棒性,但同样存在将非目标噪声或非目标突出像素误判为目标的问题,强边缘无法完全抑制。
图8 基于数据优化算法仿真
2.4 基于深度学习算法的红外弱小目标检测算法
目标检测算法特征提取主要分为底层特征、中层特征和高层特征。传统算法主要的特征提取方式就是提取纹理、形状、亮度等底层特征或以底层特征为基础通过机器学习或其手段挖掘出的中层特征。中底层特征的提取会受到窗口设计、光照变换等因素干扰从而增加特征提取难度。而深度学习算法能够对图像数据多层次分析挖掘深层次特征避免了上述问题。深度学习网络模拟大脑对信息的处理方式拥有自主学习和分析功能,提取图像的多层语义特征,提高检测能力。目前根据检测原理不同,深度学习算法可大致分为基于回归神经网络模型One-stage 模型和基于区域候选的神经网络模型Two-stage模型。两种模型的检测流程如图9和图10所示。
图10 Two-stage模型流程图
2.4.1 基于One-stage 模型的红外弱小目标检测算法
One-stage 模型是基于回归的范式,直接对物体分类和候选框预测,不生成候选区,特点是相对速度快一步到位。文献[79]最先提出了一种新的目标检测算法(You Only Look Once, YOLO),首先将待处理图像分为N×N个网格,每个网格只负责中心点落在网格内的目标进行检测,能够一次性预测所有网格内的目标边界框和置信度,大大增加了算法的实时性,同时也提出了一种速度更快的微型框架,算法速度更快,但是准确率有所下降。文献[80]为提高YOLO算法的准确性提出了YOLOv3算法,文章把特征提取骨干网络换成Darhenr53网络,通过53个卷积层可以提取大、中、小三个尺度的目标的特征。在提升算法的检测性能的同时响应速度也得到了保证。冯等人[81]在YOLOv3的基础上,采用更大尺寸的检测头,提高了弱小目标的检测概率,提取各通道之间的信息交互供网络学习进一步提高网络训练准确率,但同时降低了网络的训练速度,在成像条件恶劣时甚至出现误检的问题。文献[82]考虑到噪声和背景干扰的影响,引入SimAMC3注意力模块利用空间关联信息,设计目标检测头,改进预测窗筛选模式,提高了YOLOv5网络的区分目标和噪点的能力,并利用帧间信息降低了虚警率。文献[83]采用VGG16网络做特征提取,用卷积层替换后面的全连接层,并添加自定义卷积层,通过设置不同缩放比和尺寸的先验框融合检测多尺度特征,利用大尺寸特征和小尺寸特征图互补,从而提高检测和定位的准确性。但均匀密集采样会增加训练难度,并且随着网络层数的增加容易丢失弱小目标信息。文献[84]提出了一种基于Anchor-free算法,算法去掉了耗时较长的Anchros后处理操作,直接在heatmap图上面进行过滤,提高了算法的运行速度,便于实现在低性能嵌入式设备中。
2.4.2 基于Two-stage模型的红外弱小目标检测算法
Two-stage模型先通过区域选择方法生成备选区域,再和卷积神经网络结合对备选区域进行分类和回归,大大提高了算法的准确率。文献[85]首先找出可能包含目标的边界框,采用卷积神经网络(Convolutional Neural Network, CNN)进行特征提取,再利用支持向量机(Support Vector Machine, SVM)进行分类,并利用边界框回归的方式对目标位置进行修正,算法提高了检测的准确率,但是边界框的重叠需要重复卷积计算,大大增加了算法的运行时长,文献[86]考虑到上述不足提出了一种快速区域建议的卷积神经网络检测算法(Fast R-CNN),首先选择性搜索生成备选区域,通过CNN对整个图像进行特征提取,利用Rol Pooling层把所有的特征转化为相同大小的特征图,采用softmax进行分类,缩短了训练周期,提高了算法的效率,但依旧没有克服备选区域选择耗时长的问题。文献[87]提出了一种将Faster R-CNN和全卷积网络(Fully Convolutional Network, FCN)结合的检测算法,该算法既有Faster R-CNN的检测精度和速度,又具有FCN的高语义分割精度。
2.4.3 基于深度学习算法对
以YOLO系列为代表的One-stage 模型把目标检测看为单一的回归问题,直接生成备选区域,再对边界框进行分类和边界框回归,该类算法计算成本低,响应速度快,但在针对弱小目标检测中容易生成密集备选区域,降低检测准确率,还容易出现过拟合情况,以R-CNN系列为代表的Two-stage模型包含两个网络,生成备选框的建议网络和边框分类、边框回归网络,两个网络的好处就是增加了算法的检测性能,也增加了算法成本,延长了响应时间,能够更好地应对复杂场景。相较于传统算法具有更高的鲁棒性和综合性能,能够通过修改网络架构来适应不同场景,但是深度学习算法需要大量的数据集训练学习,对于小样本数据算法性能受限,实时性不强。
03 算法性能对比
为了进一步评估各类算法的检测性能,本文选取了公开数据集对典型算法进行仿真,所用图像场景如表1所示、红外照相机基本参数如表2所示、目标(无人机)基本参数如表3所示。
表3 无人机基本参数
本文为了定量分析算法性能,选取Median Filter、Max-Mean、Bilateral Filter、Top-Hat、LPF、LCM、RLCM、MPCM、DLCM、IPI、ECA-STT、NIPPS、WSNM-STIPT、NRAM算法并使用算法复杂度、运行时间、信杂比增益(Signal-to-noise Ratio Gain, SCRG)和背景抑制因子(Background Suppress Factor, BSF)四个客观指标进行分析,其中SCRG、BSF定义如下:式中SCR为图像的信噪比,C为背景杂波标准差。SCRG越大表示从原始图像中提取了更多的目标信息,证明检测算法性能越好。BSF用来表征算法对背景的抑制效果,一般来说也是越大算法性能越好。客观指标对比如表4所示:其中M、N、S、I、L、m、n、 n1、n2、n3分别表示为图像行、列、窗口尺寸、结构元尺寸、局部窗口尺寸、图像块行、列、时空张量尺寸。
表4 14种算法客观指标对比
从算法复杂度分析在三类算法中滤波类算法结构简单、算法复杂度低、响应速度最快。其中中值滤波加入了排序过程提高了算法复杂度,双边滤波算法复杂度受窗口尺寸限制,可以通过拟合函数降低复杂度。视觉显著性算法加入了HVS理论机制增加了算法的复杂程度,增加了响应时长,数据优化类算法涉及到大量的矩阵运算响应速度最慢。一般来讲算法引入的图像信息越多算法复杂度越高;从背景抑制因子和信杂比增益分析,滤波类算法效果平均最低,其中以Top-Hat为代表的形态学滤波算法通过结构元素抑制背景的效果最好。视觉显著性算法指标平均居中,LCM法因存在块效应导致两个指标效果最差,DLCM法引入双层对比度分析机在这些算法中平均指标最好。数据优化类算法平均指标表现最好,IPI法在将块图像向量化的时候会破坏图形结构信息,输出的目标图会存有大量残差,使两个指标并不高。ECA-STT法和NIPPS法考虑到IPI法存在问题加以改进,两个指标有所提升,两算法效果接近。滤波类算法对复杂背景中的轮廓和角等高亮像素抑制效果差,导致背景抑制因子偏低,检测效果不理想,更适合处理均质背景或图像预处理。视觉显著性算法引入对比度、信息熵、局部梯度等理论机制能够快速的在原始图像找到目标所在区域,目标增强和背景抑制能力有所提升。数据优化类方法通过构建图像模型引入优化方法,提高了对复杂背景下的目标检测能力,但算法较为复杂,处理数据量大,缺少实时性。
传统算法与深度学习算法相比,传统算法提取目标的中低层特征,算法复杂度低、占用计算资源少、硬件实施简单,工作原理直观便于理解、应对小样本数据更加适用,但总体在应对复杂场景或目标被遮挡等情况检测结果不理想。深度学习算法提取目标的高层甚至更深层次的特征,自主性强,能够通过训练集学习目标特征,即使目标存在姿态变化或遮挡等情况依旧有较好检测效果,在应对不同场景的检测,也能准确鲁棒的进行目标识别。但深度学习算法复杂度高,可解释性不强,需要大量的数据集训练,在实际应用场景中实时性低,不利于实现。
04 结论与展望
在过去的几十年里不断有新的理论被引入到目标检测领域中从而产生新的算法。研究人员针对某一问题提出改进算法使这项技术得到显著进步。本文依据算法的检测手段,主要从滤波算法、视觉对比度分析与显著性分析、数据优化和深度学习四个方面对现有的单帧红外图像弱小目标检测算法简要分析,目前的红外弱小目标检测算法仍受限于以下几个方面:
(1)红外目标“弱”: 为保证系统的隐蔽性,当目标探测距离超过十公里甚至几十公里时,加上大气的散射、探测器镜头损坏或者污染、电子元件和外界产生的噪声产生的影响,IRST系统接收到的目标的信号十分微弱,在图像中会呈现信杂比、对比度低甚至湮没在背景中。
(2)红外目标小: 指的是目标在红外图像中所占像素比例小,缺乏纹理信息,使传统可见光目标检测算法无法直接用于红外弱小目标检测。
(3)成像背景复杂: 这是由IRST系统工作环境所致,成像过程中往往伴随着复杂场景包括树林、云层、海波等,在红外图像中会产生大量的边缘杂波和角点,这对算法的鲁棒性要求很高。
未来的发展趋势或解决现有算法问题的途径可以从以下几个方面思考:
(1)多特征融合: 单一特征处理的问题往往是有限的,多特征融合算法的趋势已经十分明显。例如把多方向线重构、残谱差和DOG尺度滤波三种方法提取的显著性图融合后对目标进行检测大大减少了虚警目标,增加了算法的准确性[88]。研究了多种基于图像不同特征融合的显著性目标检测,来提取图像中显著特征取得了不错的检测效果[89]。
(2)经典算法的改进: 现有的算法大多是在成像后,对图像中存在的边缘杂波、噪点进行滤除和抑制。可以从目标的成像前考虑这些杂波的成因入手,增强目标信杂比,利于目标检测。有研究通过对典型地物目标的红外偏振辐射场景模拟仿真发现,与红外辐射强度图像相比,红外偏振特征图像能够提高目标与背景的对比度及轮廓信息[90],这是一个值得关注的方向。
(3)新方法: 深度学习算法通常需要大量的样本对模型进行训练,由于红外弱小目标检测领域比较敏感数据集采集受到限制,可以通过改变骨干网络架构去提高小样本[91]的学习能力,或者引入GAN网络生成虚拟数据扩大数据集,增强网络的场景适应能力。引入因果推理等新理论提高网络检测精度和模型可解释性。
(4)新体制: 红外探测器受自身制作工艺和自身的金属性影响,探测弱小目标能力有限,辐射精度低,对目标特征的描述不充分。可以通过不同波段如可见光[92]、雷达波段和运动特征之间特征互补,提高目标的检测准确性。
....
二、PyIRSTDMetrics
Infrared Small Target Detection, IRSTD
2025论文拷问红外小目标检测评估标准
今天我们不聊新模型,不说又刷了几个点的SOTA,咱们来聊点更根本的:我们衡量SOTA的方式,真的对吗?
在计算机视觉里,有个领域叫“红外小目标检测”(Infrared Small Target Detection, IRSTD),说白了就是在红外图像里找那些又小又暗的目标,比如天上的无人机、远处的船只等等。这几年,深度学习模型在这个任务上可以说是“高歌猛进”,榜单上的分数越来越高。但问题是,这些高分真的代表模型在现实世界里也一样好用吗?
来自大连理工大学、耶鲁大学和南洋理工大学的研究者们在他们被NeurIPS 2025录用的论文《Rethinking Evaluation of Infrared Small Target Detection》中,就对这个问题提出了灵魂拷问。他们认为,当前IRSTD领域的评估方法存在三大“病症”,可能正在引导大家走上一条“虚假繁荣”的内卷之路。
- 论文标题: Rethinking Evaluation of Infrared Small Target Detection
- 作者: Youwei Pang, Xiaoqi Zhao, Lihe Zhang, Huchuan Lu, Georges El Fakhri, Xiaofeng Liu, Shijian Lu
- 机构: 大连理工大学, 耶鲁大学, 南洋理工大学
- 论文地址: https://arxiv.org/abs/2509.16888
- 项目/工具包地址: https://github.com/lartpang/PyIRSTDMetrics
- 录用信息: NeurIPS 2025
病症一:指标“碎片化”,只看局部不看整体
目前的评估,要么用像素级的指标(比如IoU),要么用目标级的指标(比如检测概率Pd、虚警率Fa)。这两种指标各看各的,就像体检只量了身高和体重,但没看心率和血压,根本无法全面了解一个模型的“健康状况”。
研究者们举了个例子,有些模型可能像素级分割做得很好(IoU高),但实际上却漏掉了很多目标(Pd低),或者反之。单一的指标很容易产生误导。
上图就展示了不同指标可能会给出完全不同的“排名”,这说明现有的指标体系并不可靠。
病症二:唯“分数”论,不问对错只问高低
现在的论文,大家都在比谁的最终得分高,但很少有人去深入分析模型到底“错在哪”。一个模型95%的检测率听起来很棒,但那5%的错误是什么?是目标定位不准?是把背景当成了目标?还是压根没看见目标?
不搞清楚这些失败模式(failure modes),就很难在实际应用中真正地改进系统。xxx觉得这点说得太对了,做研究不是为了刷分,而是为了解决实际问题。只看总分,就像考试只看总成绩,不看错题本,下次可能还在同一个地方摔跤。
病症三:闭门造车,只会“应试”不会“实战”
这是最严重的一个问题。目前IRSTD领域普遍采用“数据集特定”的评估范式,也就是在哪个数据集上训练,就在哪个数据集的测试集上测试。这就像备考时做的模拟卷和期末考试是同一套题,考高分不奇怪,但这能证明你真的学得好吗?
一旦把这些模型放到一个全新的、没见过的数据集上(跨数据集评估),性能往往会“大跳水”。这说明模型只是学会了“拟合”特定数据集的“套路”,而没有学到真正的泛化能力和鲁棒性。
上表清晰地展示了跨数据集评估的结果,一个在某个数据集上表现顶尖的模型,换个数据集可能就排到后面去了,这无疑是对当前评估方式的巨大讽刺。
对症下药:一个更科学的评估框架
针对这三大病症,研究者们开出了一剂“良方”,提出了一个全新的分层分析框架。
1. 混合级别度量 (Hybrid-Level Metric)
他们提出了一个新的核心指标 hIoU (hierarchical IoU),这个指标巧妙地将目标级的定位性能和像素级的分割性能结合在了一起。简单来说,就是hIoU = 定位准确率 × 分割准确率。这种乘法关系意味着,模型在定位和分割两个方面都必须做得好,才能获得高分,任何一个短板都会严重影响最终得分,从而更全面地反映模型的综合能力。
2. 系统化的错误分析
这是本次研究的一大亮点。他们建立了一套系统的错误分析方法,将检测错误分为几大类,比如:
- 定位错误 (Localization errors) :包括把多个目标看成一个(多对一)、一个目标看成多个(一对多)、干扰导致的虚警等。
- 分割错误 (Segmentation errors) :包括把邻近目标错误地合并了、受背景干扰导致分割不准等。
通过量化这些不同类型的错误,研究者可以像医生看CT报告一样,精确诊断出模型到底得了什么“病”,从而对症下药。
3. 强调跨数据集评估
论文大力倡导并实践了跨数据集评估的重要性,认为这才是检验模型“真才实学”的唯一标准。只有在各种未知场景下都能保持良好性能的模型,才称得上是真正鲁棒的模型。
开源工具包:授人以渔
更棒的是,研究者们不仅提出了理论框架,还发布了一个名为 PyIRSTDMetrics 的开源评估工具包。这个工具包实现了他们提出的所有新指标和分析方法,可以帮助整个社区进行更标准、更公平、更深入的基准测试。
总结
这篇NeurIPS论文像一声警钟,提醒着IRSTD领域的研究者们:是时候从“唯分数论”的内卷中跳出来,重新思考我们追求的目标了。它提出的新评估框架和开源工具,无疑将推动该领域从追求“榜单上的SOTA”转向研发“现实中真正好用的SOTA”。
大家在自己的研究领域,是否也观察到了类似的“唯分数论”现象?你认为什么样的评估标准才能真正促进技术的发展?欢迎在评论区一起交流!
....
三、HDNet
山东大学×提出HDNet:融合多尺度高频信息增强的混合域红外小目标检测网络
HDNet 提出了一种创新的混合域网络架构,通过协同利用空间域的多尺度空洞对比卷积(MAC)与频率域的动态高通滤波器(DHPF),实现了对可变尺寸微小目标的精准感知及低频背景干扰的自适应抑制 。该方法有效解决了红外图像信噪比低的难题,在三个主流数据集上对比 26 种先进方法均取得了 SOTA 性能,同时保持了优异的计算效率 。
- 论文题目:《HDNet: A Hybrid Domain Network with Multi-Scale High-Frequency Information Enhancement for Infrared Small Target Detection》
- 作者:Mingzhu Xu, Chenglong Yu, Zexuan Li, Haoyu Tang, Yupeng Hu
- 作者单位:山东大学
- 论文链接:https://ieeexplore.ieee.org/document/11017756
- 代码链接:https://github.com/xumingzhu989/HDNet-TGRS
01 动机
红外小目标检测(IRSTD)面临着目标尺寸细小多变且信噪比低,极易被复杂背景杂波(如云层、雾气等低频背景)淹没的难题 。标准的空间域卷积神经网络(CNN)往往充当低通滤波器,导致包含丰富细节的高频小目标信息丢失,且受限于局部感受野,难以捕捉全局光谱分布以区分目标与背景 。此外,现有的结合频率域的方法通常依赖固定阈值或简单的卷积来分离频率,无法自适应地处理红外图像中复杂且动态变化的低频背景干扰 。为了克服这些局限性,作者旨在提出一种混合域网络(HDNet),通过在空间域引入多尺度空洞对比度卷积来增强对可变尺寸目标的感知,同时在频率域设计动态高通滤波器以自适应地抑制缓慢变化的背景噪声,从而显著提升检测性能 。

02 概述
本文提出了一个混合域网络(HDNet),旨在结合空间域的多尺度感知能力与频率域的背景抑制能力,以解决红外小目标检测中目标尺寸多变及背景干扰严重的问题 。为实现这一目标,作者设计了两个核心模块:其一是位于空间域的多尺度空洞对比度卷积(MAC)模块,通过利用多个不同核尺寸的并行空洞对比度卷积,增强了网络对尺寸微小且多变目标的感知能力并提升了目标与背景的对比度 ;其二是位于频率域的动态高通滤波器(DHPF)模块,该模块通过分层计算低频信号能量并根据图像内容动态剔除特定比例的低频成分,有效保留了图像的高频细节并抑制了缓慢变化的背景干扰 。此外,该网络将空间域与频率域的特征进行融合,并在三个公开数据集上对比26种先进方法验证了其有效性 。

03 模块介绍3.1 多尺度空洞对比卷积(MAC)
多尺度空洞对比卷积(MAC)模块是专门针对红外小目标尺寸多变(从单像素到数十像素不等)以及信噪比低、外观模糊的挑战而设计的。为了克服传统CNN方法在处理纹理信息贫乏的小目标时容易丢失信息的缺陷,MAC模块在空间域编码器中引入了创新性的并行结构。该模块首先通过卷积扩展输入特征图的通道维度,并将其分为四组:一组作为直接连接以保留原始信息,其余三组则分别输入到三个具有不同核大小和空洞率的空洞对比度卷积(ACC)分支中进行并行处理。
MAC模块的核心机制在于其独特的对比度计算与多尺度感知能力。三个并行分支()分别针对不同特性的目标进行了定制化设计:采用较小的核尺寸,专注于感知极微小的像素级目标;引入空洞率以扩大感受野,用于捕捉稍大的目标;则扩大了中心区域范围,专门用于在低信噪比环境下有效提取模糊目标。这些ACC核通过计算中心区域(目标)像素均值与周围区域(背景)像素均值的差值,直接强化了局部对比度,从而在特征提取阶段显著增强了目标与背景的区分度。
最终,这些来自不同尺度的对比度特征在通道维度上进行拼接,并通过卷积进行融合,最后经由残差块输出。通过这种设计,MAC模块能够在不降低特征图分辨率的情况下显著扩大感受野,实现对多尺度目标的全面感知。实验结果表明,MAC模块不仅有效提升了模型对微小及可变尺寸目标的捕捉能力,还通过增强局部对比度显著抑制了复杂背景的干扰,大幅降低了漏检率。

3.2 动态高通滤波器(DHPF)
动态高通滤波器(DHPF)模块是 HDNet 频率域分支的核心组件,旨在解决现有频率域方法依赖固定阈值或简单卷积,难以适应红外图像中复杂多变的低频背景这一问题。红外图像通常包含大面积缓慢变化的低频背景(如云层、路面)和稀疏的高频目标细节。DHPF 不使用静态滤波器,而是根据图像内容的频率能量分布,动态地生成滤波掩膜,从而实现自适应的背景抑制。
具体而言,DHPF 的处理流程:首先利用空间域解码器生成的预测图 对原始红外图像 进行初步增强,公式为 ,以此凸显目标区域并转化为频率特征图 ;接着,模块计算频率图的总能量 ,并根据预设的能量去除比例 ,动态计算出一个中心遮挡区域的半径 。该半径 需满足被遮挡的低频能量不超过总能量的 倍,即 。通过这种方式,模块生成一个动态掩膜 ,将中心区域的低频分量置为0,保留外部的高频分量;最后经由逆快速傅里叶变换(iFFT)还原为空间特征。
为了实现渐进式的背景抑制,HDNet 在频率域分支的不同阶段级联了多个 DHPF 模块。随着网络层级的加深,预设的能量去除比例 逐渐降低(例如从 递减)。这一策略使得网络能够先滤除大部分粗糙的低频背景,再逐步精细化地剔除残留的低频干扰,最终保留清晰的高频目标信息。实验证明,这种动态且分层的滤波机制能有效应对不同场景下的能量分布差异,显著增强小目标与背景的对比度。

04 对比实验结果
在三个公开数据集上的综合实验表明,HDNet 在多项关键指标上超越了现有的 26 种先进方法,尤其是在抑制虚警方面表现突出。其创新的 MAC 与 DHPF 模块的有效性得到了充分验证,显著提升了模型对多尺度、低信噪比小目标的检测能力与鲁棒性。

HDNet 在多个数据集上的关键指标显著领先,在 NUAA-SIRST 数据集上实现了 100% 的目标检出率,并在所有数据集上保持了最低的虚警率,验证了其在复杂背景下准确检测多尺度小目标的强大能力。

在极具挑战性的场景(如目标极小、形状不规则、与背景相似或存在亮噪声干扰)中,HDNet 生成的预测图能最清晰地凸显目标轮廓,几乎无背景残留,而其他先进方法则普遍存在明显的漏检或误检现象,直观证明了其卓越的泛化性与鲁棒性。
05 消融实验结果
消融实验系统性地验证了HDNet中每个核心模块的有效性与必要性。实验表明,单独的MAC模块显著提升了对多尺度小目标的感知能力,单独的DHPF模块有效抑制了低频背景干扰;而当两者结合构成完整HDNet时,各项性能指标达到最优。模块内部的对比实验进一步证实,多尺度空洞对比设计、动态渐进滤波策略以及尺度位置敏感损失函数均为提升模型整体性能的关键创新点。



06 写到最后
HDNet的完整代码已在GitHub上开源(https://github.com/xumingzhu989/HDNet-TGRS),欢迎大家对比讨论!
.....
四、MSDA-Net
中科院×国防科技大学×南开大学提出MSDA-Net: 基于红外小目标检测的多尺度方向感知网络
MSDA-Net 首次将高频方向特征作为领域先验引入红外小目标检测网络,通过促进多方向高频响应有效增强弱小目标特征并抑制杂乱背景干扰。该方法在多个公开数据集以及多种数据划分设置下均取得了 SOTA。此外,MSDA-Net 在多帧和单点监督等不同应用任务上均表现出良好的鲁棒性与泛化性。
论文题目:《Multi-Scale Direction-Aware Network for Infrared Small Target Detection》
作者:Jinmiao Zhao, Zelin Shi✉, Chuang Yu, Yunpeng Liu, Xinyi Ying and Yimian Dai
作者单位:中国科学院大学, 国防科技大学, 南开大学
论文链接:https://arxiv.org/abs/2406.02037
代码链接:https://github.com/YuChuang1205/MSDA-Net
01 动机
红外小目标检测面临着难以有效分离背景和目标的问题。现有的基于深度学习的方法侧重于边缘和形状特征,但忽略了更丰富的结构差异以及嵌入在不同方向的高频分量中的细节信息,因此未能充分利用高频方向特征在目标感知中的价值。为了解决这一局限性,作者提出了一个多尺度方向感知网络(MSDA-Net)。

02 概述
本文提出了一个多尺度方向感知网络(MSDA-Net),首次将高频方向特征作为领域先验引入红外小目标检测网络。为充分挖掘这类特征,该团队设计了两个关键模块:其一是无参数的高频方向注入(HFDI)模块,用于将原始图像的高频方向信息直接嵌入特征提取的早期阶段;其二是多尺度方向感知(MSDA)模块,用于促进不同尺度下局部关系的充分提取和不同方向上关键特征的充分感知。此外,针对红外小目标“尺寸小、信号弱”的固有难点,作者引入了特征聚合(FA)结构,用于解决高层特征图中目标消失的问题,并构建了特征校准融合(FCF)模块,以缓解多层特征融合过程中的像素偏移现象。

03 模块介绍
3.1 高频方向注入(HFDI)模块
红外小目标检测所需的大量关键信息,例如目标边缘、形状和纹理,都反映在图像的高频部分。为了在网络初始阶段充分突出小目标的细节信息并抑制背景杂波,作者提出了一个高频数据注入(HFDI)模块。值得注意的是,HFDI模块是一个基于先验知识的处理模块,本身不涉及任何学习参数。在特征提取的早期,为网络注入来自原始图像的多方向高频信息,使潜在的小目标能够被突出且背景杂波则被有效抑制。换句话说,该模块从不同角度提供原始图像中小目标的结构和位置信息,从而有助于网络更好地理解图像中的目标结构和背景环境。

3.2 多方向特征提取(MDFA)模块
在特征提取部分,为了使网络能够同时关注图像尺度空间中的方向特征和整体特征,作者设计了一个多方向特征提取(MDFA)模块。该模块在空间维度上关注高频方向特征和低频整体特征(零方向),从而使网络能够更加全面、准确地感知红外小目标。具体来说,关注多方向的高频信息有利于精细提取红外小目标的结构和位置。
尽管图像背景复杂,且存在亮度与目标相同甚至更高的区域,但大多数局部区域的背景杂波变化相对缓慢。因此,关注不同方向的高频信息可以有效抑制背景杂波对小目标检测任务的影响。从视觉系统的角度来看,这种结构模拟了对频繁出现的一致响应的抑制以及对各方向特征中出现的异常值的强调。关注低频整体信息有助于突出图像的整体特征,从而提升网络对整体特征的提取能力。低频信息包括图像的整体结构和高层语义信息。通过关注低频信息,网络可以更好地理解整体特征,从而聚焦于关键信息。从视觉系统的角度来看,这种结构模拟了视觉系统对整体场景的关注。

3.3 多尺度方向感知(MSDA)模块
考虑到在红外图像中,物体的温度差异会产生对比度差异,这对于目标的定位和识别至关重要。为了充分利用红外图像中局部区域之间的关系(包括对比度信息),并合理建模特征图各通道的重要程度,作者提出了MSDA模块。该模块包含三个子部分: MLRL 模块、 MDFA 模块和SE注意力模块。
其中,MLRL 模块是基于作者之前的研究MLCL-Net,ALCL-Net,其核心思想是通过多尺度卷积与空洞卷积的协同建模,有效捕获不同尺度局部区域之间的关系。
在此基础上,为了进一步增强高频方向特征的提取和对多通道特征图的合理关注,在MLRL模块之后引入了MDFA 模块和SE注意力模块。MDFA模块通过聚焦方向敏感的高频信息,引导网络更准确地定位小目标区域,同时抑制噪声与冗余背景。同时,SE注意力模块可以动态调整通道之间的权重,使网络能够专注于当前任务中更具价值的特征,从而进一步提高网络的检测性能。综上所述,MSDA模块可以促进不同尺度下局部关系的充分提取和不同方向上关键特征的充分感知。

3.4 特征校准融合(FCF)模块
与一般目标分割任务不同,红外小目标检测任务中的目标尺寸较小,即使是微小的像素偏移也会对检测性能产生显著影响。在深度网络中,图像通常需要经过多轮下采样与上采样,这一过程容易导致目标位置在不同层级特征图中出现偏移,从而影响跨层特征融合效果。为了解决这一问题,作者提出了一个轻量级的FCF模块。其核心思想是在正式融合之前进行预融合。具体来说,该模块使底层特征引导高层特征学习其局部区域内的相对偏移,从而实现跨层特征的精细校准。

04 消融实验结果
在多个公开数据集上开展的消融实验充分验证了,所提出的各个模块均能在红外小目标检测任务上带来稳定的性能增益。



05 对比实验结果
在三个公开数据集的多种数据划分方案下,研究团队对MSDA-Net与多种先进的红外小目标检测方法进行了系统性对比。实验结果显示,无论面对何种场景,MSDA-Net均取得了显著的性能优势,展现出良好的稳健性与广泛的适应能力。




06 应用
6.1 应用到多帧红外小目标检测任务
在实际部署场景中,红外小目标通常出现在连续的视频流或时间序列中。为了评估MSDA-Net在多帧条件下的时间一致性和持续检测性能,作者将三阶段的MSDA-Net集成到RFR框架中。RFR是一个近期提出的通用多帧检测框架,该框架可以灵活地集成 SIRST 检测网络,并通过递归机制增强目标的时间感知和保持能力,从而实现多帧检测。在IRSATVideo-LEO数据集上的实验结果显示,相较于其他方法,配备RFR框架的MSDA-Net在Pd指标上提升了0.87%~11.88%,在AUC指标上提升了1.81%~7.28%。

6.2 应用到单点监督下的红外小目标检测任务
红外小目标检测在实际应用中普遍面临像素级标注困难的问题。因此,研究单点监督下的红外小目标检测任务具有显著的工程价值和研究意义。基于该动机,在该团队的另一项工作中,他们将MSDA-Net嵌入到所提出的单点监督通用框架(https://github.com/YuChuang1205/PAL )中,以解决更具挑战性的弱监督红外小目标检测任务。
PAL框架可以适配现有的全监督红外小目标检测网络并将其直接应用到单点监督任务中。PAL框架通过渐进式学习策略,有效缓解弱监督场景中的监督缺失问题。在PAL框架下,MSDA-Net依旧展现出显著的性能优势,相比多种优秀的现有方法均取得更优检测结果。上述结果说明,MSDA-Net 所引入的多尺度方向特征建模与高频方向增强机制不仅适用于全监督场景,更能够在监督不足的条件下保持稳定的特征表达能力与强鲁棒性。

07 写在最后
MSDA-Net的完整代码已在GitHub上开源(https://github.com/YuChuang1205/MSDA-Net),欢迎大家对比讨论!
同时,也向大家推荐该团队的另一项最新成果—《From Easy to Hard: Progressive Active Learning Framework for Infrared Small Target Detection with Single Point Supervision》。
这项工作(PAL框架)已被ICCV 2025正式录用,相关代码及完整的环境配置细节也已同步开放(https://github.com/YuChuang1205/PAL )。
....
五、PAL
中科院×港中文×清华提出PAL Framework:搭建全监督与单点监督红外小目标检测间高效稳定的桥梁
伴随着全监督红外小目标检测模型不断升级,单点监督任务是否也能同步受益?受生物体逐步适应环境并持续积累知识的启发,本文提出了一种渐进式主动学习(PAL)框架,其搭建了全监督与单点监督红外小目标检测间高效且稳定的桥梁,实现当更高性能的全监督模型被提出时,其性能优势能够自然传递至单点监督场景,从而实现性能的稳定提升。
- 论文题目:From Easy to Hard: Progressive Active Learning Framework for Infrared Small Target Detection with Single Point Supervision
- 作者:Chuang Yu, Jinmiao Zhao, Yunpeng Liu*, Sicheng Zhao, Yimian Dai, Xiangyu Yue*.
- 作者单位:中国科学院大学, 香港中文大学,清华大学,南开大学
- 论文链接:https://arxiv.org/abs/2412.11154
- 代码链接:https://github.com/YuChuang1205/PAL
01 动机
近年来,基于单点监督的单帧红外小目标(SIRST)检测引起了广泛关注。然而,现有的单点监督标签演化框架存在着性能不稳定、标签区域易演化过度以及难以发挥所嵌入网络性能等问题。为了解决上述挑战,作者希望能够构建一个框架,该框架可以在全监督与单点监督任务间建立一个高效且稳定的桥梁。具体来说,该框架能够兼容现有的全监督红外小目标检测网络,并能将其稳定迁移至单点监督任务中且充分挖掘所嵌入网络的潜在性能。当更高性能的全监督模型被提出时,其优势能够自然传递至单点监督场景,实现性能的稳定提升。
受生物逐渐适应环境、不断积累知识的启发,该团队提出了一个想法:模型的学习过程是否也应当遵循“由简到难”的认知规律?基于这一思考,该团队认为,一个优秀的学习进程应该是由简到难的,并考虑到当前学习者(模型)的学习能力,而不是直接平等对待所有任务(样本)。为了将这一相对抽象的理念具体化,他们进一步借鉴了人类学习与成长的过程。以专业技能的习得为例,人的学习过程大致可以划分为四个阶段:婴儿阶段、学生(孩童)阶段、毕业生阶段以及专家阶段。每一阶段所具备的认知能力与学习重点均存在显著差异。基于上述观察,该团队尝试通过程序化建模的方式对这种学习过程进行模拟,从而构建更符合认知规律的单点监督学习框架。

02 贡献
- 一个渐进式主动学习(Progressive Active Learning, PAL)框架被构建,其可以转化现有的红外小目标检测网络到单点监督任务上并驱动它们不断主动认识并学习更困难样本以实现性能的渐进式增强。
- 为了避免早期的低性能模型导致对困难样本的错误选择,一个模型预启动概念被提出。不同于现有方法直接利用所有点标签进行训练,其专注于在早期阶段自动选择部分简单样本去帮助模型具备基本的特定任务学习能力。
- 不同于现有方法仅对模型进行标签自演化,一个精细双更新策略被提出,去促进更困难样本的合理学习以及伪标签的持续精细化。
- 为了缓解标签演化过度的风险,一个衰减因子被合理引入,去实现伪标签中目标区域扩张与收缩的动态平衡。
- 所提的PAL框架在全监督任务与单点监督任务之间构建了一个高效且稳定的桥梁,且在多个公开的单点监督数据集上均取得了显著性能提升。
03 方法
该研究团队提出了一个渐进式主动学习(Progressive Active Learning, PAL)框架,其可以分为三个训练阶段、四种状态以及两个外部条件。具体来说,从训练流程上看,PAL 框架可划分为三个阶段:模型预启动阶段、模型强化阶段和模型精细化阶段; 从模型能力演化角度看,其对应地刻画了四种状态:婴儿、学生(孩童)、毕业生和专家; 此外,在不同阶段中,框架还引入了两种外部条件去分别对应“母亲”与“老师”的引导作用,用以模拟外部知识与经验在学习过程中的调控与促进。

3.1. 抽象解读PAL框架
模型预启动阶段(婴儿模型与“母亲”引导):在 PAL 框架中,初始模型被视为一个刚诞生的“婴儿模型”。在这一阶段,模型尚不具备有效的任务判别能力,因此需要强约束、低难度的外部引导。 在此过程中,“母亲”角色承担了基础能力启蒙的功能。与直接向模型灌输高难度知识不同,该阶段更强调从简单样本入手,逐步建立基础认知能力。基于此,该研究团队结合领域知识与已知信息,采用模型驱动的简化策略与预设规则,对预备池中的样本进行难度划分:简单样本与困难样本。 其中,简单样本被优先从预备池转移至训练池,并对初始模型进行全监督训练。通过这一过程,模型能够快速建立起对特定任务的基础感知与判别能力。完成模型预启动阶段训练后,模型将由“婴儿状态”进阶为具备基础的特定任务学习能力的“学生模型”。
模型强化阶段(学生模型的主动学习与“老师”调控):进入模型强化阶段后,“学生模型“已经具备基础的特定任务学习和判别能力。在这一阶段,预启动后的模型被用来对预备池中的困难样本进行推理评估,并结合预设规则,使模型能够主动识别部分满足当前学习能力的困难样本,并将其逐步转移到训练池中参与后续学习。
随着困难样本的持续加入,模型在学习的过程中将会强化自身对困难样本的认识和学习能力,且不会对简单样本进行灾难性遗忘。 因此,通过合理设定循环程序可以让模型自身随着epoch的变化去逐渐地主动认识并学习更困难样本。然而,仅依赖模型自身的主动学习,可能会导致少部分高难度样本长期无法被纳入训练过程,从而影响模型在极端或复杂场景下的性能。为此,受启发于老师在学生学习能力成长中的指导作用,PAL 框架进一步引入了“老师”角色,从而引入额外的超预期指导。
在学生持续学习的过程中,老师将能够根据学生的学习进度适当加大待学习任务的难度系数,以促进学生能力快速提高以及待学习内容的按时完成。在这一机制下,随着模型能力的持续提升,训练过程中将逐步提高可进入训练池样本的难度阈值,以激发模型的学习潜力,并确保所有样本最终均能够被充分学习。另外,考虑到模型在持续学习过程中会不断修正自身认知偏差,该阶段还对训练池中的伪标签进行周期性更新,以进一步提升训练稳定性与标签质量。
模型精细化阶段(毕业生模型迈向专家模型):完成模型强化阶段后,模型可被视为具备系统性认知能力的“毕业生模型“。此时,模型已经掌握了任务所需的核心知识,并具备较强的判别与泛化能力。为了最终演化为能够稳定应对复杂场景的“专家模型”,PAL 框架在最后阶段引入了模型精细化训练策略。该阶段基于已学习的全部样本,对训练池中的伪标签进行周期性更新与精细化学习,促使模型对不同难度样本形成更加稳健、精确的表征。

3.2. PAL框架的实现细节
简单样本伪标签生成(EPG)策略:综合考虑检测场景、成像特性以及目标属性,红外小目标通常呈现出尺寸小、亮度高,且与周围环境缺乏强语义关联等特点。在实际应用中,虽然部分目标区域可以通过模型驱动的方法进行检测,但此类方法往往鲁棒性有限,且容易引入误检,难以作为稳定的训练依据。为此,该团队在模型预启动阶段设计了一种 EPG 策略,其用于实现对简单样本的有效筛选以及对应精细伪标签生成。
相比于直接处理整幅图像,围绕目标区域提取局部图像块将更有助于降低复杂背景带来的干扰。基于这一考虑,研究中以训练集给定的点标签作为中心,截取包含目标的局部图像块,用于后续处理与分析。
在此基础上,为筛选简单样本并优化对应伪标签,EPG 策略充分利用给定的点标签和分割结果。具体而言,首先通过给定点标签评估分割结果中的连通区域:若连通区域被点标签击中且面积小于设定阈值,则判定为真实目标区域;不符合条件的连通区域则视为误检区域并予以剔除。随后,引入目标级召回率作为判据:当召回率不低于 0.8 时,该样本被判定为简单样本;否则,则归为难样本。
最后,将简单样本的每个分割图像块与原始图像尺寸的纯黑色背景叠加生成伪标签,并将给定点标签添加至伪标签中以标注漏检目标,从而生成相对精细的伪标签。通过上述 EPG 策略,部分简单样本被自动选取并用于模型的初始全监督训练,为后续渐进式学习过程奠定稳定基础。

精细双更新策略:在弱监督学习过程中,伪标签的质量对最终模型性能具有决定性影响。不同于现有方法对所有点标签直接进行统一迭代更新,该研究团队提出了一种精细双更新策略以提升生成伪标签的可靠性与稳定性。该策略包含粗糙外更新(COU)和精细内更新(FIU):
1)粗糙外更新(COU):基于预启动阶段获得的基础 SIRST 检测能力,作者将模型对预备池中剩余的困难样本进行推理评估,并依据预设的选择规则,筛选符合选择规则的简单样本纳入训练池。在具体实现上,COU 策略由三个核心步骤构成:识别简单样本、剔除错误目标、补充遗漏目标。具体如下: 首先,需要确定当前模型在预备池(困难样本)中能够识别的“简单样本”:
其次,针对已筛选出的候选简单样本,自动执行虚假目标消除过程。在该过程中,所有与任何给定点标签不存在空间交集的预测目标区域均会被将被直接移除,从而进一步提升引入伪标签的可靠性:
最后,通过整合给定的标注点标签,以补充可能遗漏的目标区域,从而确保后续学习过程对小目标的有效检测。此外,考虑到模型在学习困难样本后将具备更强的认知与学习能力,该框架在模型增强阶段周期执行COU,以实现持续优化。这一机制促使模型逐步、主动地识别并学习更高难度的样本,同时有效避免对已学习简单样本的灾难性遗忘。

2)精细内更新(FIU):无论是模型预启动阶段进入训练池的简单样本,还是模型增强阶段持续加入的困难样本,它们最初生成的伪标签都需要进行优化。为解决这一问题,该团队构建了FIU策略,用于对训练池中的伪标签进行精细化。具体而言,FIU 策略由三个步骤构成:候选区域提取、虚假区域剔除及伪标签更新。具体如下:
对于候选区域提取,首先获取第n次迭代伪标签的二值标签。基于该标签,提取伪标签中每个目标连通区域的质心,并裁剪伪标签中对应的d×d局部区域及预测结果。最后,为突出目标区域并减少累积误差,该框架采用自适应阈值法从预测结果中提取局部候选区域:
对于虚假区域消除,通过利用伪标签中目标区域的质心来检查与候选区域的交集。若某一候选区域与任一真实目标质心不存在空间交集,则该区域将被判定为虚假候选并予以剔除。
对于伪标签更新过程,首先存储所有精细候选区域的位置,随后采用最大值融合策略对这些区域进行组合,形成完整的候选目标区域,最后完成伪标签的更新。
其中为衰退因子。 随着模型能力的提升和各类约束条件的优化,目标标注区域的演化在扩张与收缩之间实现了动态平衡,并生成了更精细的伪标签。

EEDM损失函数:在 SIRST 检测任务中,由于红外小目标通常缺乏显著的固有特征,目标区域的精确定位始终面临较大挑战。针对这一问题,该研究团队在训练过程中引入了一个边缘增强困难像素挖掘(EEDM)损失函数 ( https://github.com/YuChuang1205/FEST-Framework),以对网络优化过程进行有效约束。该损失函数能够有效地引导网络在训练过程中更加关注边缘特征和具有挑战性的目标区域,从而增强模型的边界感知能力,并提高其从具有挑战性的样本中学习的能力。一方面, EEDM 损失通过为目标边界区域分配更高权重,利用边缘信息作为额外约束,从而增强模型对目标边界的敏感度。另一方面,它通过困难像素挖掘动态丢弃一定比例的简单样本,使网络能够更多地关注具有挑战性的区域,促进网络学习更具区分性的特征。

(更多的PAL实现细节,欢迎大家查看原文https://github.com/YuChuang1205/PAL)
04 实验结果
在 SIRST3 数据集上的实验:在实验验证方面,该研究团队在多场景、多目标类型的 SIRST3 数据集(混合NUAA-SIRST,NUDT-SIRST,IRSTD-1K)上对所提出的方法进行了系统评估。基于综合测试集SIRST3-Test的实验结果表明,相比于LESPS框架,使用PAL框架在IoU上可提升9.68%-24.04%、nIoU上提升14.53%-31.06%、Pd上提升1.99%-12.03%。另外,相比于全监督任务,PAL框架在IoU上基本能够达到其79.33%-86.94%, 在nIoU上能够达到其81.72%-90.30% ,以及在Pd有着相当的性能。更多,通过观察在三个分解的测试子集上分别测试的结果,所提出的 PAL 框架在各测试场景下均表现出稳定且优越的性能,并与全监督方法的性能趋势高度一致。


在三个独立数据集上的实验:为进一步验证PAL 框架在训练样本数量受限条件下的稳定性,该研究团队在三个不同数据集上分别开展了独立的训练与测试实验。实验结果表明,在少样本场景下,PAL 框架在检测性能上显著优于 LESPS 框架,同时表现出更为稳定的训练与推理特性。综合分析可见,即使在训练样本极为有限的情况下,PAL 框架仍能够有效完成单点监督下的红外小目标检测任务。进一步的定量结果显示,与 LESPS 框架相比,PAL 框架在 IoU 指标上提升了 7.41%–57.28% ,在 nIoU 上提升了 8.36%–62.37% ,在 Pd 上提升了 0.76%–70.72% 。

消融实验:该工作开展了系统且充分的消融实验,包括Break-Down、衰退因子、Epoch划分、损失函数、更新周期、学习率、漏检率阈值等等。详细请查看ICCV2025录用版本的正文以及补充材料。
讨论“从简单到困难”的学习策略:为了进一步探究PAL 框架中“从简单到困难”的学习策略,详细的实验被执行。从下表中的 S1 - S6,无论是否加入 FIU(精细内更新),初始阶段所有样本进入训练池生成的最终模型均远差于初始阶段仅使用简单样本。这现象验证了所提出的“模型预启动”思想(即在初始阶段仅学习简单样本)的有效性。其就像婴儿应先进行发音练习,而不是被强迫学习“量子力学”一样。 此外,通过观察下表中的 S4 和 S7可以发现,相较于只使用简单样本,基于当前模型能力逐步将困难样本引入训练池,能够再次带来显著的性能提升。 这进一步验证了“从简单到困难”学习思想的有效性。

05 写在最后
感谢大家读到这里!PAL框架的完整代码已在 GitHub 上开源 (https://github.com/YuChuang1205/PAL )。该项目代码完整,上手方便,训练资源消耗少(单GPU),欢迎大家对比讨论!
最后,向大家推荐该团队最新的另一项针对全监督红外小目标检测任务的通用检测框架--FDEP框架 (https://arxiv.org/abs/2512.05511) 。该工作首次将视觉基础模型(VFMs)系统性地引入到红外小目标检测任务并提出了一个FDEP通用框架,其能无缝适配现有基于编码器–解码器架构的SIRST检测网络,并在不引入额外推理开销的同时实现检测精度的显著提升。详细请查看论文:Rethinking Infrared Small Target Detection: A Foundation-Driven Efficient Paradigm【https://arxiv.org/abs/2512.05511】
....
六、DQAligner
浙大提出 :多帧红外小目标检测告别“硬对齐”,大运动场景性能飙升!
在红外成像领域,小目标检测(Infrared Small Target Detection, IRSTD)一直是个“硬骨头”。目标可能只是几个像素点,还常常淹没在复杂的云层、海面背景或者传感器噪声里。为了破局,研究者们开始利用多帧时空信息,也就是多帧红外小目标检测(Multi-frame Infrared Small Target Detection, MIRSTD)。但问题也随之而来:如果摄像机或者目标动得太快,前后两帧之间位移太大,传统的对齐方法就容易“抓瞎”。
最近,来自浙江大学、电子科技大学中山学院以及西班牙埃斯特雷马杜拉大学的研究团队在 IEEE TGRS 2025 上发表了一项很有意思的研究。他们提出了一种名为 DQAligner 的新框架。这个名字的全称是 Dynamic Query Aligner(动态查询对齐器),核心就在于这个“动态查询(Dynamic Query)”。简单来说,它不再死磕每一帧之间的精确像素对齐,而是通过一种叫作类查询存储(Class Query Memory, CQM)的机制,像记笔记一样迭代学习目标的全局特征,从而在大幅度运动下也能精准锁定目标。
- 论文标题:Learning Global Dynamic Query for Large–Motion Infrared Small Target Detection
- 论文地址: https://doi.org/10.1109/TGRS.2026.3657842
- 代码仓库: https://github.com/dengfa02/DQAligner_MIRSTD(已开源)
- 录用期刊: IEEE Transactions on Geoscience and Remote Sensing (TGRS)
为什么“大位移”成了多帧检测的噩梦?
在实际应用中,比如无人机载红外相机或者高速移动目标的监控,平台抖动和目标机动会导致相邻帧之间的位移非常大。
作者在调研中发现了一个很有趣的现象:长尾效应。如下图所示,在现有的训练集中,绝大多数样本的位移都很小(小于 10 像素的占了 84% 以上),这导致模型在面对那不到 16% 的大位移场景时,表现得非常挣扎。
传统的对齐方案,比如光流法或者普通的可变形卷积网络(Deformable Convolution Networks, DCN),通常感受野有限。当目标跳出这个范围,或者背景里有长得像的干扰物时,模型就会陷入“对齐焦虑”。
我们可以看看下图的对比:单帧方法(如 DNANet)虽然能看到目标,但因为缺乏时间上下文,容易把背景里的干扰点也当成目标;而现有的多帧方法(如 DTUM 和 RFR),在面对大位移运动时,特征表示会变得非常分散,甚至误增强了背景区域。这说明,简单的“硬对齐”已经无法满足复杂动态场景的需求了。
DQAligner:从“硬对齐”到“柔性匹配”
为了解决这些痛点,DQAligner 引入了一套组合拳,核心思想是从全局视角出发,建立更稳健的特征关联。
1. 整体流水线与并行骨干网
首先,为了让模型见过“大世面”,作者引入了全局随机大位移增强策略,模拟平台剧烈抖动。在架构上,它采用了并行骨干网络(Frame Parallel Backbone, PB),一次性处理 帧图像。
这种设计非常有意思,它把时间维度和 Batch 维度合并处理,不仅提高了推理效率,还让 BatchNorm 统计量在时空维度上更稳定,实际上扩大了模型的时间感受野。
2. 快速尺度资源分配(FSRA)
多帧加多尺度,计算量通常会爆炸。为了兼顾效率,作者设计了快速尺度资源分配(Fast Scale Resource Assigner, FSRA)模块。它把复杂的时空注意力拆解开,通过三个支路进行处理:
- 通道分配器(Channel Assigner):通过全局平均池化提取语义权重。
- 空间分配器(Patch Assigner):定位关键的空间区域。
- 帧分配器(Frame Assigner):在时间轴上分配权重。
这种做法就像是给模型装了一个“调度中心”,让它知道在哪个尺度、哪一帧、哪个通道该投入更多的计算资源。
3. 双向共享运动交互(CMI)
在帧间交互上,跨帧运动交互(Cross-frame Motion Interaction, CMI)模块通过双向共享注意力机制,让参考帧和当前帧互相“对质”。
其核心逻辑是:如果一个点在正向搜索(参考帧到关键帧)和反向搜索中都能匹配上,那它大概率是真实目标。这种共享机制能让随机的背景噪声在梯度更新中互相抵消,而真正稳定的目标信号则会得到加强。
4. 动态感受野金字塔对齐(DFDA)
对于具体的对齐操作,动态感受野金字塔对齐(Dynamic Field Deformable Alignment, DFDA)模块采用了金字塔结构。它不再使用固定的卷积核,而是通过 DFO Generator 动态决定感受野的大小(等效感受野从 3x3 一直覆盖到 49x49)。
这种从粗到精的策略,能更好地分解复杂的非线性运动。即使目标跑得快,动态感受野也能“跟得上”。
5. 灵魂组件:类查询存储(CQM)
这是 DQAligner 最核心的创新。类查询存储(Class Query Memory, CQM)就像一个拥有“短期记忆”的记事本。它通过一个隐藏状态 迭代学习目标的特征。
具体的计算流程非常有逻辑性:
- 特征提取:从参考帧提取初始特征。
- 递归更新:通过门控单元(Gate Cell)不断更新这个全局 Query,公式如下:
- 掩码约束:最后,用这个 Query 去“过滤”对齐后的特征,生成运动掩码。
这个设计的妙处在于:即使 DFDA 在极端大位移下像素级没对齐,CQM 依然能凭借学到的全局语义信息,直接从当前帧里把目标“搜”出来。这实现了从硬性像素对齐到柔性语义匹配的范式转变。
实验结果:无惧低信噪比与大位移
研究团队在两个重量级数据集上进行了测试:NUDT-MIRSDT(模拟静态平台)和 IRDST(真实/模拟移动平台)。
在更具挑战性的 IRDST 数据集上,DQAligner 的表现非常抢眼。其 IoU 达到了 69.465%,F1 分数达到 81.982%。相比之下,之前的多帧 SOTA 方法如 DNANet-DTUM 在大位移下的 IoU 仅为 65.49%。
此外,我们来看看复杂度对比。DQAligner 的参数量仅为 0.55M,在保持高性能的同时,比很多单帧方法还要轻量。
在低信噪比(Signal-to-Clutter Ratio, SCR ≤ 3)的极端情况下,DQAligner 的优势更加明显。从 ROC 曲线可以看出,它的曲线最靠近左上角,意味着在保持高检出率的同时,虚警控制得极好。
可视化结果也印证了这一点。在一些背景快速移动(比如楼房边缘、复杂云层)的场景中,其他方法容易把边缘误判为目标,或者干脆跟丢了。而 DQAligner 能够稳定地锁定红圈内的真实目标。
为什么 CQM 和 DFDA 这么管用?
为了深入理解,作者做了非常详尽的消融实验。从图 11 可以看到,在不同位移(大、中、小)下,DFDA 负责初步对齐,而 CQM 负责进一步精细化定位。
特别是在大位移场景下(图 11a),单纯的对齐已经失效了,但经过 CQM 的约束,目标特征依然能被清晰地提取出来。图 12 则展示了 CMI 模块的作用:有了双向共享注意力,目标的能量被显著放大,而背景噪声被有效抑制。
写在最后
DQAligner 的成功给我们带来了一个启发:在处理动态视觉任务时,不一定非要追求像素级的完美对齐。有时候,给模型一个“全局视野”,让它学会利用语义一致性去弥补几何对齐的不足,反而能收到奇效。
这种从“硬对齐”向“柔性匹配”的转变,不仅提升了模型对大位移运动的鲁棒性,也为低信噪比下的弱小目标检测提供了一条新路。目前该项目已经完整开源,如果你也正在被红外场景下的“跟丢”或“虚警”困扰,不妨试试这个强大的新 Baseline。
....
六、GSFANet
浙大提出GSFANet:融合空间与频率注意力,提升红外小目标检测精度
- 论文标题: GSFANet: Global Spatial–Frequency Attention Network for Infrared Small Target Detection
- 作者: Chuiyi Deng, Zhuoyi Zhao, Xiang Xu, Yixin Xia, Junwei Li, Antonio Plaza
- 机构: 浙江大学,电子科技大学,西班牙埃斯特雷马杜拉大学
- 论文地址: https://ieeexplore.ieee.org/abstract/document/11133697
- 代码仓库: https://github.com/dengfa02/GSFANet_IRSTD
- 录用期刊: IEEE Transactions on Geoscience and Remote Sensing (TGRS) 2025
前言
大家好!今天想和大家聊一篇关于红外小目标检测(Infrared Small Target Detection, IRSTD)的新工作。在自动驾驶、海上搜救、精确制导等领域,精准地从复杂的红外图像中“揪出”那些又小又暗的目标,一直是个棘手的难题。传统方法往往只在空间域上做文章,但当目标和背景噪声长得很像时,就很容易“看走眼”。
最近,来自浙江大学等机构的研究者们另辟蹊径,从频率域的视角出发,提出了一种名为GSFANet的全新网络架构。这篇发表在TGRS 2025上的论文,通过巧妙地融合空间和频率信息,不仅显著提升了检测精度,还在多个基准数据集上达到了新的SOTA水平。
研究动机:为什么要在频域做文章?
我们知道,单帧红外图像提供的信息非常有限。目标小、信噪比低,而且形状模糊,这些都给检测带来了巨大挑战。以往的方法大多致力于在空间维度上设计更复杂的网络来区分目标和噪声,但效果总有瓶颈。
作者敏锐地发现,目标和噪声在空间域上可能看起来差不多,但在频率域上却可能“判若两人”。
通过上图的统计分析可以看到,目标T1、T2与噪声N在空间域的分布差异极小(Jensen-Shannon散度很低),但在频域中,它们的分布差异被显著放大了(平均增益达到4.63倍)。这就像给了我们一副“火眼金睛”,能够从一个全新的维度来识别目标。理论上,小波变换(Wavelet Transform, WT)可以看作是在多个尺度和方向上存储空间对比度信息,这使得它在频域中搜寻目标变得更直接、更高效。
基于这一洞察,作者认为,将空间学习和频率分析结合起来,可以更鲁棒地解决IRSTD难题。GSFANet的核心思想便是在此基础上构建一个联合学习框架。
GSFANet:模型架构全解析
GSFANet的整体架构如下图所示,是一个精心设计的编码器-解码器结构。它通过一个频率下采样编码过程和一个自适应频率融合解码过程,实现了空间与频率的联合学习。
整个网络主要由三大核心模块和一大损失函数组成:
参数化小波下采样(PWD)
在深度网络中,下采样是提取多尺度特征的关键步骤。但传统的最大池化或步进卷积等方法,在处理红外小目标时,很容易丢失关键的细节信息,导致目标特征“支离破碎”。
为了解决这个问题,作者设计了参数化小波下采样(Parametric Wavelet Downsampling, PWD)模块。
PWD模块非常巧妙,它包含两条分支:一条是固定的哈尔小波变换(Haar WT)分支,用于提供可解释的频域分解;另一条是分组卷积分支,模拟小波引导的局部对比度,并补充空间细节。两条分支的输出通过通道注意力进行自适应融合。这种设计使得网络能够在下采样过程中,以一种可学习的方式调整目标的分解频率,既保留了频域的判别性,又补充了空间细节,防止了特征的丢失。
分层门控核注意力(HGKA)
为了在网络的不同层级之间有效地融合频率和语义信息,作者提出了分层门控核注意力(Hierarchical Gated Kernel Attention, HGKA)模块。
HGKA模块是GSFANet的交互核心,它包含两个子组件:
- 跨通道核注意力 (Cross-Channel Kernel Attention, C2K): 传统的注意力机制计算量大,且线性点积操作难以捕捉高维非线性关系。C2K创新地引入了高斯核函数来代替点积运算。高斯核能够隐式地将特征映射到无穷维空间,极大地增强了特征的可辨别性,同时计算上更高效。它通过计算特征向量之间的距离来衡量相似性,这与红外小目标通常呈现高斯状分布的特性天然契合。
- 跨空间门控注意力 (Cross-Spatial Gate Attention, CSG): 为了确保深层网络提取的强语义信息能够准确地传递到浅层,指导浅层特征聚焦于目标区域,CSG设计了一种全局门控机制。它为所有层级生成一个统一的空间注意力门,强制网络在不同尺度上关注共同的目标区域,从而保证了小目标语义的全局一致性。
如上图所示,加入全局一致的空间注意力后(第一行),深层语义(E2)能够被有效传播到浅层特征(F0),使得网络在各个尺度上都能准确聚焦目标。
自适应频率解耦融合(AdaFD)
在解码阶段,如何将编码器提取的空间-频率混合特征有效地还原成最终的分割图,是另一个关键。传统的固定逆小波变换显然无法充分利用丰富的频率信息。
为此,作者设计了自适应频率解耦融合(Adaptive Frequency-Decoupled Fusion, AdaFD)模块。
AdaFD模块将特征解码过程看作一个可学习的滤波器生成任务。它能够根据高分辨率特征的频率重要性,动态地生成自适应的高通和低通滤波器。高通滤波器用于锐化浅层特征中的目标细节和边界,而低通滤波器则用于从深层特征中提取精确的目标语义。这种动态调整截止频率和过渡带宽的能力,使得模型能更好地适应不同场景下小目标的频率特性,实现了对目标细节和全局语义的兼顾。
自适应焦点损失(AdaFL)
IRSTD任务中存在严重的样本不平衡问题,尤其是大、小目标对损失的贡献差异巨大。现有的SoftIoU Loss等方法在这种情况下存在梯度更新不平衡和训练后期震荡的问题。
作者为此提出了自适应焦点损失(Adaptive Focal Loss, AdaFL)。该损失函数巧妙地将IoU引入Focal Loss的调制因子中,其形式如下:
其中,是一个根据批次内目标尺寸自适应调整的缩放因子。
从上图的分析可以看出,AdaFL能够:
- 自动平衡不同尺寸目标的损失贡献,小目标获得更大的损失权重。
- 根据训练阶段(由IoU反映)动态调整梯度,训练初期IoU较低时,梯度较大促进收敛;后期IoU较高时,梯度平滑减小,保证训练稳定。
实验结果:性能卓越,效果显著
作者在SIRST、NUDT-SIRST和IRSTD-1k三个公开数据集上进行了详尽的实验,并将GSFANet与多种SOTA方法进行了比较。
定量分析
从上表的主要结果可以看出,GSFANet在各项关键指标上(IoU, F1, Pd, Fa)都取得了全面的领先,尤其是在SIRST和NUDT-SIRST数据集上,性能优势明显。这证明了其在区分目标与噪声以及精确提取目标形状方面的强大能力。
在模型复杂度方面,GSFANet在参数量(Params)和计算量(FLOPs)上都保持了较低的水平,同时推理速度(FPS)也满足实时性要求,展现了优异的性能和效率的平衡。
ROC曲线进一步证实了GSFANet的优越性,在三个数据集上,它的曲线都最接近左上角,表明在所有阈值下都具有最高的真阳性率和最低的假阳性率。
定性分析
话不多说,直接看图。
上图展示了在各种复杂场景下的检测结果。无论是面对密集目标(a)、强噪声干扰(b, d, g),还是需要精确分割轮廓的大目标(c, e, f),GSFANet都表现出了惊人的鲁棒性和准确性。许多其他方法会产生的漏检和虚警,GSFANet都能成功避免。
通过3D显著性图对比可以更直观地看到,GSFANet生成的响应热图(d)中,目标的峰值响应远高于噪声,背景抑制得非常干净,而其他方法(b, c)则容易将噪声误判为目标。
写在最后
GSFANet通过引入频率域的视角,为红外小目标检测问题提供了一个全新的、高效的解决方案。它巧妙地设计了PWD、HGKA和AdaFD等模块,实现了空间信息和频率信息的深度融合与协同工作,并辅以AdaFL损失函数稳定训练过程。大量的实验证明,这种联合学习框架能够显著放大目标与噪声的差异,在复杂背景下实现更准确、更鲁棒的检测。
.....
七、L-RPCANet
轻量、鲁棒、可解释,红外小目标检测迎来新框架
红外小目标检测(Infrared Small Target Detection, ISTD)是国防安全、自动驾驶和遥感等领域的关键技术。近年来,深度展开网络(Deep Unfolding Networks, DUNs)因其巧妙地将传统优化算法(如鲁棒主成分分析RPCA)的“白盒”可解释性与深度学习的“黑盒”强大拟合能力相结合,在ISTD任务中展现出巨大潜力。然而,现有的DUNs方法普遍面临两大挑战:模型参数量大,难以在资源受限的设备上实时运行;对复杂噪声的鲁棒性不足,容易产生虚警和漏检。
为了应对这些挑战,来自上海大学和中山大学的研究者们提出了一种名为 L-RPCANet 的新型框架。该框架基于RPCA,通过引入分层瓶颈结构、降噪模块和通道注意力机制,成功地在保持高检测性能的同时,实现了模型的极致轻量化和强大的噪声鲁棒性。实验表明,L-RPCANet在性能、参数量和推理速度的综合考量上,全面优于RPCANet、DRPCANet等现有先进方法。
- 论文标题: Lightweight Deep Unfolding Networks with Enhanced Robustness for Infrared Small Target Detection
- 作者: Jingjing Liu, Yinchao Han, Xianchao Xiu, Jianhua Zhang, Wanquan Liu
- 机构: 上海大学、中山大学
- 论文地址: https://arxiv.org/abs/2509.08205
- 项目地址: https://github.com/xianchaoxiu/L-RPCANet
研究背景与意义
红外图像中的小目标通常像素数量极少、信噪比低、缺乏纹理信息,使得检测极为困难。传统方法(如IPI、MPCM)虽然有一定效果,但泛化能力和鲁棒性差。纯数据驱动的深度学习方法(如AGPCNet、UIUNet)虽然性能强大,但通常是“黑盒”模型,可解释性差,且需要大量数据,模型也较为庞大。
深度展开网络(DUNs)作为一种模型-数据混合驱动的方法,为解决这一问题提供了新思路。它将一个经典的迭代优化算法(如RPCA)的每一步“展开”成一个神经网络的一层,从而使得整个网络既有传统方法的物理解释性,又能通过数据学习来自适应地调整参数。例如,RPCANet [15] 就是将RPCA的优化过程展开成一个深度网络。然而,这些方法仍未能在轻量化和鲁棒性这两个关键指标上取得理想的平衡。
xxx认为,在许多实际应用场景,尤其是在无人机、便携式光电吊舱等边缘计算平台上,对ISTD算法的轻量化和鲁棒性要求极为苛刻。L-RPCANet正是瞄准了这一痛点,其研究具有非常重要的现实意义。
L-RPCANet:轻量化与鲁棒性的协同设计
L-RPCANet的整体思想是,在RPCA的展开框架内,通过精巧的网络结构设计,实现参数量的大幅削减和抗噪声能力的显著增强。
整体架构
如下图所示,L-RPCANet由K个级联的阶段(Stage)组成,每个阶段都模拟了RPCA的一次迭代过程,旨在将输入的红外图像 D 分解为背景 B、目标 T 和噪声 N。每个阶段内部包含四个核心模块:
- 带SENet的背景估计模块 (SEBEM)
- 带SENet的目标提取模块 (SETEM)
- 带SENet的噪声抑制模块 (SENRM)
- 带SENet的图像重建模块 (SEIRM)

核心创新点
- 分层瓶颈结构 (Hierarchical Bottleneck Structure)这是实现轻量化的关键。对于单通道的红外输入图像,传统的DUNs在处理时通道数较多。L-RPCANet在每个模块(如SEBEM)内部设计了“压缩-扩展”的瓶颈层。具体来说,它首先通过卷积将单通道特征图的通道数增加到一个较小的中间维度(例如BC=4),在这些低维度的特征空间中进行核心的特征提取,然后再恢复到所需的通道数。这种设计极大地减少了特征提取过程中的计算量和参数量。
- 降噪模块 (Noise Reduction Module)与以往的RPCA框架不同,L-RPCANet显式地引入了一个噪声项N,并设计了专门的SENRM模块来学习和抑制噪声。这使得模型能够更好地处理真实世界中复杂的、非高斯分布的噪声,从而增强了模型的鲁棒性。
- Squeeze-and-Excitation (SE) 注意力机制作者将轻量级的通道注意力机制SENet集成到上述的每一个模块中。SENet能够自适应地学习不同特征通道的重要性,并对它们进行重新加权——即“挤压(Squeeze)”全局空间信息,“激励(Excitation)”有用的通道特征。这使得模型能够更关注于对小目标检测和背景抑制有益的特征,同时抑制无关或噪声特征,在几乎不增加计算成本的情况下提升性能。
实验结果与分析
作者在NUDT-SIRST、SIRST-Aug和IRSTD-1k三个公开数据集上进行了广泛的实验,验证了L-RPCANet的有效性。
性能、参数与速度的权衡
下图的“气泡图”非常直观地展示了L-RPCANet的核心优势。图中,气泡大小代表模型参数量,横轴是GPU推理时间,纵轴是检测性能(mIoU)。可以看到,L-RPCANet的气泡最小(参数量仅 0.216M),推理时间最短(约 0.0052s),同时mIoU达到了最高水平(64.68%)。这表明L-RPCANet在性能、轻量化和效率之间取得了最佳的平衡。

定量性能对比
从下表的详细数据可以看出,L-RPCANet在三个数据集上的mIoU、F1-score、检测概率(Pd)和虚警率(Fa)等关键指标上,全面超越或持平于包括RPCANet、DRPCANet、RPCANet++在内的所有基线模型。

在ROC曲线下面积(AUC)这一衡量模型跨域鲁棒性的指标上,L-RPCANet同样表现出色,在绝大多数数据集上都保持了很高的AUC值。

噪声鲁棒性验证
为了验证模型的鲁棒性,作者在测试图像中加入了不同强度的高斯噪声。如下图所示,随着噪声方差的增加,所有模型的性能都出现下降,但L-RPCANet的性能下降曲线最为平缓,展现出最强的抗噪声干扰能力。

定性结果可视化
下图展示了在不同数据集上的可视化检测结果。其中蓝色、黄色和红色框分别代表真阳性(正确检测)、假阳性(虚警)和假阴性(漏检)。可以清晰地看到,相比其他方法,L-RPCANet能够更准确地检测出小目标,同时具有更低的虚警和漏检。



论文贡献与价值
本文的主要贡献可以概括为:
- 提出L-RPCANet框架:设计了一个新颖的、基于深度展开的红外小目标检测框架,该框架在模型可解释性的基础上,实现了极高的轻量化和鲁棒性。
- 创新的轻量化结构:通过分层瓶颈结构,有效减少了网络参数和计算量,为在资源受限设备上部署高性能ISTD算法提供了可行方案。
- 增强的鲁棒性设计:通过显式地引入降噪模块和利用通道注意力机制,显著提升了模型在复杂背景和噪声干扰下的检测性能。
- SOTA的性能:在多个公开数据集上,以远小于同类方法的参数量,取得了当前最先进的检测性能,为ISTD领域设立了新的性能标杆。
总而言之,L-RPCANet为红外小目标检测领域提供了一个优雅且高效的解决方案,它在模型的可解释性、轻量化、鲁棒性和高性能之间取得了出色的平衡,对该技术的工程化和产品化落地具有重要推动作用。
....
八、xxx
....
九、xxx
....
十、xxx
....
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)