NeurIPS 2025 | Dynamic Semantic-Aware Correlation Modeling for UAV Tracking

-_-226

280人浏览 · 2026-10-30 18:03:14

-_-226 · 2026-10-30 18:03:14 发布

NeurIPS 2025 | Dynamic Semantic-Aware Correlation Modeling for UAV Tracking

01.论文信息

论文题目：Dynamic Semantic-Aware Correlation Modeling for UAV Tracking
论文作者：Xinyu Zhou、Tongxin Pan等
发表单位：复旦大学（计算机科学与人工智能学院、智能机器人与先进制造学院）
发表会议\期刊：NeurIPS 2025
代码链接：https://github.com/zxyyxzz/DSATrack

02.论文创新点

动态语义相关性建模（DSAM）：利用 MLP 和 Gumbel-Softmax 动态构建模板 Token 之间的语义关系图，通过图卷积聚合语义相关信息，优化模板与搜索区域的 Correlation Map，增强目标匹配能力。
混合注意力机制（Hybrid Attention）：基于优化后的相关性矩阵评估模板 Token 的重要性，剔除低重要性 Token，并结合 Self-Attention 和 Cross-Attention 实现高效特征交互。
层级贡献度排序剪枝（HCRP）：通过相邻 Transformer 层特征的余弦相似度评估层级贡献，优先删除低贡献层，构建不同深度的轻量化模型，实现跟踪精度与推理速度的平衡。

03.方法

在本节中，首先介绍提出的跟踪框架 DSATrack。接着，将描述动态语义感知 Transformer（Dynamic Semantic-aware Transformer）。随后，我们将详细介绍专为 DSATrack 设计的剪枝方法。最后，将对预测头进行说明。
在这里插入图片描述

3.1 总体框架

整个跟踪框架由三个部分组成：输入表示（input representation）、特征匹配与交互（feature matching and interaction）以及预测（prediction）。

输入表示。 DSATrack 的输入为模板与图块（Template & Patches） $\in \mathbb{R}^{n \times 3 \times H_z \times W_z}$ 以及搜索区域（Search Region） $\in \mathbb{R}^{3 \times H_x \times W_x}$ ，其中 $H$ 和 $W$ 分别表示模板和搜索区域的高度与宽度。模板与图块由一个固定模板 $∈R1×Hz×Wz\in \mathbb{R}^{1 \times H_z \times W_z}$ 以及几个展现出具有代表性目标特征的图块（patches） $∈R(n−1)×Hz×Wz\in \mathbb{R}^{(n-1) \times H_z \times W_z}$ 组成。这些图块（Patches）的生成和跨时间步更新方式与 RFGM 完全相同。随后，输入通过块嵌入（Patch Embedding）被投影为 tokens。
特征匹配与交互。生成的模板 tokens ( $Tz∈Rn×3×hz×wzT_z \in \mathbb{R}^{n \times 3 \times h_z \times w_z}$ ) 和搜索 tokens ( $Tx∈Rn×3×hx×wxT_x \in \mathbb{R}^{n \times 3 \times h_x \times w_x}$ ) 随后被送入 Transformer 块进行特征匹配与交互，其中 $h$ 和 $w$ 表示经过 $16× \times$ 下采样后的特征高度和宽度。Transformer 块的具体计算方法与 OSTrack一致。重要的是，提出了一种用于语义匹配和特征融合的动态语义感知 Transformer。具体而言，设计了一个动态语义相关性生成器（Dynamic Semantic Relevance Generator）来构建语义相关性（Semantic Relevance）。利用语义感知建模（Semantic Aware Modeling），将具有相似语义的特征相似度进行融合，从而得到一个优化的语义感知相关图（Semantic-Aware Correlation Map）。基于该相关图，不重要的模板 tokens 将被丢弃。过滤后的模板 tokens、搜索 tokens 以及语义感知相关图随后被送入混合注意力（Hybrid Attention）模块中，以促进特征交互。
预测。搜索 tokens 被重新组合成图像并传入预测头（prediction head），由其预测目标的边界框。

3.2 动态语义感知 Transformer

模板 tokens $Tz∈Rn×hz×wz×dkT_z \in \mathbb{R}^{n \times h_z \times w_z \times d_k}$ 和搜索 tokens $Tx∈R1×hx×wx×dkT_x \in \mathbb{R}^{1 \times h_x \times w_x \times d_k}$ 是动态语义感知 Transformer 的输入，其中 $d_k$ 是特征的维度。

以单模板 $Tz∈R1×hz×wz×dkT_z \in \mathbb{R}^{1 \times h_z \times w_z \times d_k}$ 为例来阐述细节。使用一个线性层将搜索 tokens 和模板 tokens 转换为 $Qx∈Rhx×wx×dkQ_x \in \mathbb{R}^{h_x \times w_x \times d_k}$ 和 $Kz∈Rhz×wz×dkK_z \in \mathbb{R}^{h_z \times w_z \times d_k}$ 。如图 2 所示，我们计算 $Q_x$ 与 $K_z$ 之间的相关图（Correlation Map） $C$ 如下： $Czx=QxKz⊤dk∈Rhx×wx×hz×wz×l,C_{zx} = \frac{Q_x K_z^\top}{\sqrt{d_k}} \in \mathbb{R}^{h_x \times w_x \times h_z \times w_z \times l}, \quad$
其中 $C_{zx}$ 捕获了来自 $x$ 的查询（query）与来自 $z$ 的键（key）之间的相关性得分，对应于 $z$ 到 $x$ 的相似度。 $l$ 表示 Transformer 中的注意力头数。在相关图 $C_{zx}$ 中，对 $Q_x$ 上的点与 $K_z$ 上的点之间的相似性关系进行建模很容易导致歧义。采用一种基于动态感知的预测方法来计算并融合 $K_z$ 和 $Q_x$ 上语义相关点之间的相似性。

动态语义相关性生成器（Dynamic Semantic Relevance Generator） 首先将 $Czx∈Rhx×wx×hz×wz×lC_{zx} \in \mathbb{R}^{h_x \times w_x \times h_z \times w_z \times l}$ 重塑（reshape）为 $Czx∈RNx×Nz×lC_{zx} \in \mathbb{R}^{N_x \times N_z \times l}$ ，其中 $Nx=hx×wxN_x = h_x \times w_x$ 且 $Nz=hz×wzN_z = h_z \times w_z$ 。接着，提出一个语义感知建模 $G = (V, E)$ ，其中 $\{\vec{c}_i \mid \vec{c}_i \in C_{zx}, 1 \le i \le N_z\}$ 表示节点集， $c⃗i\vec{c}_i$ 的形状为 $Nx×1×lN_x \times 1 \times l$ 。换句话说，沿 $C_{zx}$ 的第二维度提取节点。 $\{(u, v) \mid \forall u \in V, \forall v \in V\}$ 表示语义相关性集。具体而言，对节点特征应用平均池化（average pooling），并将向量 $c⃗i′\vec{c}_i'$ 进行拼接以形成 $v⃗\vec{v}$ ： $c⃗i′=∑j=0Nxc⃗jNx,c⃗j∈R1×1×l⊆c⃗i,\vec{c}_i' = \frac{\sum_{j=0}^{N_x} \vec{c}_j}{N_x}, \quad \vec{c}_j \in \mathbb{R}^{1 \times 1 \times l} \subseteq \vec{c}_i, \quad$ $v⃗=[c⃗1′,c⃗2′,…,c⃗Nz′]∈RNz×1×l,\vec{v} = [\vec{c}_1', \vec{c}_2', \dots, \vec{c}_{N_z}'] \in \mathbb{R}^{N_z \times 1 \times l}, \quad$
其中 $[⋅][\cdot]$ 表示拼接。随后，我们通过矩阵乘法计算节点之间的相似性得分 $A$ ： $\frac{\vec{v}^\top \vec{v}}{\sqrt{d_k}}, \quad A \in \mathbb{R}^{N_z \times N_z \times l}. \quad$
此后，利用一个由多层感知机（MLP）和 Log-Softmax 函数组成的小型预测网络来预测每个相关性将被保留或丢弃的可能性： $πij=log⁡exp⁡(MLP(Aij))∑k=1Nzexp⁡(MLP(Aik))∈R2,1≤i,j≤Nz,\pi_{ij} = \log \frac{\exp(\text{MLP}(A_{ij}))}{\sum_{k=1}^{N_z} \exp(\text{MLP}(A_{ik}))} \in \mathbb{R}^2, \quad 1 \le i, j \le N_z, \quad$ 其中 $πij,0\pi_{ij,0}$ 是保留相关性 $(i, j)$ 的概率， $πij,1\pi_{ij,1}$ 是移除它的概率。接下来，应用 Gumbel-Softmax 来生成动态语义相关性 $E$ ，使 $π\pi$ 可微并保留最具相关性的连接： $\text{Gumbel-Softmax}(\pi) \in \{0, 1\} \in \mathbb{R}^{N_z \times N_z}. \quad$

语义感知建模（Semantic Aware Modeling） 利用语义感知建模来优化相关图，其公式定义如下： $Czx′=Λ−12E^Λ−12Czx⊤Wv∈RNx×Nz×l,C_{zx}' = \Lambda^{-\frac{1}{2}} \hat{E} \Lambda^{-\frac{1}{2}} C_{zx}^\top W_v \in \mathbb{R}^{N_x \times N_z \times l}, \quad$
其中 $E^=E+I\hat{E} = E + I$ ， $I$ 是单位矩阵， $Λii=∑jEij\Lambda_{ii} = \sum_j E_{ij}$ 是度矩阵（degree matrix）。

混合注意力（Hybrid Attention）。语义感知相关图被输入到一个 MLP 和 Gumbel-softmax 中，以评估模板 tokens 的重要性。根据 $\in \{0, 1\} \in \mathbb{R}^{N_z \times N_z}$ 丢弃不太显著的 tokens 以加速计算： $\text{Gumbel-Softmax}(\text{Log-Softmax}(\text{MLP}(C_{zx}'))). \quad$ 随后，结合 $Q_z, Q_x, K_z, K_x, V_z, V_x$ 以及 $C_{zx}'$ 来计算混合注意力： $HAttention(Qx,Kx,Vx,Kz,Vz)=[SelfAttention(Qz,Kz,Vz),SelfAttention(Qx,Kx,Vx),CrossAttention(Qx,Kz,Vz)].\text{HAttention}(Q_x, K_x, V_x, K_z, V_z) = [\text{SelfAttention}(Q_z, K_z, V_z), \text{SelfAttention}(Q_x, K_x, V_x), \text{CrossAttention}(Q_x, K_z, V_z)]. \quad$ 自注意力（Self-attention）的公式如下： $SelfAttention(Q,K,V)=SoftMax(QK⊤dk)V.\text{SelfAttention}(Q, K, V) = \text{SoftMax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V. \quad$ 交叉注意力（Cross-Attention）计算如下： $CrossAttention(Qx,Kz,Vz)=SoftMax(Czx′+Czx)Vz.\text{CrossAttention}(Q_x, K_z, V_z) = \text{SoftMax}(C_{zx}' + C_{zx})V_z. \quad$ 最后，引入前馈神经网络（FFN）来增强模型的拟合能力。动态语义感知 Transformer 可总结如下： $Txz′′=Txz′+FFN(Txz′),T_{xz}'' = T_{xz}' + \text{FFN}(T_{xz}'), \quad$ $Txz′=HAttention(Qx,Kx,Vx,Kz,Vz)+Txz,T_{xz}' = \text{HAttention}(Q_x, K_x, V_x, K_z, V_z) + T_{xz}, \quad$ 其中 $T_{xz}$ 表示 $T_z$ 和 $T_x$ 的拼接。

3.3 分层贡献度排序剪枝（Hierarchical Contribution Ranking Pruning）

引入了分层贡献度指标 $δi\delta_i$ ，用于量化每个 Transformer 块在 DSATrack 特征转换过程中的作用。分层贡献度的定义基于每一层的隐状态与其后继层之间的相似度。如果某一层的输入与下一层的输入具有高相似度，则表明该层的特征转换对后续层输入的影响微乎其微，从而导致较低的贡献度。相反，如果相似度较低，则说明该层发挥了重要作用。第 $i$ 层 Transformer 的分层贡献度 $δi\delta_i$ 的计算公式如下： $δi=1−1M∑m=1Mcos⁡(Ti,m,Ti+1,m)=1−1M∑m=1MTi,m⋅Ti+1,m∥Ti,m∥2⋅∥Ti+1,m∥2,\delta_i = 1 - \frac{1}{M} \sum_{m=1}^{M} \cos(T_{i,m}, T_{i+1,m}) = 1 - \frac{1}{M} \sum_{m=1}^{M} \frac{T_{i,m} \cdot T_{i+1,m}}{\Vert{}T_{i,m}\Vert{}_2 \cdot \Vert{}T_{i+1,m}\Vert{}_2}, \quad$ 其中 $T_{i,m}$ 是第 $i$ 个 Transformer 块的第 $m$ 个隐状态， $M$ 是隐状态的数量。该模型由 12 个 Transformer 块组成，分为两种类型：位于层 $D = \{4, 7, 10\}$ 的动态语义感知 Transformer 块（Dynamic Semantic-Aware Transformer blocks），以及位于其余层 $S = \{1, 2, 3, 5, 6, 8, 9, 11, 12\}$ 的标准 Transformer 块（Standard Transformer blocks）。对于动态语义感知 Transformer 块和标准 Transformer 块，我们分别对每种类型块的贡献度分数 $δi\delta_i$ 进行排序： $CD=Sort({δi∣i∈D}),CS=Sort({δi∣i∈S}).C_D = \text{Sort}(\{\delta_i \mid i \in D\}), \quad C_S = \text{Sort}(\{\delta_i \mid i \in S\}). \quad$ 基于这些排序后的值，选择贡献度最低的块进行剪枝。每种类型块的剪枝集合由剪枝率 $p_d$ 和 $p_s$ 确定，如下所示： $层}.D_{\text{prune}} = \{i \mid i \text{ 是 } C_D \text{ 中最低的 } \lceil p_d \cdot \vert{}D\vert{} \rceil \text{ 层}\}, \quad S_{\text{prune}} = \{i \mid i \text{ 是 } C_S \text{ 中最低的 } \lceil p_s \cdot \vert{}S\vert{} \rceil \text{ 层}\}. \quad$ 随后，这些被剪枝的块将被丢弃，两个集合中剩余的块相结合以形成新的剪枝模型。剩余的动态语义感知 Transformer 块和标准 Transformer 块分别为： $Dnew=D∖Dprune,Snew=S∖Sprune.D_{\text{new}} = D \setminus D_{\text{prune}}, \quad S_{\text{new}} = S \setminus S_{\text{prune}}. \quad$ 最后，剪枝后新模型的层集合为： $Lnew=Dnew∪Snew.L_{\text{new}} = D_{\text{new}} \cup S_{\text{new}}. \quad$ 这一过程允许在模型效率和性能之间取得平衡，并且可以调整剪枝率 $p_d$ 和 $p_s$ 以优化计算速度和存储需求。

3.4 预测头

参照 OSTrack ，构建了预测头，用于从 Transformer 生成的搜索区域特征中估计边界框。该预测头由三个分支组成：一个分支预测分类得分图 $\in [0, 1]^{h_x \times w_x}$ ，另一个分支预测偏移量 $\in [0, 1)^{2 \times h_x \times w_x}$ ，第三个分支预测归一化的框尺寸 $\in [0, 1]^{2 \times h_x \times w_x}$ 。得分最高的位置 $x_d, y_d) = \arg\max_{(x,y)} S_{xy}$ 与 $O$ 和 $E$ 相结合，从而生成最终的边界框： $x_d + O(0, x_d, y_d), \quad y = y_d + O(1, x_d, y_d), \quad w = E(0, x_d, y_d), \quad h = E(1, x_d, y_d). \quad$

04. 实验分析

4.1 实现细节

模型
DSATrack 采用 ViT-B 作为主干网络，通过 MAE 进行初始化，称为 DSATrack-ViT-B。对于 DSATrack 的剪枝变体，我们考虑了包含 8、7、6 和 4 个 Transformer 层的四种配置，分别命名为 DSATrack-D8、DSATrack-D7、DSATrack-D6 和 DSATrack-D4。所有剪枝模型均应用 $pd=23p_d = \frac{2}{3}$ 的剪枝率。针对这四个变体，剪枝率 $p_s$ 分别设为 $29\frac{2}{9}$ 、 $39\frac{3}{9}$ 、 $49\frac{4}{9}$ 和 $69\frac{6}{9}$ 。表 1 展示了 DSATrack-ViT-B 在 UAV123 上各 Transformer 层的分层贡献度，从而得出剪枝模型变体的层移除设置，如表 2 所示。此外，还提供了基于 ViT-Tiny 和 DeiT-Tiny 的版本，分别命名为 DSATrack-ViT-T 和 DSATrack-DeiT-T。模板调整为 $128 \times 128$ ，而搜索区域调整为 $256 \times 256$ 。
训练在 TrackingNet 、GOT-10k、LaSOT 和 COCO 上对模型进行训练。训练过程包含两个阶段。在第一阶段中，模型使用 3 个模板训练 300 个轮次（epochs）。动态语义感知 Transformer 和预测头的学习率设为 $\times 10^{-4}$ ，其余参数的学习率设为 $\times 10^{-5}$ 。在第 240 个轮次时，学习率衰减 10 倍。在第二阶段中，模型使用 6 个模板微调 50 个轮次。使用 AdamW 优化器，权重衰减为 $10^{-4}$ 。损失函数包含 L1 损失、Focal 损失、GIoU 损失和比率损失（ratio loss），与 RFGM 一致。所有训练任务均在 4 张 NVIDIA GeForce RTX 3090 GPU 上进行，批大小（batch size）为 24。

推理为了公平起见，其他模型与我们模型的速度测试均在同一块 NVIDIA RTX 3090 GPU 上进行，且不包含数据加载开销。我们的模板与图块（Templates & Patches）大小设为 $\times N_z$ 。图块的更新间隔在 $\le 100$ 时设为 5，每 100 帧翻倍一次直到 $t = 500$ ，随后保持为 160。在第 4、7 和 10 层中，保留的模板 tokens 数量分别设为 $⌊3×Nz×0.9⌋\lfloor 3 \times N_z \times 0.9 \rfloor$ 、 $⌊3×Nz×0.8⌋\lfloor 3 \times N_z \times 0.8 \rfloor$ 和 $⌊3×Nz×0.7⌋\lfloor 3 \times N_z \times 0.7 \rfloor$ ， $⌊⋅⌋\lfloor \cdot \rfloor$ 表示向下取整运算。

4.2 SOTA对比

在这里插入图片描述

4.3 关于相关性建模的消融实验

将我们的动态语义感知建模（DSAM）与基线（Baseline）和静态语义感知建模（SSAM）进行了对比评估。动态语义建模是指本文提出的动态语义预测方法，而静态语义建模则指分别对从搜索区域到模板以及从模板到搜索区域的相关图应用 $\times 3$ 卷积核的方法。在这种情况下，感受野的形状保持固定。在 DTB70 上，采用 ViT-B 的 DSAM 取得了 91.% 的精度和 70.6% 的成功率，优于其他两种替代方法。在 UAVDT 和 UAV123 上也观察到了类似的趋势。与 SSAM 的固定区域建模不同，DSAM 能够自适应地捕获语义变异性，从而增强跟踪的鲁棒性。如图 4 所示，DSAM 生成了更加聚焦的相关图，有效地减少了背景噪声。这些结果证实，与静态或基线方法相比，DSAM 通过更准确地对动态语义相关性进行建模，显着提升了无人机跟踪性能。

在这里插入图片描述

4.4 关于剪枝的消融实验

顺序剪枝（Sequential Pruning, SP）类似于本文提出的贡献度排序剪枝（Contribution Ranking Pruning, CRP），例如移除第 4 层和第 7 层而保留第 10 层。然而，SP 是按固定的顺序执行剪枝的，并未显式评估每一层对整体跟踪性能的相对贡献。相比之下，CRP 引入了一种分层贡献度排序机制，在剪枝前量化每一层的重要性，从而确保保留关键层并移除冗余层。

如表 5 所示，在所有主干网络和数据集上，CRP 的表现始终优于 SP。对于 D7 变体，CRP 在全部四个基准测试（DTB70、UAVDT、VisDrone2018 和 UAV123）上都实现了更高的精度和成功率，且速度变化微乎其微。在诸如 D4 等更浅的配置中，这种性能差距更为明显：由于对必要层进行了过度剪枝，SP 遭到了严重的精度衰减，而 CRP 在保持相似推理速度的同时维持了稳定的精度（214.1 FPS 对比 210.7 FPS）。

这些结果表明，基于贡献感知（contribution-aware）的层选择使 CRP 能够在准确性和计算效率之间实现更好的平衡。通过根据层的分层重要性进行自适应排序，而不是遵循死板的剪枝计划，CRP 实现了一种更具鲁棒性的剪枝策略，尤其是在 VisDrone2018 和 UAV123 等具有挑战性的数据集上——在这些数据集里，细粒度的空间细节对跟踪性能至关重要。

在这里插入图片描述

4.5 真实世界无人机测试

如图 6 所示，开展了一系列真实世界的无人机跟踪实验，以进一步验证所提出的 DSATrack 框架的实用性和部署可行性。实验展示了四个具有代表性的跟踪场景，涉及汽车、摩托车、狗和人等多样化目标，涵盖了刚性与非刚性运动模式、不同的运动速度以及复杂的背景。这些实验使用的是 Jetson AGX Xavier 边缘计算平台，旨在模拟计算资源受限的真实机载条件。
为了评估运行性能，测试了不同 DSATrack 变体在 Xavier 平台上的推理速度。轻量级基于 Transformer 的变体 DSATrack-ViT-T 和 DSATrack-DeiT-T 分别实现了 27.6 FPS 和 27.4 FPS 的实时跟踪速度，证明了它们适用于嵌入式硬件上的低延迟应用。相比之下，较大的剪枝变体（如 DSATrack-D4 和 DSATrack-D7）运行速度约为 10 FPS，在有更高计算能力可用时，能够提供更强的精度余量。
这些结果突显了 DSATrack 对多样化部署场景的适应性。根据精度与效率之间的权衡，用户可以灵活选择合适的模型变体，以满足特定无人机任务的需求。在动态和静态场景中表现出的连贯性能，进一步证实了所提框架在真实世界无人机跟踪应用中的鲁棒性与可扩展性。
在这里插入图片描述