01 论文信息

• 论文题目：End-to-End Semi-Supervised Object Detection with Soft Teacher
• 论文作者：Mengde Xu, Zheng Zhang, Han Hu, Jianfeng Wang, Lijuan Wang, Fangyun Wei, Xiang Bai, Zicheng Liu
• 发表单位：华中科技大学，微软
• 发表会议：ICCV 2021
• 代码链接 : https://github.com/
  microsoft/SoftTeacher

02 论文主要贡献

1. 本文提出了一种端到端的半监督目标检测方法，替代复杂的多阶段方法。
2. 端到端训练实现伪标签质量与检测模型的互相促进（飞轮效应）。
3. 提出Soft Teacher软教师机制，用教师分数加权未标注框的分类损失。
4. 提出Box Jittering边界框抖动方法，选取可靠的伪边界框用于回归训练。
5. 在 COCO 基准数据集上，所提方法在 1%、5% 和 10% 等多种标注比例下均大幅优于以往方法。此外，该方法在标注数据量相对较大时也表现出色。
   
   图1. 所提出的基于端到端伪标签的半监督目标检测方法在MS-COCO基准测试上大幅优于STAC。

现存问题

• 多阶段半监督检测受限于伪标签质量：多阶段训练架构，利用标注数据训练初始检测器 —> 对未标注数据生成伪标签 —> 基于带有伪标签的未标注数据进行再训练。这类多阶段方法最终性能受限于由少量标注数据训练出的、初始且可能存在偏差的检测器所生成的伪标签质量。
• 硬伪标签分配导致召回率低，监督信号不充分：较高的前景阈值会导致许多正样本框候选被错误地归为背景。
• 伪框定位质量不可靠，回归分支训练效果差：前景置信度高的框，定位精度不一定高，并不适用于框回归。

03 论文创新点

（1）端到端框架替代多阶段，同时伪标签生成过程与检测模型训练过程可以相互强化，二者性能均会随着训练推进而不断提升，实现“飞轮效应”；
（2）软教师机制：用教师分数加权未标注框损失；
（3）框抖动方法：筛选可靠伪框用于回归。

04 方法

4.1 端到端伪标签框架

4.1.1 师生模型设计

学生模型：可训练的目标检测器。采用强增强策略，同时接收标注数据（带有真实标签）和未标注数据（伪标签）的监督信号，不断更新参数。对于未标注数据进行强增强输入学生模型，用教师生成的伪标签计算无监督损失。
教师模型：学生模型采用指数移动平均（EMA）策略更新，不直接参与反向传播。未标注数据采取弱增强策略以生成稳定伪标签。教师模型会对图像进行目标检测，预测出数千个候选框。随后执行非极大值抑制（NMS）以消除冗余，之后仅保留前景得分较高的候选框作为伪框。教师模型的伪标签生成过程中则使用弱增强策略。

4.1.2 损失函数：监督损失 + 加权无监督损失：

$$\mathcal{L}={\mathcal{L}}_s+\alpha {\mathcal{L}}_u$$

• 监督损失 ${\mathcal{L}}_s$
  标注数据上的常规检测损失（分类+回归）：
  $${\mathcal{L}}_s=\frac{1}{N_l}\sum _{i=1}^{N_l}({\mathcal{L}}_{cls}(I_l^i)+{\mathcal{L}}_{reg}(I_l^i))$$

• 无监督损失 ${\mathcal{L}}_u$
  未标注数据上，用教师伪标签计算的损失：
  $${\mathcal{L}}_u=\frac{1}{N_u}\sum _{i=1}^{N_u}({\mathcal{L}}_{cls}(I_u^i)+{\mathcal{L}}_{reg}(I_u^i))$$

4.2 软教师

在常规师生半监督检测中，教师生成伪标签后，通常用 高置信度阈值（如 0.9） 筛选正样本，只有超过阈值的框才参与训练。但会导致召回率极低（仅约 33%），大量真实框因置信度略低于阈值被直接划为背景，导致监督信号少、分类学习不充分。

图3. 从train2017数据集中随机抽取10000张未标记的训练图像，基于仅使用10%标记图像训练的模型绘制图表。（a）不同前景分数阈值下前景的精确率与召回率。（b）与真实框的交并比（IoU）和框前景分数之间的相关性。(c）与真实框的交并比（IoU）和框回归方差之间的相关性。（b）和（c）中的每个点代表一个框候选框。

软教师机制舍弃硬阈值筛选策略，由教师模型对学生模型输出的全部候选框进行评估，以教师模型输出的检测置信度作为样本可靠性权重，对候选框分类损失做加权处理。置信度越高的样本权重越大，对参数更新的影响越强；置信度较低的样本权重相应降低，以此削弱噪声带来的负面影响。

未标记图像分类损失（带可靠加权）
$${\mathcal{L}}_u^{cls}=\frac{1}{N_b^{fg}}\sum _{i=1}^{N_b^{fg}}{l}_{cls}\left(b_i^{fg},{\mathcal{G}}_{cls}\right)+\sum _{j=1}^{N_b^{bg}}{w}_j{l}_{cls}\left(b_j^{bg},{\mathcal{G}}_{cls}\right)$$

权重定义
$$w_j=\frac{r_j}{{\sum }_{k=1}^{N_b^{bg}}{r}_k}$$

• $N_b^{fg}$：被划分为前景的候选框数量。
• $b_i^{fg}$：第 $i$ 个前景候选框。
• ${\mathcal{G}}_{cls}$：教师生成、用于分类的伪框集合。
• $l_{cls}(\cdot )$：单个框的分类损失。
• $N_b^{bg}$：被划分为背景的候选框数量。
• $b_j^{bg}$：第 $j$ 个背景候选框。
• $w_j$：第 $j$ 个背景框的归一化可靠权重。
• $r_j$：第 $j$ 个背景框的可靠性分数

损失分为两部分：

1. 前景框损失：所有前景框的分类损失取平均；
2. 背景框损失：每个背景框的分类损失乘以可靠性权重后求和；
   权重 $w_j$ 是可靠性分数 $r_j$ 的归一化，确保背景损失权重和为1。

候选指标对比：

1. 学生模型背景分数：直接用学生预测的背景概率作为权重；（学生模型训练不稳定，预测噪声大，无法提供可靠的背景可信度信号）
2. 师生预测差异：用学生与教师对背景类别的预测一致性来衡量，差异越小越可靠；（利用学生与教师对背景类别的预测一致性衡量可信度，既利用了教师的稳定监督信号，又能通过一致性过滤噪声，在实验中表现最优）
3. 基于IoU的两种策略：通过与真实框的IoU大小判断背景可信度（IoU策略 / Reverse-IoU策略）。（仅依赖与真实框的重叠度，无法区分真正背景与模糊前景，且两种假设均存在明显偏差，实验效果不佳）

选择师生预测差异作为可靠性分数，公式为：
$$r=1-\left|p_S^{bg}(b)-p_T^{bg}(b)\right|$$
该指标利用了师生模型的监督一致性，更能反映候选框的真实可信度，避免单一模型预测带来的偏差。

4.3 框抖动

如图3（b）所示，前景得分高的框可能无法提供准确的定位信息，依据前景得分选择教师生成的伪框并不适用于框回归，需要采用更优的判别标准。

4.3.1 伪框抖动与回归精炼

对教师模型生成的伪框$b_i$施加多次随机小幅抖动，生成扰动框；随后利用教师模型对每个扰动框进行回归修正。
$${\hat{b}}_{i,k}=\text{refine}(\text{jitter}(b_i)),k=1,2,\dots ,N_{\text{jitter}}$$
其中，$\text{jitter}(\cdot )$ 表示随机抖动操作，$\text{refine}(\cdot )$ 为教师模型的回归精炼过程，$N_{\text{jitter}}$ 为抖动次数，最终得到 $N_{\text{jitter}}$ 个精炼后的伪框集合 { b ^ i , 1 , … , b ^ i , N jitter } \{\hat{b}_{i,1},\dots,\hat{b}_{i,N_{\text{jitter}}}\} {b^i,1​,…,b^i,Njitter​​}。

4.3.2 回归方差计算与归一化

基于精炼伪框的坐标计算标准差，并进行尺寸归一化，消除伪框本身大小的影响：
$${\hat{\sigma }}_k=\frac{{\sigma }_k}{0.5(h(b_i)+w(b_i))},k=1,2,3,4$$
其中，${\sigma }_k$ 为第 $k$ 个坐标的标准差，$h(b_i)$、$w(b_i)$ 分别为伪框 $b_i$ 的高度与宽度。再计算四个坐标的平均方差作为定位可靠性指标：
$${\overline{\sigma }}_i=\frac{1}{4}\sum _{k=1}^4{\hat{\sigma }}_k$$
${\overline{\sigma }}_i$ 越小，说明多次抖动后的回归结果越一致，伪框定位越可靠。

4.3.3 筛选低方差伪框与回归损失计算

设定阈值筛选低方差伪框，组成可靠伪框集合 ${\mathcal{G}}_{\text{reg}}$，仅用该集合中的伪框训练学生模型的回归分支，未标记数据的回归损失定义为：
$${\mathcal{L}}_u^{\text{reg}}=\frac{1}{N_b^{\text{fg}}}\sum _{i=1}^{N_b^{\text{fg}}}{l}_{\text{reg}}(b_i^{\text{fg}},{\mathcal{G}}_{\text{reg}})$$
其中，$N_b^{\text{fg}}$ 为筛选后的前景伪框数量，$l_{\text{reg}}(\cdot )$ 为单个伪框的回归损失函数。

框抖动通过抖动→回归→算方差筛选定位可靠伪框，解决高分伪框定位不准问题，专门优化回归分支训练。

05 实验分析

表1. 相比纯监督基线，Soft Teacher在单 / 多尺度设置下均显著提升了检测与分割 mAP，证明方法在全监督场景依然有效；
多尺度测试和额外优化能进一步提升性能，在 test-dev2017 上达到SOTA 水平

表2. 在所有标注率下，Soft Teacher（Ours）的性能均显著优于其他方法，验证了方法在低数据场景下的优势

表3. Soft Teacher的提升幅度远超其他方法，验证了方法对无标签数据的高效利用能力

消融实验

表4. 证明了 Soft Teacher 在不同检测器、骨干网络和任务上都具有稳定的性能增益和广泛的通用性，验证了方法的普适性与有效性

表5 多阶段与端到端对比。端到端方法优于多阶段框架。通过指数移动平均（EMA）策略更新教师网络可进一步提升性能。

表6. 研究软教师和框抖动技术的效果。

表7. 软教师模型中不同指标的对比

表8. 不同前景阈值影响的消融实验

表9 基于框回归方差选择伪框用于框回归的不同阈值效果的消融实验

表10 关于用于估计边界框回归方差的不同数量抖动边界框效果的消融实验

06 结论

本文提出了一种用于半监督目标检测的端到端训练框架，该框架摒弃了现有方法所采用的复杂多阶段架构。我们的方法通过利用学生模型进行检测训练，同时借助由学生模型通过指数移动平均策略持续更新的教师模型进行在线伪标签生成，来同步优化检测器与伪标签。在端到端训练过程中，我们提出了两种简单的技术——软教师策略和框抖动技术，以实现对教师模型的高效利用。所提框架在部分标注数据和全标注数据两种设置下，于 MS-COCO 基准测试中大幅超越现有最优方法。