DeepLabv3 论文深度解读

论文标题: Rethinking Atrous Convolution for Semantic Image Segmentation
发表时间: 2017
作者: Liang-Chieh Chen, George Papandreou, Florian Schroff, Hartwig Adam (Google)

DeepLab系列概要：

• DeepLabV1于2014年提出，提出了空洞卷积（Atrous Convolution）来扩大感受野，还提出了全连接条件随机场（CRF）来解决多尺度问题。
• DeepLabV2于2016年提出，在V1的基础上进行改进，依旧是使用空洞卷积，但主干网络已经替换为ResNet，同时还提出了空洞空间金字塔池化(ASPP)结构

1. 概览与核心问题 (Overview)

利用深度卷积神经网络DCNN进行语义分割（Semantic Segmentation）时面临的两个主要挑战：

1. 分辨率下降：深度卷积神经网络（DCNN）通过连续的池化和下采样使得特征图分辨率降低，丢失了图像的空间细节信息。
2. 多尺度目标：图像中的物体大小各异，要求模型具备捕获多尺度上下文信息的能力。

DeepLabV3 针对这些问题，1) 重新思考了空洞卷积（Atrous Convolution ） 的应用，2) 提出了改进的 ASPP（Atrous Spatial Pyramid Pooling） 模块。相比于以前的版本（v1, v2），DeepLab v3 不再依赖用于后处理的 CRF（条件随机场），是一个端到端可训练的强大模型。

2. 核心架构与创新点

2.1 空洞卷积 (Atrous Convolution)

DeepLab 系列的核心是空洞卷积（又称扩张卷积）。它通过在卷积核中插入“空洞”（即零值）来扩大感受野，而不增加参数量或降低特征图分辨率。示意图如下：

• 通过空洞卷积实现密集的特征提取：Output Stride (OS)指输入图像分辨率与最终输出特征图分辨率的比值。DeepLab v3 通过使用空洞卷积实现 OS=16 进行训练，在预测时可使用 OS=8 以获得更精细的结果。

2.2 通过空洞卷积加深网络

使用更深的网络结构时，网络会捕捉长距离信息，但是也会丢失细节信息。为了解决这个问题，使用级联的不同膨胀率的空洞卷积来加深网络，这样可以获取更丰富的上下文信息。网络结构如下所示：

作者发现在使用 ResNet 作为主干网络（Backbone）时，如果在 Block 4 (深层) 使用空洞卷积，采用 Multi-grid 策略效果更佳。

• 即：在 Block 4 的三个卷积层中，分别设置不同的 unit rates（例如 (1, 2, 4)），使得最终的有效 dilation rate 更加丰富，从而更好地捕获细节。

2.3 改进的 ASPP 模块 (Improved ASPP)

为了更好地捕获多尺度上下文，DeepLabv3 对 ASPP 模块进行了重大升级。原有的 ASPP 只是并行的空洞卷积，而在 v3 中：

1. 加入 Batch Normalization (BN)：ASPP 的每个分支都加入了 BN 层，这极大提升了训练的稳定性。
2. 引入图像级特征 (Image-level Features)：作者发现在 dilation rate 很大时（接近特征图大小时），3x3 空洞卷积会退化为 1x1 卷积（只有中心权重有效）。为了解决这个问题，DeepLab v3 增加了一个分支，对特征图进行全局平均池化 (Global Average Pooling)，捕获全局上下文信息。

最终的 ASPP 包含 5 个并行分支（concat 融合）：

• 一个 1x1 卷积。
• 三个 3x3 空洞卷积，rates = (6, 12, 18) (当 OS=16 时)。
• 一个全局平均池化分支（经过 1x1 卷积和上采样调整尺寸）。
  

3. 实验结果与总结

• 无需 CRF：DeepLab v3 展示了纯 CNN 架构（配合强大的 ASPP）足以生成精细的分割结果，甚至优于之前带 CRF 的模型。
• 性能：在 PASCAL VOC 2012 基准测试中，DeepLab v3 取得了当时的 State-of-the-art 性能。

4. 总结 (Conclusion)

DeepLabv3 通过精细设计的 ASPP 模块（结合空洞卷积、BN 和全局特征），有效地解决了语义分割中的多尺度和分辨率问题。它的架构简洁高效，不仅去除了复杂的 CRF 后处理，还提供了极佳的分割精度，是语义分割领域的经典之作。