在目标检测和大模型(如视觉大模型、多模态大模型等)领域中,下采样(downsampling) 和 上采样(upsampling) 是图像/特征图尺度变换的关键操作,主要用于多尺度特征提取、空间信息恢复等任务。以下是它们的含义和作用:

下采样(Downsampling)

  • 定义: 降低特征图的空间分辨率(即高度和宽度变小),通常伴随通道数增加。
  • 常见方式:
    1. 池化(Pooling):如最大池化(Max Pooling)、平均池化(Average Pooling)。
    2. 卷积步长大于1(Strided Convolution):例如卷积核 stride=2,使输出尺寸减半。
  • 作用:
    1. 扩大感受野(receptive field),捕获更大范围的上下文信息。
    2. 减少计算量和参数量,提升模型效率。
    3. 构建特征金字塔(如 FPN 中的 backbone 部分),实现多尺度检测。
  • 在目标检测中的应用:
    YOLO、Faster R-CNN 等模型的 backbone(如 ResNet、CSPDarknet)通过下采样逐步提取高层语义特征。
    小物体检测易受过度下采样影响(细节丢失),因此需谨慎设计下采样层数或引入高分辨率分支。

上采样(Upsampling)

  • 定义:提升特征图的空间分辨率(高度和宽度变大),通常用于恢复空间细节。
  • 常见方式:
  1. 插值法:如双线性插值(bilinear)、最近邻插值(nearest neighbor)。
  2. 转置卷积(Transposed Convolution / Deconvolution):可学习的上采样方式。
  3. 像素洗牌(Pixel Shuffle):通过重排通道信息来放大尺寸(如 ESPCN、Real-ESRGAN 中使用)。
  • 作用:
  1. 恢复空间分辨率,用于像素级预测任务(如语义分割、实例分割)。
  2. 在目标检测中常用于特征融合,例如 FPN、PANet、BiFPN 中将深层语义特征与浅层细节特征融合。
  • 在目标检测中的应用:
  1. YOLOv3/v4/v5/v8 中使用上采样将高层特征图放大,与中层特征拼接(concat)或相加(add),增强对中小目标的检测能力。
  2. 上采样本身不增加新信息,但能与浅层高分辨率特征结合,提升定位精度。
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐