用Mamba做图像修复是个值得关注的新兴方向,核心优势在于Mamba的长序列建模能力,可以替代Transformer,在高分辨率或复杂场景的实时修复等任务中优势显著。

这意味着,Mamba+图像修复会在热门的医学图像、自动驾驶等领域发展迅猛,落地前景可观。再加上,近年主流顶会(比如CVPR)对SSM类模型接受度较高,比如横扫14个图像修复任务的MaIR、降低150倍计算复杂度的Serpent...非常适合有论文需求的同学研究。

本文整理了10篇Mamba+图像修复2025新论文,大多都开源了,想快速出成果的同学可以直接拿来做参考,同时也建议从架构设计、任务适配、理论创新、轻量化等角度做创新,比较容易上手。

关注VX公众号【学长论文指导 】发送暗号  9  领取 

 

 

Serpent: Scalable and efficient image restoration via multi-scale structured state space models

方法:论文提出了一种名为Serpent的图像修复方法,它基于Mamba状态空间模型,通过多尺度处理高效建模图像中的长距离依赖。相比传统方法,Serpent 在高分辨率图像修复中大幅降低了计算量和内存需求,同时保持了优秀的修复效果。

创新点:

  • 使用Mamba模型,实现线性复杂度的长距离依赖建模。
  • 设计了一种分层架构,将输入图像划分为多个尺度进行处理,利用Mamba模型在每个尺度上高效地建模长距离依赖
  • 在高分辨率图像修复中,实现了高达150倍的计算复杂度降低和5倍的GPU内存需求减少,同时保持高质量的修复效果。

MaIR: ALocality- and Continuity-Preserving Mamba for Image Restoration

方法:论文提出了一种基于Mamba的图像修复模型MaIR,通过设计NSS策略和SSA块,在保留图像局部性和连续性的同时,高效地捕捉长距离依赖关系,从而在多种图像修复任务(如超分辨率、去噪、去模糊和去雾)中取得了优异的性能。

创新点:

  • 提出NSS策略,通过基于条带的扫描区域和S形扫描路径,同时保留图像的局部性和连续性。
  • 设计SSA块,通过计算不同序列对应通道的注意力权重来聚合序列,有效利用不同方向的互补信息。
  • 在多个图像修复任务上,MaIR在14个数据集上超越了40个基线方法,取得了最先进的性能。

Q-MambaIR: Accurate Quantized Mamba for Efficient Image Restoration

方法:论文提出了一种名为 Q-MambaIR 的图像修复方法,通过动态调整量化范围和灵活舍入机制,解决了低比特量化时的误差问题,显著提升了图像修复的准确性和效率。

创新点:

  • 提出动态平衡可学习标量,动态调整量化范围以适应输入数据分布,减少异常值导致的截断损失。
  • 设计范围浮动灵活分配器,通过自适应阈值灵活舍入值,保留高频细节并维持特征提取能力。
  • 在低比特量化下,Q-MambaIR 显著优于现有方法,且几乎不增加训练计算和存储开销,适合在资源受限设备上部署。

MxT: Mamba x Transformer for Image Inpainting

方法:论文提出了一种名为M×T的图像修复方法,结合了Mamba和Transformer的优势。通过混合模块实现两者的协同作用,M×T 在图像修复任务中表现出色,尤其在细节和上下文一致性方面优于现有方法。

创新点:

  • 提出了一种结合 Mamba 和 Transformer 的新型混合模块,用于图像修复任务,充分发挥两者的优势。
  • 通过在像素级和块级进行双重交互学习,显著提升了图像修复的细节和上下文一致性。
  • 在 CelebA-HQ 和 Places2 数据集上实现了优于现有最先进方法的性能,并且能够高效处理高分辨率图像。

 

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐