SISR深度学习主要方法简述
单幅图像超分辨重建的深度学习方法综述方法分类方法名称方法描述基于插值的上采样方法最近邻插值使用距离最近的像素点的值进行插值操作双线性插值沿着图像的一个方向进行插值，然后再沿着另一个方向进行插值。插值的结果与先进行哪个方向的插值无关双立方插值使用的插值函数为三次多项式，也是进行图像两个方向的插值操作基于学习的上采样方法转置卷积也成为反卷积，卷积核大小为3x3，步长为1，并使用0进行填充的卷积操作亚像
·
主要介绍了SISR深度学习的主要方法
1、上采样方法介绍
| 方法分类 | 方法名称 | 方法描述 |
|---|---|---|
| 基于插值的上采样方法 | 最近邻插值 | 使用距离最近的像素点的值进行插值操作 |
| 双线性插值 | 沿着图像的一个方向进行插值，然后再沿着另一个方向进行插值。插值的结果与先进行哪个方向的插值无关 | |
| 双立方插值 | 使用的插值函数为三次多项式，也是进行图像两个方向的插值操作 | |
| 基于学习的上采样方法 | 转置卷积 | 也成为反卷积，卷积核大小为3x3，步长为1，并使用0进行填充的卷积操作 |
| 亚像素卷积 | 通过卷积操作得到多个通道的特征图，然后对特征图进行重新排列，在多个通道之间重组，从而放大图像的尺寸 |
2、SISR深度学习主要方法
| 网络名称 | 发表时间 | 网络模型 | 损失函数 | 上采样方法 | 上采样框架 | 适用场景 | 改进点 |
|---|---|---|---|---|---|---|---|
| SRCNN | 2014,ECCV | 线性网络 | L2 | 双三次插值 | 预上采样 | 实景图像 | 首次提出将深度学习引入超分辨领域，提高重建质量 |
| SCN | 2015,ICCV | 线性网络 | L2 | 双三次插值 | 预上采样 | 实景图像 | 在深度卷积网络中加入稀疏表示先验信息 |
| FSRCNN | 2016,CVPR | 线性网络 | L2 | 转置卷积 | 后上采样 | 实景图像 | 较SRCNN提升算法处理速度 |
| ESPCN | 2016,CVPR | 线性网络 | L2 | 亚像素卷积 | 预上采样 | 实景图像 | 较SRCNN提升算法效率 |
| VDSR | 2016,CVPR | 残差网络 | MSE | 双三次插值 | 后上采样 | 实景图像 | 运用残差学习加深网络层数，同时可处理多尺度SR问题 |
| LapSRN | 2017,CVPR | 残差网络 | Char损失函数 | 亚像素卷积 | 逐步上采样 | 实景图像 | 通过逐步上采样、逐级残差和自身损失函数监督，提升算法速度以及重建效果 |
| EDSR | 2017,CVPRW | 残差网络 | L1 | 亚像素卷积 | 后上采样 | 实景图像 | 去除BN加快运行速度，加深网络深度 |
| MSRN | 2018,ECCV | 残差网络 |
L1 |
亚像素卷积 | 后上采样 | 实景图像 | 运用多尺度残差网络提升算法效率 |
| DRCN | 2016,CVPR | 残差、递归网络 | L2 | 双三次插值 | 预上采样 | 实景图像 | 运用递归网络增大网络感受野，从而提升网络性能 |
| DRRN | 2017,CVPR | 残差、递归网络 | L2 | 双三次插值 | 预上采样 | 实景图像 | 运用局部多尺度和全局残差学习，减少参数并提升重建性能 |
| SRFBN | 2019,CVPR | 残差、递归、稠密网络 | L1 | 转置卷积 | 后上采样 | 实景图像 | 引入反馈机制的循环神经网络，从而提升重建效果 |
| SRDenseNet | 2017,ICCV | 密集网络 | L2 | 亚像素卷积 | 后上采样 | 实景图像 | 运用密集连接加强特征传播，减少参数数量，减轻梯度消失 |
| RDN | 2018,CVPR | 密集、残差网络 | L1 | 亚像素卷积 | 后上采样 | 实景图像 | 将残差、密集学习结合，客观指标和主观效果有所提升 |
| SelNet | 2017,CVPRW | 残差网络、注意力机制 | L2 | 双三次插值 | 后上采样 | 实景图像 | 使用选择单元允许特定值向下传递，提升重建效果 |
| RCAN | 2018,ECCV | 残差网络、注意力机制 | L1 | 亚像素卷积 | 后上采样 | 实景图像 | 将通道注意力机制引入网络，捕捉更重要的通道信息，从而提升重建效果 |
| SAN | 2019,CVPR | 残差网络、注意力机制 | L1 | 亚像素卷积 | 后上采样 | 实景图像 | 使用二阶通道注意力机制，更好的长距离空间内容信息 |
| TTSR | 2020,CVPR | 残差网络、注意力机制 | L1、对抗、感知损失 | 亚像素卷积 | 后上采样 | 实景图像 | 使用硬注意力机制进行纹理迁移，使用软注意力机制进行纹理合成 |
| SRGAN | 2017,CVPR | 生成对抗网络 | 对抗、感知损失 | 亚像素卷积 | 后上采样 | 实景图像 | 最早使用GAN网络进行图像超分辨，在主观视觉效果上提升明显 |
| ESRGAN | 2018,ECCVW | 生成对抗网络 | L1、对抗、感知损失 | 亚像素卷积 | 后上采样 | 实景图像 | 相较于SRGAN，生成器去掉BN、判别器对损失函数做出改进，提升重建效果 |
| SPSR | 2020,CVPR | 生成对抗网络 | L1、对抗、感知、梯度损失 | 亚像素卷积 | 后上采样 | 实景图像 | 基于GAN网络的方法，考虑保持图像内部的几何结构 |
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
1
0- 0
已为社区贡献3条内容
所有评论(0)