人像抠图

主要原理是,采用PP分割,利用深度学习训练,得到一个模型,OPENCV调用

所提出的PP-LiteSeg的架构如图2所示。PP-LiteSeg主要包括三个模块:编码器、聚合和解码器。

首先,给定输入图像,PP-Lite使用一个通用的轻量级网络作为编码器来提取层次特征。具体来说,我们选择STDCNet[8]是因为它具有出色的性能。STDCNet有5个阶段,每个阶段的步长为2,因此最终特征尺寸为输入图像的1/32。如表1所示,我们提出了两种版本的PP-LiteSeg,即PP-LiteSeg-T和PP-LiteSeg-B,其中编码器分别为STDC1和STDC2。PPLiteSeg-B实现了更高的分割精度,而PP-LiteSeg-T的推理速度更快。值得注意的是,我们将SSLD[7]方法应用于编码器的训练,并获得增强的预训练权重,这有利于分割训练的收敛。

其次,PP-LiteSeg采用SPPM对长程依赖进行建模。SPPM将编码器的输出特征作为输入,生成包含全局上下文信息的特征。

最后,PP-LiteSeg利用我们提出的FLD逐步融合多级特征并输出结果图像。具体来说,FLD由两个UAFM和一个分割头组成。为了提高效率,我们在UAFM中采用了空间注意模块。每个UAFM以两个特征作为输入,即编码器级提取的低级特征、SPPM或深度融合模块生成的高级特征。后一种UAFM输出下采样率为1/8的融合特征。在分割头中,我们执行Conv-BN-Relu操作,将1/8下采样特征的通道减少到类数。然后进行上采样操作,将特征大小扩展到输入图像大小,argmax操作预测每个像素的标签。采用带有在线硬示例挖掘的交叉熵损失来优化我们的模型。

人像抠图,OPENCV460

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐