Multi-modal contrastive mutual learning and pseudo-label re-learning for semi-supervised medical image segmentation

摘要

  • 多模态半监督模型
  • 提出一种新的对比损失函数最小化两种图像模态的差异
  • 伪标签再学习解决不同模态之间存在的预测效果差异
  • 将高性能模态的模型用作具有更高置信度的教师模型
  • 在推理阶段仅使用一种模态进行分割

本文方法

在这里插入图片描述
无监督损失函数
在这里插入图片描述
伪标签再学习策略
在这里插入图片描述

  • EMA加权模型和贝叶斯近似的dropout
  • HP:表现最好的模型
  • BMP:动态存储表现最好的模型

实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

  • 利用损失函数减少模态之间的异质性
  • 利用mean-teacher模型减少预测的输入模态
  • 利用伪标签再学习方法提升鲁棒性
  • 利用BMA参数更新提升模型准确性
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐