肺癌早筛时，CT的结构细节与PET的代谢信息总难兼顾？脑肿瘤分割中，MRI多序列图像常出现特征“打架”？这些临床痛点，终于被今年MICCAI、CVPR的多模态医学图像分割研究破解。

此前传统分割模型处理多源影像时，要么生硬拼接数据导致特征冗余，要么偏重单一模态丢失关键信息，致使小病灶漏检率超20%，边界分割误差常达3毫米以上。而跨模态特征融合+动态注意力校准的新架构彻底改观：联影医疗团队的MediFuse模型，在肺癌早筛中融合CT与PET影像，病灶检出率提升28%，边界分割误差缩小至0.8毫米；协和医院联合研发的BraTS-ADAPT，针对脑肿瘤多序列MRI，分割准确率较传统方法提高19%，为手术规划提供精准依据。

论文er聚焦跨模态对齐、弱监督分割等方向准没错，我把最新顶会/顶刊论文和复现代码（部分）打包好了，工种号 沃的顶会 扫码回复 “多模态医学” 领取

Mamba Based Feature Extraction And Adaptive Multilevel Feature Fusion For 3D Tumor Segmentation From Multi-modal Medical Image

文章解析

多模态3D医学图像分割旨在准确识别不同成像模式下的肿瘤区域，但面临图像强度和肿瘤形态差异的挑战。传统CNN难以捕捉全局特征，而Transformer虽能建模长距离依赖但计算成本高。Mamba模型具有线性扩展性和强大的长程建模能力，适合视觉表征学习。本文提出一种基于Mamba的框架，通过特异性模态编码器提取各模态长距离解剖与病理特征，并设计双层协同融合模块，利用模态注意力与通道注意力动态整合多模态、多层次互补信息。解码器结合深层语义与细粒度细节生成最终分割结果。在PET/CT和MRI多序列数据集上的实验表明，该方法性能优于当前主流的CNN、Transformer及Mamba基线方法。

创新点

提出针对多模态医学图像的模态特异性Mamba编码器，增强各模态长距离特征表达。

设计双层协同融合模块，实现多模态与多层级特征的自适应动态融合。

引入模态注意力与通道注意力机制，显式建模模态间交互与重要性差异。

在3D肿瘤分割任务中实现高效且线性可扩展的Mamba架构应用。

有效挖掘并融合多模态间的互补信息，提升复杂肿瘤结构的分割精度。

研究方法

使用独立的Mamba编码器分别处理每种模态，以提取长程相关特征。

通过双层协同集成块（bi-level synergistic integration block）融合来自不同模态和网络层次的特征。

在融合过程中引入模态注意力机制，动态调整各模态贡献权重。

采用通道注意力机制进一步优化特征表示的通道重要性。

解码器逐步上采样并融合高低层特征，生成最终的3D肿瘤分割图。

研究结论

所提方法在多个多模态医学图像数据集上达到与现有最先进方法相当或更优的性能。

Mamba架构结合注意力机制可有效平衡全局感受野与计算效率。

自适应多级特征融合策略有助于更好地利用模态特异性信息。

模态与通道注意力机制提升了模型对关键特征的选择能力。

本方法为3D多模态医学图像分割提供了一种高效且可扩展的新范式。

Semi-Supervised Multi-Modal Medical Image Segmentation for Complex Situations

文章解析

本文提出了一种新的半监督多模态医学图像分割方法，旨在利用有限标注数据提升复杂场景下的分割性能。通过多阶段多模态融合与增强策略，充分挖掘不同模态间的互补信息，减少特征差异，增强特征共享与对齐。同时引入对比互学习机制，约束跨模态预测的一致性，提升半监督任务中分割结果的鲁棒性。在两个多模态数据集上的实验表明，所提框架具有优越的性能和鲁棒性，适用于复杂医学图像分割任务。

创新点

提出多阶段多模态融合策略，在编码早期实现低层视觉特征的共享与对齐，有效降低模态间特征差异。

设计模态感知特征增强模块，动态调整各模态特征贡献，提升关键模态信息的利用效率。

引入对比互学习机制，约束跨模态预测一致性，强化未标注数据在半监督学习中的作用。

实现了多模态特征融合与互学习监督的协同优化，解决了现有方法在半监督条件下融合不充分的问题。

研究方法

采用共享编码结构进行多阶段特征融合，促进低级高分辨率特征的跨模态对齐。

在解码过程中引入模态感知增强模块，自适应加权不同模态的特征表示。

利用对比学习约束不同模态间的预测输出，增强模型对未标注数据的学习能力。

结合伪标签生成与一致性训练，在半监督设置下充分利用标注与未标注数据。

研究结论

所提方法在复杂病变形状、组织结构模糊等挑战性场景中表现出优异的分割精度。

多阶段融合与模态感知增强显著提升了多模态信息的利用效率。

对比互学习有效增强了跨模态一致性，提高了模型鲁棒性。

该框架在多个多模态医学图像数据集上优于现有半监督方法，具有广泛的应用潜力。