达摩院MICCAI'25|让AI关注“该关注的地方”:基于淋巴结先验的注意力引导训练
作者|李浩申,阿里巴巴达摩院实习生
引言
基于CT图像的淋巴结转移预测对食管癌的治疗决策和放疗规划具有重要意义。由于单个淋巴结的良恶性缺乏病理金标准,而淋巴结聚集区域(即淋巴站)的病理结果可从临床病理报告中获取。因此本研究聚焦于淋巴站良恶性的预测问题,本篇论文入围最佳论文奖和青年科学家奖候选名单。
论文地址:https://papers.miccai.org/miccai-2025/paper/1419_paper.pdf

论文背景与研究动机
食管癌是全球第六大导致癌症死亡的病因。淋巴结转移是食管癌最重要的预后因素之一,因此,准确的术前淋巴结转移预测对于决定治疗方案和手术计划至关重要。
随着深度学习的发展,基于CT图像来预测淋巴结个体的良恶性是标准的处理流程。然而,由于淋巴结的手术清扫程序,病理报告仅指出淋巴结聚集区域-淋巴站的清扫淋巴结,以及转移淋巴结数量,这使得专家难以一对一地将CT观察到的淋巴结实例与病理报告的淋巴结转移状态进行匹配,为获得大规模准确标注的淋巴结数据造成了困难。

尽管病理报告难以确认单个淋巴结的转移状态,但我们可以从病理报告中获取淋巴结聚集区域-淋巴站的转移状态:如果某个淋巴站显示至少一个淋巴结发生转移,则这个淋巴站被标记为转移。
在临床中,这种淋巴站级别的转移信息已经足够,因为淋巴结手术切除和放疗中的临床靶区划定都是以淋巴站为基础而不是单个淋巴结。因此,我们可以使用病理确认的淋巴站标签直接预测淋巴站的转移状态。这种方法避免了耗时且不准确的淋巴结标签获取过程,使得大规模数据集的应用成为可能。
基于上述发现,我们从淋巴站的角度出发来预测良恶性。我们使用淋巴站分割算法和淋巴结分割算法,来自动分割纵隔淋巴站区域,和内部的可见淋巴结实例,
进而将淋巴站从CT图像中crop出来,结合其内部的淋巴结mask,作为网络的输入。
方法上,考虑到淋巴站的转移状态由其内部淋巴结的转移状态决定,我们设计了基于注意力聚合的区域定位损失函数,引导网络关注到淋巴站内部的淋巴结区域。
此外,考虑到不同淋巴站具有不同的大小、位置和纹理信息,我们根据淋巴站先验信息将其分成多组,并提出了淋巴站感知混合专家模型,来引导每个专家专注学习特定淋巴站的特征。最终基于上述方法,我们在淋巴站良恶性预测上,取得了良好的表现。

技术方法
该论文的技术方法包括两个核心部分:基于淋巴结先验的注意力聚合损失函数和淋巴站感知混合专家模型。
-
基于淋巴结先验的注意力聚合损失函数
考虑到淋巴站的转移状态由其内部淋巴结的转移状态决定,为了引导网络关注淋巴站内部的淋巴结区域,我们提出了基于淋巴结先验的注意力聚合损失函数。
我们将不同注意力层的多尺度注意力图插值采样到统一的分辨率,并聚合成一个全局注意力图,这表明网络对不同区域的关注程度。然后,通过如下损失函数,来引导注意力图的高激活区域集中在淋巴结部分,进而实现网络关注淋巴结区域的引导。

-
淋巴站感知混合专家模型
考虑到不同淋巴站具有不同的大小、位置和纹理信息,为了对不同特点的淋巴站进行特定的学习和处理,我们提出了淋巴站感知混合专家模型。
具体地,首先根据淋巴站的位置先验,将淋巴站分成3组:上部站(S1和S2)、中部站(S3和S4)以及下部站(S5-S8)。然后,在混合专家模型中引入一个简单的线性层作为路由器,给淋巴站分配到不同专家的概率分数,并通过交叉熵损失函数,来引导路由器将淋巴站分配到对应的专家中,使得专家学习对应淋巴站的特征。


实验结果
如下表所示,在淋巴站鉴别的任务上,相比于经典的分类网络以及MoE方法,我们的方法在低参数量的同时,在AUC、敏感度、特异度等多个指标均取得了最好的表现。此外,具体到不同的淋巴站分组,我们的方法相比于其他的方法仍然取得了最好的性能。


我们对淋巴站感知混合专家模型进行了更多地的验证和展示,如下表所示,使用3个专家(对应三个淋巴站分组)取得了最好的表现。此外,我们还可视化出了路由器将不同淋巴站分配到相应专家的混淆矩阵,路由器很好地学习到了不同组淋巴站之间的差异,能够将淋巴站准确地分配到对应的专家。

对于基于淋巴结先验的注意力聚合损失函数,将其应用于不同的backbone上,发现一致提高了网络的表现,证明了我们方法的泛化性。此外,下面的可视化图展示了注意力聚合损失函数的方法,能够引导网络关注到淋巴站内部的淋巴结区域。


结论
本工作提出从预测淋巴站良恶性的角度出发,来缓解食道癌淋巴结个体良恶性没有病理金标准的问题,并结合基于淋巴结先验的注意力聚合损失函数,和淋巴站感知混合专家模型,很好地提升了淋巴站良恶性鉴别的性能。
未来,我们可以在该论文的基础上尝试以下探索方向:
-
大规模数据集构建:通过构建更大规模食道癌淋巴站,淋巴结数据集,来验证我们方法的稳定性和泛化性。
-
医疗任务扩展:将本文的方法扩展到医疗领域中更多的鉴别任务,验证方法的泛化性能。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)