作者｜涂丹阳，阿里巴巴达摩院算法工程师；刘洋，阿里巴巴达摩院实习生

 

摘要

 

阿里巴巴达摩院联合浙江大学、UNSW Sydney的研究团队提出了全新的可解释视觉框架——目标感知概念瓶颈模型（OA-CBM）。该工作揭示了现有VLM驱动CBM在细粒度概念定位中的两大根本缺陷，并通过语义一致性与目标一致性的双重约束，实现了兼顾空间精度与推理可信度的概念瓶颈框架。实验表明，该模型在概念定位任务上相比现有最优方法提升超过29.5%mIoU，在分类任务上亦保持领先。

 

引言

 

（一）背景介绍 & 研究动机

 

在高风险决策场景（如医疗、教育、金融）中，AI模型不仅需要"做对"，更需要"说清楚为什么做对"。概念瓶颈模型（CBM）是当前最受关注的可解释AI范式之一——它将模型决策路径分解为一系列人类可理解的中间概念，让用户能够追溯每个概念如何影响最终预测。

 

近年来，CLIP等视觉-语言大模型（VLM）的兴起，为CBM提供了强大的零样本概念检测能力。然而，通过深入的先导实验，我们发现现有VLM驱动的CBM存在两个被严重忽视的根本性缺陷：

 

• 语义不一致（Semantic Inconsistency）：VLM在区分同一对象的不同细粒度部位时能力有限，导致概念定位噪声大、掩码不完整；

   

• 目标不一致（Object Inconsistency）：许多概念描述本质上是目标无关的（如"头部：流线型轮廓"可同时描述鱼或人类），VLM在无约束情况下会将概念激活 "打错对象"，产生虚假相关性。

 

 

图1. 语义一致性与目标一致性示意图。（左）语义一致性确保每个概念被定位到正确的细粒度部位；（右）目标一致性确保概念激活不会跨对象混淆。

 

（二）主要贡献

 

• 揭示问题、定义基准：首次将CBM的可信度危机归因为两类一致性问题，提出Open Concept Grounding（OCG）基准，构建PartAttrCUB 与 PartAttrImageNet数据集；

   

• 双模块协同设计：提出层次聚类模块（HC）解决目标不一致，代价聚合模块（CA）解决语义不一致，两者相辅相成；

   

• 全面实验验证：在五个分类数据集及两个概念定位数据集上系统评估，全面超越现有SOTA。

 

 

目标感知概念瓶颈模型（OA-CBM）：面向目标感知的双阶段统一框架

 

核心思想：将概念定位问题从"全图相似度匹配"升级为"目标内、部位准的精细对齐"。

 

 

图2. OA-CBM 整体框架。Stage 1（目标一致性）：层次聚类生成目标掩码，抑制背景激活；Stage 2（语义一致性）：代价聚合模块稳定细粒度概念对应。

 

数据基础：部位-属性数据集构建

 

现有数据集缺乏细粒度的部位-属性像素标注。我们构建了三阶段数据策划流程：

 

• 分解：以PartCUB-70和PartImageNet为基础，通过LLM（GPT-4）为每个部位生成辨别性属性描述，将"对象-部位"扩展为"对象-部位-属性"层次树；

   

• 整合：用SemHash合并近义属性，通过LLM引导的部位内聚类剔除跨类不稳定属性；

   

• 掩码对齐：将策划好的属性映射回像素级部位掩码，通过优先级规则与一致性校验解决冲突。

 

 

图3. 部位-属性数据集构建流程。

 

（一）模块一：层次聚类（HC）→ 解决目标不一致

 

概念必须保持类别无关（class-agnostic）以维持CBM可解释性——但代价是VLM会将概念激活扩散到无关背景。HC模块通过跨注意力+Slot Attention+Token Mixing三重交互，将多类别对象语义逐步提炼为紧凑的集体目标表示O_N，再通过余弦相似度得到目标掩码M，在后续概念激活中抑制背景干扰。

 

（二）模块二：代价聚合（CA）→ 解决语义不一致

 

CLIP文本编码器受77 token长度限制，无法充分表达复合属性描述。CA模块以Llama3替换CLIP文本编码器，保留CLIP ViT作为图像编码器，再通过空间聚合Transformer（Swin）与概念聚合Transformer（无位置编码）两阶段精化概念代价体，大幅提升细粒度概念定位稳定性。

 

 

实验与讨论

 

（一）概念定位：零样本OCG评估

 

在Pred-All（完全自预测，无任何Oracle信息）最难设置下，OA-CBM大幅领先所有基线：

 

 

 

 

图4. 定性分析。第一行：不同基线的概念定位结果；第二行：部位定位对比；第三行：CA与HC模块逐步提升OA-CBM效果。

 

（二）消融：两模块缺一不可

 

 

 

CA模块带来分类精度的核心跃升（CUB-200 上 +29.4%），HC模块带来概念定位的核心跃升（h-IoU ×3-4 倍），两者互补，缺一不可。在最具挑战性的Pred-All设置下，加入目标一致性后，h-IoU从12.9提升至35.7（PartAttrImageNet，+22.8），从6.6提升至20.8（PartAttrCUB，+14.2）。

 

 

三种分类设置

 

 

图5. CLS Token CBM、Patch Token CBM、Patch Guided CBM三种设置示意图。OA-CBM在三种设置下均取得最优或次优结果。

 

CBM的一大历史痛点是：可解释性强、准确率低。OA-CBM通过更精准的概念定位，同时提升了两者。论文设计了三种分类设置，反映从"全局语义"到"空间感知"的渐进过渡（见图5）。

 

 

 

表4：用图像CLS token的全局表示计算概念得分，等价于传统CBM范式。OA-CBM凭借Llama3更强的复合属性建模能力（突破CLIP的77-token限制），在所有数据集上取得最优或次优。

 

 

总结与展望

 

（一）技术贡献

 

• 首次系统定义CBM的双重一致性问题（语义/目标），提出目标感知概念瓶颈模型（OA-CBM）统一框架；

   

• 设计HC与CA两个轻量化协同模块，分别应对两类失效模式；

   

• 构建PartAttrCUB与PartAttrImageNet两个细粒度基准数据集，提出OCG评估协议。

   

（二）应用价值

 

• 可信AI：概念激活真正对应图像中"正确的地方"，可解释路径更忠实；

   

• 医疗场景：为CBM在医学影像中的落地（如组织病理、眼底图像）提供更稳健的概念定位基础；

   

• 通用性：框架与骨干无关，可无缝集成至各类CLIP-based CBM流水线。

 

（三）未来方向

 

• 将目标感知概念瓶颈模型（OA-CBM）扩展至医学多模态场景（如乳腺超声、病理切片）；

   

• 探索概念层面的因果干预，实现更强的反事实解释；

   

• 结合大语言模型，支持动态、开放词汇的概念生成与验证。