论文：From Passive Perception to Active Interaction: A Survey of Affordance Learning for Embodied AI

来自 NTU、港科广、上交、清华、ETH 等。2026-10-07 发布于 Preprints.org。

一、核心思想

Gibson 提出的 affordance 指"环境为智能体提供的行动可能性"。语义识别回答"这是什么"，affordance 回答"我能拿它做什么、在哪里做、怎么做"。作者认为 affordance 是具身智能中连接感知、推理、控制的功能性中间表示。他们也指出，现有综述要么偏视觉（分割、识别），要么偏机器人（认知、强化学习），都没有覆盖基础模型、VLA、视频-动作模型等新进展，也没有把"感知→推理→动作"这条链完整讲清楚。

二、统一形式化（第 2 节）

全文用一个公式统一各类问题：

F = f_θ(o, l, c) = (a, r, η)

• 输入：o 是观测（RGB/RGB-D/视频/3D）；l 是语言或任务（可选）；c 是上下文证据，如 HOI、示教、检索记忆（可选）。
• 输出：a 是动作或 affordance 类别（"做什么"）；r 是落地区域，如 mask、热图、关键点、3D 位置（"在哪"）；η 是执行相关信息，如 6-DoF 位姿、运动方向、接触后轨迹（"怎么做"）。

后文的分层执行 u = g_exec(F, C_robot)、显式条件策略、隐式 latent、辅助损失（式 2–5）都从这个公式扩展出来，形式上前后一致。

三、五大范式转变（2.2 节）

如图所示具身智能中Affordance Learning的分类：

1. 监督：从密集人工 mask 转向多样证据（点标注、HOI、伪标签、仿真）。
2. 空间：从 2D 图像平面转向 3D 度量空间。图 3a 显示 3D 方法占比在 2025–26 年达到 56%。
3. 表示：从静态区域转向可执行动力学（接触点、运动参数、位姿、轨迹）。
4. 泛化：从闭集转向开放集。开放集方法占比在 2025–26 年达到 74%。
5. 与动作的结合：从模块化流水线转向一体化策略学习。

四、三层分类体系（第 3–5 节，主体部分）

如图所示Affordance Learning的时域演化：

角色	核心问题	子类	代表工作
感知 §3	什么可交互、在哪里？	视觉 2D（物体/场景，强/弱监督）；空间 3D（物体/场景）；交互驱动（HOI 视频/图像，以及跨模态到 3D）；可泛化（示例迁移/开放集）	AffordanceNet、3D AffordanceNet、Cross-View-AG、LOCATE、VRB、OpenAD、OOAL、GEAL
推理 §4	哪个 affordance 与当前任务相关？	关系型（MLN、图网络）；语言中心（LLM/MLLM，分为一体化与"语义—定位"解耦两种，另有序列化）；智能体式（预定义流程 vs 自适应流程）	SayCan、AffordanceLLM、RoboPoint、SeqAfford、A4-Agent、A3R、SceneTeract
动作 §5	如何变成机器人行为？	分层（原语/检索/规划器）；策略融合（显式输入/隐式表示/优化信号，如奖励、过滤、目标）	Where2Act、VoxPoser、ReKep、Robo-ABC、RT-Affordance、AffordDP、AffordVLA

几个界定比较有用：

• 感知和推理的边界：文本只用来指定"定位哪里"的算感知；用到 LLM 知识、拆解指令或理解隐含意图的算推理。
• 智能体式推理内部的区分：看运行时控制流是否随中间证据变化，而不是看模块有多少个。
• 隐式表示与优化信号的区分：辅助监督只改变表示；优化信号改变可行动作集或目标。

五、数据与评测（第 6 节）

• 表 4 整理了约 36 个数据集，分为五类：物体中心（UMD、IIT-AFF、3D AffordanceNet）、场景级（SceneFun3D、360-AGD）、交互驱动（OPRA、AGD20K、PIAD）、语言/推理（InstructPart、ReasonAff、LASO）、面向动作（HANDAL、RAGNet、HOVA-500K）。
• 评测指标分为三类：热图（KLD/SIM/NSS/MAE）、分割（IoU、gIoU vs cIoU、AUC/mAP/aIoU）、关键点与运动（距离误差、ADE/DTW）。文中还指出了二值化阈值、聚合方式等容易造成比较不公平的细节。

六、挑战与方向（第 7 节）

1. 表示与动作接口：显式、隐式、辅助、优化信号几种方式缺少受控对比。作者建议做"无 / 预测 / oracle affordance"三组对照，再用干预实验检验策略是否真的因果地依赖 affordance。
2. 规模化与开放世界：弱监督来源有遮挡、幻觉等偏差。可以用 affordance 引导数据生成，或用生成式世界模型扩充数据。
3. 可靠、自主的 grounding：基础模型流水线依赖人工设计的 prompt、阈值和模块组合，很难分清提升来自能力还是来自工程调参。目标是自动编排、可自我验证的系统，并报告工具调用次数、延迟、对组件替换的敏感度等。
4. 闭环建模：affordance 依赖状态，应当作为随反馈不断更新的 belief 来维护，结合主动探索和信息增益。
5. 具身评测与安全：现有指标衡量的是感知是否一致，不衡量"这个机器人能不能做到"。负 affordance、易碎区域、社会规范等方向研究不足。

---

七、贡献分析

主要价值

1. 框架完整，有新意。"感知（what/where）→推理（which/why）→动作（how）"三分法第一次把 CV 领域的 affordance grounding 和机器人领域的 affordance-guided policy 放进同一条链。它和标题里"从被动感知到主动交互"的叙事一致。相比 Hassanin 等偏视觉、Ardón 等偏机器人的旧综述，覆盖面明显更广。
2. 形式化统一。(a, r, η) 三元组简洁好用，可以直接拿来给方法定位：做分割的只预测 (a, r)，做操作的还要预测 η。后续的执行与策略公式也从它推出。
3. 时效性强。纳入大量 2025–2026 年的工作（VLA 融合 affordance、智能体式推理、3DGS 表示）。"智能体式 affordance 推理"和"affordance 融入 VLA 的三种方式"这两个分类，在已有综述里基本没有。
4. 对比表规范。表 1–4 按统一维度（输入模态、输出形式、监督强度、是否开放集、affordance 角色、机器人形态）比较方法和数据，方便查找和选题。
5. 有定量趋势分析。图 3 显示 2D→3D、开放集占比上升，并指出 193 篇中有 68% 仍停留在感知和推理层面，真机执行比例偏低。这个"重 grounding、轻执行"的判断有数据支撑。
6. 未来方向可操作。第 7 节提出的不只是方向，还有方法论，例如 oracle 对照、干预测试、报告流水线的工程成本。7.1 和 7.3 尤其点中当前研究的痛点。

局限与可商榷之处

• 未经同行评审，文中有排版残留：引用写成 “Figure ??(a)”，机构编号写成 “]ETH Zurich”。
• 是结构化的文献梳理，不是实证：没有统一基准上的复现对比。作者自己呼吁的受控对比，本文并没有做。
• 分类有重叠：作者承认三个角色"非互斥"，VRB、UAD、O3Afford、AffordBot 等在多节重复出现。"语言条件感知"和"语言中心推理"的边界在实践中也不容易划清。
• 评测部分有意排除了推理类和操作类指标，而这恰恰是"面向动作"这一主线最需要统一的部分。
• 偏重操作：导航、全身交互、人形机器人、足式机器人的 affordance 涉及较少。触觉、力觉等多模态只在最后一段简单提到。
• 作者团队自引较多（AffordBot、A3R、A-Harness、Affogato 等）。前沿部分的选择和篇幅分配可能有偏向，阅读时可以自己留意。

---

这篇综述目前最系统地把 affordance 学习放进具身智能"感知—推理—动作"闭环中梳理，统一的形式化和细粒度分类是它最大的贡献，适合作为入门地图和选题参考。它的价值在于整理和指方向，不在于实证结论。对机器人方向，第 5.2 节（affordance 融入 VLA 与扩散策略）和 7.1 节（接口受控对比）最值得细读。