26年5月来自浙大和杭州Torch Kernel 公司的论文“AffordVLA: Injecting Affordance Representations into Vision-Language-Action Models via Implicit Feature Alignment”。

核心思想可以用一句话概括：不在推理阶段显式告诉 VLA“应该抓哪里”，而是在训练阶段用一个 Affordance Teacher 教会 VLA 自己形成“应该抓哪里/作用在哪里”的内部视觉表征。这是这篇工作的价值所在。

---

1. 论文到底解决什么问题？

传统 VLA 的基本形式是：

(Image, Language, Robot State) → Action

例如：

“Use the knife to cut the banana.”

VLA 能够知道：
这是 knife；
这是 banana；
任务是 cut；

但这并不意味着它真正理解：

knife 的 handle 是应该 grasp 的地方，而 blade 是应该接触 banana 的地方。

当前 VLA 的一个关键弱点在于：VLM 预训练主要学习的是global semantics / object appearance，因此视觉注意力容易散布在整个物体甚至背景，而机器人操作真正需要的是 task-conditioned functional interaction region。

这实际上是：

Object Recognition ≠ Manipulation Understanding

比如看到锅：

“这是 skillet”
不等于：

“为了拿起 skillet，应该抓 handle”\text{“为了拿起 skillet，应该抓 handle”

论文 Fig.1 就是在表达这个问题：普通 VLA 的视觉注意力较为 diffuse，而 AffordVLA 希望把注意力集中到 task-relevant functional region。

这也是作者引入 Affordance（可供性/功能可供性） 的原因。

---

2. 什么是这里的 Affordance？

这篇论文里的 affordance 最好不要简单理解为“物体功能”。

它实际上是：

在给定任务条件下，物体上与当前动作相关的功能性交互区域。

也就是：

A=f(I,L)
其中：

I：图像
L：任务语言
A：task-conditioned affordance

同一个物体由于任务不同，affordance 可以不同。

例如 hammer：

“pick up the hammer” → handle

“strike the nail” → hammer head/handle 的任务相关结构

因此它不是简单的 segmentation：

Image→ObjectMaskImage \rightarrow Object\ Mask

而更接近：

(Image,Task) → FunctionalInteractionRepresentation(Image,Task)

作者特别强调，机器人中的 affordance 是 task-relevant functional interaction regions。

---

3. 为什么不直接把 Affordance Mask 输入 VLA？

这恰恰是论文比较有意思的地方。

最直接的方案其实是：

RGB → AffordanceDetector → Mask → VLA → Action

但是作者认为这种 Explicit Affordance Injection 有三个问题：

需要大量 affordance annotation；
inference 时依赖额外 detector，前级错误会传播到 VLA；
detector 增加推理延迟。

论文的实验很好地说明了第 3 点：

所以作者的思路不是：

“让 VLA 每次推理都调用一个 affordance detector。”

而是：

训练时让 affordance teacher 教 VLA，部署时把 teacher 扔掉。

这可以看作一种 privileged supervision / representation distillation。

---

4. AffordVLA 的整体架构

论文 Fig.2 是最重要的一张图。

整个系统有三个主要模块：

Affordance Teacher
Understanding Expert
Action Expert

训练时：

RGB + Instruction → Affordance Teacher→Z_af

与此同时：

RGB+Instruction+State → Understanding Expert → X_V

然后进行：

X_V ↔ Z_aff

的 feature alignment。

最后：

Understanding Expert → Action Expert → Robot Action

而推理阶段则直接：

RGB+Language+State → Understanding → Action

Affordance Teacher 完全删除。

因此 Fig.2 的真正意义是：

Teacher during Training → Internalized Affordance → Teacher-free Inference

论文明确说明 teacher 在训练时冻结，推理时完全移除，因此不会改变标准 VLA 的 inference pipeline。

---

5. 第一个核心创新：Zero-Shot Affordance Teacher

Teacher 本身也比较值得研究。

论文 Fig.3 给出的结构实际上可以拆成两阶段：

第一步：任务解析

作者用 Qwen3-VL：

(I_t,l_t) → （Qwen3−VL） p_t

把抽象任务转成 part-level affordance concept prompt。

例如：

hammer the nail with the hammer

不会只输出：

hammer

而会形成类似：

hammer handle
hammer head

这样的部件级概念。

这一步实际上非常重要，因为它完成：

Task Semantics → Manipulation Concept

---

6. 第二步：Open-Vocabulary Affordance Perception

然后：

(Image, Affordance Prompt)→Affordance Representation

Teacher 使用基于 SAM3 的视觉/文本编码和 cross-modal fusion，将普通 visual embedding 转成：

Z_t^aff

即 affordance-aware visual representation。

同时也可以产生 pixel-level affordance mask：

M^aff_t

但有一个很容易忽略、却是整篇论文非常关键的设计：

真正拿来训练 VLA 的不是 mask，而是 intermediate affordance representation。

作者认为 Z_t^aff 同时保留：

task semantics；
local spatial structure；

所以比 binary/pixel mask 更适合进行 representation supervision。

这是这篇论文非常值得注意的设计点。

---

7. 第二个核心创新：Implicit Affordance Representation Alignment

假设 VLA 第 m 层的视觉特征为：

X^V,(m)_t

Teacher 给出的 affordance representation 为：

Z^aff_t

两边 feature space 不同，因此作者先进行：

X^V,(m)_t = W_2 （σ(W_1 Norm(Resize(X^V,(m)_t）））

也就是：

resize → normalization → MLP projection

然后使用 cosine similarity 做 alignment：

L_align = −∑_i cos⁡(x_t,i^V,(m), z~_t,i^aff)/N

最终：

L=L_action + λ L_alig

其中设置：

λ=0.5

所以它没有改变 action learning 的基本目标，而是增加了一个：

“你的中间视觉表示应该更像 manipulation affordance representation”

的辅助监督。

---

8. 为什么选择中间层？

这个设计也很合理。

作者认为：

浅层
→ texture/local details

虽然空间细节多，但是经过后续 Transformer 后，监督效果容易消失。

而：

最深层
→ abstract/global/modality-agnostic semantics

又已经丢失较多局部视觉结构。

所以作者选择 intermediate-deep layer。

具体实验里是：

Understanding Expert 的第 12/18 层
与 teacher 的 affordance feature 对齐。

这其实是一个很值得推广的思想：
Early: pixels/textures
Middle: task-conditioned embodied representation
Late: semantic/action abstraction

---

10. 实验结果：Affordance Teacher 本身怎么样？

作者首先单独测试 Teacher。

在 AGD20K Unseen 上：

而且它没有在 AGD20K 上训练或 fine-tune，是直接 zero-shot evaluation。

因此其首先建立一个重要前提：

Teacher Affordance Representation

确实有一定质量，否则后面的 representation alignment 就没有意义。

---

11. RoboTwin2.0 的结果相当明显

其选了五个 manipulation tasks，而且每个任务只使用：

50 条 disturbance-free Easy demonstrations

训练。

结果平均成功率：

说明什么？Hard setting 比 Easy 更有说服力。

因为 Hard 包含：
clutter；
texture variation；
lighting change；
domain randomization；
distracting objects。

换句话说，它恰恰测试：

“模型到底看 object appearance， 还是看 task-relevant interaction region？“

AffordVLA 的 Hard：
28.8%

明显高于：
RDT: 10.2%, π0: 6.6%

这与论文的核心 hypothesis 是一致的。

12. Real-world 实验也比较完整

真实机器人平台：如图 6所示

UR5；
Robotiq 2F-85 gripper；
Kinect DK / RealSense；
A100 inference server。

设计 8 个任务：

pour water、hang mug、cut banana、hammer block、wipe table、sweep table、place marker、place carrot 等。每个任务使用 50 条真实
轨迹训练。

尤其是：

cut banana with knife

这个例子很能说明 affordance：
Knife → Handle for grasp

而不是简单：

Knife detection

Fig.7 的任务设置其实是在有意识测试：

functional part localization；
tool pose control；
deformable contact；
precise placement；
distractor suppression。

最后Fig.9是第12-层视觉表征的视觉注意可视化结果例子：

12. 真正的贡献是什么？

如果把所有工程细节去掉，贡献其实不是“又做了一个 VLA”。

而是提出了一种很有价值的范式：

External Intelligence → Training Supervision Internal Representation

而不是：

External Module → Runtime Policy

也就是从：

Tool-at-inference

转变成：

Knowledge-at-training

或者更准确一点：

Runtime Augmentation → Representation Internalization

这比“加一个 affordance detector”更有研究意义。

---

13. 论文一个非常值得肯定的地方：它没有破坏 VLA inference interface

普通 VLA：

(I,L,S) → A

AffordVLA 推理时仍然：

(I,L,S) → A

不是：

(I,L,S,M_aff) → A

所以它仍然保持 end-to-end policy interface。

从系统工程角度，这一点非常重要：

不增加 perception pipeline；
不增加 runtime dependency；
不增加 cascading errors；
不增加明显 latency；
deployment architecture 不改变。

实验中的 12.5 Hz → 12.4 Hz 基本印证了这一点。

---

14. 几个局限点

第一，训练仍依赖 affordance teacher，所以：

Teacher Error → Representation Error

复杂场景中的 teacher noise 会影响训练。

第二，它主要作用在 visual representation：

Affordance → Visual Feature

而没有直接进入：

Affordance → Action Generation

所以对于：

precise contact；
continuous adjustment；
force interaction；

可能仍然不足。

第三，目前还没有充分验证：

long-horizon；
multi-subgoal；
cross-robot；
different embodiments。

这些也是最后 Conclusion 明确指出的限制。

---

15. 没有充分讨论的问题

一个问题是：它学到的是 Affordance，还是 Teacher 的 Representation Bias？

训练实际上在优化：

X_VLA ≈ Z_Teacher

因此严格地说：

Z_Teacher ≠ Ground Truth Affordance

Teacher 本身由 Qwen3-VL + open-vocabulary perception 构成。

因此最终模型可能学习的是：

Teacher-defined affordance

而不是：

Physical interaction affordance

两者并不完全等价。

真正物理意义上的 affordance 应该还涉及：

Geometry+Dynamics+Contact+ForceGeometry + Dynamics + Contact + Force

而论文主要还是：

RGB+Language → Visual Functional Region

因此它更准确地说是：

visual-semantic affordance

而不是完整的 physical affordance。

---

16. 第二个问题：Affordance 不应该只有“where”，还应该有“how”

论文主要解决：

Where to interact?

例如：

grasp handle

但真正机器人操作还需要：

How to interact?

包括：

approach direction；
grasp orientation；
contact force；
compliance；
trajectory；
temporal evolution。

所以更完整的 affordance 应该是：

A=(region,pose,action,dynamics,constraint)

而 AffordVLA 目前主要解决其中的：

region

和部分 task semantics。

这也解释了为什么作者承认 precise contact / continuous action adjustment 仍然可能受限。

---

17. 第三个问题：Long-horizon task 中 affordance 本身会变化

比如：

Make a cup of coffee.

可能是：

grasp cup → place cup → grasp kettle → pour → release

此时 affordance 是：

A_t = f(I_t,L,g_t,state_t)

而不是简单：

A=f(I,L)

其中：

g_t = current subgoal

也就是说，需要：

Planner→Subgoal→Affordance→Action

AffordVLA 目前主要针对短时 manipulation，因此距离这种 hierarchical embodied agent 还有明显距离，估计需要世界模型才行。

---

18. 可以进一步推导成一个很有意思的新方向

AffordVLA 只 internalize：

Affordance

但同样的方法完全可以 internalize：

Geometry
Affordance
World Model
Safety Constraints
Task Progress
Failure Prediction

也就是说：

Harness−to−Policy Internalization

可以成为一个新的研究范式。

训练阶段：

World Model→Z_world
Affordance Model→Z_aff
Safety Critic→Z_safe
Planner→Z_plan

共同监督：

Z_VLA

而部署阶段：

Image+Language+State→VLA→Action

这就比 AffordVLA 更进一步。