先说结论:VLA(Vision-Language-Action)不是某个新算法,而是三件事同时凑齐了——一个已经会「看图说话」的大模型、一份能跨机器人通用的数据、一个把动作塞进语言模型的技巧。整条学习线(我按 13 讲整理)其实都在给同一个函数填空:

π(未来 k 步动作 | 当前画面 o, 一句话 l)

给定「看到什么」和「听到什么」,输出「接下来怎么动」。这条笔记把第 0 讲的全景图拆成五块:故事、动作表示、七步流水线、三个反直觉、五个岔路口,最后附上我读论文时踩过的坑。

一、先用一个没有术语的故事讲完

你要教一个从没进过厨房的实习生做菜。

教法一|写死动作。 你告诉他「左手移到坐标 (3,5),下移两厘米,握紧」。他能做对这一次,明天锅换个位置就废了——他脑子里只有坐标,没有「锅」这个概念。

教法二|让他模仿 200 遍。 你演示 200 遍,他照着学「看到这个画面就这么动」。动作很熟练,但你让他拿糖,他拿了盐:他只记住了「那个位置的东西长什么样」,没记住「糖」是什么。而且每来一道新菜,都得再示范 200 遍。这在学术上叫行为克隆(behavior cloning)。

教法三|先上厨房常识课,再示范几次。 先认识食材、看懂菜谱、知道糖是甜盐是咸;常识课的内容是全世界人免费贡献的(互联网上的图文对)。结业后你只示范 5 次,说一句「拿糖」,他就懂了。

教法三就是 VLA 的思路:先有常识(视觉语言模型预训练),再学动手(机器人数据微调)。

四个角色对号入座:

故事里的东西技术里的名字作用
厨房常识课VLM 预训练免费获得「看懂图、听懂话」的能力
示范 5 次机器人示教数据学会具体怎么动手
「拿糖」这句话语言指令一句话切换任务,不用重新训练
伸手去拿动作输出最终要产出的东西

为什么偏偏是 2022 年以后才有?因为三个前提刚好凑齐,缺一条就退化:

缺哪条退化成症状
语义(VLM 预训练)纯视觉模仿学习(DP / ACT)换句话就听不懂,认不出没见过的物体
数据(跨本体标准化)单本体小 VLA跨机器人不迁移,数据量上不去
接口(动作可 token 化)分层系统(VLM 出文字 + 抓取模块)接口丢信息,误差串联,还不闭环

二、为什么「动作」必须变成「选项」

这是整套东西里最关键的一步,也是最容易被忽略的一步。

神经网络输出的是词表里某个编号的概率——它天生只会做选择题:给候选打分,挑最高的那个。它没有「凭空写一个小数」的能力。而机械臂的动作是连续的(往右挪 3 厘米可能是 3.012 厘米、3.013 厘米……),怎么塞进一个只会做选择题的模型?

答案是离散化(把连续值切成一格一格):约定把每一维动作在 [-1, +1] 范围内平均切成 256 格,每格一个整数编号。模型不输出小数,只输出「第几格」。

step = 2 / 256 = 0.0078      # 每格宽度
实际动作 0.037 米
编号 = floor((0.037 + 1) / 0.0078) = 132
还原 = -1 + (132 + 0.5) × 0.0078 = 0.0352 米
误差 = 0.0018 米 ≈ 1.8 毫米

这一步带来两个后果,一好一坏:

说明
好处动作变成了 token,能直接塞进语言模型的词表,一行架构都不用改,从而继承 VLM 的全部语义知识
代价精度有天花板。256 格对应步长约 7.8 毫米、最大误差 ±3.9 毫米(假设 1 单位 = 1 米)——拧螺丝、穿针这种活就不够了

这也是后来 π0 这类模型换用 flow matching 动作头的原因:不做格子,直接生成连续动作。

这里有两个必须说清的细节,很多人(包括我)一开始都理解错:

  1. [-1, 1] 不是「左右」,它是归一化后的统一范围。 -1 是该维反方向的最大幅度,0 是不动,+1 是正方向最大幅度;符号表方向,绝对值表大小。正号对应左还是右,由约定和数据决定。前提是上游先做了归一化——如果原始动作在 [0,100],你硬按 [-1,1] 切,所有样本会挤进同一格,分箱直接失效。
  2. 编号是 0 ~ 255,不是 0 ~ 256。 格子数 256,最大值 = 格子数 − 1。这个 off-by-one 我在复述时错过一次。

三、七步流水线:一张图 + 一句话怎么变成动作

#步骤输入 → 输出为什么需要
1拿到观测与指令224×224 图像 + 一句话机器人只有相机和耳朵
2视觉编码图 → 256 个视觉 token模型只吃数字序列
3拼成一条序列256 + 24 = 280 个 token图和字排进同一坐标系,模型分不清哪个是图
4过主干 VLM(280, 1152) → (280, 1152)让「红色」找到「方块」,让「放进碗里」找到「碗」
5动作头出动作(k, 7),k=8 时 56 个数把理解翻译成动作
6控制器下发插值 + 限幅机械臂有速度上限,猛跳会报警
7闭环拍新画面,回到第 1 步小误差会滚雪球,只有看到真实位置才能纠正

四个数字值得记住:

  • 224 ÷ 14 = 16,16 × 16 = 256:图边长 224、每块 patch 14×14 像素,横竖各 16 块,共 256 个视觉 token。
  • 588 → 1152:一块 patch 有 14×14×3 = 588 个像素,经一个形状为 (588, 1152) 的可学习矩阵投影成 1152 维向量。1152 不是从 588 算出来的(588×2 = 1176,没有倍数关系),它是视觉编码器的隐藏宽度——SigLIP so400m 正好是 1152,换成 CLIP ViT-L/14 就是 1024。
  • 256 / 280 ≈ 91%:视觉 token 占了序列长度的九成,所以必须先把分辨率压下来,否则序列长度和注意力开销直接爆。
  • 7:动作维度 = 3 平移(x/y/z)+ 3 旋转(roll/pitch/yaw)+ 1 夹爪。

还有一个容易混的点:(280, 1152) 是视觉编码器输出的形状。进 LLM 主干前还要过一次投影,主干自己的隐藏维度可能不同(比如 PaliGemma 3B 的 Gemma 部分是 2048)。讲「序列长什么样」时用 1152,讲「主干有多宽」时要换口径,别混着说。

四、三个反直觉(真懂的标志)

反直觉说明
多峰必须「采样」,不能「平均」左绕、右绕都能拿到杯子,两条路都 100% 正确。用回归训练时,损失会逼模型输出「正中间」——而正中间正好是障碍物。所以扩散 / flow matching 流行:它们采样出其中一个峰,而不是把两个峰平均掉
学的是「像人」,不是「正确」训练目标最大化的是示教里人真正做的那个动作的概率,不是「物理正确」的概率。所以坏习惯会被学、示教里的失误会被当正确答案
端到端 > 分层抓取是毫米级接触任务,「去抓杯子」四个字承载不了角度、力度、接触点这些细节,信息在接口处就丢了。分层系统看起来模块化,实际误差串联

五、五个岔路口:十个字定位任何一篇论文

任何一篇 VLA 论文,本质都在回答这五道选择题。拿到新论文先填这张表,基本就知道它在干什么:

#岔路口常见选项代表
1动作怎么表示离散 token / 直接回归 / 扩散 / flow matchingRT-2 → 离散;π0 → flow matching
2动作头挂哪复用语言模型词表 / 新增动作专家OpenVLA 复用;π0 新增约 3 亿参数的动作专家
3时序怎么排单步 / action chunk / 双系统RT-2 与 OpenVLA 用 chunk;GR00T N1 是双系统
4数据怎么来单本体 / 跨本体混合 / 掺图文Open X-Embodiment 跨本体;掺图文防灾难性遗忘
5怎么评测仿真榜(LIBERO / CALVIN / SimplerEnv)/ 真机协议各有各的注水方式

举个例:π0 = flow matching 动作头 + 新增 300M 动作专家 + action chunk + 跨本体混合数据 + 真机评测,PaliGemma 3B 加专家约 3.3B 参数,最高 50Hz。用这张表填一遍,几句话就能说清它的定位。

六、读论文最容易踩的五个坑

坑正确说法
说 256 个格子,编号是 0~256编号是 0~255,最大值 = 格子数 − 1
占比算成 (256+24)/256 ≈ 109%是 256/280 ≈ 91%,占比永远 ≤ 100%(我第一遍就把分子分母写反了)
说 xyz 是三个旋转xyz 是平移;旋转是 roll/pitch/yaw,另算 3 维
说行为克隆最大化「正确动作」的分数最大化的是示教里人做的动作的概率,它不判断对错
说做不了 VLA 就「无法运行」纯模仿学习在单一任务上成功率很高(ACT 论文里不少任务能到 80% 以上,具体看任务),缺的是泛化,不是运行

附:这条线的参考论文

  • RT-2:arXiv 2307.15818
  • OpenVLA:arXiv 2406.09246
  • π0:arXiv 2410.24164
  • ACT:arXiv 2304.13705
  • Open X-Embodiment:arXiv 2310.08864

最后留个问题:如果动作只能表示成「选择题」,你觉得哪类任务最先撑不住——需要力控的、需要高频的,还是需要精细装配的?评论区聊聊你的判断。

下一篇我会拆 L01:模型内部的「注意力」到底在算什么,为什么文字一个接一个输出、动作却可以一次出 7 个。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐