机器人凭什么听懂「把红方块放进碗里」?VLA 全景图(零基础版)
目录
先说结论:VLA(Vision-Language-Action)不是某个新算法,而是三件事同时凑齐了——一个已经会「看图说话」的大模型、一份能跨机器人通用的数据、一个把动作塞进语言模型的技巧。整条学习线(我按 13 讲整理)其实都在给同一个函数填空:
π(未来 k 步动作 | 当前画面 o, 一句话 l)
给定「看到什么」和「听到什么」,输出「接下来怎么动」。这条笔记把第 0 讲的全景图拆成五块:故事、动作表示、七步流水线、三个反直觉、五个岔路口,最后附上我读论文时踩过的坑。
一、先用一个没有术语的故事讲完
你要教一个从没进过厨房的实习生做菜。
教法一|写死动作。 你告诉他「左手移到坐标 (3,5),下移两厘米,握紧」。他能做对这一次,明天锅换个位置就废了——他脑子里只有坐标,没有「锅」这个概念。
教法二|让他模仿 200 遍。 你演示 200 遍,他照着学「看到这个画面就这么动」。动作很熟练,但你让他拿糖,他拿了盐:他只记住了「那个位置的东西长什么样」,没记住「糖」是什么。而且每来一道新菜,都得再示范 200 遍。这在学术上叫行为克隆(behavior cloning)。
教法三|先上厨房常识课,再示范几次。 先认识食材、看懂菜谱、知道糖是甜盐是咸;常识课的内容是全世界人免费贡献的(互联网上的图文对)。结业后你只示范 5 次,说一句「拿糖」,他就懂了。
教法三就是 VLA 的思路:先有常识(视觉语言模型预训练),再学动手(机器人数据微调)。
四个角色对号入座:
| 故事里的东西 | 技术里的名字 | 作用 |
|---|---|---|
| 厨房常识课 | VLM 预训练 | 免费获得「看懂图、听懂话」的能力 |
| 示范 5 次 | 机器人示教数据 | 学会具体怎么动手 |
| 「拿糖」这句话 | 语言指令 | 一句话切换任务,不用重新训练 |
| 伸手去拿 | 动作输出 | 最终要产出的东西 |
为什么偏偏是 2022 年以后才有?因为三个前提刚好凑齐,缺一条就退化:
| 缺哪条 | 退化成 | 症状 |
|---|---|---|
| 语义(VLM 预训练) | 纯视觉模仿学习(DP / ACT) | 换句话就听不懂,认不出没见过的物体 |
| 数据(跨本体标准化) | 单本体小 VLA | 跨机器人不迁移,数据量上不去 |
| 接口(动作可 token 化) | 分层系统(VLM 出文字 + 抓取模块) | 接口丢信息,误差串联,还不闭环 |
二、为什么「动作」必须变成「选项」
这是整套东西里最关键的一步,也是最容易被忽略的一步。
神经网络输出的是词表里某个编号的概率——它天生只会做选择题:给候选打分,挑最高的那个。它没有「凭空写一个小数」的能力。而机械臂的动作是连续的(往右挪 3 厘米可能是 3.012 厘米、3.013 厘米……),怎么塞进一个只会做选择题的模型?
答案是离散化(把连续值切成一格一格):约定把每一维动作在 [-1, +1] 范围内平均切成 256 格,每格一个整数编号。模型不输出小数,只输出「第几格」。
step = 2 / 256 = 0.0078 # 每格宽度
实际动作 0.037 米
编号 = floor((0.037 + 1) / 0.0078) = 132
还原 = -1 + (132 + 0.5) × 0.0078 = 0.0352 米
误差 = 0.0018 米 ≈ 1.8 毫米
这一步带来两个后果,一好一坏:
| 说明 | |
|---|---|
| 好处 | 动作变成了 token,能直接塞进语言模型的词表,一行架构都不用改,从而继承 VLM 的全部语义知识 |
| 代价 | 精度有天花板。256 格对应步长约 7.8 毫米、最大误差 ±3.9 毫米(假设 1 单位 = 1 米)——拧螺丝、穿针这种活就不够了 |
这也是后来 π0 这类模型换用 flow matching 动作头的原因:不做格子,直接生成连续动作。
这里有两个必须说清的细节,很多人(包括我)一开始都理解错:
[-1, 1]不是「左右」,它是归一化后的统一范围。-1是该维反方向的最大幅度,0是不动,+1是正方向最大幅度;符号表方向,绝对值表大小。正号对应左还是右,由约定和数据决定。前提是上游先做了归一化——如果原始动作在[0,100],你硬按[-1,1]切,所有样本会挤进同一格,分箱直接失效。- 编号是
0 ~ 255,不是0 ~ 256。 格子数 256,最大值 = 格子数 − 1。这个 off-by-one 我在复述时错过一次。
三、七步流水线:一张图 + 一句话怎么变成动作
| # | 步骤 | 输入 → 输出 | 为什么需要 |
|---|---|---|---|
| 1 | 拿到观测与指令 | 224×224 图像 + 一句话 | 机器人只有相机和耳朵 |
| 2 | 视觉编码 | 图 → 256 个视觉 token | 模型只吃数字序列 |
| 3 | 拼成一条序列 | 256 + 24 = 280 个 token | 图和字排进同一坐标系,模型分不清哪个是图 |
| 4 | 过主干 VLM | (280, 1152) → (280, 1152) | 让「红色」找到「方块」,让「放进碗里」找到「碗」 |
| 5 | 动作头出动作 | (k, 7),k=8 时 56 个数 | 把理解翻译成动作 |
| 6 | 控制器下发 | 插值 + 限幅 | 机械臂有速度上限,猛跳会报警 |
| 7 | 闭环 | 拍新画面,回到第 1 步 | 小误差会滚雪球,只有看到真实位置才能纠正 |
四个数字值得记住:
- 224 ÷ 14 = 16,16 × 16 = 256:图边长 224、每块 patch 14×14 像素,横竖各 16 块,共 256 个视觉 token。
- 588 → 1152:一块 patch 有 14×14×3 = 588 个像素,经一个形状为
(588, 1152)的可学习矩阵投影成 1152 维向量。1152 不是从 588 算出来的(588×2 = 1176,没有倍数关系),它是视觉编码器的隐藏宽度——SigLIP so400m 正好是 1152,换成 CLIP ViT-L/14 就是 1024。 - 256 / 280 ≈ 91%:视觉 token 占了序列长度的九成,所以必须先把分辨率压下来,否则序列长度和注意力开销直接爆。
- 7:动作维度 = 3 平移(x/y/z)+ 3 旋转(roll/pitch/yaw)+ 1 夹爪。
还有一个容易混的点:(280, 1152) 是视觉编码器输出的形状。进 LLM 主干前还要过一次投影,主干自己的隐藏维度可能不同(比如 PaliGemma 3B 的 Gemma 部分是 2048)。讲「序列长什么样」时用 1152,讲「主干有多宽」时要换口径,别混着说。
四、三个反直觉(真懂的标志)
| 反直觉 | 说明 |
|---|---|
| 多峰必须「采样」,不能「平均」 | 左绕、右绕都能拿到杯子,两条路都 100% 正确。用回归训练时,损失会逼模型输出「正中间」——而正中间正好是障碍物。所以扩散 / flow matching 流行:它们采样出其中一个峰,而不是把两个峰平均掉 |
| 学的是「像人」,不是「正确」 | 训练目标最大化的是示教里人真正做的那个动作的概率,不是「物理正确」的概率。所以坏习惯会被学、示教里的失误会被当正确答案 |
| 端到端 > 分层 | 抓取是毫米级接触任务,「去抓杯子」四个字承载不了角度、力度、接触点这些细节,信息在接口处就丢了。分层系统看起来模块化,实际误差串联 |
五、五个岔路口:十个字定位任何一篇论文
任何一篇 VLA 论文,本质都在回答这五道选择题。拿到新论文先填这张表,基本就知道它在干什么:
| # | 岔路口 | 常见选项 | 代表 |
|---|---|---|---|
| 1 | 动作怎么表示 | 离散 token / 直接回归 / 扩散 / flow matching | RT-2 → 离散;π0 → flow matching |
| 2 | 动作头挂哪 | 复用语言模型词表 / 新增动作专家 | OpenVLA 复用;π0 新增约 3 亿参数的动作专家 |
| 3 | 时序怎么排 | 单步 / action chunk / 双系统 | RT-2 与 OpenVLA 用 chunk;GR00T N1 是双系统 |
| 4 | 数据怎么来 | 单本体 / 跨本体混合 / 掺图文 | Open X-Embodiment 跨本体;掺图文防灾难性遗忘 |
| 5 | 怎么评测 | 仿真榜(LIBERO / CALVIN / SimplerEnv)/ 真机协议 | 各有各的注水方式 |
举个例:π0 = flow matching 动作头 + 新增 300M 动作专家 + action chunk + 跨本体混合数据 + 真机评测,PaliGemma 3B 加专家约 3.3B 参数,最高 50Hz。用这张表填一遍,几句话就能说清它的定位。
六、读论文最容易踩的五个坑
| 坑 | 正确说法 |
|---|---|
| 说 256 个格子,编号是 0~256 | 编号是 0~255,最大值 = 格子数 − 1 |
| 占比算成 (256+24)/256 ≈ 109% | 是 256/280 ≈ 91%,占比永远 ≤ 100%(我第一遍就把分子分母写反了) |
| 说 xyz 是三个旋转 | xyz 是平移;旋转是 roll/pitch/yaw,另算 3 维 |
| 说行为克隆最大化「正确动作」的分数 | 最大化的是示教里人做的动作的概率,它不判断对错 |
| 说做不了 VLA 就「无法运行」 | 纯模仿学习在单一任务上成功率很高(ACT 论文里不少任务能到 80% 以上,具体看任务),缺的是泛化,不是运行 |
附:这条线的参考论文
- RT-2:arXiv 2307.15818
- OpenVLA:arXiv 2406.09246
- π0:arXiv 2410.24164
- ACT:arXiv 2304.13705
- Open X-Embodiment:arXiv 2310.08864
最后留个问题:如果动作只能表示成「选择题」,你觉得哪类任务最先撑不住——需要力控的、需要高频的,还是需要精细装配的?评论区聊聊你的判断。
下一篇我会拆 L01:模型内部的「注意力」到底在算什么,为什么文字一个接一个输出、动作却可以一次出 7 个。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)