写在前面

【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。
项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间
猫先生
面试面经秘籍分享：WeThinkIn/Interview-for-Algorithm-Engineer

AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

导读

机器人学习长期受制于一个不对称：互联网拥有海量图文数据，机器人却只能依赖昂贵、缓慢的真实交互数据。视觉语言模型已经从网页中学会识别物体、理解符号和处理简单关系，但这些知识通常停在“看懂并回答”；低层控制器需要的却是末端执行器位移、旋转、夹爪开合等连续动作。

RT-2 给出了一条非常直接的连接方式：把机器人动作离散化成 token，让视觉语言模型像生成文本一样生成动作。作者没有为机器人另造一套庞大的专用架构，而是在 PaLI-X 与 PaLM-E 两类预训练 VLM 上，将机器人轨迹和原有的视觉问答、图文任务共同微调，得到 Vision-Language-Action（VLA）模型。

这条路线的价值不只是“模型更大”。在约 6000 次真实机器人评测中，RT-2 在已见任务上与 RT-1 接近，差距主要出现在新物体、新背景、新环境以及训练轨迹从未覆盖的语义指令上。Web 预训练没有凭空教会机器人新动作，却让它能把已有的抓取、移动、放置技能用在新的语义条件下。

猫先生认为，RT-2 最重要的贡献，是把语言生成空间与机器人动作空间接成了同一个接口。互联网知识因此不再只服务于高层规划，而能直接影响闭环控制中的每一步动作；与此同时，论文也清楚地暴露了边界：语义迁移很强，运动技能迁移仍然有限。

• 论文标题：RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
• 论文地址：https://arxiv.org/abs/2307.15818
• 项目主页：https://robotics-transformer2.github.io/
• CoRL 论文页：https://proceedings.mlr.press/v229/zitkovich23a.html

图 1：原论文 Figure 1 展示 RT-2 的完整接口：互联网视觉语言数据与机器人轨迹共同进入 VLA 模型，动作 token 再被反离散化为末端执行器控制量。

原文脉络

论文第 1 节提出核心问题：能否把大规模 VLM 直接接入低层机器人控制，而不只让它担任高层规划器？第 2 节把 RT-2 放在 VLM、机器人泛化和控制预训练三条研究线中，强调它与模块化方案的区别。

第 3 节是方法中心。作者先说明 PaLI-X、PaLM-E 两种 VLM 基座，再依次解决动作如何 token 化、为何要保留 Web 数据共同微调、怎样约束输出合法，以及超大模型如何满足闭环推理速度。第 4 节用泛化、涌现能力、模型规模与训练方式消融、Chain-of-Thought 四组实验检验知识迁移。第 5 节集中讨论动作能力、计算成本与开放性限制，最后总结 VLA 范式。

1-2. 问题与相关工作：让预训练知识落到低层动作

已有的语言模型与视觉语言模型进入机器人系统，常见方式是负责高层规划：模型把“收拾桌面”拆成“找到杯子—抓起杯子—放入水槽”，再由独立控制器执行每个原语。这种分层设计易于组合，但低层策略本身并没有在训练中吸收 Web 规模的语义知识。

另一类方法把 CLIP 等视觉表征接入操作策略，用于识别目标或生成语义地图。它们能够提升开放词汇泛化，却往往需要额外的动作头、标定相机或受限的二维动作空间。RT-2 选择的是生成式 VLM：输入图像与文字，输出 token 序列。只要动作也能进入同一个 token 空间，模型参数就可以在语言任务和动作任务之间完全共享。

因此，论文关注的并非“VLM 能否认识新物体”，而是更强的问题：从 Web 数据学到的视觉语义、关系与常识，能否通过同一个端到端模型改变机器人下一时刻的低层动作？

3. Vision-Language-Action Models：把动作纳入生成模型

3.1 两种 VLM 基座：PaLI-X 与 PaLM-E

RT-2 不是单一网络结构，而是一类训练方案的实例。作者分别把 PaLI-X 和 PaLM-E 改造成 RT-2-PaLI-X 与 RT-2-PaLM-E，规模从数十亿到 550 亿参数。两者都能接收图像与文字并自回归生成 token，因此已有的视觉识别、视觉问答和语言推理能力可以保留下来。

这种选择刻意避免新增机器人专用模块。与“VLM 特征 + 动作头”不同，RT-2 用同一组模型参数处理自然语言答案和机器人动作，知识迁移不必经过一个新初始化的控制接口。

3.2 动作 token 化：用八个整数表示一步控制

动作编码继承 RT-1。每一步动作包含末端执行器的六自由度位移与旋转、夹爪伸展量，以及一个结束回合的离散指令。除结束指令外，每个连续维度被均匀量化为 256 个 bin，整步动作最终表示为八个整数 token：

$$a_t=(\text{terminate},\Delta x,\Delta y,\Delta z,\Delta r_x,\Delta r_y,\Delta r_z,\text{gripper})$$

训练样本被改写成视觉问答形式：输入当前相机图像和 Q: What action should the robot take to <task>? A:，输出则是一串动作 token。PaLI-X 的词表本来就有 0—1000 的独立整数 token，可以直接映射；PaLM-E 没有这一便利，作者便重写 256 个最低频 token，作为动作词表。

推理时，模型仍然逐 token 生成，但输出会被反量化成平移、旋转和夹爪命令，再作用于机器人，下一帧图像继续进入模型，从而形成闭环控制。

猫先生认为，动作 token 化看似只是表示层技巧，实际完成了三件事：复用预训练模型的输出接口、共享语言与动作参数、把机器人学习改写成多模态序列建模问题。它的代价也同样明确：离散化精度、生成延迟和错误 token 都会直接影响控制质量。

3.3 Co-fine-tuning：学习动作时不要忘掉互联网

仅用机器人数据微调预训练 VLM，模型容易遗忘原先的开放世界概念。RT-2 的关键训练配方是 co-fine-tuning：在机器人轨迹之外，继续混入原 VLM 的视觉问答和图文任务，并提高机器人数据在 batch 中的采样权重。

这让两类监督同时存在：Web 数据持续维护物体、符号、关系、语言与常识；机器人数据负责把这些概念接到真实动作。论文后面的消融证明，5B 与 55B 模型都从共同微调中受益，而不是只靠参数规模获得泛化。

机器人任务还增加了一层输出约束。普通 VLM 可以从完整词表生成答案，控制策略却必须给出可执行动作；因此，遇到机器人动作提示时，解码器只允许采样合法动作 token，在普通视觉语言任务上仍保留完整词表。

3.4 实时推理：550 亿参数模型如何进入闭环

超大 VLM 无法直接放进常见的机载 GPU。作者把模型部署为多 TPU 云服务，由机器人通过网络请求动作。RT-2-PaLI-X-55B 的控制频率约为 1—3 Hz，5B 版本约为 5 Hz，同一服务还可以同时支持多台机器人。

这使 55B 模型的真实闭环评测成为可能，但也把网络时延、云计算成本和服务稳定性带入了控制链。RT-2 适合论文里的桌面抓取与放置任务，并不等于已经适合高频、强动态或安全关键场景。

4. 实验：Web 知识究竟迁移了什么

4.1 已见任务与分布外泛化

主要评测包含约 6000 条轨迹。泛化场景被拆成新物体、新背景和新环境，并各自设置 easy / hard 难度，总计覆盖 280 多个以抓取和放置为主的任务。基线包括 RT-1、BC-Z、R3M、VC-1 和借助 VLM 语义图的 MOO。

图 2：原论文 Figure 4。RT-2 与 RT-1 在已见任务上的差距不大，主要优势集中在新物体、新背景和新环境，说明提升来自预训练知识迁移，而非单纯记住机器人数据。

RT-2-PaLI-X-55B 和 RT-2-PaLM-E-12B 的泛化平均成功率都为 62%，RT-1 为 32%，MOO 为 35%。两个 RT-2 版本大约是最强基线的两倍。PaLM-E 版本在若干 hard 场景更强，PaLI-X 在部分 easy 场景占优，显示不同预训练数据配方会改变下游控制能力的分布。

Language-Table 还提供了不同机器人与模拟环境下的补充验证：RT-2-PaLI-3B 得到 $90\pm 10$，高于 LAVA 的 $77\pm 4$、RT-1 的 $74\pm 13$ 和 BC-Zero 的 $72\pm 3$。这说明该配方并非只绑定一种真实机器人平台。

4.2 训练轨迹未出现过的语义能力

作者把“涌现能力”限定得相对克制：并不是机器人学会了新的运动，而是 Web 预训练中的概念让它以新方式调用已有动作。测试分为符号理解、推理和人物识别。例如把苹果移到数字 3、把物体放到相同颜色的杯子旁、理解西班牙语指令、根据营养或 Logo 选择目标。

图 3：原论文 Figure 2。每个动作原语仍是抓取或移动，变化的是目标如何由符号、关系、常识或人物信息确定。

图 4：原论文 Figure 8a。RT-2-PaLI-X-55B 在符号理解、推理和人物识别三类评测中均明显高于 RT-1 与 VC-1。

量化结果中，RT-1 的三类平均成功率为 17%，RT-2-PaLM-E-12B 为 40%，RT-2-PaLI-X-55B 达到 60%。PaLI-X 在符号理解上达到 82%，优势最大；PaLM-E 在数学子项上反而以 35% 高于 PaLI-X 的 25%，论文将其归因于 PaLM-E 的预训练数据更偏数学能力。

猫先生认为，这些实验最有说服力的地方，是把“会新技能”和“会在新语义下调用旧技能”分开了。RT-2 展示的是后者：运动分布没有越界，任务条件的语义分布显著扩展。这是重要进展，但不能把它误读成机器人已经从网页学会任意物理操作。

4.3 规模与训练方式消融

图 5：原论文 Figure 8b。横向比较 5B / 55B，纵向比较从零训练、仅机器人数据微调与共同微调。

5B 模型从零训练的泛化平均成功率只有 9%；加载 VLM 预训练后，仅用机器人数据微调达到 42%，co-fine-tuning 再升至 44%。55B 模型从 52% 提升到 63%。结论分成两层：VLM 预训练决定了大部分泛化基础，持续保留 Web 数据则进一步抑制遗忘；参数从 5B 扩到 55B 会继续放大收益。

需要注意，5B 上 co-fine-tuning 相比普通微调只高 2 个百分点，而且某些单项并非一致提升。共同微调的优势在 55B 上更明显，因此“Web 数据必须始终保留”的结论有支持，但消融规模仍有限。

4.4 Chain-of-Thought：先输出计划，再输出动作

作者对 RT-2-PaLM-E 额外微调数百步，把目标序列扩展为 Plan: ... Action: ...。例如面对“我饿了”，模型先生成“拿起巧克力能量棒”的自然语言计划，再生成动作 token。这一格式在视觉问答的语义推理与机器人轨迹的动作预测之间增加了一座显式桥梁。

图 6：原论文 Figure 9。RT-2 根据“需要锤东西”“累了”等指令先选择石头、能量饮料等合适物体，再生成动作。

这部分主要是定性展示，没有与无 CoT 版本进行大规模受控比较。它证明统一模型可以交错生成计划和动作，却不足以证明自然语言计划稳定提升了控制成功率，也不能把生成出的文字直接视为模型真实因果过程的解释。

5. 局限：语义越界了，动作仍未越界

论文主动承认，Web 预训练只扩展了语义和视觉概念，没有赋予新的运动模式。机器人仍受限于示范数据中的抓取、移动与放置技能；遇到未见物体动力学、精细接触或需要新控制策略的任务，VLM 常识不能替代动作经验。

第二个限制是计算。55B 模型依赖多 TPU 云端推理且只有 1—3 Hz，难以覆盖快速动态任务。本地部署、量化、蒸馏、时延与故障安全都没有在本文中解决。第三，PaLI-X 与 PaLM-E 当时都不是可完整复现的开放模型，机器人数据、训练基础设施和真实评测也难以由外部团队复刻。

评测本身以桌面操作、抓取和放置为主。新背景和新指令上的成功不能直接外推到长时序任务、双臂操作、移动导航或复杂接触。6000 次 rollout 提供了扎实的真实机器人证据，但任务技能分布仍然窄。

总结：VLA 的关键不是多一个模态，而是共用一个接口

RT-2 的技术价值可以收在三点。第一，动作 token 化让现成的生成式 VLM 无需新增动作专用层就能输出低层控制。第二，co-fine-tuning让 Web 语义知识与机器人动作监督在同一参数空间持续共存。第三，真实机器人实验表明，这些知识主要转化为新物体、新场景、新符号和新指令下的泛化，而不是新的运动技能。

最值得带走的是：VLA 并非简单把视觉、语言、动作并排放进模型，而是让它们共享一种可训练、可生成的序列接口。RT-2 打通了这条接口，也把下一阶段的问题留得很清楚——如何让互联网规模的语义知识，进一步遇上同等规模、多样且高质量的物理交互数据。

推荐阅读

► 技术资讯： 魔方 AI 新视界

► 项目应用：开源视界

► 技术专栏： 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列