写在前面

【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。
项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间
猫先生
从零走向AGI
面试面经

AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

一文梳理 RT-2 到 π0.7：通用机器人策略的技术演进

如果只看演示视频，VLA 很容易被理解成“机器人接上了大模型”。

但真实问题却是：机器人听到一句话之后，怎么把摄像头里的画面、自己的关节状态、过去几秒发生的事情，变成下一步能执行的动作？

比如你对一个家用机器人说：“把红薯放进空气炸锅。”

它要先看见红薯和空气炸锅，判断锅篮在哪里，知道红薯可以被抓起，知道空气炸锅要打开，再把手移动到合适位置，抓取、拉开、放入、关闭。

中间任何一步偏一点，后面都可能接不上。

这就是 VLA（Vision-Language-Action Model），也就是其要处理的问题。

VLM 解决“看懂”，VLA 要进一步解决“怎么动”。输出不再是文字解释，而是能驱动机器人身体的动作。

本文对 RT-2 到 π0.7的典型工作进行系统性书梳理，旨在讲清楚通用机器人策略是怎样一步步从“把动作说出来”，走到“能控制、能适配、能从经验里继续改”的。

01 通用机器人策略，通用在哪里？

通用机器人策略，可以粗略写成这样：

视觉观察 + 语言指令 + 机器人状态 + 历史上下文
        ↓
下一步动作 / 一段动作轨迹

这里的“通用”不要理解成什么都能干。更准确的理解是：模型不再只为一个固定机器人、一个固定场景、一个固定任务写死策略，而是试图在更多任务、更多环境、更多机器人本体之间迁移。

与聊天模型相比，机器人策略的难点不在“回答得像不像人”。它要面对的是物理世界：

• 物体会滑、会挡住、会被碰偏；
• 机械臂有速度、力矩和关节限制；
• 同一个“拿起来”，换成吸盘、夹爪、双臂，动作完全不同；
• 中间一步失败，后面的状态就变了，模型不能假装什么都没发生。

所以 VLA 的演进，不只是模型越来越大。更像是在真正的解决痛点问题：

痛点	对应问题	代表工作
语义知识怎么进入动作	机器人能不能把网络知识迁移到控制	RT-2
数据从哪里来	单台机器人数据太少，任务分布太窄	Open X-Embodiment、Octo、OpenVLA
动作怎么足够精细	离散 token 难以覆盖高频连续控制	π0、扩散策略、flow matching
长任务怎么撑住	开放环境里步骤多，状态会漂移	π0.5、Multi-Scale Embodied Memory
失败怎么变成经验	只模仿成功演示，真实部署很脆	π*0.6
泛化怎么可控	新任务不只要会做，还要按要求做	π0.7

02 RT-2：把动作也当成一种语言

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control 是 VLA 里很关键的一项工作。

一句话概括：RT-2 把机器人动作离散成 token，让视觉语言模型直接学习输出动作。

这听起来简单，但它把两个原本分开的世界接到了一起。

过去，视觉语言模型可以看图回答问题，比如“图里有什么”“杯子在哪里”。

机器人控制模型则更像一个专门训练出来的动作系统，负责控制末端执行器移动到哪里、夹爪开合多少。

RT-2 的思路是：既然语言模型可以预测下一个 token，那能不能把机器人动作也编码成 token？如果可以，模型看到图像和指令后，就不只是输出一句话，而是输出一串动作 token。

图 1：RT-2 架构图

RT-2 的核心价值在于它给 VLA 找到了一种很直接的接口：把互联网图文知识接到机器人动作上。

举个例子，如果模型从网络数据中学过“垃圾”“可乐罐”“回收桶”等概念，那么在真实机器人任务里，它更有机会把“把可乐罐扔进回收桶”转成动作。

这也是 RT-2 论文标题里强调的“Transfer Web Knowledge to Robotic Control”。VLA 不只是从机器人轨迹里学动作，也试图借用 VLM 在大规模图文数据里学到的常识。

不过，动作 token 也带来几个问题。

第一，离散化会损失精度。真实机械臂动作是连续的，位置、姿态、夹爪开合都需要很细的控制。把它们切成 token，容易出现量化误差。

第二，自回归生成天然更慢。语言模型一个 token 一个 token 往外吐，适合文本，但机器人底层控制往往需要高频、连续、低延迟。

第三，语义泛化不等于控制泛化。模型知道“红薯可以放进空气炸锅”，不代表它一定能稳定拉开锅篮、避开边缘、把红薯放到合适位置。

所以 RT-2 更像是一个清晰起点：它证明了 VLA 这条路可以走，但后面还要解决数据、动作精度和真实执行稳定性。

03 数据瓶颈：机器人没有自己的互联网

LLM 能快速发展，一个重要原因是互联网上有大量文本。VLM 也能获取到大量图文数据、视频数据。

机器人不一样。真实机器人轨迹很难采集。

每条轨迹背后都可能是人工遥操作、真实硬件、场地、安全员、任务设计。机械臂撞一下，成本不是一个坏样本那么简单。更麻烦的是，不同实验室的机器人还长得不一样：夹爪不同，摄像头不同，动作空间不同，控制频率也不同。

这就引出了 Open X-Embodiment 这项工作所解决的数据问题。

图 2：Open X-Embodiment 数据集概述

一句话概括：Open X-Embodiment 试图把不同机构、不同机器人、不同任务的数据放到同一个机器人学习生态里。

Open X-Embodiment 证明：未来的通用策略不能只靠某一台机械臂、某一个实验室、某一类桌面任务训练出来。

Octo 和 OpenVLA 是这条数据路线上的两个重要分支。

Octo 更像一个开源通用机器人策略框架。它强调可适配的输入输出接口，支持不同观察模态和动作空间。模型主干接收视觉观察、语言目标等条件，再通过动作头生成机器人动作。它常被拿来说明：通用策略不能只做一个固定网络，还要考虑新机器人怎么接入、新任务怎么微调。

图 3: Octo 架构图

OpenVLA 是一个 7B 规模的开源 Vision-Language-Action 模型，使用视觉编码器接图像，再通过语言模型主干输出离散动作。更关键的是，它把训练、微调、部署链路开放出来，让研究者可以更系统地复现和改造 VLA。

一句话概括 OpenVLA：它把 VLA 从“少数实验室的系统”推向了更开放的研究基线。

它的核心架构可以概括成三段：

视觉编码器：提取图像特征
        ↓
VLM / LLM 主干：融合视觉、语言和任务上下文
        ↓
动作输出：把动作离散成 token 并生成

图 4: OpenVLA 架构图

如果把 RT-2 看成“动作 token 路线的起点”，Open X-Embodiment、Octo、OpenVLA 解决的是另一个问题：

光有想法不够，模型还需要足够多、足够杂、格式尽量统一的机器人经验。

04 π0：把连续动作生成放到 VLA 模型里

π0 是 Physical Intelligence 推出的通用机器人策略。它把 VLA 的重点从动作 token 明显推向了连续动作生成。

一句话概括：π0 用预训练 VLM 负责理解，用 action expert 负责连续控制，再通过 flow matching 生成机器人动作。

VLM 擅长理解图像、语言和任务语义，但它不一定擅长高频控制。机器人动作专家则更适合处理轨迹、关节、夹爪和低层动作分布。

π0 把两者接起来，形成一个“理解模块 + 动作专家”的结构。

可以粗略画成这样：

图 5: π0 架构图

π0 的核心创新点总结如下：

第一，保留 VLM 的语义能力。模型仍然借助视觉语言预训练，理解物体、任务和场景。

第二，把动作生成交给专门模块。这避免了让语言模型主干直接承担全部控制压力。

第三，用 flow matching 处理连续动作。模型学习从噪声分布到动作轨迹分布的变换，比单纯离散 token 更适合高频、连续的机器人控制。

从工程角度看，这种结构也更接近真实机器人系统的需要。高层理解可以慢一点，底层控制必须快。一个家用机器人拿起红薯时，不能每移动几厘米都重新做一遍长链推理。

π0 的意义就在这里：它把 VLA 从“视觉语言模型输出动作”推进到“视觉语言模型条件化一个连续动作策略”。

05 π0.5：开放世界里的长任务，难在中间步骤

π0.5 可以看作 π0 往开放世界任务走的一步。

一句话概括：π0.5 在连续控制之上加入高层语义子任务预测，让机器人更适合处理新环境里的长程任务。

长任务和短任务的差别很大。

短任务可能只是“拿起杯子”。长任务是“把桌上的东西整理好”“把红薯放进空气炸锅”“去厨房拿饮料再递给我”。这些任务不只是动作更长，还会出现更多中间状态。

拿空气炸锅任务来说，机器人至少要经历：

找到红薯
找到空气炸锅
接近锅篮
打开或拉出锅篮
抓取红薯
放入锅篮
关闭锅篮
检查任务是否完成

任何一步出错，任务状态都会变。锅篮没拉开，红薯就放不进去。红薯滑落，后续动作要重新规划。摄像头被遮挡，模型还要调整观察。

图 6: π0 架构图

π0.5 的关键不只是“更会操作”，而是把低层动作和高层语义子任务接得更紧。它需要知道自己当前做的是哪一步，也要知道下一步该推进到什么状态。

图 7: π0 到 π0.5 的能力递进

注意：开放世界泛化不是让机器人凭空学会所有新技能。更准确地说，是模型把已有技能、语义理解和任务结构重新组合，去应对训练中没有按同样形式出现过的场景。

06 π*0.6 和记忆：失败也开始变成训练材料

只靠模仿学习，机器人会有一个老问题：它学到的是成功演示中的状态分布。

真实执行时，一旦抓偏、碰歪、没打开、没看清，机器人就进入了演示数据里不常见的状态。此时它面对的画面和状态都变了，模型可能越走越偏。

π*0.6 的重点，是把真实执行中的经验也纳入训练。

一句话概括：π*0.6 让 VLA 不只模仿成功示范，也从人工纠正、奖励反馈和自主尝试中继续学习。

它背后的问题：机器人失败了以后，这次失败能不能留下点东西？

π*0.6 相关工作中强调的 Rₑcap，可以理解为一种把真实机器人经验重新组织起来的训练流程。它会把示范、人类纠正、机器人自主尝试、奖励信号等信息接入后训练，让策略在真实失败上继续修正。

图 8: π0.6 经验学习流程图

这里的技术重点，不是让机器人“像人一样反思”。更稳妥的说法是：VLA 开始把执行后的反馈纳入训练闭环。

Multi-Scale Embodied Memory 处理的是另一个长任务问题：机器人会忘。

一句话概括：Multi-Scale Embodied Memory 给机器人引入短期视频记忆和长期语言记忆，帮助它在长任务里记住做过什么、失败过什么。

短期记忆偏向当前上下文，比如刚才锅篮有没有打开，红薯是否已经放进去。长期记忆更像任务经验的摘要，比如这个空气炸锅的把手位置、上次失败时红薯卡在哪里。

它的架构可以理解为两层：

短期视频记忆：保留近期观察和动作上下文
        ↓
长期语言记忆：沉淀跨时间、跨尝试的任务信息
        ↓
当前策略：根据记忆调整下一步动作

图 9: Multi-Scale Embodied Memory 架构

这类工作说明，VLA 的问题已经不只是“下一步怎么动”。长任务里，机器人还要知道自己走到哪了，之前哪里失败了，现在还剩什么没做。

07 π0.7：通用策略开始变得可控

π0.7 的核心不只是“模型能不能完成更多任务”，还包括“用户能不能更细地控制它怎么完成任务”。

一句话概括：π0.7 把语言指令、视觉子目标、元数据和控制方式放进统一提示，让通用机器人策略更容易被引导和组合。

过去给机器人下指令，更多是在说“做什么”。

比如：

把红薯放进空气炸锅。

但真实任务里，人往往还关心“做到什么状态”“用什么方式做”“快一点还是稳一点”“对齐到哪个目标位置”。π0.7 把这类信息放进多模态提示，让策略不只接收自然语言，还能接收视觉子目标、执行元数据和控制模态。

图 10: π0.7 多模态可控提示架构

第一是组合泛化。机器人不必为每一个新任务单独训练，它需要把已有的抓取、放置、开合、对齐等技能重新组合。空气炸锅案例有意思，也正因为它不只是单个抓取动作，而是多个技能串起来。

第二是跨本体迁移。通用策略如果每换一个机器人就完全重训，成本会很高。π0.7 试图把机器人本体相关信息也纳入条件，让同一策略更容易适配不同硬件。

第三是可控执行。这点往往比“会不会做”更接近真实使用。用户可能希望机器人放得慢一点，抓得轻一点，对准某个视觉目标，或者完成到某种质量标准。π0.7 的多模态提示结构，就是在给这些控制条件留接口。

08 其他路线

π0.7 不是唯一答案。

如果把视野放宽，2025 到 2026 年的几个代表系统都在处理同一个矛盾：大模型理解世界的能力很强，但机器人身体控制要求快、稳、能恢复。

图 11: π0.7、Gemini Robotics、GR00T、Helix 横向对比图

Gemini Robotics 的路线，是在多模态基础模型上扩展到机器人动作。它强调 embodied reasoning，也就是模型不只识别图像，还要理解空间关系、物体可操作性和任务意图。后续 Gemini Robotics On-Device 又把重点放到端侧运行、低延迟和少样本适配上。

一句话概括 Gemini Robotics：它从大模型侧往机器人动作侧延伸，重点是让多模态理解进入真实世界控制。

GR00T N1.5 和 GR00T N1.6 更偏人形机器人路线。它们强调跨本体训练、合成数据和动作生成。人形机器人比桌面机械臂更复杂，因为它不只是手臂动作，还涉及全身姿态、平衡、导航和双手协作。

一句话概括 GR00T：它把通用机器人策略放到人形机器人场景里，重点处理全身控制、合成数据和跨本体适配。

Helix 和 Helix 02 的结构则很适合用来解释“慢思考 + 快控制”。高层模型负责理解任务、场景和目标，低层模型负责快速输出全身动作。

一句话概括 Helix：它把高层语义理解和低层实时控制拆成不同频率的系统，让人形机器人能边理解边行动。

10 写在最后，从 RT-2 到 π0.7 的演进

回头看这条路线演进思路：

RT-2 把动作接进视觉语言模型，让机器人策略有机会利用互联网语义知识。

Open X-Embodiment、Octo、OpenVLA 把问题推进到数据和开源链路：通用策略不能只靠单一机器人、单一任务训练。

π0 把连续动作生成放到 VLA 中心，让动作不再只是 token。π0.5 面向开放世界长任务，π*0.6 和记忆相关工作开始处理失败经验和长期上下文。

到了 π0.7，问题进一步变成：通用策略不只要面对新任务，还要能被用户更细地控制。

VLA 最值得关注的地方，不是机器人终于能“像聊天模型一样回答”。它真正要解决的问题更硬：在真实世界里，把一句话变成一连串稳定、可控、可恢复的动作。

推荐阅读

► 技术资讯： 魔方 AI 新视界

► 项目应用：开源视界

► 技术专栏： 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列