具身智能之π*0.6 ：从模仿到经验——如何让 VLA 在真实部署中继续学习

猫先生Mr.Mao

164人浏览 · 2026-07-15 20:30:39

猫先生Mr.Mao · 2026-07-15 20:30:39 发布

写在前面

【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。
项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间
猫先生
从零走向AGI
面试面经

AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

导读

π*0.6 讨论的是一个很实际的问题：VLA 模型已经可以通过语言提示执行复杂机器人任务，但如果模型在真实部署中犯错，系统能不能把这些失败、纠正和成功经验重新变成训练信号，让策略越练越好？

论文给出的核心方法叫 RECAP，全称是 RL with Experience and Corrections via Advantage-conditioned Policies。它不是简单地把 VLA 接上 PPO 这类在线强化学习算法，而是把示范数据、自主 rollouts、人类在线纠正、任务成功/失败标签放进一个离线 RL 式的循环里：先训练值函数估计当前动作对任务进展的影响，再把这个估计转成二值化的 advantage indicator，最后让 VLA 在训练时根据这个 indicator 学会偏向更好的动作。

实验部分选择了洗衣、装箱、制作浓缩咖啡这些真实、长时程、带接触和细粒度操作的任务。论文报告的结果里，完整 RECAP 训练后的 π*0.6 在部分高难任务上能让吞吐量翻倍，并把失败率大约降到原来的一半。更重要的是，它展示了一个后训练方向：VLA 不只依赖离线示范，还可以把部署中的经验持续吸收回来。

猫先生认为，π*0.6 的价值不在于单个 RL 公式有多新，而在于把 VLA 后训练从“模仿更多示范”推进到“吸收真实经验”。这对通用机器人很关键，因为真实世界的失败往往不是示范数据里提前准备好的。

论文标题：π*0.6: a VLA That Learns From Experience

论文地址：https://arxiv.org/abs/2511.14759

项目主页：https://pi.website/blog/pistar06

原文脉络

论文先从机器人技能学习中的 practice 出发：通用 VLA 能用 prompt 指定任务，但要达到稳定、快速、可部署的表现，还需要在真实环境里练习。随后相关工作部分把 RECAP 放在 imitation learning、intervention learning、robot RL、VLA RL fine-tuning 和 advantage-conditioned policy 这几条线之间。

中间的技术主体分为三层：第三节先给 RL 与 regularized RL 的基本符号；第四节提出 RECAP 的通用流程，包括数据收集、值函数训练和 advantage-conditioned policy extraction；第五节把这套流程落到 π0.6 架构上，形成 π*0.6。实验部分再用三个任务族验证：经验数据是否提升吞吐与成功率，迭代训练是否继续带来收益，advantage-conditioned extraction 是否优于 AWR/PPO，以及少量数据能否移除特定失败模式。

RECAP 总流程
图 1：RECAP 的整体训练循环。VLA 部署到真实任务后收集自主执行、人类纠正和结果标签，值函数更新后再把 advantage 信息反馈给策略训练。

1-2. 背景与相关工作：VLA 需要从部署经验中更新自己

模仿学习训练出的机器人策略容易遇到 compounding errors：只要执行过程中偏离示范分布，后续状态就会越来越陌生。对 VLA 来说，问题会更尖锐。模型可能知道任务语言，也可能见过大量机器人数据，但长时程任务里的小失误、恢复动作、速度控制和环境差异，往往需要部署后的经验来补。

已有工作大致分成几类：一类用在线 intervention 修正策略，一类用 RL 做机器人自主提升，还有一类尝试在 VLA 上做 PPO、DPO、动作头微调或残差策略学习。π*0.6 的定位是：训练整个 VLA，而不是只训练一个轻量动作头；使用离线/离策略数据，而不是要求昂贵的密集在线更新；让 flow matching 这类高容量动作生成模型也能被 RL 信号稳定地改进。

相关工作部分的关键差异在于 policy extraction。传统 policy gradient 对大模型和 flow matching action expert 不太友好，AWR 这类加权回归又会丢掉很多低质量数据。RECAP 选择 advantage conditioning：保留所有数据，但告诉策略哪些动作在值函数看来更可能带来改进。

3. 预备知识：从值函数到 advantage-conditioned policy

论文第三节使用标准 RL 符号定义 trajectory、return、value function 和 advantage。策略在观察 $o_t$ 下选择动作 $a_t$ ，轨迹分布由策略和环境动力学共同决定。回报写作：

$R(\tau)=\sum_{t=0}^{T} r_t$

值函数估计从当前状态到任务结束还能拿到多少回报，advantage 则衡量某个动作相对参考策略是否更好。论文采用 n-step 形式：

$A^{\pi}(o_t,a_t)=\mathbb{E}_{\rho_{\pi}(\tau)} \left[\sum_{t'=t}^{t+N-1}r_{t'}+V^{\pi}(o_{t+N})\right]-V^{\pi}(o_t)$

regularized RL 的部分说明了一个重要背景：新策略不能只追求高回报，还要和参考策略保持接近。RECAP 后面用到的思想是，如果能估计一个动作“优于参考策略”的概率，就可以训练出比参考策略更好的条件策略。论文把这个条件写成 improvement indicator，也就是后面进入 VLA prompt 的 advantage 标记。

4. RECAP：用经验和纠正训练 advantage-conditioned VLA

RECAP 的流程可以反复执行，每一轮都包含三步。

第一步是数据收集。模型在目标任务上运行，收集自主执行 episode，并用任务结果给出成功/失败标签；如果需要，人类专家可以在执行中介入，留下纠正动作。第二步是训练值函数，让它判断当前状态距离成功还有多远。第三步是用值函数计算每个动作的 advantage，再训练带 advantage indicator 的策略。

4.1 分布式值函数：把任务进展变成可训练的监督信号

论文训练的是多任务 distributional value function：

$p_{\phi}(V|o_t,\ell)\in \Delta_B$

输入是观察 $o_t$ 和语言指令 $\ell$ ，输出是离散 value bins 上的分布。实现里使用 $B = 201$ 个 bins，并用 trajectory 中从时刻 $t$ 到结束的经验回报作为监督信号，优化交叉熵：

$\min_{\phi}\mathbb{E}_{\tau\in D} \left[ \sum_{o_t\in\tau}H(R_t^B(\tau),p_{\phi}(V|o_t,\ell)) \right]$

这不是复杂的 off-policy Q-learning，而是更朴素的 Monte Carlo value estimator。论文也承认它不一定最优，但在大规模 VLA 训练里可靠、简单，并且已经足以超过 imitation learning。

值函数可视化
图 2：值函数会在错误动作处下跌，在恢复或接近成功时上升。它提供的不是手工规则，而是训练策略时用来判断动作质量的估计。

4.2 Advantage conditioning：不用 PPO 也能做策略提取

有了值函数后，RECAP 需要把它转成 VLA 能吃进去的训练信号。论文没有直接做 policy gradient，而是训练策略同时建模两种分布：普通动作分布 $\pi_{\theta}(a_t|o_t,\ell)$ ，以及带 improvement indicator 的动作分布 $\pi_{\theta}(a_t|I_t,o_t,\ell)$ 。

indicator 的定义来自 advantage 是否超过任务相关阈值：

$p(I|A^{\pi_{\mathrm{ref}}}(o,a,\ell))= \delta(A^{\pi_{\mathrm{ref}}}(o,a,\ell)>\epsilon_{\ell})$

策略训练目标可以写成：

$\min_{\theta}\mathbb{E}_{D_{\pi_{\mathrm{ref}}}} \left[ -\log\pi_{\theta}(a_t|o_t,\ell) -\alpha\log\pi_{\theta}(a_t|I_t,o_t,\ell) \right]$

这一步的设计很关键。低质量数据没有被简单丢弃，而是通过 $I_t$ 告诉模型它们“不该被当作正向动作”。人类纠正动作则被强制设为 positive，因为它们代表专家在失败轨迹中的补救动作。

猫先生认为，RECAP 最聪明的地方是把 RL 信号包装成 VLA 熟悉的条件输入。它没有强行让大规模 flow matching 策略进入脆弱的在线 PPO 流程，而是把“这个动作更好”变成一个可监督学习的条件变量。

4.3 π*0.6：在 π0.6 上加入 advantage 通道

π*0.6 基于 π0.6。π0.6 又是在 π0.5 基础上改进而来，主要变化包括更大的 Gemma 3 4B VLM backbone、更丰富的机器人预训练数据，以及 860M 参数的 action expert。动作生成仍然使用 flow matching，并输出 50Hz 的关节角与夹爪动作 chunk。

π*0.6 增加的核心能力是：训练序列中可以加入文本形式的 advantage 标记，例如 Advantage: positive 或 Advantage: negative。这个标记放在语言子任务和动作 token 之间，只影响后续离散动作与连续动作的 likelihood。

VLA 与值函数架构
图 3：π0.6 的 VLA 与值函数分开训练。值函数从状态和语言估计 advantage，二值化后作为条件输入进入 VLA 的动作生成部分。*

论文还给出了稀疏 reward 设计。每个 episode 只需要成功/失败标签，成功终点 reward 为 0，失败终点给较大负值，中间步骤为 -1：

$r_t= \begin{cases} 0 & \text{if } t=T \text{ and success}\\ -C_{\mathrm{fail}} & \text{if } t=T \text{ and failure}\\ -1 & \text{otherwise} \end{cases}$

这样训练出的值函数近似预测“距离成功还差多少步”。对不同长度的任务，论文会按任务最大 episode length 把 value 归一化到 $(- 1, 0)$ 。

5. 实验设置：洗衣、装箱与咖啡任务

实验使用一个静态双臂系统，两个 6 DoF 机械臂配平行夹爪，50Hz 关节位置控制，观察包括一个 base camera、两个 wrist cameras、关节与夹爪状态。任务族包括三类：洗衣、装箱、制作咖啡。

实验任务集合
图 4：实验任务覆盖衣物折叠、纸箱组装和咖啡制作。每个任务都有明确成功标准，并且包含长时程、多阶段和真实物理交互。

洗衣任务分为 T-shirt/shorts、diverse laundry 和 targeted failure removal。diverse laundry 涉及 11 类衣物，量化时选择更难的 button-up shirt。咖啡任务要求完成取 portafilter、磨豆、压粉、锁入咖啡机、放杯、萃取和端出等步骤。装箱任务来自真实工厂部署场景，需要折纸箱、贴标签并放入指定 crate。

对比方法包括：π0.5 预训练模型、π0.6 预训练模型、RL pre-trained π0.6、π0.6 offline RL + SFT，以及完整 RECAP 训练后的 π*0.6。另外，论文还比较了 AWR 和 PPO 这两种替代 policy extraction 方法。

6. 实验结果：经验数据提升吞吐和成功率

论文使用两个指标：throughput 和 success rate。throughput 统计每小时成功完成多少次任务，兼顾速度和成功率；success rate 由人工标注的任务质量指标聚合得到。

主实验结果
图 5：上半部分是吞吐量，下半部分是成功率。完整 RECAP 训练后的 π0.6 在多项任务上明显高于预训练、offline RL 和 SFT 版本。*

主结果显示，完整 RECAP 在 diverse laundry 和 espresso 上的吞吐提升最大，相比 offline RL + SFT 阶段，成功完成数每小时超过两倍。失败率在高难任务上也大约下降到原来的一半。较简单的 T-shirt/shorts 洗衣任务在 SFT 后成功率已经接近上限，但 RECAP 仍提升了吞吐量。

装箱任务的结果按子阶段拆开看，包括取纸板、折箱、贴标签和堆放。π*0.6 在这些阶段上都取得更稳定的成功率，说明提升不是来自某一个孤立动作，而是覆盖了任务链条中的多个环节。

多轮迭代实验显示，T-shirt/shorts 任务只用自主评估数据、不加入人类纠正，也能在两轮 RECAP 后让吞吐量持续提升；装箱任务使用自主 trials 和人类 intervention，第二轮之后吞吐量约达到两倍提升。policy extraction 对比里，AWR 和 PPO 都能取得一定效果，但都低于 RECAP，尤其在吞吐上差距明显。论文给出的解释是：PPO 在 off-policy 设置里需要很小的 trust-region 才能稳定，AWR 则容易让策略变慢。

失败模式消除
图 6：在严格 T-shirt 折叠标准下，两轮 RECAP 后成功率接近 97%，吞吐量也显著提高，说明经验训练可以针对特定失败模式改写策略行为。

失败模式消除实验把任务限制在单件橙色 T-shirt，并要求领口朝上。baseline offline RL + SFT 经常把衣服折错方向。RECAP 只用两轮、每轮 600 条轨迹，就把成功率提升到 97%。这个实验的意义不只是提高平均分，而是说明经验数据可以针对一个明确的错误行为调整策略。

7. 讨论与局限：RECAP 还不是完全在线的机器人 RL

论文最后承认，RECAP 目前仍采用 batch/offline 更新：收集一批数据，再重新训练值函数和策略。它还不是边执行边实时更新的在线 RL 系统。数据采集、reward 标注、人类 intervention 也仍然需要工程投入。

另一个边界是值函数本身。论文使用 episode 成功/失败标签构造稀疏 reward，再让值函数预测距离成功的进度。这个设计足够通用，但对一些 reward 模糊、成功标准不稳定或长时程信用分配更复杂的任务，值函数估计仍可能成为瓶颈。

总结：经验学习把 VLA 后训练往真实部署推进了一步

顺着原文读下来，π*0.6 的核心思想可以分成三层。

第一层是训练信号：VLA 后训练不应只依赖更多示范，真实部署中的成功、失败和人类纠正都应该进入训练循环。第二层是算法接口：RECAP 用 value function 和 advantage indicator 把 RL 问题改写成 VLA 更容易吸收的条件监督学习问题。第三层是系统验证：洗衣、咖啡、装箱这些任务证明，经验学习能同时提升成功率和吞吐量，也能移除具体失败模式。