机器人在收拾餐桌，你却连走开两分钟都不放心。

它拿起杯子，你担心会不会摔；它把盘子放到桌沿，你得赶紧扶一把。

你本来想把家务交给它，结果又多了一份工作：全程盯着它干活。

人不敢走开的原因很具体：机器人会做这件事，却还不能让你相信，它下一次也能做好。

这就把问题推到了学会之后：已经具备操作能力的机器人，怎样继续训练，才能逐渐减少那些需要人接手的时刻？

Physical Intelligence（PI）联合创始人 Chelsea Finn，与斯坦福博士生 Perry Dong 联名撰写的博客《Towards Universal Post-Training for Robotics》，讨论的正是这个问题。他们认为，机器人需要一套通用的后训练方法，让已有能力通过反馈继续改善，逐步达到实际使用所要求的可靠性。

Finn 对这件事的判断值得细看。

她长期研究机器人学习，也是 2023 年 DPO 论文的作者之一。DPO 曾为数字大模型提供一条更简单、计算成本更低的偏好训练路径，后来被 Llama 3 等模型采用。

如今，作为 Physical Intelligence 联创，她又在面对同一个问题的机器人版本：模型已经学了很多，怎样才能进一步变得好用？

读完博客，我们又顺着其中的线索，读了《EXPO: Stable Reinforcement Learning with Expressive Policies》和《EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models》。

Finn 和 Dong 都参与了这两项研究，是两篇论文的共同作者。

EXPO 探索的是，怎样稳定地用强化学习改进复杂的动作策略；EXPO-FT 则在此基础上，面向预训练的视觉—语言—动作模型（VLA）进行微调，并在真实机器人上检验效果。两篇论文给出了方法和实验依据，博客进一步追问：怎样让这些进步成为更多团队都能复用的训练流程？

把这三份材料连起来看，Finn 的判断就有了具体的来处：机器人已经拥有较强的基础模型，后训练也开始展示改善可靠性的效果，接下来需要把算法、反馈和现场操作组织成一套更容易使用的方法。

她曾参与降低数字大模型后训练的门槛，如今又看到了机器人领域的类似机会。

要理解这一步为什么值得期待，得先回到 DPO 曾经改变的那件事。

博客链接：https://pd-perry.github.io/posts/post-training.html

Expo论文链接：https://arxiv.org/abs/2507.07986

Expo-FT论文链接：https://arxiv.org/abs/2605.25477

原文链接：曾让大模型后训练变简单、变便宜的 pi 联创，如今觉得：快轮到机器人了。

01 让大模型对齐更简单和便宜，DPO改变了后训练的技术路线

1.1 学会人类偏好，不必再经过那么复杂的训练。

假设你让模型用三句话解释一个概念。它给出两个答案：一个写了很长，术语密集；另一个遵守要求，也把问题讲明白了。

人很容易判断，后者更符合要求。但怎样把“这个比那个好”变成模型下一次回答时的行为？这就是偏好训练要解决的问题。

传统 PPO 式 RLHF，也就是基于人类反馈的强化学习，通常要经过两层处理：先根据人对回答的比较，训练一个奖励模型，让它学会打分；再用强化学习调整语言模型，让它获得更高的分数，同时限制它偏离原模型太远。

这套流程有效，但要协调奖励模型和语言模型的训练，还要处理采样、优化和稳定性问题。

DPO 的关键简化，是把偏好比较直接转成语言模型的训练目标：以参考模型为基准，让被偏好的回答相对不被偏好的回答更有优势。

这个优化步骤不必再单独训练奖励模型，也不必运行 PPO 那样的在线强化学习循环。原先要分几步完成的偏好学习，有了一条更直接的路径。

1.2 从论文走进 Llama 3，DPO 改变了实际的训练选择。

这条更直接的路径，后来进入了重要模型的实际训练流程。

在 Llama 3 技术报告中，Meta 将监督微调、拒绝采样和 DPO 纳入了后训练流程。报告还直接比较了 DPO 与 PPO：在他们的大规模模型实验中，DPO 所需计算更少，表现更好，尤其体现在指令遵循等评测上。

这让 DPO 的影响有了具体的落点：它参与改变了大模型团队对训练方法的选择。在需要反复更新模型、处理大量偏好数据时，少一些计算和流程上的复杂性，就意味着一条更有吸引力的工程路径。

这里的“更简单、更便宜”，具体指偏好优化环节。Llama 3 的完整流程仍使用奖励模型进行数据筛选，但执行 DPO 优化本身不再必须依赖单独训练的奖励模型。这也解释了它为什么能与其他训练环节组合，进入更大的系统。

Finn 是 DPO 论文的共同作者。她今天谈机器人后训练，有一段很具体的研究经历作参照：简化训练方法，可以改变一项能力被采用的方式。

但还有一个问题需要往深处讲。模型已经读过海量文本、掌握了那么多知识，为什么还需要花力气去做后训练？

02 预训练给了大模型能力，却没有直接给用户一个好用的产品

2.1 模型再大，也不会自动成为一个好助手。

一个原因很直接：“继续写出合理的文本”和“按照用户要求把事办好”，训练目标并不相同。

预训练通过预测接下来的内容，让模型从大量数据中学习语言、知识和各种模式。但在这些数据里，有问答，也有故事、争论、广告和错误陈述。模型学到了怎样接着写，并不等于它自动知道：面对当前这个用户，应该优先遵守什么要求。

比如，“请只返回一个 JSON 对象”。模型可能理解 JSON，甚至能解释它的语法，却仍然在结果前面加上一段说明。人读起来觉得热情，接入程序之后就可能无法解析。

它缺少的未必是 JSON 知识，而是稳定遵守当前要求的行为。模型掌握了什么，与用户最终拿到什么，之间还有一段距离。

InstructGPT 论文里有一个很能说明问题的结果：在作者所用提示分布的人类评估中，13 亿参数的 InstructGPT，输出比 1750 亿参数的 GPT-3 更受偏好。前者经过了监督微调和人类反馈强化学习。

这个比较有清楚的测试范围，不能推导成小模型在所有能力上超过大模型。但它至少说明，模型规模没有自动替代“学会满足用户要求”这一步。

一个知道很多、却经常不按要求办事的模型，很难成为可靠的工作工具。

2.2 从知道怎么答到按要求办，后训练不能缺席。

后训练开始把用户的要求，更直接地写进学习过程。

监督微调提供示范，让模型学习怎样响应指令。偏好训练比较回答的优劣，进一步调整输出倾向，DPO 属于其中一种方法。针对反馈明确的任务，还可以通过强化学习，让模型围绕任务结果继续改善。

以刚才的 JSON 为例，训练示范可以明确展示“只返回对象”的格式；偏好比较可以区分严格遵守要求的回答与多加说明的回答。用户眼里只是少了一句多余的话，系统却更容易接住模型的输出。

这也是后训练必要性的具体体现：预训练已经获得的能力，要进一步按照实际使用目标被组织起来。当然，格式符合要求与事实正确仍然需要分别评估，后训练也不能自动消除所有错误。

所以，DPO 的意义也要放到这里才能看完整：它降低了一条重要后训练路径的实施难度，而后训练本身又关系着模型能否成为好用的产品。

把这件事带回机器人，问题就更加直观了。语言模型多输出一句话，程序可能报错；机器人多移动几厘米，物体可能已经掉下去了。

机器人也需要通过反馈缩短这段距离。但数字大模型已经走通的训练路径，到了真实世界，还要重新回答成本和稳定性的问题。

03 机器人也卡在了这一步，只是每一次试错都更贵

3.1 真实世界的试错成本，让机器人必须学得更高效。

这也是 Finn 作为 PI 联创，正在参与解决的问题。

PI 的 π0.5 是一个具体例子。它属于视觉—语言—动作模型，也就是 VLA：把相机看到的画面、语言指令等信息，转成机器人可以执行的动作。PI 在论文中展示了它在新家庭环境里完成清洁等任务的能力。

这类模型给后续学习提供了更强的起点。团队可以利用已经学到的视觉理解和操作经验，继续适配具体任务。

但模型能够理解“把东西收好”，与它在你面前这张桌子上反复完成任务，仍然有距离。拿杯子的方向可能没有问题，夹持位置却差了一点；开始时每一步都合理，碰到一次打滑，后续动作就不再适用。

继续收集示范当然有价值。困难在于，机器人自己执行时遇到的偏差，也需要进入学习过程。否则，训练一直展示顺利完成的路径，实际工作却不断考验偏离这条路径之后怎么办。

强化学习提供了一种方向：根据行动之后的结果，调整以后怎样行动。

到了真机上，这句话会变成一连串具体工作。一次尝试需要机器人真的移动、抓取、放置；失败之后，可能要把物体捡回来、摆好，再开始下一轮。结果也未必容易判断：盘子放进去了，是摆放稳妥，还是稍一晃动就会滑落？

反馈还存在时间上的距离。以插花为例，花茎最后没能进入瓶口，原因可能是最后一下推进，也可能是更早的抓取姿态。学习系统需要沿着动作序列，把结果与前面的决策联系起来。这个过程在强化学习里叫信用分配，就是判断成功和失败分别应该记在哪些动作上。

因此，训练能否反复利用已有经验，就格外重要。

一次失败的数据如果能帮助识别问题动作，就可能减少下一轮的无效尝试。

博客强调的样本效率，落到现场，就是同样的设备时间、人工投入和交互数据，能换回多少实际改善。

3.2 挑出一个好动作，还不等于模型学会了进步。

交互数据用得起，只解决了一部分问题。反馈怎样进入大模型，决定了这次发现的好动作能否变成下一次的能力。

扩散、流匹配等生成方法，能够表达多种合理动作。取同一个物体，可以从不同方向接近。但当动作经过多步生成，强化学习的优化信号再沿这条链条传回模型，计算和稳定性都会成为问题。EXPO 论文讨论的正是这种适配难题。

一种办法，是让模型多提出几个候选动作，再用价值函数选出更有希望的一个。价值函数可以理解为一个评估器：估计从当前状态采取这个动作，后续能获得怎样的结果。

这种选择能改善执行表现，却没有自动改善提出动作的模型。假如候选动作总在瓶口附近偏一点，再会挑选，也未必能选到恰好对准的那一个。

我们需要的，是一个能把改进学进去的基础模型。

于是，问题进一步收紧了：既要利用强模型已经掌握的能力，又要允许它根据新经验调整；而且，这种调整必须足够稳定，交互成本也要可以承担。Finn 与 Dong 所讨论的 EXPO-FT，正是在尝试同时满足这些要求。

04 真正让Finn乐观的，是机器人开始具备继续学习的条件

4.1 平均 19 分钟真机交互，EXPO-FT 做到了每项任务 30 次测试全成功。

在 EXPO-FT 论文的插花任务中，经过监督微调的基础模型，在 30 次测试里成功了 14 次；EXPO-FT 在对应评估中达到 30 次全部成功。这项任务使用的在线交互数据为 14 分钟。

在八项评估任务或子任务里，平均在线交互时长为 19.1 分钟，EXPO-FT 每项都达到 30/30。它们包括台球入袋、插花和灯串操作等，涉及精度、动态控制和不同初始状态下的执行能力。

这是斯坦福团队基于 π0.5 开展的研究，Finn 和 Dong 都是论文作者。这里的分钟数只计算在线机器人交互，不包含全部准备与训练计算时间；实验还利用了已有模型、必要的任务初始化和人的操作纠正。30/30 则对应规定条件下的测试结果。

这些条件说明了结果的适用范围，也让它的价值更清楚：一个已经会执行任务的模型，仍能从有限的真实交互中获得明显改善。

它怎样把改进学进去？

EXPO-FT 所基于的 EXPO，把学习分给了不同部分：基础模型先提出候选动作，轻量的“编辑策略”学习怎样做局部调整，再由价值函数比较原始动作和调整后的动作，选出更有希望的方案。

接着，基础模型也继续训练，用模仿学习目标吸收新经验。小模型负责直接优化动作价值，大模型通过相对稳定的学习目标更新。这样，价值优化信号就不必直接沿着大模型复杂的动作生成过程一路传回去。

可以把它理解为：局部调整负责找到更好的做法，基础模型负责把这些经验学进去。下次提出动作时，它就有机会从一个更好的位置开始。

EXPO-FT 进一步让这套方法适配 VLA 使用的动作片段，并把人提供的操作纠正纳入训练。

这让第三节里的两个难点有了对应的解法：利用强模型减少从零探索的需要，再通过更稳定的更新方式，把交互经验变成模型的改善。

Finn 乐观的依据，在这里变得更具体：强基础模型与有效的后训练方法，已经能在实验中配合起来。

4.2 把奖励、复位和人工反馈标准化，后训练才有机会普及。

实验展示了效果，那么这套方法能不能用在我的机器人、我的任务上呢？

Finn 与 Dong 认为，算法之外，还需要围绕训练建立共同的操作规范。

奖励要回答“怎样算做对”。 以收拾餐桌为例，物体离开桌面，和被稳妥放到指定位置，是不同的完成标准。如果每个任务都要重新设计成功检测，或者依赖人逐次判断，训练就很难随机器人数量一起扩展。

复位要回答“怎样才能再试一次”。 杯子放走了，下一轮从哪里开始？失败后由谁恢复现场？能否让机器人自己复位，或者通过任务设计减少复位需求？这些工作影响的是训练能否持续进行，以及现场需要多少人工。

人工反馈要回答“什么时候帮、怎样帮”。 人的纠正能减少无效探索，但每台机器人需要多少照看，纠正数据怎样用于学习，都关系着这套方法能否从一个操作员和一台机器，扩展到更大的规模。

这三类问题之外，还有初始化、学习率和更新频率等训练设置。

原文强调，这些环节尚未形成成熟的通用默认做法，仍需要研究与实践共同推进。

也正因为如此，“算法已经跑通”与“后训练已经便宜好用”之间，不能直接画等号。一次真实交互可能省了下来，现场调试、人工复位和模型计算仍可能占去大量时间。

我们的判断是，这篇博客把机器人后训练的下一步说得更清楚了：一边继续改善算法，一边把成功判定、重复尝试和人工纠正整理成可复用的训练流程。

这与 DPO 带来的启示相互呼应。有效方法变得更容易实施，更多团队才有机会把已有模型训练到自己的任务要求。对机器人来说，具体要做的工作已经逐渐明确，而 EXPO-FT 给出了继续推进的实验依据。

“快走到这一步”的分量，就在于改善开始有了依据，推广这种改善也有了具体的研究方向。

05 写在最后

从 DPO 到 EXPO-FT，Finn 参与的两段研究指向了同一个问题：模型具备能力之后，怎样进一步变得可靠、好用。

机器人正在这一步上取得具体进展。强基础模型提供起点，后训练让真实交互中的反馈转化为性能改善。EXPO-FT 的实验说明，在规定任务和测试条件下，这种改善已经可以用有限的交互数据实现。

这让机器人离实用还有多远，开始有了更具体的衡量方式：需要多少反馈、多少训练，才能减少一次失败、一次人工接管。

我们的判断是，随着这条改进路径变得清晰、成本逐步降低，机器人从展示能力走向稳定干活的速度，有望比我们预想的更快。

数字大模型已经积累了这样的训练经验，机器人正在补上自己的这一课。