“脚”用强化学习，“手”用Transformer？人形机器人算法的“手脚互搏”之谜

大家好，本文出自 《具身智能基础》专栏，是本栏目下的第12篇文章，聚焦一个核心矛盾：同样是控制关节， 为什么人形机器人“走路”多用强化学习，而“干活”却偏爱模仿学习和VLA？
本文将为你拆解这背后的深层原因。

---

💙订阅《具身智能基础》专栏

你的订阅和收藏，将支持我们把这件事持续做下去✨

目录

01    都是让关节动起来，模型面对的问题却不一样

02    已经有了人类动作，机器人为什么还要反复练？

03    教机器人干活，为什么常常从人类示范开始？

04    学会模仿之后，为什么又用上了 Diffusion 和大模型？

05    当机器人既要走、又要干活，两类方法怎么配合？

---

一个人形机器人在草地上奔跑、转身，甚至完成侧空翻；另一个机器人站在桌前，打开杯盖、插入电池、整理物品。

从电机的视角看，它们做的事情似乎也没有本质区别：接收指令，然后带动一个个关节。

但如果翻开背后的技术报告，会发现两套颇为不同的“语言”。

在人形机器人和足式机器人的运动控制中，强化学习（RL）几乎无处不在，AMP、BeyondMimic 都与它密切相关；

到了视觉操作领域，常见的关键词却变成了模仿学习、ACT、Diffusion Policy，以及从视觉语言模型发展而来的VLA。

同样是控制关节，为什么学走路和学干活，会走上如此不同的路线？

答案并不简单是“腿需要 RL，手需要大模型”。真正决定算法选择的，是两个更基础的问题：

训练数据已经告诉了机器人什么？
剩下的知识，又可以通过什么方式获得？
当知识必须从外部注入时，哪种表征方式最划算？

沿着这三个问题往下看，许多看似分裂的技术路线，其实都在完成同一件事：为机器人补上它尚不知道的那一部分。

▲图1 | 机器人全身控制代表工作BeyondMimic 同时研究动态运动技能与任务控制。上方展示身体运动，下方展示速度指令、导航和动作组合，两部分对模型提出了不同要求。

01    都是让关节动起来，模型面对的问题却不一样

• 先从一个最常见的“走路”任务说起。

研究人员给机器人一个向前运动的速度指令。方向已经明确，接下来的问题是“怎样向前”：

什么时候抬腿，脚落在哪里，身体如何保持平衡？如果地面打滑或者突然受到外力，又该怎样把重心救回来？

这不是几条预先写好的关节轨迹就能完全解决的问题。

足式机器人的身体没有固定在地面上，抬起一条腿，就会改变全身的支撑条件。一个关节上的细小变化，可能沿着身体传递，最终决定机器人是继续站着，还是直接摔倒。

这里，训练数据能告诉机器人的是“理想姿态长什么样”，但机器人缺的是“如何在实际接触中做到”

——正是第一个问题的典型场景。

• 再把任务换成“把桌上的红色杯子放进托盘”，问题的重心就变了。

机器人首先要从画面中找到杯子，理解指令指的是哪一个物体，再判断从哪里接近、怎样抓取、放到什么位置。

当然也有接触和稳定控制，但在关节真正开始运动之前，模型已经需要回答一连串与视觉、语义和任务步骤有关的问题。

这里，训练数据（人类示范）可以直接告诉机器人“正确做法是什么”，但机器人缺的是“如果偏离了，该如何修正”

——对应第二个问题。

• 可以把两者的差别简单概括为：走路时，目标通常比较清楚，难点是身体怎样实现；干活时，机器人往往还要先从复杂场景中判断自己应该做什么。

这也是为什么视觉语言模型更容易出现在操作系统的上层：它擅长把图像和语言转化为任务相关的判断。

像 OpenVLA 这样的模型，会先理解画面和指令，再生成机器人动作；而具体动作如何被稳定执行，还可以交给下面的控制系统。

不过，这里很容易产生一个误解：两类方法的差别，并不等于一个只控制“高层意图”，另一个只控制“底层关节”。

前面我们说常被用于运动控制的算法 AMP，该策略最终会输出关节目标位置，再由底层控制器执行；

但是换成操作领域的 ACT 也可以直接预测关节位置，只不过它会一次预测一段连续动作。

也就是说，两者最终都能走到关节这一层。

真正拉开距离的，是学习过程：机器人要从哪里得到正确行为，又能否低成本地试错。

顺着这一点，我们就可以更好理解强化学习为什么首先在运控领域扎得更深。

02    已经有了人类动作，机器人为什么还要反复练？

许多人形机器人运动研究，同样会从人类动作数据出发。既然已经有了人走路、跳跃和转身的动作，为什么机器人不能直接照着学？

因为一段动作视频更像“标准答案的录像”，而不是一份可以直接运行的控制程序。

它能告诉机器人，理想情况下身体应该呈现怎样的姿态，却不会直接告诉它：每个电机此刻该输出多大的力，脚掌接触地面后应该如何调整，身体被推了一下又该怎样恢复。

更何况，人的身体和机器人的身体并不相同。即使把人类动作重新映射到机器人骨架上，机器人的腿长、质量分布、关节能力和接触条件仍然有自己的限制。参考动作描绘的是“希望它动成什么样”，至于“怎样才能真的做出来”，还需要机器人自己补课。

强化学习就是提供了这样一个练习场。

策略先给出动作，仿真环境再告诉它后果：有没有向目标方向前进、身体是否稳定、动作与参考姿态相差多远。机器人并不是简单复读一条轨迹，而是在一次次偏离和纠正中，学会如何把目标动作变成闭环控制。

• 最初面向物理仿真角色控制的 AMP，对这件事的处理很有代表性。

它没有要求研究人员手工写出“怎样走才像人”的全部规则，而是让一个判别器充当动作裁判：参考动作告诉裁判什么样的运动更自然，机器人生成的动作则不断接受比较。这个由数据学出来的“风格分”，再与完成任务的奖励放在一起训练策略。

换句话说，动作数据负责告诉机器人“什么样算像”，强化学习负责解决“怎样才能做到”。两者并不是相互替代，而是在回答不同的问题。

▲图2 | AMP 将动作数据用于学习运动风格奖励，再把风格奖励与任务奖励一起用于策略训练。示范与试错在这里共同发挥作用。

后来的人形机器人工作仍然延续着类似的分工。

• BeyondMimic 会把参考动作转化为身体姿态和速度目标，再让机器人在仿真中练习如何跟上这些目标。

参考动作依然是老师，但机器人必须通过交互，找到适合自己身体的实现方式。

这条路线能够成立，还因为运控拥有一个重要条件：大量失败可以先发生在仿真里。

于是，运控领域形成了一套颇为自然的逻辑：

目标能够被描述，结果能够被评价，大量试错又可以在仿真中完成，RL 便很适合用来寻找那套难以手工写出的全身协调方式。

当然，这不意味着奖励永远容易设计。怎样走得自然、怎样形成丰富的运动风格，恰恰很难只靠几条规则说清楚，所以人类动作数据才会再次进入系统。

运控并不是“只要奖励、不要数据”，而是更容易把数据与大规模试错结合起来。

可一旦“搬到桌面上”，准备真正干活，这套试错经济学就会发生变化。

03    教机器人干活，为什么常常从人类示范开始？

假设任务是把一块电池插入槽位。

机器人第一次尝试失败了，但“没有插进去”这件事提供的信息非常有限。它可能抓偏了，也可能方向不对；可能没有对准槽口，也可能已经对准，却在最后接触时用了错误的力度。

如果只在任务完成时给一次奖励，机器人需要先偶然摸索到接近成功的位置，才能获得有用信号；

如果把每个步骤都写成奖励，又要逐项定义抓取、接近、对齐和插入，并保证这些局部目标组合起来不会把机器人带向奇怪的捷径。

这时，人类示范的价值就显现出来了。

操作者不必解释自己为何这样做，只需要把任务做一遍。抓取位置、动作顺序、接近方向和临场调整，都会随着图像、机器人状态和控制动作一起被记录下来。

• ALOHA 展示的正是这种思路。

操作者通过一套主从机械臂控制机器人完成任务，系统把整个过程收集下来，再用 ACT 学习连续动作。对机器人而言，这些示范并不是一句简单的“成功了”，而是一条已经穿过复杂搜索空间、真正抵达成功的路线。

▲图3 | ALOHA 的遥操作示范同时提供任务步骤与机器人动作，为学习策略建立明确的训练目标。动图以 10 倍速展示。

更现实的一层原因，是操作世界太“杂”：杯子、包装、衣物和工具有不同的形状与材质，抓取、折叠和插接又有不同的接触方式。

要让机器人完全在仿真中从零探索，就要不断补充物体资产、接触模型和任务奖励。单个任务当然可以做出精细的模拟，但任务越多，这笔成本就越难忽略。

所以在不少操作任务中，让人先做一遍，往往比为机器人建好一整个可供盲目探索的世界更直接。

但示范也不是万能答案。

模仿学习看到的，大多是人类成功执行时经过的状态；部署以后，机器人却会被自己的动作带到新的位置。一次轻微的抓偏，可能让下一帧画面偏离训练数据；接下来的动作继续出错，偏差便会越积越大。

——这正是模仿学习中经典的分布偏移问题。

因此，操作领域不是不能用 RL，而是通常要先想办法让试错变得有效。

更常见的做法，就是先用示范和人类纠正把机器人带到“知道大概要怎么做”的区域，再根据真实执行结果继续优化。

此时，示范负责缩小搜索范围，RL 负责处理示范没有覆盖的偏差和细节。

但即使机器人已经看过正确示范，还有一个问题没有解决：同一件事，根本不止一种正确做法。

04    学会模仿之后，为什么又用上了 Diffusion 和大模型？

假设桌上有一个障碍物，机械臂从左边绕过去可以，从右边绕过去也可以。

如果把两条合理路线简单取平均，得到的中间路线反而可能正对着障碍。

类似的“多解性”广泛存在于操作数据中，模型不仅要学会复制动作，还要有能力表示“这里存在多种合理选择”。

这正是 Diffusion Policy 想解决的问题。

它不会直接给出一个被平均过的唯一答案，而是学习示范动作的分布：从随机噪声开始，在当前观测的条件下一步步生成一段动作。执行其中一部分后，机器人再观察环境并重新规划，因此仍然保持闭环。

▲图4 | 在 Push-T 对比中，Diffusion Policy 能保留不同的接近路径，并在一次执行中维持相对一致的选择。

这里我们再厘清几个经常被放在一起的名字：

• Diffusion 说的是“怎样从一个分布中生成动作”，它是一种生成方式；
• Transformer 说的是“用什么网络结构组织图像、状态和动作之间的关系”，它是一种网络架构；
• ACT 使用 Transformer 来预测动作片段，但它并不是语言大模型；
• Diffusion 模型内部也可以使用 Transformer。
• 而 VLA 解决的又是再往上一层的问题：当任务扩展到不同物体、不同指令和不同场景，机器人就需要理解"红色杯子"、"放进托盘"这些视觉与语言信息。

当机器人只需要完成一个固定任务时，模型可以专门学习这个任务的图像与动作。但如果任务要扩展到开放场景，机器人就需要借助已经在互联网规模图文数据上学过的视觉与语言表征。

预训练视觉语言模型，刚好提供了这一份“已经学会看图说话”的能力。VLA 的思路，便是把这套能力继续接到机器人动作上。

• 比如 OpenVLA ，就沿着这条路径，把图像和语言指令送入预训练模型，再用机器人数据教它输出动作。

其实验也呈现出一种很直观的分工：在较窄、强调精细动作的任务中，Diffusion Policy 有自己的优势；当任务涉及多种物体和语言条件时，OpenVLA 更擅长利用预训练获得的语义能力。

▲图5 | OpenVLA 将图像与语言指令送入预训练模型，再预测并解码机器人动作。引入 VLM 的动机，是利用视觉与语言表征帮助选择任务行为。

• 这几类能力也可以被装进同一个系统，比如 π₀。

一方面继承视觉语言模型的表征，帮助机器人理解场景和指令；另一方面加入专门的动作模块，用 Flow Matching 生成连续动作。前者更接近“看懂要做什么”，后者负责“生成一段可以执行的行为”。

到这里，几条看似分裂的路线可以重新整理：

• RL 与行为克隆主要决定策略如何学习；
• Diffusion 和 Flow Matching 决定动作如何生成；
• Transformer 是承载计算的网络架构；
• VLM 预训练则提供已经学到的视觉与语言知识。

它们并不互斥，而是分布在不同维度上。

至此，两条路线的差别已经逐渐清晰：运控更容易在仿真里反复练习“怎样把动作做稳”，操作则常常先用示范回答“任务究竟应该怎样完成”。

05    当机器人既要走、又要干活，两类方法怎么配合？

一个移动操作机器人既要看懂任务，又要协调全身。前一部分更容易从真实示范和视觉数据中学习，后一部分则更适合在仿真里反复试错。

既然两种知识的来源不同，最自然的做法，就是让它们分工。

• UMI on Legs 正是沿着这条思路搭建系统。

它先从真实世界示范中学习：看到当前画面后，机械臂末端接下来应该走出怎样的轨迹。然后，再由仿真中训练的 RL 全身控制器协调机械臂和四足底盘，把这条轨迹真正执行出来。

连接两部分的是末端轨迹：上层不必处理每个关节怎样保持平衡，下层也不必理解机器人究竟在收拾物品还是使用工具。

示范提供任务经验，RL 提供身体能力，各自处理自己更容易获得训练信号的部分。

▲图6 | UMI on Legs 用末端轨迹连接两部分：左侧从真实示范学习视觉操作，右侧通过仿真 RL 学习手臂与腿的协调执行。图中的频率对应这一系统的具体实现。

• BeyondMimic 则展示了另一种组合方式。

它先利用 RL 训练运动跟踪策略，让机器人掌握一批能够稳定执行的身体技能；随后再把这些技能压缩成潜在运动表示，并用 Diffusion 模型学习它们之间的分布。到了执行阶段，目标负责引导生成方向，解码器再结合机器人此刻的身体状态，产生关节动作。

这里的 Diffusion 并不是来替代 RL，而是在 RL 已经练出的技能之上，负责组织和生成更丰富的运动。

▲图7 | BeyondMimic 更新版将 RL 运动跟踪、潜在运动表示与 Diffusion 连接起来，再通过推理时的目标引导完成不同任务

同样的融合也在操作一侧发生。

2026 年公开的 RLT 使用 VLA 的表征帮助机器人理解任务，再训练一个轻量的在线 RL 策略，专门优化螺丝刀对准、网线插接这类精细动作。以网线插接为例，报告中的实际机器人交互数据约为 15 分钟，而整段在线训练流程约两小时，其余时间包括环境重置和其他开销。

▲图8 | 通过训练编码器和解码器，从VLA的内部特征中生成紧凑且富有意义的表示，从而将“RL Token”引入VLA。

这个例子传递出的信号，不是操作终于要“从 VLA 改投 RL”，而是两者开始承担不同职责：预训练模型和示范数据先让机器人知道大致该做什么，真实交互再把动作打磨到能够稳定完成任务。

把这三个例子放在一起看，会发现它们代表了三类不同的合流方式，即让各自的算法，去做它获得训练信号最便宜的那部分工作：

UMI on Legs 让 RL 负责身体协调，让模仿学习负责任务判断；

BeyondMimic 让 RL 先学技能，再用 Diffusion 组织动作；

RLT 则让 VLA 负责理解任务，再让 RL 在真实交互中打磨细节。

回到最初的问题，机器人走路和干活的算法之所以看起来差很多，并不是因为手和腿天然属于两个算法世界，而是因为研究者面对的知识缺口不同。

走路时，目标往往已经明确，机器人缺少的是在复杂动力学中保持平衡、应对扰动的身体经验；

操作时，机器人还需要理解物体、指令和任务步骤，而从零探索这些知识通常代价更高。

于是，前者更依赖可大规模试错的仿真与 RL，后者更常从人类示范、生成模型和视觉语言预训练出发。

但当机器人开始既要走、又要干活，两条路线也正在重新汇合。

最终驱动的虽然都是关节，真正决定算法的，却是关节动起来之前，机器人究竟还不知道什么，以及，获得这份知识的成本，究竟有多高。

Ref

1. AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control.

2. BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion.

3. Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware.

4. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion.

5. OpenVLA: An Open-Source Vision-Language-Action Model.

6. Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning.

7. UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers.

8. A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning.

9. Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning.

10. π₀: A Vision-Language-Action Flow Model for General Robot Control.