“把桌上的物体夹起来”，这句话背后藏着多少技术选择？

——动作输出

目录

01    动作到底长什么样：离散Token，还是连续数值？

离散动作Token：让语言模型也能“说动作”

连续动作回归：绕过词表，直接面向机器人

02    一次只走一步，还是一次预测一段？

Action Chunk：把高频动作组织成有结构的短片段

03    面对“一题多解”，动作分布怎么生成？

Diffusion Policy：从噪声中逐步生成动作轨迹

Flow Matching Action Expert：为VLM接上一套连续动作生成器

04    神经网络给出动作以后，机器人就会动了吗？

传统轨迹优化与控制器：把“想做什么”压进物理约束

05    把六条路线放回同一张坐标系

06    具身智能真正需要的，不是“会输出动作”，而是“能把动作做完”

---

同样是接到“夹取物品”的指令——

有的机器人模型会输出一串像文字一样的动作Token，有的直接给出连续坐标；

有的一次只预测下一步，有的一次生成未来几十步，还有的会从噪声中逐步“生成”一段动作。

到了真正驱动机械臂时，如果目标物体存在多种可行夹取方式，我该选择哪一种？

这些问题指向的，正是具身智能最核心也最容易被简化的环节——动作输出。

与语言模型预测下一个Token不同，机器人必须把视觉、语言和本体状态转化为真实硬件能够执行的命令，并在运动学、动力学、接触扰动和控制延迟等约束下持续完成任务。

因此，具身智能中的动作输出并不是一种单一技术，而是横跨动作表示、时间组织、概率生成和物理控制四个维度。

本文将从这四个维度出发，系统讲清机器人动作输出的主要类型，以及它们之间的关系。

▲图1 | 机器人动作输出是动作表示、时间组织、概率生成与规划控制四个维度的组合

01    动作到底长什么样：离散Token，还是连续数值？

VLA首先要解决一个接口问题：

语言模型内部处理的是离散Token，而机器人关节位置、末端位姿、速度和力矩通常是连续数值。

两种世界怎样接起来？

▲图2 | VLA从视觉、语言与本体状态出发，常见动作预测头包括动作Token、连续回归与生成式动作模型

离散动作Token：让语言模型也能“说动作”

离散动作Token的思路是先把连续动作量化，再把量化结果当成词表中的特殊Token。

这是一条与自回归语言模型天然兼容的路线。举两个典型例子：

（1）RT-1把动作维度离散化后交给Transformer预测；RT-2进一步把机器人动作表示成文本Token，使互联网视觉—语言数据与机器人数据能够在统一框架中共同训练。

（2）OpenVLA则给出了一个很典型的开源实现。它预测七维机器人动作，并将每个动作维度分别量化为256个桶，再映射到Llama词表中的256个特殊动作Token；推理时，模型自回归地产生动作Token，随后再把它们反量化为连续控制量。

▲图3 | OpenVLA将七维连续控制量离散化并映射到语言模型词表中的动作Token

离散动作Token让动作预测可以继续沿用大语言模型已经成熟的架构、损失函数和训练基础设施。语言、图像与动作也更容易被放进同一个序列建模框架。

但代价同样明确。

• 首先，量化会为连续控制引入分辨率上限。

它对实际精度的影响，取决于动作归一化范围、桶数、机器人本体和后续控制器，不能简单断言“离散动作一定做不了精细操作”，但这确实是必须考虑的误差来源。

• 其次，逐Token自回归会增加动作生成延迟。

尤其当一个控制时刻需要顺序产生多个动作维度，或进一步产生一整段动作Token时，推理吞吐就可能成为高频控制的瓶颈。

不过，这也不是Token路线无法克服的：OpenVLA-OFT等后续工作已经尝试用并行解码、Action Chunk和更合适的连续动作头改善吞吐。

所以，离散Token的核心优势不是“动作更准确”，而是它最大限度保留了语言模型的统一接口。

连续动作回归：绕过词表，直接面向机器人

另一条路线不再把动作塞进语言词表，而是让动作头直接输出连续数值。

不过，这里需要先分清两个经常混淆的概念：

“连续”：描述的是动作空间；
“回归、Diffusion或Flow Matching”：描述的是生成这些连续动作的方法。

因此，连续动作并不等于普通的L1或L2回归。

例如，OpenVLA-OFT将基础OpenVLA的离散、自回归动作解码改造成并行的连续动作预测，并采用L1回归和Action Chunk。

这属于较典型的“连续直接回归”。

而Octo虽然同样输出连续动作，却使用条件扩散动作头来表示动作分布，不应被归入普通L1/L2回归。

▲图4 | Octo通过共享Transformer表征与可替换读出头生成连续动作序列，其原始实现采用条件扩散动作头

连续直接回归避免了量化和词表映射，输出也可以并行产生。

但当示教数据中存在真正的多峰分布时，单一的L1或L2目标可能倾向于给出“折中答案”。

比如，机械臂绕开障碍物既可以走左侧，也可以走右侧。

如果数据中两种方案都很多，模型若只学习条件均值或中位数，就可能生成一条两边都不像的轨迹。

这也正是Diffusion和Flow Matching后来被引入动作生成的重要原因：

机器人并不总是只有一个正确动作。

02    一次只走一步，还是一次预测一段？

如果说Token与连续值解决的是“一个动作怎么写”；

那么Action Chunk解决的则是“模型一次写多少动作”。

Action Chunk：把高频动作组织成有结构的短片段

传统单步策略通常按照“观察—预测一步—执行—再观察”的方式运行。

这种结构反馈直接，但在长时、精细操作中，每次预测的微小偏差可能累积，策略也很难仅靠一个瞬时动作表达更长的操作意图。

ACT（Action Chunking with Transformers）把预测目标从一个动作扩展为未来一段动作序列，也就是Action Chunk。

▲图5 | ACT以Transformer一次预测一段未来动作序列，原始实现采用CVAE建模动作Chunk

这一步看似只是“把输出变长”，实际上改变了策略学习问题。

在模仿学习中，相邻的低层动作往往高度相关。与其让模型在每个时刻独立猜测下一步，不如直接学习一段具有内部结构的运动片段。

这样可以缩短任务在策略层面的有效时间跨度，也能让模型显式捕捉双臂协同、抓取—抬起—放置等局部动作模式。

但Action Chunk不等于简单的开环执行。

在ACT的时间集成版本中，策略会在每个时间步重新预测一个Chunk。由于多个Chunk会对同一个未来时刻给出重叠预测，系统再按照时间距离进行加权融合，得到更平滑的当前动作。

这意味着，至少在ACT这套实现中，Chunk并不是“预测一次就几十步不再看环境”，也不能简单理解成降低了策略查询频率。

哪怕我预测了未来 30 步，我也只执行当前这 1 步（或极少数几步），执行完后立刻把新的环境图像输进去，再重新预测未来的 30 步。

它更准确的意义是：每次预测都拥有更长的时间视野，同时通过重叠Chunk维持闭环更新。

而且Action Chunk只是一种时间组织方式，并不限定内部使用什么生成模型：

ACT原始实现使用CVAE；Diffusion Policy用扩散模型生成Chunk；π0则用Flow Matching生成Chunk。

同一个“动作片段”，可以由完全不同的概率模型产生。

03    面对“一题多解”，动作分布怎么生成？

真实机器人任务经常存在多种可行解。

同一个杯子可以从左侧抓，也可以从右侧抓；抹布可以沿不同方向折叠；双臂整理衣物时，不同演示者的手部轨迹可能差异很大。

此时，动作模型不仅要预测数值，还要表达一个可能具有多个峰值的条件分布。

Diffusion Policy：从噪声中逐步生成动作轨迹

Diffusion Policy把扩散生成模型引入视觉运动策略。它从随机噪声动作序列出发，以视觉观测和本体状态为条件，经过多步去噪，逐渐得到一段连贯的未来动作。

▲图6 | Diffusion Policy从随机噪声出发，经过多步条件去噪生成一段连贯的机器人动作序列

这套机制的价值不只是“动作更平滑”。

它允许模型学习复杂、非高斯甚至多峰的动作分布。在原论文的Push-T等任务中，Diffusion Policy展示了对多种可行轨迹模式的建模能力：

一次执行可以选择其中一种模式，而不是对多种互相冲突的方案简单取平均。

图7 | 在原论文Push-T等多解场景中，Diffusion Policy能够表示不同动作模式，并在一次执行中采样其中一种

同时，Diffusion Policy通常与滚动时域执行结合：策略生成未来动作序列，只执行其中前面一部分，随后根据新观测重新生成。

于是，它既利用Chunk建模时间一致性，又通过持续重规划保留反馈能力。

它的代价则来自迭代采样。

去噪需要多次网络计算，实际延迟取决于网络结构、采样步数、硬件和加速方法。对于控制周期严格的机器人系统，模型效果与推理预算之间必须重新平衡。

因此，Diffusion Policy的核心意义不是“用更大的模型替代控制”，而是把机器人动作从一个确定值，提升为可采样的条件轨迹分布。

Flow Matching Action Expert：为VLM接上一套连续动作生成器

π0把Flow Matching和Action Expert带入了通用VLA讨论。

Flow Matching与扩散模型关系密切，都可以从简单噪声分布出发生成复杂数据，但二者的训练目标与采样动力学并不相同。

更稳妥的理解是：它们属于“亲缘相近”的连续生成路线，而不是“Flow Matching天然就是更快的Diffusion”。

实际推理速度仍取决于求解器、积分步数、网络规模与工程实现。

在π0中，视觉—语言模型负责处理图像和语言上下文；在共享骨干之外，系统增加了一组专门处理机器人状态与动作的Transformer权重，论文称之为Action Expert。

▲图8 | π0在VLM骨干之外增加机器人专用Action Expert，并以Flow Matching生成连续动作Chunk

这里的“专家”不是人工编写的控制规则，也不是一套传统轨迹优化器，而是可学习的机器人动作网络。

它接收带噪动作、机器人本体状态以及来自VLM的上下文表示，学习把噪声沿连续向量场推向数据中的真实动作。

π0论文实现以50个时间步作为动作Chunk，并在推理时使用10步Forward Euler积分生成动作；按照其50Hz动作数据计算，一个Chunk对应约1秒的动作序列。

不过，这些数字描述的是π0的具体实现，不应被理解为Flow Matching的固定配置。

▲图9 | π0完整系统在移动操作、双臂整理与叠衣等任务中展示了跨机器人数据训练后的复杂操作能力

同样需要避免一种常见归因错误：π0在复杂任务上的表现，不是Flow Matching单一模块的结果。

VLM预训练、Action Expert、连续流匹配目标、跨机器人形态数据、任务微调以及真实控制系统共同构成了实验中的完整系统。

Flow Matching解决的是动作分布生成问题，它并不会自动带来语义泛化、跨本体迁移或物理稳定性。

04    神经网络给出动作以后，机器人就会动了吗？

到这里，我们已经讨论了动作怎样编码、怎样成段，以及怎样从概率分布中生成。

但一个容易被端到端叙事遮蔽的问题是：

策略输出还不等于电机真正执行的物理信号。

传统轨迹优化与控制器：把“想做什么”压进物理约束

具身模型可能输出关节目标、末端位姿、速度、夹爪指令、参考轨迹，甚至更高层的子目标。不同机器人和系统的接口差异很大，因此不存在一条固定不变的控制链。

在许多工程架构中，学习策略与传统规划控制会形成分层协作。

▲图10 | 具身大模型与传统控制并非简单替代关系：语义策略、轨迹优化、MPC与反馈控制可以组成完整闭环

轨迹优化通常从系统动力学、初始状态和有限时域目标出发，直接优化一条状态—控制轨迹，并显式加入输入限幅、碰撞距离、接触或动力学等约束。

模型预测控制（MPC）则把有限时域优化放入反馈回路：每个控制周期根据当前状态重新求解，只执行当前控制量，再在下一周期滚动更新。

轨迹优化与MPC关系紧密，但二者不能简单画等号。

再往下，关节位置、速度、力矩控制以及阻抗控制等反馈控制器，负责跟踪参考并对抗模型误差与外部扰动；更底层的伺服和电流环才会进一步把指令转化为电机驱动信号。

各层运行频率取决于机器人硬件、控制接口、动力学模型和求解器，不能用一个统一数字概括。

这套传统控制栈的优势，是约束清晰、行为可解释，并且能够以较高频率利用反馈纠偏。它的局限是模型、代价函数和接触过程往往难以准确构建，面对开放环境与语义任务时也缺少学习模型的泛化能力。

所以，今天更值得关注的趋势并不是“端到端策略彻底消灭控制器”，而是二者的边界正在重新划分：

• 学习模型逐渐从语义理解下沉到连续动作生成；
• 轨迹优化、MPC、安全过滤器与底层反馈控制，则继续承担物理约束、实时稳定和硬件执行。

有些系统会让VLA直接输出低层动作，再由机器人自带伺服接口执行；另一些系统则让大模型只给子目标、接触序列、代价函数或参考轨迹，由传统优化器完成后续计算。

两种架构都存在，选择取决于任务、数据、风险和硬件接口，而不是某个名词是否“更先进”。

05    把六条路线放回同一张坐标系

如果只记住每个方法的名字，可能很快还会再次混淆。真正有用的做法，是看它们分别占据哪一个维度。

• 离散动作Token首先解决的是动作如何编码。

它把连续动作映射成词表中的特殊Token，从而与自回归VLM保持统一接口，也方便复用语言模型的训练范式。但量化会引入分辨率限制，逐Token解码也可能增加动作生成延迟。

• 连续动作回归同样关注动作表示，但选择直接输出连续向量或连续动作片段。

它绕过了离散化和词表映射，也更适合并行预测；不过，简单的L1或L2回归很难完整表达具有多个可行解的动作分布。

• Action Chunk回答的不是动作采用离散还是连续，而是一次预测覆盖多长时间。

它把未来若干步动作组织成一个片段，有利于学习局部时间结构、双臂协同和连贯操作；但Chunk过长也可能降低策略对环境变化的敏感性，因此通常需要滚动执行、重叠预测或时间集成。

• Diffusion Policy关注的是复杂动作分布怎样生成。

它通过多步去噪得到连续动作Chunk，能够表示多模态轨迹并保持较好的时间一致性，代价则是迭代采样带来的计算和时延开销。

• Flow Matching Action Expert同样属于连续生成路线，但更强调如何在VLM语义骨干之外接入专用动作网络。

它通过数值积分生成连续动作Chunk，把视觉—语言上下文与机器人动作建模连接起来；最终速度和效果仍取决于积分器、步数、训练数据以及完整系统设计。

• 轨迹优化、MPC与底层控制器解决的则是动作怎样满足物理约束并真正闭环执行。

它们可以把上层策略输出转化为可行轨迹、控制量和伺服指令，通过模型约束与实时反馈提高稳定性和安全性，但也依赖动力学模型、代价函数与在线求解预算。

总的来看，六条路线更像一组可以自由组合的积木。

ACT证明了动作可以成段组织；
Diffusion Policy证明了动作Chunk可以由扩散模型生成；
π0又把VLM、Action Expert、Flow Matching和动作Chunk连接起来。

与此同时，传统控制器依然在真实机器人底层承担稳定执行。

甚至动作Token本身也在继续演化。

FAST等工作不再只对单步动作逐维分箱，而是尝试先对动作序列做频域压缩与量化，再使用类似BPE的方式形成更高效的动作Token。

这进一步说明，“Token还是连续值”并不是一场已经终结的路线之争，而是在控制精度、序列长度、训练统一性和推理效率之间不断寻找新平衡。

06    具身智能真正需要的，不是“会输出动作”，而是“能把动作做完”

语言模型生成一个不够好的词，下一句还有机会修正。

这正是具身动作输出与文本生成最根本的差别：动作会改变下一时刻的世界，也会改变模型之后能够看到的数据。

所以，机器人动作输出到底有多少种？

答案可能并不是固定的“x种”。

边界在哪里，取决于任务需求、计算预算和硬件接口，而不取决于某个方法是否“更时髦”。

更准确地说，它是一套可以不断组合的技术坐标系。具身智能最终要解决的，也不是让模型把动作“说出来”，而是让机器人在真实世界里，持续、稳定、安全地把动作做完。

Ref

RT-1：Robotics Transformer for Real-World Control at Scale，2022年。

RT-2：Vision-Language-Action Models Transfer Web Knowledge to Robotic Control，2023年。

OpenVLA：An Open-Source Vision-Language-Action Model，2024年。

OpenVLA-OFT：An Open-Source Vision-Language-Action Model with Offline Fine-Tuning，2025年。

Octo：An Open-Source Generalist Robot Policy，2024年。

ACT：Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware，2023年。

Diffusion Policy：Visuomotor Policy Learning via Action Diffusion，2023年。

π0：A Vision-Language-Action Flow Model for General Robot Control，2024年。

FAST：Efficient Action Tokenization for Vision-Language-Action Models，2025年。

Underactuated Robotics：Direct Collocation and Trajectory Optimization。Model Predictive Control：Theory, Computation, and Design。