架构之争已经变成论文里的历史,数据之争才刚开始进入工程现场

——VLA的‘清算’时刻

目录

01    分歧在收敛,但收敛的方向不是谁设计的

02    动作表示之争:这一条基本结束了

离散 token 派:把动作当成词

连续生成派:直接出实数

03    时间尺度之争:分层层数还在往上加

04    大厂多模态外溢:卖的不是模型,是"少建一套栈"

05    瓶颈:数据与分布外泛化与端侧

数据供给是这条方向里最突出的约束

分布外泛化:收敛之后,模型会往高频轨迹上塌

端侧实时性带来第三项约束。

06    走向:2026 年底的落点


过去两年,大家习惯按论文和模型列队看VLA:离散token一派、flow matching一派、双系统一派、大厂基座一派、平台工具一派。

但到2026年底,这种写法已经不够用了。

架构的收敛,单点模型的新颖性快速贬值,真正拉开差距的是数据生产管线、跨本体迁移、快慢系统耦合、端侧蒸馏和生态绑定。换句话说,VLA竞争已经从“模型能力”转向“系统能力”。

之前我们系统盘过VLA的五年发展脉络,今天这篇我们想把 2026 年现存的几类 VLA 放在同一张图上,看它们各自在为哪个具体的工程矛盾买单,哪些分歧已经收敛。

01    分歧在收敛,但收敛的方向不是谁设计的

2026 年的 VLA 格局,可以用下面这张图表示:纵轴是能力重心(底层实时控制 ↔ 高层语义推理),横轴是开放程度(闭源商用 ↔ 开放/开源)。

▲图 | VLA格局图

越靠上的模型越会“想”(Google、星海图),越靠下的越会“做”(OpenVLA、银河通用);2026 年真正挤满人的位置是中间那条蓝色带——快慢双系统,Google Helix、π 系、GR00T、智平方全挤在这。开源和闭源的差距已经不在架构,在数据和算力。

如果再把这张图横着看,真正决定位置的不是"谁更强",而是三条各自独立的矛盾线:

  • 动作怎么表示

离散 token 还是连续生成。本质是能不能白拿大语言模型的工程红利,代价是控制精度。

  • 时间怎么分层

单系统还是快慢双系统。这不是设计偏好,是 VLM 推理周期和伺服周期之间一个绕不过去的硬冲突。

  • 数据从哪来

真机、仿真、人类视频还是跨本体引擎。这一条到今年已经压过前两条,成为真正拉开差距的地方。

下面将这三条依次走一遍。

02    动作表示之争:这一条基本结束了

最早的分野发生在动作头上,也就是把特征令牌翻译成关节指令的最后一段。

离散 token 派:把动作当成词

  • RT-2(Google DeepMind)是这条路上早落地的模型。

它的核心思路是对机器人连续动作空间做区间划分,每一个划分后的区间当作独立词元,并入语言模型的词表空间。

离散的是动作空间,不是token本身。

这样一来,动作预测任务由此转化成next-token prediction,和文本生成的基础逻辑保持一致——LLM已经成熟的预训练、推理管线,采样逻辑,缓存机制还有对齐方案都不用重新开发。

但它存在明显局限,动作输出的分辨程度由区间划分粗细决定,划分粗糙就会带来位置偏差,划分过细又会造成词表规模膨胀。词表变大之后,预训练和推理的显存占用还有计算延时都会上升,长动作序列的自注意力开销增长尤其明显。

▲图 | RT-2控制机器人识别复杂物体,来自网络

  • OpenVLA 把这条路推到了开源侧,也成了很多人手上的第一个基线。

它的基础组件包含Llama2和视觉编码器DINOv2以及SigLIP,视觉编码器输出图像特征之后,会经过一层投影层对齐到Llama2的嵌入维度,指令文本和图像特征拼接之后送入主干Transformer。预训练数据来自 OpenX-Embodiment,训练产出的权重文件以及训练流程都对外公开。新的机器人本体接入之后,可以依靠LoRA这类参数高效微调方案完成后续调整。

它的短板继承自离散动作编码:输出动作是离散区间内的近似值,控制信号存在台阶状跳变,高速运动场景容易引发机械抖动,多自由度协同的平滑操作很难做好。

▲图 | OpenVLA可以说是个milestone里程碑

  • VLA-0(2025年末尾推出)想缓解的是另外一件事——训练太慢。

VLM在数值类token任务上本身积累了先验信息,从零开始学习动作序列时收敛速度偏慢。于是VLA-0对每一个动作维度划分区间,把整条动作序列组织成文本形式的序列,交给VLM自带的tokenizer编码,和文本token共用同一套位置编码和注意力。动作序列在形式上和语言模型接触过的数值任务对齐,已经学到的数值相关先验信息可以被调动,训练收敛的速度得到提升,同等算力下更容易拿到可用结果。

▲图 | VLA-0示意图

但它没有跳出离散token的框架,只是把分词环节做细了:输出分辨率依旧绑定区间粒度,数值先验带来的偏向性偶尔会干扰非周期性、非线性的运动轨迹。

连续生成派:直接出实数

另一条路从不把动作离散化。

π0是这条路的起点:VLM 输出的视觉语言特征作为条件,后端接一个 DiT(Diffusion Transformer)动作头,训练目标按 flow matching 设置。DiT 内部用扩散模型常用的时序注意力,把条件特征嵌进每个时间步的动作样本。

说的直白一些,flow matching的学习目标可以理解为让模型拟合矢量场,这个矢量场把随机噪声逐步推向专家示教的动作轨迹。

推理阶段从初始噪声样本出发,沿着学到的矢量场做积分运算,输出一段连续的动作片段。积分步长和采样步数可以人为设置,输出直接是连续实数,匹配机器人伺服控制的输入格式,不需要任何额外的插值。

▲图 | π系列

这条路线输出的是离散方案做不到的:运动轨迹平滑,支持多模态的动作分布,也就是同一个观测条件下模型可以生成多条合理的操作轨迹,适合叠衣服或者折纸这类对精细操作要求高的任务。

π0最先完成衬衫折叠这类操作,同类离散token方案很难稳定复现这类效果。

π0.5针对跨机器人本体的迁移效果做优化,它在训练集里面混入不同自由度和传动结构的机器人轨迹,对条件嵌入增加本体标识分支,之后变成flow-based VLA方向常用的对比基线。

它的短板落在推理耗时上。多步积分采样会占用不少算力资源,长动作块的推理延时会明显高于离散token采样,部署到机器人硬件之前,一般要经过蒸馏流程,把推理过程压缩成单步形式。

2026年有实证工作专门测试单步积分的效果,不少任务场景下单步版本已经可以满足运行需求,缩减的算力开销对端侧部署很有帮助。单步版本会损失一部分分布多样性,极端狭窄约束的操作容易卡在局部次优轨迹。

这一段今年基本收口了。

离散派的真正优势是复用 LLM 的工程栈,而这个优势在模型越来越往端侧、往高频走的时候,价值在缩水;连续派的优势:平滑和多模态分布,恰恰是精细操作绕不开的。

所以现在新出的模型,动作头默认往连续侧站,剩下的分歧只是“多步积分怎么压成少步”。但这是个工程问题,不是路线问题。

03    时间尺度之争:分层层数还在往上加

第二条矛盾线是时间上的。

VLM 的推理周期在百毫秒量级,机器人闭环控制的刷新频率要到几十甚至几百赫兹。这不是"优化一下就能解决"的差距,是两个数量级的硬冲突。单一模型同时满足两类需求,代价是必有一边让步。

于是系统被拆开。

  • FigureAI推出Helix,它的设计出发点便来自这一工程层面的冲突。

初代Helix用两层架构回应这个冲突:慢的视觉语言主干负责任务理解和高层规划,快的轻量视觉运动策略输出高频关节指令,两者靠共享特征空间异步运行。

但到2026年1月,Figure发布的Helix 02已经把架构推到了三层:System 2负责高层语言推理和场景理解,以约7—9 Hz运行;System 1以200 Hz把感知转化为全身关节目标;新增的System 0以1 kHz负责平衡、接触和全身协调,直接取代了约10.9万行手工控制代码。

▲图 | Helix的system0主要是个whole body control,高阶还是system1,2

这种划分方式把语义认知和底层运动反馈拆开,和人脑皮层负责思考以及小脑协调运动的分工逻辑相近。

Helix公开的演示内容包含双足人形机器人双手协同操作以及多机配合的场景。

这套结构的优势是控制环延时低,高频反馈可以抵消机械扰动还有外部环境的小幅变化。但难点在两套子系统之间的特征对齐,慢系统语义理解出现偏差的时候,快系统会持续跟随错误目标,纠错链路更长,调试的时候需要分别维护两套训练管线。

  • 智平方开发的FiS-VLA在这个方向走得更深。

它没有简单拼接两套独立模型,快子模块嵌入慢子模块内部,二者共享一部分参数,按照不同的频率异步更新计算。慢子模块解析自然语言指令和拆分任务,快子模块实时输出动作,参数共享可以减少两套模块之间特征分布的偏移,不用单独设计复杂的对齐损失。

▲图 | FiS-VLA

其在2026年4月发布Neuro VLA,搭建皮层和小脑以及脊髓三层类脑结构。

▲图 | Neuro VLA架构图

皮层层级承载语义推理,对应原有慢系统;小脑层级负责运动协调,做轨迹平滑还有阻抗适配;脊髓层级处理底层反射信号,接触力超限或者碰撞触发的时候直接输出紧急调整指令。

仿生是它的“外壳”,本质是把快慢分层的思路拆解到更细的计算单元上面。

相比Helix,它的优势是异常响应链路更短,底层反射可以绕开高层推理直接生效。但代价是复杂度更高,三层模块的损失权重还有更新节奏需要大量调参,多模块耦合之后,单一模块升级容易带动整套系统效果波动。

延展阅读:具身机器人控制三层架构:VLM规划、MPC/WBC运动……

这一条没有收口,反而在加速加层。

从两层到三层,下一步大概率是反射层单独硬件化。但每加一层,就多一层"谁的目标错了、错在哪"的调试成本。工程上真正的门槛不在把模块拆开,在拆开之后怎么让它们对同一件事达成共识。

04    大厂多模态外溢:卖的不是模型,是"少建一套栈"

  • NVIDIA的定位最清楚:不做整机,卖整套工具链。

Isaac GR00TN1.6(2026年1月)属于开放类型的VLA,支持人形机器人全身控制,搭配Cosmos Reason组件增强上下文推理。模型主干选用经过机器人交互数据增量预训练的多模态Transformer,动作头支持离散编码以及flow matching两种模式,使用者可以根据硬件条件切换。

配套工具包含Isaac Lab3.0,它用来搭建机器人学习仿真环境,内置刚体还有软体物理求解器,支持批量并行仿真,GR00T-Dreams负责生成合成运动数据,可以按照指令批量生成符合动力学约束的轨迹样本,硬件载体选用Jetson Thor。

▲图 | 英伟达做生态需要大量厂商跟进

  • Google DeepMind走的是同一逻辑的另一面——靠基座能力外溢。

Gemini Robotics 家族依托Gemini2.0多模态模型,把多模态理解能力迁移到机器人交互场景。主干模型原生支持多帧图像,深度图以及文本指令共同输入,时序注意力层维护跨帧状态记忆。

2026年7月它一次性放出三个不同版本。

Gemini Robotics2,面向全身控制场景,统一处理手部和腿部以及底盘的运动建模,所有肢体共用一套特征提取逻辑,行走和操作可以同步调度。

On-Device2,蒸馏后的端侧版本,针对机器人板载算力约束调整,蒸馏过程把大模型的特征分布迁移到参数量更小的网络,原生支持多种机器人本体,借助motion transfer技术,短时间内就可以适配一台新的双臂机器人,迁移过程会冻结语义分支,只微调运动映射层。

ER2(Embodied Reasoning,具身推理),它的输入是连续视频流而不是单帧图像,内部维护任务状态缓存,能够跟踪任务推进状态,检测到异常之后自主修正执行路径,多台机器人可以在同一个空间内协同完成作业。

▲图 | Google Gemini Robotics家族

Google的方案优势继承自基础大模型,长上下文处理和错误恢复的表现优于同期不少竞品,复杂多步骤任务里,模型可以记住较早的观测信息。

整套方案的缺陷是主干模型参数量巨大,原始版本很难部署在普通机器人计算板,推理功耗偏高,同时它高度绑定Gemini基座,外部研究者很难改动主干内部的注意力机制,自定义损失函数的空间有限。

这两家的共同点是:卖点不是“模型更强”,是“你不用自己建一套”。

生态价值随接入厂商数量增长,模型本身只是入口。这也解释了为什么它们对开放底层权重都相当克制——开放的边界,就是商业模式的边界。

05    瓶颈:数据与分布外泛化与端侧

数据供给是这条方向里最突出的约束

人工示教采集轨迹的成本偏高,采集得到的数据很难跨机器人本体复用,不同减速比和传感器噪声会让相同操作对应的关节序列完全不同。实验观测到一类现象,小模型在数据量不足的时候,跨本体迁移带来的信号大多属于噪声,模型参数量扩大并且经过长时间训练之后,跨本体信息才会变成有效学习信号,这个变化和模型容量临界点有关。

行业里面有三类补充数据的路径:

  • 仿真合成:代表项目有GR00T-Dreams
  • 人类视频学习
  • 跨本体数据引擎

分布外泛化:收敛之后,模型会往高频轨迹上塌

模型在和训练样本接近的场景里可以维持不错的成功率,物体摆放姿态或者光照条件出现变化,效果会快速下滑。

flow matching架构的VLA经过监督微调收敛之后,输出容易偏向少数固定模式,也就是模型优先复刻训练集里面高频出现的轨迹,一般依靠训练阶段添加噪声以及推理阶段迭代纠错缓解问题,一旦中间步骤出错,后续偏差会持续放大。

在线强化学习被拿来尝试解决这个问题,flow matching依赖常微分方程做轨迹积分,计算似然值开销很大,梯度回传需要求解器参与,很难在真机上高频更新。

到2026年才出现π-StepNFT这类新方法,它不用critic模块也不计算似然,依靠单步前向传播完成强化学习更新,在LIBERO和ManiSkill测试环境拿到可对比的结果。

不过这类方法现在还停留在仿真验证阶段,真机上的稳定效果还有待更多验证。

端侧实时性带来第三项约束。

VLM骨干网络参数量规模大,很难放进机器人本体有限的计算硬件。机器人板载芯片的算力还有功耗上限严格,高算力运行会带来发热,影响传感器精度。

2026年形成比较统一的应对方式,就是前面提到的快慢分层架构叠加端侧蒸馏,Google On-Device2和Jetson Thor是这条路线里有代表性的产物。蒸馏操作会压缩模型容量,压缩之后会伴随性能衰减,复杂语义任务的理解效果容易下降,开发者需要在延时和任务表现之间取舍。

06    走向:2026 年底的落点

短期的时间窗口内,依靠单一端到端大模型覆盖全部机器人任务的判断已经很少被提起。

落地的系统普遍由慢VLM子系统和轻量化运动策略子系统以及数据生产管线共同组成;闭源厂商偏向搭建开放平台,Google和NVIDIA以及Figure都在拓展配套生态;开源模型承担基础底座的角色,OpenVLA系列支撑很多学术团队和小型创业项目。

中期发展阶段,VLA主干网络内部会增加世界模型预测头。

模型除了输出控制动作,还会给出环境状态随动作变化的预估,依靠预估信息支撑长程规划以及异常预判。GoogleER2已经在这个方向开展验证工作。在一些公开分享中提到,VLA本身更贴近模仿学习范式,学习示教轨迹和观测条件之间的映射,不会天然推演后续环境变化。接入世界模型模块可以补齐这个短板,相比在VLM内部额外增加推理模块,这个方式更自然。

所以到 2026 年年底,VLA 的竞争面其实变窄了。

决定后续差距的核心不在模型架构设计,而在数据。能够低成本产出跨本体可用数据的团队,更有机会复刻大语言模型领域观察到的缩放规律。不同门派的模型结构正在慢慢靠近,拉开差距的地方集中在数据管线的成本和规模,仿真偏差的缩减程度,还有快慢子系统耦合之后的工程稳定性。后续值得跟踪的方向有几处,跨本体数据引擎能不能扩大运行规模,flowmatching动作头蒸馏之后能不能在端侧维持足够高的刷新频率,接入世界模型预测头的VLA在长时序任务里面能不能稳定运行。

这些方向里面任意一项取得实质进展,或许都会改变赛道内部的对比格局。

架构之争已经变成论文里的历史,数据之争才刚开始进入工程现场……

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐