深兰科技DeepTalk|具身智能技术路线全景(2022~2026):从动作表征到世界动作模型

2026年,机器人的评价基准已从单任务操作能力转向对未见环境的泛化能力:能否在一个从未见过的厨房中,仅凭一句自然语言指令完成长程任务。VLA(Vision-Language-Action,视觉-语言-动作)是过去四年这一领域最清晰的技术主线,它自始至终只回答一个问题:如何把互联网规模的语义知识,转化为真实世界中的闭环动作。

1XNEO人形机器人(1X官方产品图)
2022年,Google的SayCan首次让大语言模型参与机器人高层规划:LLM将泡咖啡这一指令拆解为走向咖啡机、拿起杯子、按下开关等子步骤,价值函数对当前环境下各子步骤的可执行性进行评分,两者结合得到既可行又符合指令的动作序列。该方案分工清晰,但存在根本局限:LLM无法感知图像,场景信息被压缩为单一标量,规划与现实之间始终存在人为设计的空隙。

SayCan论文Figure2:价值函数模块(a)依据当前观测为动作原语给出价值空间(b、c),用于判定各子步骤在当前环境中的可执行性
介于两者之间的过渡方案是PaLM-E:Google将图像直接编码进562B参数的具身多模态模型,验证了图像与语言的联合推理能力,但动作仍需下游策略执行,尚未实现端到端输出。
2023年7月,RT-2实现关键突破:将每个动作维度离散化为256个整数,与文本共享同一词表,直接微调55B规模的视觉语言模型,使动作在模型中被视为与文本同构的语言模态,与互联网级图文数据联合训练。VLA这一术语由此确立,机器人首次能够借助语言模型中数以亿计的网络知识推理物理世界。在未见过的任务上,RT-2任务成功率达到62%,约为上一代RT-1(32%)的两倍;代价是推理频率仅1–3Hz,每步仅输出一个动作token,无法支撑高频精细操控。

RT-2论文Figure1:将机器人动作表示为与文本同构的语言模态,与互联网级视觉语言数据联合训练
阶段二(2024):开源复现与连续动作生成
2024年上半年,Octo使用80万条轨迹训练开源通用策略,以扩散头输出动作块,重点验证多本体适配与开放权重。
2024年6月,OpenVLA以同样的256-bin离散化范式开源复刻7B模型(DINOv2+SigLIP视觉编码+LLM骨干),在Bridge基准上以70.6%的成绩反超闭源的RT-2-X,并给出消费级微调方案:LoRA微调仅需约60GB显存,单张A100即可完成训练。开源将这条技术路线的复现成本,从数十万TPU小时直接降至单卡量级。
同年10月,PhysicalIntelligence的π0引入另一种动作表示方案:不再逐token生成动作,而是通过flowmatching一次性生成50步连续动作块,3B参数模型在RTX4090上仅需73ms,单卡即可达到约50Hz。动作表示从离散token转向连续轨迹,并在7种本体、68项任务上首次得到验证,这是VLA发展中最重要的一次范式迁移。

π0论文Fig.3:以预训练VLM为骨干、通过flowmatching输出连续动作块的框架总览
阶段三(2025—2026):基础模型、快慢系统与强化学习
2025年起,核心问题转向长时程家庭部署:如何让模型进入真实家庭并完成持续性任务。各厂商的进展可归纳为五个方面。
·动作生成效率:π0-FAST以DCT+BPE将高频动作压缩至约30token/秒,训练速度提升5倍;代价是token化推理需750ms,约为动作块方案的10倍
·训练配方:π0.5提出混合训练策略,即预训练采用FAST、后训练换回flowmatching,模型首次在约100个真实家庭中完成家务任务;可用环境从13个扩展至87个时,平均任务进度提升数倍
·快慢系统架构:HiRobot与FigureHelix02将快慢系统工程化:高层System2负责任务规划,底层System1以200Hz输出动作;Figure以1kHz的学习控制器替换了逾10万行手写C++控制代码
·长程记忆:MEM采用两级记忆机制(视频编码器+语言摘要)扩展上下文,使模型能够保留数分钟前的交互状态
·强化学习与数据复用:RTC基于inpainting解决边执行边生成时的动作块拼接问题,此后成为π系列训练的标准组件;π*0.6/RECAP引入强化学习:仅需标注单条episode的成功或失败,即可将稀疏奖励转化为上万帧的逐帧监督信号,机器人据此连续执行13小时煮咖啡任务

π0.5论文Fig.3:预训练(FAST)与后训练(flowmatching)两阶段的模型总览
到2026年,规模效益与通用性充分显现:π0.7以5B参数、无需任务微调即可完成叠衣服与煮咖啡;GoogleGeminiRobotics2将VLA扩展至全身人形控制,灯泡更换任务成功率92%,并同时发布ER2(云端强推理)与On-Device2(端侧低延迟)两个衍生模型;FigureHelix02采用S0(1kHz)/S1(200Hz)/S2三层架构,同时实现全身平衡控制与高层任务理解;英伟达GR00TN2转向世界-动作模型(WAM),在未见任务上的成功率较上一代提升一倍以上。

GoogleGeminiRobotics论文Figure1:具身AI模型家族总览:2D/3D检测、抓取点预测等能力叠加于统一多模态大模型(论文2025-03)
平行路线:世界模型的三种路径
VLA之外,还存在一条长期独立演化的技术线:世界模型。其内部又分为三个流派。
Dreamer系最早起步,选择在潜空间中重建世界:以循环状态模型学习环境动力学,再在想象式rollout中完成规划。DreamerV3以一套固定超参数覆盖150+任务并发表于Nature,是潜空间想象训练中最具代表性的动作策略方案。

DreamerV3论文Figure3:在潜空间想象中训练的策略与价值网络,世界模型先学习环境动力学
JEPA系不重建像素,直接在表征空间预测未来。V-JEPA2以约100万小时网络视频完成预训练,机器人即可零样本规划,连续动作长达16秒。轻量方案还包括DINO-WM(冻结DINOv2特征直接规划)与仅15M参数、单卡数小时即可训完的LeWorldModel。

V-JEPA2论文Figure1:以百万小时视频预训练,在表征空间预测未来(不重建像素)
Cosmos系投入最高,以视频生成构建物理先验:Cosmos1动用1万张H100连续训练3个月;到Cosmos3,动作已成为与语言、图像、视频、音频并列的基座模态。

Cosmos3论文Figure1:将语言、图像、视频、音频与动作统一为基座模态
产业侧:三条公司路线
从产业视角看,各公司的技术路线选择可归纳为三类:
·路线A,纯VLA扩展:π系列、GeminiRobotics2、FigureHelix02、智元。核心假设是数据规模与scaling成效仍未见顶
·路线B,VLA+世界模型:1X、Tesla、银河通用。策略网络提供先验,世界模型补充动力学建模
·路线C,世界动作模型:英伟达GR00TN2/Cosmos3、MetaV-JEPA、星海图Fast-WAM。核心假设是掌握世界演化规律后,动作能力将自然涌现
多数公司实际采用混合路线,三条技术线正在收敛。

Figure人形机器人在家中执行整理任务(Figure官方图)

1X官网发布图(1X官方)
深兰的路线判断:大模型智能体驱动的新一代机器人
把VLA与世界模型放在一起看,两者各有侧重:VLA解决的是语义到动作的映射,使机器人能够理解一句自然语言指令并直接输出动作;世界模型解决的是物理直觉,使模型能够先在潜空间或表征空间里推演未来。但两者本质上仍停留在动作生成层,回答的是动作该怎么做,却没有回答一整个任务该由谁来拆解、组织、监督与纠错。
商用机器人真正面对的,恰恰是后一个问题。一次清洁、配送或巡检任务,往往需要把一句模糊的意图拆成几十步可执行动作,中途调用不同工具与传感器,遇到失败后重新规划,并将数分钟乃至数小时前的状态保留在上下文里。任务分解、工具调用、长程记忆与失败自纠,正是大模型智能体架构的核心能力所在。
因此深兰认为,大模型智能体驱动的新一代机器人,比单纯的VLA扩展或世界模型路线更具发展前景:以通用大模型作为任务大脑,负责理解意图、拆解任务、规划与反思;以成熟的运动控制与执行系统作为小脑,负责把每一步动作稳定做出来;VLA与世界模型则作为大脑指挥下的动作增强层,随成熟度逐步接入。这一分工对算力与数据的依赖更低、在商用场景中的落地速度更快、复利周期也更短:机器人可以先靠智能体稳定完成长时程任务,再逐步叠加更强的动作生成与物理预测能力。
·长程规划:VLA以单步或短动作块为主,世界模型聚焦未来状态预测,大模型智能体原生支持任务分解与多步规划
·物理直觉:世界模型最强,VLA依赖数据隐式学习,智能体需借助工具调用与执行层补齐
·数据与算力依赖:端到端VLA与世界模型依赖大规模数据与算力,智能体架构可复用通用大模型能力,对执行层数据要求更低
·商业落地速度:智能体可在现有商用机器人平台上先落地,VLA与世界模型更多作为后续增强层接入
多数公司仍在纯VLA与世界模型之间做取舍,我们的选择是把智能体放在架构中心:先解决机器人能不能规划、能不能稳定执行长时程任务,再解决动作够不够精细、物理直觉够不够准。对商用机器人而言,这是更贴合产品化节奏的一条路径。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)