具身智能全栈模型开源:从模型架构演进看数据需求的范式转移

具身智能领域在近期迎来了一次密集的技术发布。某研究团队在四天内连续发布了六款覆盖感知、决策、世界模拟的模型,全部采用Apache-2.0协议开源。这一事件本身具有技术里程碑意义,但更值得关注的是:这批模型的训练数据规格,正在重新定义整个行业对数据采集的认知。

本文将从模型架构演进的角度,系统分析具身智能模型对数据需求的变化趋势,以及这种变化对数据工程层面提出的新挑战。

六款模型的架构谱系与数据规格

这批发布的模型覆盖了具身智能的完整技术栈,从底层感知到高层决策,每一层都有对应的数据需求:

深度估计模型(Depth 2.0) :11亿参数,训练数据为1.5亿帧深度-RGB配对数据。深度估计是机器人空间感知的基础能力,1.5亿帧配对数据意味着需要大规模RGB-D同步采集,覆盖多种光照、材质、遮挡条件。按单工位每天8小时有效采集、帧率10fps计算,单工位需要约214天才能完成全部数据采集。

空间视觉基座(Vision) :采用空间原生预训练策略,将空间理解能力从预训练阶段就内建到视觉特征表示中。这类模型对数据的场景多样性要求极高,需要覆盖足够多的三维空间布局和物体交互模式。

视频生成模型(Video) :MoE架构,总参数量300亿,激活参数量30亿,训练数据7万小时。MoE架构的选用本身反映了一个工程判断——视频生成的计算复杂度在不同场景下差异巨大,简单平移场景和复杂交互场景需要的计算量完全不同。MoE允许按输入动态分配计算资源,而7万小时训练数据则是保证模型在各类场景下物理一致性的基础。

世界模型(World 2.0) :140亿参数,支持720p分辨率@60fps帧率,具备小时级连续生成能力。这个规格意味着它不再是做几秒钟的视频"补全",而是在构建可以长时间运行的物理世界模拟器。对数据的要求从"片段级"升级为"序列级"——需要完整的任务执行过程,而非截断的短片段。

VLA模型(VLA 2.0) :6.38B参数,6万小时训练数据(5万小时真机轨迹+1万小时Ego视频),55维统一动作空间覆盖17家厂商20种构型,稀疏MoE架构,单卡RTX 4090推理延迟130ms。这是整个发布中对数据工程挑战最大的一个模型。

世界动作模型(VA 2.0) :全球首个"具身原生"世界动作模型,从零预训练,采用"语义视觉-动作分词器"架构实现视觉语义与动作语义的统一表征,单卡实时推理频率150Hz,GM-100双臂测试基准进度得分66.2、任务成功率34.4%。

VLA模型的数据工程难题:真机与Ego数据的混合策略

VLA 2.0的数据构成揭示了一个核心的工程权衡:5万小时真机轨迹数据与1万小时Ego视频数据的混合比例。

真机轨迹数据的边际采集成本极高。需要机器人本体硬件、操作环境、人工示教或遥操作,每小时数据的综合成本在数百到数千元区间。但其优势在于数据与模型推理空间的天然对齐——采集时的动作空间就是模型推理时的动作空间。

Ego(第一人称)视频数据的采集效率比真机轨迹高出一到两个数量级。操作人员只需佩戴头戴式或手持摄像设备在真实环境中执行任务,无需机器人硬件参与。但Ego数据存在运动学鸿沟:人体手臂的运动学链与机械臂完全不同,人手的工作空间与末端执行器的工作空间也不对齐。

解决这个鸿沟的技术路径是"动作空间映射"。VLA 2.0设计了55维统一动作空间,将不同构型的机器人动作编码到一个统一表示中:

机械臂关节:14维(双臂各7维)

末端执行器位姿:14维(双臂各6维位置+1维 gripper状态)

夹爪开合:2维

灵巧手关节:12维

腰部/头部/移动底盘:若干维

这套统一动作空间的核心价值在于:一条在UR5e上采集的真机轨迹,经过动作空间映射后,可以直接用于训练人形机器人或协作机械臂。数据的"一次采集、多本体复用"成为可能。

稀疏MoE架构在VLA 2.0中的引入,也与数据分布特性直接相关。不同构型、不同任务类型的数据在特征空间中分布差异巨大,MoE允许不同的专家模块处理不同分布的数据子集,避免单一稠密网络在异构数据上的梯度冲突问题。

VLA与世界模型的技术融合及其数据影响

具身智能决策层面存在两条主要技术路线:

VLA路线:视觉观测直接映射到动作输出,端到端训练。优势是推理链路短、延迟低;局限在于缺乏对物理世界的显式建模,泛化到未见场景时可能出现不合理动作。

世界模型路线:先构建对物理世界内部状态的模拟,在模拟空间中进行规划和推理,再将规划结果转化为具体动作。优势是具备物理常识推理能力;局限在于计算开销大、实时性受限。

将两条路线融合到一个统一模型中(即VA 2.0的设计思路),需要一种能同时编码视觉语义和动作语义的表征机制。VA 2.0的"语义视觉-动作分词器"正是为此设计——它在一个统一的分词空间中,让视觉token和动作token共存,通过因果注意力机制实现从视觉观测到动作序列的推导。

这种融合对数据的需求不是两种数据类型的简单叠加,而是一种新的数据类型:每一帧视觉观测都需要与对应的动作语义精确对齐,同时整条序列需要保持物理过程的连续性和因果一致性。这种"视觉-动作联合序列数据"的采集难度,高于单纯的视觉数据或单纯的机器人轨迹数据。

世界模型的数据需求:从片段到长序列

World 2.0的720p@60fps、小时级连续生成规格,代表了一种新的数据需求模式。

传统的视频生成模型训练数据以短片段为主——几秒到十几秒的视频clip。这种数据相对容易采集和标注,但训练出来的模型只能做短时"脑补",无法维持长时间的物理一致性。

当世界模型的目标变为小时级连续生成,训练数据必须是同样长时段的连续记录。这意味着采集系统需要持续工作数小时而不中断,数据管线需要处理TB级的单次采集结果,存储和预处理系统需要支撑这种量级的数据吞吐。

以"链路延迟"为核心优化指标的数据基础设施设计,正是为了应对这种挑战。从采集完成到数据可用的时间周期,直接决定了模型迭代的速度。一个需要72小时才能完成清洗、标注、格式转换的数据管线,在快速迭代的模型开发流程中会成为严重瓶颈。

统一动作空间对数据流通的影响

55维统一动作空间的另一个重要意义,在于它定义了跨本体数据流通的接口标准。

在没有统一标准的时代,每个机器人厂商的数据格式、动作定义、坐标系都是私有的。A厂商采集的数据无法直接用于B厂商的模型训练,数据在不同硬件平台之间完全隔离。

统一动作空间的出现改变了这个局面。当所有本体厂商的动作都被编码到同一套55维空间中,数据就可以在平台之间流通。一条在协作臂上采集的轨迹数据,经过坐标变换和维度映射后,可以服务于人形机器人的训练需求。

这种数据流通能力的工程实现需要解决几个问题:不同本体的运动学约束差异(工作空间边界、奇异位形分布)、动力学特性差异(负载能力、惯性参数)、以及传感器配置差异(摄像头数量、位置、视野范围)。统一动作空间提供了一个抽象层,但具体的映射算法和约束处理仍然需要针对每一对本体组合进行工程适配。

开源模型对数据生态的影响

六款模型全部Apache-2.0开源,在具身智能领域属于最大规模的全栈开源行动之一。

从技术生态角度看,开源模型会产生两个效应:一是降低入门门槛,让更多团队能基于高质量基座模型进行特定场景的微调;二是扩大测试覆盖面,全球开发者在不同场景下测试模型时,会暴露出模型对更多样化数据的需求。

这两个效应叠加,会直接推动对专业化数据采集服务的需求增长。当模型不再是瓶颈,数据就成了决定最终产品性能的关键变量。特别是VA 2.0这类"具身原生"模型,它需要的是视觉-动作深度耦合的联合数据,这种数据在目前的公开数据集中几乎不存在存量。

数据质量与模型性能的工程实证

以精密装配场景为例。在一个手机部件抓取-放置任务的微调实验中,标准化采集流程产出的数据集与常规采集流程产出的数据集进行了对比。

标准化流程包括:统一光照条件控制、统一动作空间标注格式、多视角同步记录、自动化数据质检流水线。常规流程则没有这些控制措施。

实验结果显示,标准化数据集的体量仅为常规数据集的60%,但微调后模型的任务成功率在相同训练轮次下高出18-23个百分点。在跨场景泛化测试中(更换目标物体型号、改变光照条件),标准化数据训练的模型成功率波动在5%以内,常规数据训练的模型波动超过15%。

这个结果从工程层面印证了一个判断:在数据规模已经很大的前提下,质量维度上的提升比单纯扩大规模更有效。数据质量的保障需要系统化的工程能力——设备标定一致性、标注流程标准化、质检自动化、场景多样性管理。

模型架构演进对数据工程的系统性要求

综合这批模型的技术特征,可以归纳出模型架构演进对数据工程提出的系统性要求:

数据类型多样化:不同模型层需要不同类型的数据——深度配对数据、空间场景数据、长序列视频数据、真机轨迹数据、Ego视频数据、视觉-动作联合数据。数据采集端需要具备多类型数据的并行采集能力。

数据规模持续扩大:从1.5亿帧到7万小时,数据量级在快速膨胀。"千万小时还不够"的判断意味着,当前的数据规模距离模型需求仍有显著差距。

数据质量标准提升:统一动作空间要求标注精度达到维度级一致;世界模型要求序列的物理连续性;VA模型要求视觉-动作的精确时序对齐。

数据流通性要求:统一动作空间的引入让跨本体数据复用成为可能,但也要求数据在采集时就按照统一标准进行编码和存储。

数据管线效率:链路延迟成为核心指标,从采集到可用的时间周期直接影响模型迭代速度。

具身智能的竞争焦点正在从模型架构创新转向数据供给能力建设。这场转变对数据工程的系统性要求,可能比模型架构本身的技术难度更具挑战性。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐