本文围绕2025年最新论文《Learning to Act Anywhere with Task-centric Latent Actions》展开技术拆解，文中所有实验数据与参数均来自原论文对应图表与实验章节。

一、论文概述

基础信息

• 论文全称：Learning to Act Anywhere with Task-centric Latent Actions（UniVLA）
• 发表状态：arXiv 2025年11月更新v3版本，由香港大学、OpenDriveLab、AgiBot团队联合研发
• 核心方向：视觉-语言-动作（VLA）通用机器人策略、无标注隐式动作学习、跨本体技能迁移
• 代码开源：GitHub - OpenDriveLab/UniVLA: [RSS 2025] Learning to Act Anywhere with Task-centric Latent Actions · GitHub

核心问题

当前主流的机器人视觉-语言-动作模型普遍存在两类瓶颈：

1. 数据依赖高：训练需要精确的动作标注数据，无法直接利用互联网海量的无标注视频，数据规模和场景覆盖受限。
2. 本体适配差：策略与特定机器人的动作空间深度绑定，换一套硬件就要重新训练，跨形态、跨场景迁移成本高。 同时，已有的隐式动作学习方法会把相机晃动、背景物体移动、无关环境变化等任务外动态全部编码进去，噪声多、任务相关性差，直接用于策略训练效果不佳。

核心贡献

论文提出一套完整的通用机器人策略学习框架，核心创新分为三层：

1. 任务中心隐式动作学习：两阶段解耦架构，分离任务无关动态与任务相关动作，从无标注视频中提取高质量的隐式动作表示。
2. 统一隐式空间预训练：在统一的隐式动作空间中训练通用策略，兼容操纵、导航等多类任务，适配不同机器人本体，训练算力仅为OpenVLA的1/20。
3. 轻量解码器快速适配：仅需千万级参数的轻量解码器，配合LoRA微调，用少量数据即可快速适配新的机器人硬件。

图 1 UniVLA 跨操纵、导航、真实机器人三类场景的性能总览

来源：Bu et al., Learning to Act Anywhere with Task-centric Latent Actions, arXiv 2025

启元技术关联点

启元当前拥有Q1人形机器人、T1轮足复合机器人两款硬件，同时正在搭建Skill开发者生态，核心痛点正好对应：Skill开发依赖人工调试与标注，效率低；两款产品技能无法通用，重复开发成本高；家庭场景覆盖有限，定制化技能门槛高。 UniVLA的跨本体通用策略、小样本快速适配、无标注视频学习能力，可直接对应启元的技能开发效率提升、跨产品能力复用、开发者生态赋能三个核心需求。

二、核心技术方法拆解

2.1 任务中心的隐式动作学习

该模块是整个框架的基础，核心目标是从连续视频帧中，无监督提取出只和任务相关的动作表示，过滤掉无关的视觉噪声。

（1）特征空间选择

没有直接在像素空间做预测，而是采用预训练DINOv2模型提取图像的patch级特征。DINOv2特征自带物体中心与空间先验，天然过滤了纹理、光照等无关细节，更聚焦于场景中的物体与运动，从输入层面就减少了噪声。

图 2 任务中心隐式动作两阶段训练流水线：阶段 1 学习任务无关动态，阶段 2 学习任务中心动作 来源：Bu et al., 2025

（2）两阶段解耦训练

采用VQ-VAE（向量量化变分自编码器）架构，分两个阶段训练，实现任务无关动态与任务中心动作的分离：

1. 阶段一：任务无关隐式动作学习 输入连续两帧的DINOv2特征 + 语言指令嵌入（T5编码器），训练“逆动力学编码器+前向动力学解码器”。 这一阶段的码本专门编码任务无关的动态，比如相机视角移动、背景物体出现、环境光照变化等。语言指令作为条件，引导模型把任务层面的语义信息排除在这部分码本之外。
2. 阶段二：任务中心隐式动作学习 冻结第一阶段的码本与参数，新增一套任务中心码本。编码器同时输入两套隐式动作token，解码器只用两套token共同预测下一帧特征。 这一阶段新增的码本专门编码任务相关的运动，比如机械臂抓取、机器人移动等核心动作，是后续策略学习的核心基础。

这种解耦设计的价值在于：让隐式动作只保留完成任务必须的运动信息，过滤掉所有干扰项，后续策略学习的效率和准确性都会显著提升，尤其适配来源复杂、拍摄条件不一的互联网视频数据。

2.2 通用策略预训练

基于Prismatic-7B视觉语言模型搭建通用策略，核心设计是把隐式动作作为特殊token融入LLM词表，而不是直接输出底层控制信号。

图 3 通用策略整体架构：VLM 输出隐式动作 token，轻量解码器映射到异构机器人动作空间 来源：Bu et al., 2025

（1）动作空间压缩

把离散的隐式动作码本映射为LLM词表中的特殊token（ACT_1到ACT_C），和语言token混合输入输出。 和OpenVLA直接把连续动作量化映射到词表的方案不同，UniVLA先通过隐式动作做了一轮信息压缩，动作空间大幅减小（从2567维压缩到16⁴），模型收敛更快，预训练算力需求大幅降低。

（2）自回归策略训练

模型输入为当前视觉观测、任务语言指令、历史隐式动作序列，输出下一个隐式动作token，采用自回归方式生成连续动作序列。 训练目标是最小化下一个隐式动作的预测损失，不需要真实动作标签，只用视频数据就能完成预训练。

2.3 部署适配：隐式动作解码

预训练的通用策略只输出隐式动作token，需要通过解码器转换为具体机器人的控制信号，这是跨本体适配的核心环节。

（1）轻量解码器架构

采用注意力池化+线性投影的架构，总参数仅10.8M：

1. 先把视觉特征做注意力池化，提取当前场景的上下文信息；
2. 用视觉特征作为查询，从隐式动作嵌入中提取对应信息；
3. 最终通过线性投影，映射到目标机器人的动作空间。 视觉特征的引入，解决了纯隐式动作解码的歧义问题，比纯自回归解码效果更优。

（2）小样本快速适配

采用LoRA微调方案，只需要少量目标机器人的演示数据，就能快速完成适配。 论文验证：仅用10%的目标场景演示数据，效果就能超过用全量数据训练的传统VLA模型，数据效率提升显著。

（3）历史动作增强

借鉴大模型思维链的思路，把上一步输出的隐式动作token，作为下一步的输入前缀，形成闭环反馈。 只用极少的token数量，就能显著提升长序列任务、导航任务的表现，不需要输入多帧历史图像，算力增加极少。

三、实验结果与性能边界

3.1 操纵任务基准：LIBERO

测试设置：LIBERO基准包含空间、物体、目标、长序列四个任务套件，测试模型的泛化与推理能力；所有方法均使用第三人称RGB图像+语言指令输入。 数据来源：原论文表I

方法	平均成功率	备注
LAPA	65.7%	隐式动作基线
OpenVLA	76.5%	主流通用VLA基线
UniVLA（仅人类视频预训练）	88.7%	无机器人动作标注
UniVLA（仅Bridge-V2预训练）	92.5%	单数据集预训练
UniVLA（全数据预训练）	95.2%	最优效果

核心结论：

1. 跨数据迁移能力极强：仅用人类视频预训练，效果就超过用专业机器人数据集训练的OpenVLA，证明隐式动作可以打通人与机器人的形态壁垒。
2. 数据效率极高：仅用Bridge-V2一个数据集预训练，就超过所有基线方法，说明方案能从有限数据中提取更多可迁移知识。

3.2 导航任务基准：Room2Room

测试设置：VLN-CE基准的Room2Room导航任务，单帧RGB输入，测试室内语言导航能力，指标为预言成功率。 数据来源：原论文图6

方法	预言成功率
Seq2Seq	8.1%
OpenVLA	17.5%
LLaVA-Nav	14.0%
UniVLA	47.1%

核心结论： 同一套隐式动作框架，同时适配操纵和导航两类完全不同的任务，且提升幅度显著。和需要输入全历史视频的NaVid效果相当，但UniVLA仅用当前帧+历史隐式动作token，计算量小很多。

图 4 Room2Room 导航任务预言成功率对比 来源：Bu et al., 2025, Fig.6

3.3 真实机器人实验

测试平台：AgileX Piper 7自由度机械臂，第三人称RGB相机输入；设计存放工具、清洁桌面、折叠毛巾、汉诺塔四个任务，同时测试光照变化、干扰物、新物体三类泛化场景。 数据来源：原论文图5、表II

方法	平均成功率	平均得分
Diffusion Policy	33.3%	1.45
OpenVLA	38.3%	1.63
LAPA	45.0%	1.95
UniVLA（全数据）	81.7%	2.63

泛化场景下，UniVLA平均成功率68.9%，远超第二名LAPA的28.9%，其中新物体场景下成功率达86.7%。 核心结论：真实场景落地性强，对环境变化、物体变化的鲁棒性远高于传统方法，适合非结构化的家庭、商用场景。

3.4 消融实验关键结论

1. 任务中心解耦的价值：和编码全部动态的隐式动作相比，任务中心的方案在长序列任务上成功率提升79.2%，任务无关的隐式动作甚至会导致长任务接近失效。（来源：原论文表III）
2. 视觉辅助解码的价值：加入视觉特征的解码器，比纯自回归解码平均提升2.2%，长序列任务提升42.1%，有效降低动作歧义。（来源：原论文表IV）
3. 历史动作的价值：加入历史隐式动作输入，长操纵任务提升3.9%，导航任务提升16.5%，以极低算力成本换取大幅性能提升。（来源：原论文表V）
4. 数据效率：仅用10%的目标场景演示数据，效果就超过用全量数据训练的OpenVLA，适配新场景的成本极低。（来源：原论文图10）

3.5 局限性与适用边界

1. 动作粒度固定：码本大小与动作粒度预先设定，无法动态调整，超精细操作场景的适配性不足。
2. 本体验证范围有限：主要验证单臂操纵与简单轮式导航，人形全身运动、轮足复合运动的适配效果未验证。
3. 语言依赖：隐式动作的任务相关性依赖语言指令引导，指令过于模糊时，解耦效果会下降。

图 5 真实机器人四类任务平均成功率与得分对比 来源：Bu et al., 2025, Fig.5

四、对启元机器人开发实践的启发

4.1 短期可落地优化

（1）Skill开发工具链升级

借鉴隐式动作+轻量解码器的思路，优化启元开发者工作台的Skill生成流程：

• 在现有桌面端工具中加入“视频转Skill”模块，开发者只需上传几段操作演示视频，无需逐帧标注关节角度，系统自动提取隐式动作并生成可执行代码，降低Skill开发的技术门槛。
• 针对抓取、放置、移动等通用基础动作，预训练一套启元专属的隐式动作特征底座，开发者只需微调解码器头，就能快速生成场景化Skill，开发周期可缩短50%以上。

（2）跨产品技能复用

针对Q1人形机器人与T1变形机器人的双产品矩阵，用统一隐式动作空间打通能力复用：

• 上层通用任务策略共享，底层分别适配Q1的22自由度上肢控制、T1的底盘+机械臂复合控制。同一任务（如“拿起水杯”）只需训练一次策略，分别解码适配两款产品，避免重复开发。
• 建立启元统一隐式动作标准，后续新品类机器人加入时，只需新增对应解码器，即可复用现有全部Skill资产，大幅降低新品类的技能冷启动成本。

（3）小样本定制化能力

面向企业客户与高端定制需求，用小样本快速适配能力降低定制成本：

• 针对特定场景（如展厅导览、办公室递送），只需采集少量演示数据，通过LoRA微调即可快速生成定制化Skill，无需从头训练。
• 配合启元的3D打印定制外壳能力，形成“硬件定制+技能快速适配”的完整定制化方案。

4.2 中长期技术布局建议

（1）家庭服务通用隐式动作库构建

收集多源家庭场景数据，预训练启元家庭服务通用隐式动作底座：

• 数据来源包括：机器人内部测试数据、公开家务机器人数据集、互联网人类家务视频，覆盖抓取、整理、导航、陪护等核心家庭场景。
• 持续迭代优化隐式动作码本，随着数据量增加，通用策略的泛化能力持续提升，对应论文验证的数据可扩展性。
• 这是启元的核心技术护城河：通用底座越强，上层Skill开发越容易，生态壁垒越高。

（2）零样本用户自定义技能

基于跨本体隐式动作的迁移能力，实现用户级别的自定义技能：

• 用户通过APP上传自己做某件家务的视频，系统自动提取任务中心隐式动作，解码成启元机器人的执行动作，无需额外训练，实现“人怎么做，机器人就怎么做”。
• 该能力可作为高端功能点，区别于行业内只能执行预设技能的产品，打造差异化体验。

五、总结

UniVLA的核心突破，是找到了一条“低标注成本、跨本体通用”的机器人智能策略演进路径。用任务中心的隐式动作作为中间层，既打通了海量无标注视频的利用通道，又解决了不同机器人硬件之间的技能复用问题，数据效率、泛化能力、落地成本都显著优于传统端到端VLA方案。

对启元而言，这套方案恰好匹配当前的发展阶段：短期可以解决Skill开发效率低、跨产品复用难的痛点，快速丰富生态内容；中长期可以依托通用隐式动作底座，构建零样本自定义、用户生成技能等差异化能力，拉开和同类产品的差距。