具身智能之言：

近年来，尽管预训练的视觉-语言-动作（Vision-Language-Action, VLA）模型在机器人控制领域展现出巨大潜力，但让机器人真正掌握新任务仍高度依赖大量、精细标注的动作数据，限制了其实际应用效率。

为突破这一瓶颈，北京通用人工智能研究院联合星尘智能等单位，创新性地提出了一种**以物体为中心的表征微调框架——ControlVLA**。该方法显著提升了机器人在少量示范下的学习能力：仅需10到20次人类操作演示，机器人即可快速掌握倒水、叠衣物、长序列物品整理等复杂多步任务，任务成功率超过75%，相较传统方法提升近4倍，极大降低了训练成本与时间开销。

这一成果充分展现了“通智大脑”在少样本场景下的强大泛化能力和精准执行潜力。研究成果已正式被全球机器人与机器学习交叉领域的顶级会议——**2025年机器人学习大会（Conference on Robot Learning, CoRL）** 收录，并于9月27日在韩国首尔发布。

该技术验证基于星尘智能推出的AI机器人 **Astribot S1** 实现。作为“Design for AI”理念的代表产品，Astribot S1 采用先进的**绳驱传动系统**，模仿人体肌腱的运动机制，通过电机拉动腱绳实现关节的“收缩”与“放松”，赋予机器人类人的柔顺性与高动态表现力。

这种仿生设计不仅实现了刚柔并济的运动控制，还带来了结构轻量化、低摩擦（传动效率超90%）、高回驱性（>80%）等优势，使机器人具备出色的力控精度与柔性缓冲能力。尤其在需要细腻触觉反馈和安全人机交互的复杂任务中，绳驱架构展现出远超传统刚性机器人的适应性与潜力。

ControlVLA 与 Astribot S1 的结合，标志着通用智能体在迈向高效、低成本、真实世界部署的道路上迈出了关键一步。

成果简介

ControlVLA 基于大规模机器人操作数据集对视觉-语言-动作（VLA）模型进行预训练，使其具备模仿人类操作行为的能力。在此基础上，该框架创新性地引入了一种以物体为中心的表征学习机制，并采用类似 ControlNet 的架构，将预训练的 VLA 模型与任务相关的空间语义信息进行高效耦合，从而实现面向具体任务的快速微调（如图1所示）。

关键设计在于，ControlVLA 通过**零初始化一组投影层**，在不破坏原始模型先验知识的前提下，逐步注入以物体为中心的感知信号。这些可学习的条件通路能够精准引导动作生成策略，使模型在仅需极少量示范的情况下，即可适应倒水、叠衣、物品整理等复杂、长序列的操作任务，显著提升了模型的泛化能力与执行效率。

痛点开局：为啥机器人“学完就忘”？

让机器人在真实环境中高效完成操作任务，尤其是在仅有少量人类示范的情况下，依然是机器人领域的一大核心挑战。传统的少样本学习方法往往依赖仿真环境扩充数据[1, 2, 3]，或结合预训练的抓取检测与位姿估计模块[4, 5]来辅助决策。然而，这些方案不仅面临“仿真到现实”（sim-to-real）的巨大迁移鸿沟，而且系统复杂、扩展性差，难以适应多样化的实际场景。

近年来，基于大规模数据预训练的视觉-语言-动作（Vision-Language-Action, VLA）模型展现出卓越的跨任务泛化能力[6,7]，为实现通用机器人策略提供了新的可能。这类模型蕴含丰富的行为先验知识，有望支持机器人在不同任务与环境中保持一致且智能的行为表现。然而，如何将这些强大的通用模型快速、高效地微调至具体任务，特别是在仅有极少量真实演示的数据稀缺场景下，仍是一个亟待解决的关键问题。

尽管已有研究[8, 9]尝试引入--物体中心（object-centric）表征--，通过显式建模任务相关物体的空间属性（如位置、姿态、语义角色），引导模型聚焦于关键交互信息，从而降低对高维视觉输入的依赖，并增强策略对环境变化和噪声的鲁棒性。但此类方法通常仍需数百次演示才能达到理想性能，未能充分释放VLA模型本身所具备的强大先验知识潜力，在真正意义上的“极少样本”条件下依然表现有限。

破局思路：10张图也能“教会”机器人

我们直接把“大模型”当成现成老师，再给它配副“物体瞄准镜”——这就是 ControlVLA。  
做法极简：在预训练 VLA 身上外挂一条轻量级旁路，像 ControlNet 那样只训几层旁支参数，让模型一边守住千亿级别的常识，一边把注意力锁定在任务关键物体上。10 张示范图喂下去，旁路学会“看哪里”，主干保持“会推理”，整个机器人就能在全新场景里零磨合上岗——微调时间砍到 1/4，数据量直奔“个位数”。

、

ControlVLA 的整体工作流程可分为三个关键阶段，系统性地实现了从通用先验到具体任务的高效迁移：

1. 大规模 VLA 模型预训练  
首先，利用涵盖多种任务的大规模机器人操作数据集，对视觉-语言-动作（VLA）模型进行端到端预训练。该模型学习建立从多模态输入（包括环境视觉观测、自然语言指令和机器人本体状态）到动作序列输出之间的映射关系。通过这一阶段，模型积累了丰富的跨任务行为先验知识，为后续在少量样本下快速适应新任务奠定了坚实基础。

2. 物体中心表示的构建与提取 
为了引导模型关注任务中的核心交互对象，ControlVLA 采用 GroundingDINO 与 SAM2 联合对人类示范视频的关键帧进行语义分割与实例追踪，精准识别并持续跟踪任务相关物体，生成一致的物体实例掩码。在此基础上，进一步提取两类关键特征：一是通过卷积神经网络（CNN）捕获的局部几何特征，反映物体的形状与纹理；二是基于正弦位置编码的全局坐标特征，用于表征物体在空间中的中心位置。两者拼接后形成结构化的**物体中心表示**（object-centric representation），作为指导策略调整的关键条件信号。

3. 基于 ControlNet 架构的微调适配  
在仅有少量真实演示数据的情况下，ControlVLA 引入一种类似 ControlNet 的微调机制。具体而言，在预训练 VLA 模型的交叉注意力模块中，新增一组**零初始化的 Key-Value 投影层**，并将上述物体中心表示作为额外的控制条件输入。这种设计使得模型在微调初期保持原始策略基本不变（因初始投影权重为零），有效避免了小样本训练中噪声对先验知识的破坏。随着训练推进，这些投影层逐步学习将物体的空间与语义信息注入决策过程，形成“双重注意力”机制——既保留全局语义理解，又增强对关键物体的感知响应，从而实现稳定、高效的策略适配。

这一三步流程协同作用，使 ControlVLA 能够在仅需 10–20 次示范的情况下，显著提升机器人在复杂任务中的成功率，充分释放了大规模预训练模型在少样本场景下的潜力。

一句话收卷：ControlVLA 把“万能大模型”和“聚物小雷达”焊在一起——零初始化旁路像安全带，先锁住旧本事，再精准注入新目标；结果只用 10 张示范，就能让机器人在复杂长程任务里稳拿 76 % 成功率，数据省 90 %，泛化却翻倍。少样本、高泛化，从实验室一脚踹进现实世界。

实战大考：数据说话，效率翻倍

在实验验证阶段，研究团队基于星尘智能的AI机器人Astribot S1开展了一系列真实场景下的测试，充分验证了ControlVLA框架的强大实用性。实验结果表明，该方法不仅能够高效完成短时操作任务，更具备稳定执行多步骤、长序列等复杂长期任务的能力。

为全面评估性能，研究团队设计了8项贴近现实的应用任务，并在每项任务中仅使用10至20次人类示范进行微调训练（如图3所示）。在此极低数据量条件下，ControlVLA仍实现了超过75%的平均任务成功率，展现出卓越的少样本学习能力与跨任务泛化性能。

在短时序任务的实战大考里，ControlVLA 直接拉满表现：成功率飙升至 76.7%，把传统方法 20.8% 的成绩狠狠甩在身后。无论是刚体摆放、软体玩具收纳、精细活儿（比如放剪刀）、关节物体操作（像开柜门）、可变形物体折叠（例如叠衣服）还是倒水，它都能稳稳拿下，堪称“全能王”。

在 OrganizeToy 任务中，ControlVLA 仅用 20 条人类演示数据便实现了高达 80% 的任务成功率。相比之下，现有方法即便使用多达 100 条演示数据，其表现仍不及 ControlVLA。这一结果充分表明，ControlVLA 显著降低了对真实世界操作数据的依赖，有效减少了数据采集的时间与成本，为机器人少样本学习在实际场景中的应用提供了高效可行的解决方案。

研究团队还把模型拉到陌生战场——从未见过的面包、香蕉、橙子，以及全新的背景环境里测试。结果 ControlVLA 依然硬气，任务成功率稳稳保持在 60% - 70%，这说明它在复杂多变的场景下，依然能稳稳发挥，展现出强大的鲁棒性。

结论

ControlVLA 创新性地通过零初始化的投影层，构建了预训练视觉-语言-动作（VLA）策略与任务关键物体表征之间的稳定桥梁。该设计在不破坏模型通用能力的前提下，逐步注入以物体为中心的结构化信息，实现了在极少量人类示范下的高效、稳定微调。

在真实机器人平台上的实验充分验证了其卓越性能：面对涵盖刚体摆放、可变形衣物折叠以及多步骤长序列收纳整理在内的8项复杂现实任务，ControlVLA 仅使用10–20条演示数据，即达到了76.7%的平均成功率 ，显著优于现有基线方法。

这一成果的核心在于将强大的VLA先验知识、语义清晰的物体中心表示，以及类ControlNet的微调架构有机结合，使机器人能够在低数据条件下快速适应新任务。ControlVLA 为通用智能体在真实环境中的快速部署提供了切实可行的技术路径，有望加速机器人在家庭服务、商业场景乃至工业应用中的落地进程，真正实现让机器人“看懂、听懂、并准确执行”的智能跃迁。

主要作者：清华大学博士生李浦豪、清华大学本科生巫莹莹等。

论文链接：https://arxiv.org/abs/2506.16211