2026年11月来自其博客:https://www.liberai.com/blog/liber0/

Liber-0 最有价值的贡献,是把人类动作数据、模型训练和机器人硬件对齐,形成了一条较完整的迁移路线;但现有证据还不足以证明它已具备可靠的通用操作能力,或建立了严格的“规模定律”。

博客报告:模型使用超过 220 万小时的人类经验预训练,结合视频与动作联合预测、手套采集和具身条件表示;所谓零样本,指没有针对测试任务采集机器人示范,并非训练完全没有机器人数据。60 项任务、600 次试验的成功率如下。

测试类别成功率
抓取放置(PnP)63.5%
短程非抓取放置操作34.0%
复杂多步骤操作10.5%
总体36.0%

它的主要贡献

  1. 把“看懂人类视频”到“生成可执行动作”的连接做得更具体。
    视频能展示物体如何变化,却未必给出机器人应该怎样移动。Liber-0 用手套动作监督连接二者,同时让机器人形态和相机视角接近数据采集条件。
    我的评价是,这种系统设计很务实:迁移困难不全是模型容量问题,也可能来自传感器、动作空间和机械结构不匹配。主动改善这些条件,具有实际工程价值。
  2. 为“数据质量比单纯时长更重要”提供了实验依据。
    团队报告,1 万小时手套数据的迁移表现超过 200 万小时网络视频;部分实验还能以更少机器人示范取得更好的成绩,并迁移机器人示范未覆盖的技能。
    这提示数据采集应关注“每单位成本带来多少有效动作监督”。对机器人公司而言,它可能比一味扩大视频库更有指导意义。不过,时长优势不能直接换算成成本优势,仍需计入设备、采集、标定和清洗成本。
  3. 创新更偏向系统整合与验证,定位应当准确。
    视频与动作联合建模已有 DreamZero,按模态分离处理的架构已有 Mixture-of-Transformers,人类第一视角动作预训练已有 EgoScale。因此,不能把这些基本思想都算作 Liber-0 首创。DreamZero、Mixture-of-Transformers、EgoScale
    它更值得评价的地方,是这些已有思路与自有采集设备、机器人平台结合后,能否形成稳定、可扩展的训练体系。系统贡献同样重要,但需要与算法原创性分开讨论。

如图所示从人到机器人的技能迁移。该概念图展示了人类经验与通用机器人操作之间的鸿沟。LEO 所处的领域更接近人类经验;而通过手套设备记录的数据,则架起了一座基于实际动作的桥梁,能够将人类的操作技能迁移至机器人的执行过程中。

如图所示Liber-0 架构概览。语言、视觉和动作领域的专家通过多模态注意力机制进行交互,共同预测未来的帧序列与动作。一个共享的物理编码器(Physical Encoder)整合了状态、具身情境以及带有噪声的动作信息。

如图所示基于手套的、以动作为基础的人类经验采集。左图:可穿戴式采集装置及手套硬件。右图:在各类日常场景中,从胸前视角进行的记录示例,其中叠加了同步的左右手姿态信息。

如图所示LEO 机器人平台。LEO 集成了灵巧手、灵活的腕部关节、可调节的腰部,以及与人类数据采集方式相契合的摄像头配置。

如图所示三个预训练阶段中的数据采样组合。彩色条带表示各数据集的采样比例,阶段分界线将“通用视觉预测”、“世界与动作联合预训练”以及“侧重操作的预训练”区分开来。“视觉理解”(Visual Understanding)指通用视觉理解数据。

如图所示手部形态在不同尺寸、掌宽及常见操作姿态下呈现出多样性。即便姿态名称相同,手部形态的差异也会导致指尖布局各异,进而可能引发不同的操作模式。

主要不足

  1. “零样本”和“涌现”的证据边界需要收紧。
    没有目标任务的机器人示范,不代表没有相似的人类示范、视频、物体或动作组合。因此,还需要回答:新的是物体实例、动作组合,还是整个技能类别?
    同样,展示某种能力并不自动证明“涌现”。若要支持这一说法,应展示随训练规模变化的能力曲线、重复实验和明确的判定标准,排除评分阈值造成的表面突变。
  2. 复杂任务的可靠性仍是核心瓶颈。
    按上述复杂多步骤成功率换算,约九成试验未完整成功。它说明模型开始能够完成某些复杂操作,但不能据此推断已经能够稳定承担实际工作。
    下一步更有价值的指标是:失败发生在哪一步、能否识别失败并恢复、是否需要人工重置,以及连续运行时每小时能完成多少任务。成功演示不能替代这些可靠性指标。
  3. 进度分数不能当作完整成功率。
    博客的数据扩展实验主要采用阶段性进度评分,与上表的任务成功率不同。来源:评测协议
    这种评分有利于观察学习过程,但可能掩盖最后一步的困难。例如,机器人接近、抓住并移动了物体,却未完成最终装配,对业务而言仍可能没有产出。应同时报告完整成功率、耗时和人工介入率。
  4. 现有对照还不足以分离各组件的作用。
    我希望看到控制训练预算的消融:分别去掉未来视频预测、具身表示、语义辅助训练或分阶段训练,收益还剩多少?否则,很难判断提升来自架构、更多训练、数据质量,还是硬件适配。
    还需要在同一机器人、同一数据和同一任务上比较有竞争力的 VLA/WAM。仅靠某个通用推理模型直接控制机器人的对照,难以建立行业领先性。
  5. “形态规模定律”存在混杂因素,跨机器人泛化也需单独验证。
    更多示范者不仅意味着更多手型,还意味着更多操作策略、速度和习惯。要把收益归因于身体形态,需要控制这些因素;要称为“定律”,还需给出拟合、误差范围和外推验证。
    此外,让机器人更像人,是有效的工程策略,但不能自动证明模型能适配任意机器人。更强的验证应是留出一种从未训练过的机械结构,再测量适配所需数据量和性能损失。
  6. 技术披露不足以支撑复现和部署判断。
    博客尚未充分披露模型规模、训练计算量、动作表示和控制频率等关键细节;也把触觉与力监督列为后续方向。
    对接触密集型操作而言,位置轨迹相似并不保证受力正确。插接、拧紧或处理柔软物体时,这一点尤其重要。评估部署潜力还需要推理延迟、算力成本、力控制及长期运行数据。

需要补充的三项验证是:独立团队执行的预先固定任务集;相同数据和计算预算下的强基线与组件消融;未见机器人平台上的迁移测试。这三项能分别回答“能力是否可靠”“提升究竟来自哪里”和“方法能否推广”,也最能决定 Liber-0 是一次有价值的系统展示,还是可普遍复用的技术突破。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐