让VLA“看见”自己的身体:HoloBrain如何把具身先验写进架构
HoloBrain 是地平线机器人实验室于 2026 年初开源的一套视觉-语言-动作(VLA)基座模型与全栈框架,旨在弥合基础模型研究与真实机器人可靠部署之间的“最后一公里”鸿沟。它的核心主张可以概括为:让 VLA 模型不再只做“视觉到动作”的黑盒映射,而是显式地“理解”机器人自身的身体结构与空间关系。
🧱 问题意识:VLA 的“具身盲区”
传统 VLA 模型通常将多视角图像和语言指令直接映射为动作,本质上是一个黑盒。它并不“知道”相机装在哪里、机械臂的连杆有多长、关节的运动学约束是什么。这种“具身盲区”导致模型在面对新机器人本体、新视角或复杂三维空间关系时,泛化能力急剧下降,难以从仿真稳定迁移到真机。HoloBrain-0 要解决的核心问题就是:如何让模型在架构层面“感知”到自己的身体,从而获得统一的 3D 空间理解与跨本体控制能力。
🏗️ 核心设计一:将“具身先验”显式写入架构
这是 HoloBrain-0 最根本的创新。它没有把机器人本体信息当作一个可有可无的输入,而是将其结构化地注入到模型的计算过程中。
统一基座坐标系:模型将多视角相机的内外参与机器人的 6D 位姿投影到一个共同的空间参考系中。这意味着,来自不同视角的图像特征不再是彼此孤立的“画面”,而是在一个统一的 3D 空间中被对齐和融合。这使得模型能够学习到对齐的空间表征,并天然支持人类操作视频等异构数据——因为人类演示同样可以被投影到这个共享的坐标框架中。
空间增强器:在上述统一坐标系的基础上,模型进一步利用相机内外参和深度信息,显式地增强对三维空间结构的感知能力,而不是让模型从海量数据中隐式地“猜测”深度和距离。
混合相对动作空间:在输出端,HoloBrain-0 同时预测关节相对转角和末端执行器的相对运动。这种设计兼容了底层的关节控制与高层的位姿控制,使同一个模型能够适配单臂、双臂、移动机器人乃至人形等不同本体形态,而不需要为每种硬件单独设计输出头。
📚 核心设计二:“预训练 + 后训练”的数据策略
为了支撑上述架构,HoloBrain-0 采用了一套系统性的训练范式。
预训练阶段融合了多本体遥操作数据、大规模人类视频以及仿真数据进行联合训练。其核心目的不是让模型记住某个特定任务,而是从这些异构数据中学习隐含的“动作流形” ——即不同身体在执行相似任务时共享的运动规律。据报道,预训练数据整合了来自7 种不同本体的 156 万帧数据。
后训练阶段则针对具体的仿真套件或真实任务进行适配,在 RoboTwin 2.0、LIBERO、GenieSim 等基准上取得了领先结果,并在叠毛巾、折纸盒、叠衣服等长程灵巧任务以及任意物体抓取中展现出良好的稳健性。
📊 两个版本与性能:从端侧到基座
HoloBrain-0 提供了两个预训练版本,定位截然不同:
| 版本 | 主干 | 参数量 | 定位 |
|---|---|---|---|
| HoloBrain-0-GD | GroundingDINO | 0.2B | 端侧部署,极低延迟 |
| HoloBrain-0-QW | Qwen2.5-VL | 1.1B | 更强的通用基座能力 |
关键性能数据:
-
仿真基准:在 RoboTwin 2.0 的 50 项任务中,两个版本的平均成功率均超过 90%,优于现有模型。在部分对比中,HoloBrain-0-QW 的报告成功率达到 91.9%–92.3%,高于 π0 的 91.9% 附近水平。
-
端侧部署:0.2B 版本针对地瓜机器人 RDK S100 开发者套件(80 TOPS 算力)进行了深度优化,实现了 >5Hz 的流畅推理帧率,部分报告中提到延迟可控制在百毫秒级甚至更低。在与 π0.5 的对比中,HoloBrain 在 S600 平台上达到 25fps,而 π0.5 的目标为 10fps。
-
异步推理:配套的 SimplerTC 策略使推理效率提升 30% 以上,同时提高了复杂任务的成功率。
📦 开源的不只是模型:RoboOrchard 全栈基础设施
HoloBrain-0 开源中最具差异化的部分,是同步开放的 RoboOrchard。它提供的不是零散的脚本,而是一条 “数据采集—训练—部署”的全链路交钥匙方案:
-
DataRecorder:图形化数据采集与质量监控;
-
Deploy:可视化标定与实时质量校验,解决真机部署中标定繁琐、轨迹不连续的痛点;
-
Video:功能完备的视频处理工具链。
这使得社区用户不需要重复“造轮子”,就能获得一套可复现、可落地的完整实验闭环。地平线将 HoloBrain-0 的定位明确为“开箱即用的起点”,而非需要从头搭建的孤立模型。
⚠️ 需要看清的边界
第一,它是“基座”,不是“成品”。 HoloBrain-0 提供的是预训练权重和后训练检查点,要在特定的灵巧手或机械臂上达到最优效果,仍然需要用户在自己的数据上进行适配。它的价值在于大幅缩短从零到可用的距离,而不是消除适配步骤。
第二,跨本体能力有前提。 “统一基座坐标系”和“混合相对动作空间”确实为跨本体提供了架构基础,但不同本体的运动学差异(尤其是自由度数量和控制频率)仍然会影响实际迁移效果。0.2B 版本在 RDK S100 上的 >5Hz 帧率是一个可用的起点,但对于需要更高控制频率的灵巧操作,仍需评估是否足够。
第三,性能数据以仿真和特定任务为主。 RoboTwin 2.0 上的 >90% 成功率是强信号,但真实世界的长程任务成功率会受到传感器噪声、物体多样性、环境变化等因素的显著影响。技术报告也将其真实世界结果定位为“strong results”而非“state-of-the-art”。
💬 总结
HoloBrain-0 是地平线 2026 年开源的一套 VLA 基座模型与全栈框架,核心创新是在架构中显式注入“具身先验” ——将多视角相机参数和机器人运动学结构(URDF)融入模型,通过“统一基座坐标系”对齐多视角空间表征,通过“混合相对动作空间”兼容不同本体控制。它提供 0.2B(GroundingDINO)和 1.1B(Qwen2.5-VL)两个版本,在 RoboTwin 2.0 的 50 项任务中平均成功率超过 90%,0.2B 版本可在 RDK S100 端侧设备上以 >5Hz 的帧率运行。同时开源的 RoboOrchard 提供了数据采集、训练、部署的全链路工具。需要看清的边界是:它是需要适配的基座而非开箱即用的成品,跨本体能力有运动学前提,性能数据以仿真和特定任务为主。对我们项目的启发是:让模型显式地“理解”身体结构,比让它在黑盒中隐式猜测,更有可能获得稳健的跨硬件泛化能力;同时,一个具身系统的工程完整性,很大程度上取决于“数据—训练—部署”闭环是否顺畅。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)