GigaBrain-0.7——通过三系统架构扩展具身基模至涌现能力：首先VLM理解与规划，接着世界模型给未来预测和进度估计，然后VLA输出对应动作，最后可经验循环(先离线RL，后在线RL)

v_JULY_v

237人浏览 · 2026-10-26 22:02:06

v_JULY_v · 2026-10-26 22:02:06 发布

前言

极佳的模型有三条线

一条线是gigaword，纯粹的世界模型
一条线是gigabrain，底座是vla，但会通过世界模型增强vla
一条是gigaword policy，在世界模型基础上 + policy = 世界动作模型，即WAM

本文介绍第二条线中的最新模型GigaBrain-0.7

第一部分 GigaBrain-0.7: Scaling Embodied Foundation Models toEmergent Capabilities with a Three-System Architecture

1.1 引言与相关工作

1.1.1 引言

如原论文所述，在模型层面，大多数 VLA 仍然以“从观测到动作”的反应式预测为中心，缺乏充分的机制来预判未来状态或评估行为进展。近期的一些系统开始通过生成视觉子目标、基于世界模型条件的策略学习以及预测式训练目标来应对这些问题[28,41,63,78]，但理解与规划、预测性判断、动作执行以及基于经验的改进，仍然只是在整个学习生命周期中部分地被协调起来

因此，构建强大的具身基础模型不仅仅是扩展单一策略的规模——而是需要一个统一的学习系统，在多机体形态的预训练和异质经验的整合基础上，将理解、预测、行动以及来自 rollout 和纠正反馈的持续改进有机结合

为此，来自GigaBrain Team的研究者提出了 GigaBrain-0.7

其paper地址为：GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture
其项目地址为：gigaai.cc/blog/gigabrain07
其github地址为：github.com/open-gigaai/giga-brain-0
————
据该github显示，目前已经发布了
Release the GigaBrain-0.7 technical report.
Release the GigaBrain-0.7 Code, Model and Sample Data

具体而言，这是一套具身基础模型系统，旨在扩展异质化经验规模，并协同实现理解、预测、行动以及基于经验的改进。其基础是一种单阶段、多具身VLA 预训练框架，在一次前向过程中联合训练一个已预训练的 VLM 主干网络、一个连续动作专家，以及多模态理解目标，从而消除多阶段训练流程中常见的优化割裂问题

该模型围绕“三系统”架构进行组织：

系统 1（行动与控制）基于多模态观测、语言指令、本体感受状态以及更高层次的上下文信号，通过 flow matching [48] 生成连续动作块，并采用具身感知的动作专家以适配跨机器人形态的不同自由度与控制模式；
系统 2（理解与规划）通过时间上下文建模解释当前与历史视觉观测、跟踪任务进度，并通过分层提示将长时程指令分解为可执行的子任务；
系统 3（预测与评估）采用世界模型预测未来视觉状态（子目标图像）并估计状态价值，为系统 1 提供两种互补的条件接口

这三个系统通过结构化的语义、视觉以及基于价值的接口进行通信，同时保留各自的专门目标

在数据层面，GigaBrain-0.7 在超过 37,000 小时的精选具身轨迹数据上进行预训练，覆盖 16 种机器人形态以及约 2.7 亿个视觉－语言样本

所有轨迹数据均通过统一的处理流程进行标准化，包括转换为LeRobot v3.0 [7]格式、跨形态的状态-动作归一化、基于大语言模型的语言指令重写与子任务标注，以及多阶段的质量控制
在 KnowledgeInsulation（知识隔离）[20] 的基础上，作者采用 Soft Knowledge Insulation（Soft KI，软知识隔离），其做法是削弱而非完全阻断进入 VLM 主干网络的动作梯度，从而在保持通用视觉-语言能力的同时，使模型能够以可控方式适应具身控制

最终

在 GigaBrain-0 [27] 的基础上
该工作将世界模型引入为可扩展的数据引擎和具身推理监督
详见本博客中的解读《GigaBrain-0——通过世界模型GigaWorld增强VLA的泛化能力：基于RGBD输入建模，及通过具身CoT增强推理能力》
以及 GigaBrain-0.5M* [28] 的基础上
该工作通过 RAMP 提出了依赖世界模型条件的策略学习
详见本博客中的解读《GigaBrain-0.5M*(可对标π∗0.6)——从基于世界模型的RL中学习的VLA：通过“预测的价值和未来状态、经验数据、人工纠正”优化动作策略》

GigaBrain-0.7 将这一系列扩展为一个覆盖数据筛选、预训练、规划、预测、执行与持续改进的协调学习系统

1.1.2 相关工作

首先，对于视觉-语言-动作架构

近年来，预训练多模态模型的进展显著推动了通用机器人控制用视觉-语言-动作（VLA）模型的发展[5,6,9,23,27,39,40,56,62,78,79,86,87,89]。这些模型将大规模视觉-语言表征扩展到物理动作层面，但在动作如何表征以及动作生成如何与预训练 VLM（Vision-Language Model）耦合的方式上存在显著差异

从这一视角出发，现有架构大致可以归纳为三大类：自回归的“VLM 作为 Actor”模型、串行（级联式）的 VLM–动作专家模型，以及并行的 Transformer 混合体（Mixture-of-Transformers, MoT）模型

自回归式动作生成
第一类方法通过将连续动作表示为离散的token序列，将 VLM 的原生自回归接口扩展到机器人控制领域
RT-2 [6] 和 OpenVLA [39] 通过下一token预测来预测机器人动作token，使VLM 本身充当动作生成器

后续工作在动作tokenization的效率和表达能力方面进行了改进
FAST [60] 通过频域压缩来利用时间冗余，而基于学习的tokenization方法 [19,44] 则学习到连续动作序列的紧凑离散表示

Galaxea G0.5 [23] 进一步沿这一方向推进，提出了一种跨载体（cross-embodiment）动作标记器，使得推理token和动作token可以在单一自回归Transformer 流中生成
————
这些方法保留了语言建模与物理动作之间的直接接口，但随着控制频率、预测视野和动作维度的增加，序列式token解码的代价也不断攀升。因此，OpenVLA-OFT [40] 探索了并行解码、动作分块以及连续动作表示，以更高效地在下游任务中适配自回归的 VLA 主干
串行（级联式）VLM–动作专家耦合
第二类方法将多模态推理与连续动作生成分离开来。与其要求 VLM 本身解码低层级控制，这类架构将预训练 VLM 用作多模态上下文编码器，并连接一个单独参数化的动作解码器或动作专家（Action Expert）

具有代表性的级联或解耦式设计包括 GR00T N1[56]、Gemini Robotics [25] 和 Qwen-RobotManip [87]。在这种范式下，视觉-语言表示首先由 VLM 构建，随后通过显式特征接口被运动生成器使用。以 Qwen-RobotManip 为例，它采用一个 flow-matching DiT，其各个 block 对来自最终 VLM 层的视觉和语言表示执行交叉注意力
——
这类模块化设计使动作模块能够专注于连续控制，而其有效性则在很大程度上取决于通过 VLM–动作接口所暴露的信息
并行 Transformer 混合模型
第三种且日益常见的方向是保留一个专门的连续动作专家，同时通过Mixture-of-Transformers 架构[5, 9, 27,62, 63, 79, 86, 89] 将其与视觉-语言骨干网络进行更深度的耦合

π0 [5] 通过分块因果交互和flow-matching动作生成，建立了具有影响力的VLM-动作专家框架。同一架构谱系在π0.5 [62] 和π0.7 [63] 中得以扩展，引入了异构预训练、分层任务条件、观测历史以及更丰富的上下文条件

GigaBrain-0 [27] 同样将一个预训练的VLM 与连续动作专家在MoT 框架中进行结合，并配合RGB-D 感知、具身Chain-of-Thought 监督以及Knowledge Insulation [20]

Wall-OSS-0.5 [86] 引入了逐层的VL 和动作专家，具有联合注意力与端到端梯度流，而HyVLA-0.5 [89] 将具身原生的MoT 骨干与flow-matching 动作专家及紧凑时间记忆相结合

Xiaomi-Robotics-0 [9] 和Xiaomi-Robotics-1 [79] 也采用VLM-DiT MoT 架构，将flow-matching 动作生成条件化在VLM 表征和KV 缓存之上
————
尽管这些模型在注意力路由和梯度耦合上存在差异，但它们共享一个共同的设计原则：一个预训练的VLM与一个专用的连续动作专家配对，不同的架构在这两个组件之间暴露出不同程度的交互。若干最新系统还将视觉历史纳入策略上下文中
$\rightarrow$ HyVLA-0.5 [89] 引入了一个用于时空上下文的紧凑记忆编码器
$\rightarrow$ 而π0.7 [63] 将多帧观测历史纳入上下文条件策略学习
$\rightarrow$ GigaBrain-0.7 在连续动作生成方面遵循并行VLM-动作专家的方向，同时为理解与规划，以及未来状态预测与评估，引入了独立的功能接口

其次，对于VLA 训练范式

除了体系结构之外，VLA 系统在整个模型生命周期中引入和优化视觉-语言理解以及机器人动作生成的方式也存在显著差异。训练方案从分阶段适配（在这种方案中，表征学习与连续动作优化相互分离）到越来越多的联合式设计不等，在联合式设计中，会在同一个 VLA 预训练阶段内同时优化视觉-语言目标和动作目标

第一个，多阶段预训练 vs. 单阶段预训练

大多数VLA 从预训练的视觉-语言模型初始化，随后加入具身和动作监督，但在优化过程中对这些目标进行区分的程度不同

早期的自回归方法，如RT-2 [6] 和OpenVLA [39]，通过动作token预测将预训练的多模态表征适配到机器人控制上

π0.5 [62] 采用分阶段的训练方案，在广泛的预训练阶段使用离散token表示机器人动作，而在后训练阶段引入流匹配的Action Expert 用于连续动作生成
Xiaomi-Robotics-0 [9] 进一步将VLA 预训练分解为两个优化步骤：
首先在视觉-语言和机器人轨迹监督上联合训练VLM
随后在训练流匹配的DiT 时冻结VLM
Xiaomi-Robotics-1 [79] 同样采用显式的预训练-后训练方案，在超过10万小时的真实世界UMI轨迹上进行预训练，使用自动生成的状态转移语言，并将所学到的能力与机器人实体和指令性任务说明对齐

另一条互补的研究方向是在同一阶段的 VLA 预训练中日益统一视觉-语言与动作目标

GigaBrain-0 [27] 在一个统一的目标下联合优化具身推理、离散动作预测以及连续流匹配（flow-matching）动作生成

Wall-OSS-0.5 [86] 提出了一种单阶段、由梯度桥接的协同训练方案，在同一框架下联合优化多模态交叉熵、动作 token 预测以及连续流匹配
Qwen-RobotManip [87] 强调跨数据源对齐是将异构操作数据在不同表征、运动形式和行为之间进行扩展的前提

LingBot-VLA 2.0 [78] 进一步将预训练规模扩展到约 60,000 小时的具身数据，覆盖多样的机器人形态配置以及第一视角的人类体验

GigaBrain-0.7 延续这一联合训练方向，并将其扩展到异构、多具身体（multi-embodiment）数据，在同一VLA 预训练阶段联合优化通用视觉-语言监督、层级任务预测、离散动作表征以及连续动作生成

第二，对于针对特定任务的后训练

大规模预训练建立了具有广泛可迁移性的表征和操作先验，而后训练则将这些能力专门化到目标载体、任务和部署条件上

π0.5 [62] 在后训练过程中引入了连续流匹配的动作生成，并在高质量、与任务相关的机器人数据上对预训练模型进行专门化
OpenVLA-OFT [40] 通过并行解码、动作分块以及连续动作预测，研究了自回归VLA 骨干网络的高效下游微调
Xiaomi-Robotics-1 [79] 在后训练阶段使用跨载体的机器人数据，以对齐UMI 预训练能力与机器人载体及命令式指令
HyVLA-0.5 [89] 同样通过监督微调将其预训练模型专门化到目标机器人载体，然后再进行后续的强化学习优化

总体而言，这些方法将后训练确立为连接通用预训练与高精度下游机器人行为之间的重要桥梁

第三，对于强化学习

有监督的后训练仍然受限于示范数据所涵盖的状态分布及行为质量，这促使人们利用策略自行生成的经验以进一步提升性能

因此，近期工作将 VLA（视觉-语言-动作）学习扩展为在模拟或真实机器人 rollout 之上进行强化学习

VLA-RL [52] 和 SimpleVLA-RL [46] 探索在环境反馈的基础上，对预训练 VLA 进行直接强化学习更新
而 Z-1 [10] 则为基于流（flow-based）的 VLA 构建了一个基于 GRPO 的后训练框架，通过前缀式 rollout 构造与“成功感知”的奖励设计来进行训练
RLToken [80] 则是将预训练 VLA 中的一种紧凑表征暴露出来，用作轻量级在线 actor–critic 优化的接口
其他方法更多地利用离线经验、优势（advantage）信息或偏好监督
AWR [59] 在离策略经验上执行优势加权回归，而π*0.6[61] 引入了 RECAP（通过优势条件策略实现的带有经验和纠正的强化学习），该方法通过优势条件化，从示范数据、on-policy 交互经验以及专家纠正中进行学习

GigaBrain-0.5M* [28] 提出了 RAMP，其中由世界模型预测的未来状态和价值用于对策略进行条件化微调，并与人类参与（human-in-the-loop）的 rollout 经验迭代结合。HyVLA-0.5 [89] 提出了 FlowPRO，这是一种无 critic、无奖励的、基于 PRO 的离线强化学习方法，可从成对的失败轨迹和纠正轨迹中学习

总体而言，这些方法将 VLA 的自适应能力从静态模仿推进到基于策略生成经验与纠正反馈的闭环学习

GigaBrain-0.7在这些方向之上进行扩展，引入了专门用于预测与评估的System 3

System 3被单独预训练，用于以机器人为中心的未来状态预测与任务进度估计。其预测得到的子目标图像以及由价值函数导出的进度信号，随后在任务特定的VLA后训练阶段，作为额外条件输入
推理时，策略在正向进度信号的条件下生成连续动作，从而引导动作生成过程，而无需显式地对候选动作进行打分或选择
由此产生的设计实现了对预测建模、条件化动作生成以及后续基于经验的精炼之间的协调，同时保留了用于理解、预测和行动的专门目标

1.2 数据

为支持 VLA 模型在开放世界环境中的指令理解、视觉感知以及连续控制能力，作者构建了一个由多源数据组成的训练语料库，包括具身轨迹数据与视觉-语言数据

具身轨迹数据提供状态–动作序列、交互过程以及机器人控制监督；
而视觉-语言数据则保持模型的一般视觉-语义能力，并进一步强化其空间关系推理、目标定位、可供性预测以及任务理解能力

这两类数据在训练过程中提供互补的监督，从而缓解仅使用动作数据训练时可能出现的视觉-语言能力退化问题

1.2.1 数据集构成

训练语料库由两大部分组成：具身轨迹数据和 VLM 图文/问答数据

清洗后，具身轨迹语料库包含 37,256.98 小时的数据，来源于真实机器人、Universal Manipulation Interface(UMI) 演示 [16]、以自我视角采集的 (EGO) 人类演示、仿真数据以及世界模型生成的(WM) 数据
这些轨迹主要提供状态–动作序列、交互过程以及机器人控制监督
与此并行，作者构建了 271,976,674 个 VLM 图文/问答样本，覆盖图像描述、通用视觉问答、空间关系推理、区域指认、点预测、可供性理解以及机器人任务理解等任务
————
该多模态语料既保留了广泛的视觉–语言能力，又为具身任务提供了语义与空间层面的监督
真实机器人轨迹是连续动作监督的主要来源；UMI 和 EGO 数据在近距离操作视角和第一人称人机交互先验方面提供补充；而仿真和 WM 数据则为受控环境、长时序任务以及特定目标分布提供互补样本

第一，对于真实机器人数据

真实机器人语料库由内部部署的机器人数据以及大规模真实世界机器人数据集（包括[2,3,22,36,58,77]）构建而成。经过清洗和标准化处理后，该真实机器人语料库覆盖了 16 种机器人类型、1,810,101 个 episode、2,077,837,071 帧，总时长为 20,535.65 小时。Maker H01、Maker M01、Agibot-G1、AgileX、Ark 和 Galaxea R1 Lite 构成了主要数据来源，而 Franka、UR5、Realman RMC-AIDA-L 以及其他平台进一步扩展了跨机体形态和跨硬件的覆盖范围
这种数据分布为在不同自由度、末端执行器以及运动形式之间学习动作模式提供了基础。表 2 给出了按机器人类型划分的详细统计信息

第二，对于UMI 和 EGO 数据

UMI 语料库由内部的 Maker U01 演示数据和 Jianzhi 10K 数据集 [26] 构成。清洗之后，其总时长为 8,251.83 小时，其中包括 6,876.25 小时的内部数据和 1,375.58 小时来自 Jianzhi10K

该数据源从接近操作视角采集了大规模的人类操作示范，在视觉上与腕部安装或末端执行器附近的机器人摄像头所获得的局部观测相似

因此，它通过监督手眼协调、局部空间几何和物体接触关系，对真实机器人轨迹进行补充
在清洗之后，EGO 语料库共包含 2,862.36 小时的数据，由内部的 Maker E01 数据与 EgoDex[35]、EgoVerse [64] 以及 World in Your Hands (WiYH) [91] 组合而成

由于第一人称人类视频与安装在机器人上的摄像头具有相似的观察视角，它们能够提供更广泛的物体类别、操作场景以及人类交互先验，从而强化对真实操作过程的语义理解和时间建模
表 3 总结了 UMI 和 EGO 数据的构成

第三，对于仿真与生成数据

为补充物理采集的轨迹，作者进一步通过两条互补的数据管线构建了 5,607.14 小时的仿真与生成数据

仿真子集包含 1,453.92 小时的轨迹，这些轨迹来自可配置的基于物理的环境，其中包括从文献 [15,24,31,33,54] 精选的高质量轨迹
而由世界模型生成的子集则贡献了 4,153.22 小时的数据，这些数据由真实交互样本推导生成

两种数据源分别针对互补的场景：

仿真提供了对任务与场景配置的可控覆盖，适用于那些在真实机器人上复现成本高或难度大的情况；
而生成数据则扩展了现有真实交互数据在视觉与语境上的多样性

二者结合，可以更好地覆盖长尾交互条件，同时减少在真实硬件上反复采集罕见或涉及安全风险情景的需求

第四，对于VLM 图像-文本/问答数据

除了具身轨迹数据之外，作者还构建了 271,976,674 个基于 VLM 的图像-文本/问答样本，其中包含 15,234,327 个自采样本，用以保留基础的视觉-语言能力，并强化机器人任务所需的空间理解、目标定位和可供性推理能力。该语料库涵盖图像描述、通用视觉问答、多图推理、区域定位、点位预测、空间关系推理、机器人任务理解以及可供性学习等内容

标注数据包括 [11,47,67,68,84,85]，以及由 [4] 转换而来的图像-文本样本，用于为开放词汇识别和图像级语义描述提供监督
通用 VQA 数据包括 [18,21,30,43,49,72,76]
具身相关的专用数据包括 [13,42,45,73,81,88,93]，用于增强机器人场景中的空间指代、目标定位、可操作性判断以及与轨迹相关的推理能力

1.2.2 具身轨迹数据处理流水线

来自异构来源的机器人轨迹与人类操作数据在存储格式、机器人自由度、坐标系定义、动作频率、相机命名、语言标注粒度以及质量分布等方面存在显著差异。为实现对这些数据源的稳定联合训练，作者构建了一套统一的具身轨迹处理流水线，用于将原始数据转换为标准化表示，并在导出前执行多阶段质量控制

第一，对于数据格式转换与元数据组织

作者首先将原始数据转换为统一的训练存储格式。对于 LeRobot 数据集，所有样本都被标准化为 LeRobot v3.0 格式，从而提升数据加载效率，并统一组织 episode、frame、observation、action 和 language instruction 等字段
在转换过程中，作者还整理了数据集来源、机器人类型、任务描述、摄像头列表、采样频率、状态维度、动作维度以及清洗标记等信息，使后续训练可以根据数据来源、机器人形态和任务类型进行精确的过滤与采样

第二，对于统一的机器人表示

为了解决不同机器人实体在自由度数量和传感器配置上的不匹配问题，作者构建了一个统一的机器人状态与动作表示方式
其维度顺序依次为左臂、右臂、头部、腰部以及底座或腿部，同时保留关节空间和末端执行器空间两个字段，以支持不同形式的监督信号

在这种表示下，关节状态、末端执行器位姿、夹爪状态、底座速度以及相机观测被组织成一种可复用的标准格式
缺失的运动组件则用掩码或占位维度，避免针对单个机器人形态的具身特定数据格式
由于各平台的相机命名和安装方式也不尽相同，预处理会将每个来源的相机场映射到标准化的相机定义，同时保留原始相机名称以便追溯

第三，对于语言指令重写与子任务标注

原始任务指令往往存在命名不一致、混用多种语言、描述粒度参差不齐，或与实际任务对应关系较弱等问题。例如，同一个机械臂或夹爪在不同数据源中可能被称为左/右/双夹爪或手；部分中文指令需要与英文训练语料对齐；还有一些样本只包含场景级词语而缺乏可执行的任务描述
为了解决这些不一致性，作者采用了一个由大模型辅助的指令标准化流程

即首先通过基于规则的方法抽取指令，再利用 GLM-5.1 [29] 将其重写为规范化的任务指令，并将归一化后的指令写回数据集，之后再进行人工抽查

为了提升对长时间跨度任务结构的建模能力，作者进一步构建了子任务级标注
$\rightarrow$ 对于机器人操作视频，作者使用多模态大模型对操作过程进行时间上的分段，并生成原子级子任务描述；
$\rightarrow$ 对于任务边界不清晰或模型标注不稳定的样本，则通过人工标注和审核进行进一步修正

第四，对于多阶段数据清洗

清洗阶段会筛除或修正数值异常、长时间静止片段、运动学不一致性以及与训练分布不符的异常样本

首先，进行 q01/q99 极值过滤
由于在训练过程中使用了分位数归一化，极端离群值会显著拉伸归一化区间，并将正常的动作信号压缩到一个很窄的范围内，从而使优化过程变得不稳定
————
因此，作者针对每种机器人类型和每个动作维度独立计算第 1 和第 99 个百分位数，并移除超出该有效范围的异常帧或轨迹
其次，作者移除长时间的静止片段
作者计算帧间状态差异，将每个维度按对应关节活动范围进行归一化，然后计算整体的L2 变化幅度
当该幅度低于预设阈值时，相应的帧对被归类为静止；连续的静止帧对被合并为静止片段
该过程减少了冗长且无信息量的空闲时段比例，并将训练重点放在有效的交互行为上
继承 Qwen-RobotManip [87] 的做法，作者执行末端执行器姿态一致性校正
对于训练语料中涉及的每一种机器人类型，作者收集其对应的 URDF 文件，对齐基座坐标系，并手动配置末端执行器参考点，从而在不同形体之间统一末端执行器姿态的定义
作者将异常的训练损失用作额外的过滤信号。在早期预训练阶段，作者记录样本级和数据源级的损失分布

如果某些轨迹持续产生异常偏高的损失，或出现较大的损失尖峰，作者会将其追溯到原始视频、动作序列和语言标注，以识别时间错位、动作不连续、指令错误或视频损坏。经确认的异常样本随后会被加入过滤列表

第五，对于UMI 数据处理

对于 UMI 演示数据，作者首先对多相机图像进行同步，并统一处理手柄位姿、夹爪状态以及主机端时间戳，从而确保视觉观测与操作轨迹在时间上的一致性
————
采集系统依赖同步的多相机曝光与触发机制，而手柄位姿与夹爪开合信号通过有线连接进行记录，为后续的跨模态对齐、轨迹重定向以及可执行性验证提供共同的时间基准
为进行质量控制，作者根据轨迹的平滑性、信息密度、跨模态一致性以及具身可执行性对原始片段进行筛选

且会移除存在姿态丢失、快速抖动、长时间静止不动，或投影后手柄运动与视觉观测之间明显不一致的样本。保留下来的轨迹随后被映射到 Maker H01 末端执行器工具中心点（Tool Center Point, TCP）坐标系，并通过逆运动学求解、基于仿真的可执行性检查以及在真实机器人上的采样回放进行验证

完成处理后，UMI 数据被组织为统一的训练样本，其中包含视觉观测、末端执行器动作、时间戳以及任务语义信息，并与真实机器人的数据联合用于策略学习

第六，对于EGO 数据处理

EGO 数据补充了人类操作的第一人称示例，使模型能够观察到人手如何接近目标物体、建立接触，并完成移动、放置或打开物体等动作

作者首先在视频层面进行质量筛选，移除那些没有清晰手–物体交互、存在帧损坏、长时间静止、严重遮挡，或拍摄视角不适合理解操作过程的片段

这样可以确保保留下来的片段能够清晰呈现手部、目标物体以及由此产生的操控结果
随后，对视频帧、相机参数、手部轨迹以及已有的动作标注进行标准化处理

作者在不同数据源之间统一时间戳、坐标系和字段格式，使视频观测、手部运动和动作标签能够按时间顺序组织成与机器人轨迹一致的训练样本。对于包含手部关键点或手部轨迹的数据，且组织手部位置的时间演化过程，并将其与接触或操纵的目标物体关联起来

对于缺少手部或物体位置标注的样本，作者利用相机轨迹估计、手部姿态估计或已有标注来补充交互位置、目标物体及其相对空间关系
经过上述处理后，EGO 样本被作为当前观测输入训练，并与语言描述以及未来动作或手部运动轨迹配对，从而增强模型对第一人称操控过程、手–物体接触关系以及近场空间交互的理解

1.2.3 仿真与生成数据

真实机器人采集能够提供具有物理基础的交互数据，但仅依靠物理采集来扩展对罕见、长尾或安全敏感情景的覆盖仍然成本高昂

因此，作者使用两条可扩展的生产级数据管线来补充真实世界数据：

基于世界模型的视频泛化
基于物理的仿真

这两条管线合计为具身预训练语料贡献了5,607.14小时的数据

首先，对于基于世界模型的数据生成
生成流程从精心筛选的真实交互样本开始，并通过基于提示条件的视频生成来扩展其场景和视觉条件
————
生成任务由源交互以及可配置的场景与生成条件共同构建，从而产生额外样本，这些样本在拓展训练数据分布的视觉与环境覆盖范围的同时，仍然保留其底层交互语境
生成完成后，所得样本被纳入与其余具身语料相同的数据管理与质量控制框架之下进行组织
其次，基于物理的仿真
与此同时，作者从可配置的机器人、物体和场景资产构建仿真任务。每个任务都在一个基于物理的环境中实例化并执行，从而生成在时间上连续一致的交互仿真数据
与物理实物采集相比，该流程为那些在真实硬件上难以频繁或安全复现的配置，提供了一种可控且可重复的交互经验来源

最后，对于互补的长尾覆盖

这两个流水线具有互补的用途。基于世界模型的生成在保留真实交互样本视觉与行为上下文的同时，扩展了其多样性；而基于物理的仿真则能够对任务和场景配置进行显式控制。二者的结合拓宽了对长尾交互条件的覆盖范围，并提供了超出仅依赖实体机器人所能高效收集到的额外经验

1.2.4 VLM 数据处理与标注

第一，对于VLM 数据处理流水线

VLM 语料库结合了公开的图像-文本 / 问答数据集、转换而来的视频-文本资源、具身场景特定的VLM 数据集，以及基于作者自身轨迹数据自采集的具身标注

且将所有数据源统一处理为可直接用于训练的多模态对话格式
整个流程包括标注格式统一、图像质量控制和样本结构校验，以在训练前确保文本字段、图像文件、视觉占位符、对话角色顺序以及任务元数据的一致性
在标注格式统一过程中，根据任务类型，将图像描述、单轮问答、多轮问答以及具身特定监督信息映射到统一的对话表示中，并为需要视觉输入的样本保留相应的图像占位符

此步骤减少了不同数据源之间的格式差异，并使其能够直接集成到下游训练框架中
在图像质量控制阶段，作者检查图像的可读性、分辨率、长宽比、颜色模式以及内容有效性，对可修复的样本进行标准化处理，移除缺失、损坏或信息量不足的样本

在最终导出之前，作者进一步验证字段完整性、图文路径一致性、对话角色顺序以及文本非空约束，从而生成在结构上保持一致且经过质量控制的 VLM 训练数据

第二，对于具身 VLM 标注流水线

除了汇总公开的 VLM 数据集外，作者还从清洗后的真实机器人数据、UMI 数据和 EGO数据中生成自采集的具身 VLM 标注
且提取关键帧、短视频片段、历史观测时间窗，以及对应的任务指令或轨迹上下文，并将它们组织成可被多模态模型处理的标注单元
随后，使用 Qwen3.6-27B [66] 进行大规模批量标注
遵循 [9] 中的标注策略，模型会抽取中间的结构化状态信息，包括物体实例、可交互部位、空间关系、视角信息、任务阶段以及动作意图，并在此基础上进一步构造 VLM 监督样本

第三，对于可供性预测

对于可供性预测任务，标注流程侧重于识别物体及其部件的可交互属性，包括可抓取区域、可按压或可拉动组件、可放置区域，以及与任务目标相关的可操作物体
多模态模型从图像或视频中的物体状态生成候选交互区域及相应的语言描述
随后，这些标注被转化为用于目标定位、组件识别、可供性判断以及放置区域选择的监督信号，从而使模型能够学习物体功能、操作约束与局部可达空间之间的对应关系

第四，对于空间理解

对于空间理解相关任务，标注流程会构建物体之间以及物体与观察者之间的空间关系

对于具有深度信息、多视角观测或相机参数的数据，优先利用几何信息来为相对位置、邻近性、遮挡、包含以及自由空间生成监督信号
对于仅有 RGB 的图像或第一人称视频，则通过结合视觉线索与模型推理生成候选空间关系
随后再通过基于规则的一致性检查进行筛选

这类数据主要用于构建空间关系判断、指代表达定位、区域对齐以及空间可行性问答等样本

第五，对于高层任务规划

对于高层任务规划类任务，标注数据由真实机器人轨迹、UMI 近距离操作演示以及 EGO第一人称人类操作视频构成，重点标注任务阶段、当前子任务、下一步动作以及任务完成状态
多模态模型对连续视频片段进行时间维度理解，并生成当前状态摘要、子任务标签、动作前后关系以及合理的下一步操作
这些结构化标注进一步被转换为下一步动作预测、任务进度判断、动作后果预测和目标一致性问答样本，从而为长时序任务理解与高层规划提供监督

第六，对于质量控制

为减少自动生成带来的噪声，作者在数据生产后实施多层级质量控制

首先对样本进行自动过滤，检查其几何一致性、目标唯一性、时间一致性以及答案格式合规性
对于低置信度样本、答案非唯一样本以及语义上存在歧义的样本，作者进一步选取出来进行人工抽检复核
保留的样本随后被转换为统一的多模态对话格式，并记录数据来源、任务类型、生成规则和质量状态，以支持后续的采样、错误追踪和数据集版本管理

1.3 模型架构

视觉-语言-行动模型在视觉-语言理解与连续机器人控制之间提供了一个可扩展的接口。一种常见的设计是，将一个预训练的视觉-语言模型与一个专用的动作生成器相结合，从而使语义表示能够对低层电机控制指令进行条件约束

然而，对于长时间跨度的物理交互，仅仅理解当前场景并预测下一步行动本身并不够。策略还必须能够保留时间上下文、预判场景可能如何演化，并评估其当前行为是否在产生有用的进展

如图 6 所示，GigaBrain-0.7 通过一个由三个子系统构成的架构来满足这些需求，System 2 负责理解与规划，System 3 负责预测与评估，而 System 1 负责执行与控制

System 2 是VLM
是一个PaliGemma2 (3B) [71] 视觉-语言模型，用于理解场景并对任务进行分解
System 1 是VLA
即在PaliGemma2 (3B) 主干的基础上扩展了一个专用的 Action Expert（0.5B），用于连续动作生成
System 3 是一个独立的、基于 GigaWorld-1 [75] 的世界价值模型（5B），为 System 1 提供有关未来任务演化的预测信号

将整体架构组织为三个逐步耦合的层次

World simulation（世界仿真）层提供语义理解、任务规划、未来预测和评估功能
Action alignment（动作对齐）层将这些多模态信号映射为在异构机器人形体上的连续控制
Experience reinforcement（经验强化）层则把策略执行过程与离线和在线的策略改进连接起来

1.3.1 世界模拟：理解、预测与评估

世界仿真层为系统 1 (的VLA动作执行)提供超出当前视觉观测之外的上下文信息。它将“负责解释当前场景并分解任务的系统 2”，与“显式建模未来观测以及任务相关价值的系统 3”结合起来

系统 2 描述接下来应该做什么
而系统 3 则提供关于接下来可能发生什么，以及当前执行状态如何被评估的前瞻性信息

首先，对于系统2 VLM：理解与规划

系统 2 接收当前的视觉观测以及任务指令。它生成链式推理，以描述当前的视觉上下文——识别相关物体及其空间布局——随后给出一个针对当前操作目标的子任务指令。例如，在给定指令“把物品挂在衣架上”时，系统 2 可能会观测到“这里有帽子、包……”并将任务分解为子任务“捡起红色的帽子”（图 6）

这种分解在高层任务理解与低层动作生成之间提供了一个中间接口。由此产生的子任务信息会被传递给系统1，同时也为系统3提供任务上下文，从而使预测和控制能够在对当前任务阶段更为显式的表示之上运行

其次，对于系统 3：预测与评估

系统 3 是 GigaBrain-0.7 的预测组件。它构建在 GigaWorld-1 [75] 之上，接收当前具身环境上下文——包括当前观测、自身感知状态（proprioceptive state），以及来自系统 2的子任务描述（图 6）

且不同于系统 2 只对已经获得的观测进行推理，系统 3 显式建模关于未来任务演化的信息。系统 3 向系统 1 输出两种互为补充的信号

未来观测。以当前的具身上下文和子任务指令为条件，世界模型生成一段短视频，其时间跨度与系统1 的子任务时域保持一致。该预测序列的最后一帧被提取为子目标图像 $g_{t}$ ——对在短时域任务推进后所期望达到的物理状态的一种紧凑视觉表示

它被编码后作为额外的视觉条件提供给系统1，从而使动作生成能够结合对预期场景演化的显式表示
基于价值的评估。系统3 还估计一个标量值 $V_{t}$ ，表示当前任务进度——当前执行状态在多大程度上向子任务完成推进。虽然与视频通路共享相同的世界模型骨干网络，价值通路主要关注视觉观测

价值估计被转换为一个二元优势条件 $A_{t} \in\{0,1\}$ ，指示在当前动作片段中预测的任务进度是否在增加
如图6 所示
这个由价值导出的条件被注入到系统1 的提示中，为当前执行状态提供一个紧凑的评估。从 $V_{t}$ 导出 $A_{t}$ 的过程在第5.3 节中进行了描述