26年6月来自阿里千问团队的论文“Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models”。

语言与多模态领域的基座模型之所以能实现强大的泛化能力，是因为异构数据源可以在统一的框架下进行对齐，且互联网上丰富且低成本的数据使得多样化的训练信号能够在大规模尺度上相互增强。本报告探讨这种“规模化”范式能否应用于机器人操作任务，以实现真正的泛化。这一过程充满挑战：与文本数据不同，操作数据本质上具有异构性，采集成本高昂且多样性有限，导致同时实现数据对齐与规模化扩展变得异常困难。其推出 QWEN-ROBOTMANIP，这是一个基于 Qwen-VL （视觉-语言模型）构建的、具备泛化能力的“视觉-语言-动作”（Vision-Language-Action）基座模型。QWEN-ROBOTMANIP 引入一个涵盖操作任务中表征、运动和行为维度的统一对齐框架，确保了大规模多源数据训练过程的协同一致性，避免了不同数据源间的冲突。这种对齐能力使得 QWEN-ROBOTMANIP 能够吸纳以往训练范式无法支持的超大规模操作数据。

为了构建操作数据的规模化引擎，其设计一条“人-机动作合成”流水线，将以人为中心的（egocentric）手部操作演示转化为适用于 15 种不同机器人平台的运动轨迹；同时，通过严格的数据筛选与整合流程，实现了真实机器人数据与合成数据集的有机融合。令人惊喜的是，仅利用开源机器人操作数据集和人类演示视频（无需任何专有数据采集），QWEN-ROBOTMANIP 便构建一个时长约 38,100 小时的预训练语料库，并展现出涌现的泛化能力，包括零样本指令遵循、抗扰动鲁棒性、反应式错误恢复以及跨具身（cross-embodiment）知识迁移。实验进一步表明，现有的主流基准测试往往无法准确衡量预训练的质量。因此，本文采用分布外（OOD）评估设置——包括 RoboCasa365、LIBERO-Plus、EBench、RoboTwin-Clean2Rand、RoboTwin-IF（新提出的指令遵循基准）以及 RoboTwin-XE（新提出的跨具身迁移基准）——作为衡量真正泛化能力的核心标杆。 QWEN-ROBOTMANIP 在所有分布外（OOD）场景下均展现出远超既有顶尖模型（包括 π0.5）的性能。

---

训练数据的质量与多样性是所追求的泛化能力的基石。为了构建一个能够跨越不同具身形态、任务和环境展现出强大泛化能力的 VLA 模型，构建一个包含三种互补数据模态的大规模异构训练语料库：涵盖多种硬件平台的机器人操作演示、以第一人称视角拍摄的人类操作视频，以及通过“人-机”（human-to-robot）流程生成的合成机器人数据。其采用统一的数据整理与预处理流程来处理所有数据源，以确保状态、动作、视频及语言标注的高质量与一致性。表 1 总结了该完整语料库的构成。

以自我为中心的人类数据与机器人数据之间，在形态和视觉领域均存在显著差异。为了弥合这一差距，其将人类手部轨迹映射到机器人动作空间，并利用机器人模型替换视频中的人手。受既往研究（Lepert et al., 2025b;a）的启发，设计一个端到端的合成流程，将整个过程明确划分为动作对齐与视觉对齐两个阶段（图1所示）。

动作对齐（Action Alignment）。该阶段侧重于轨迹重定向与平滑处理，旨在弥合人手与平行夹爪在形态结构上的差异。

逐帧手部检测会引入高频噪声。对位置和宽度数据应用 Savitzky–Golay 滤波（Savitzky & Golay, 1964），并对朝向数据应用高斯加权球面线性插值（Gaussian-weighted SLERP），从而在保持动作结构的同时生​​成平滑轨迹。

视觉对齐（Visual Alignment）。该阶段通过掩码（masking）、图像修复（inpainting）和渲染（rendering）等一系列步骤，将人手外观替换为机器人模型，以消除视觉域差异。

将第一人称视角（ego-view）视频转换为机器人数据时，一个根本性挑战在于确定机器人基座的放置位置。与“机器人-机器人”的迁移学习（其中源域的基座位置已知）不同，第一人称视角下的手部轨迹与具身形态无关（embodiment-free），即没有可供参考的物理机器人基座。
将每一次人类演示渲染为 15 种双臂机器人配置（每种配置由两支相同的机械臂组成，涵盖 Panda、UR5e、ARX-L5、xArm7、Sawyer、Kinova Gen3、IIWA、Jaco、FR3、UR10e、ViperX、WidowX、Piper、YAM、AgileX ALOHA 等型号），最终生成总时长约为 24,808 小时的合成演示数据。

动作速度对齐（Action Speed Alignment）。与机器人遥操作数据相比，第一人称视角下的手部操作动作速度明显更快。为了对齐动作速度分布，在训练过程中对源视频帧进行降采样处理，使其速度与机器人数据相匹配。

---

整合来自不同机器人形态、仿真环境及数据采集流程的操作数据时，记录的状态与动作信号中会出现各种异构噪声。这些噪声包括：由物理碰撞引起的离散异常值；因时钟不同步或丢包导致的状态流与动作流之间的时间错位；导致优化不稳定的极端数值；以及在同一机器人形态下不同数据集之间末端执行器定义规范不一致的问题。通过一个包含五阶段的过滤流程来解决这些问题，该流程在模型训练前应用于所有数据集。如图2所示：

阶段 1：突变检测。针对每个信号维度，通过级联中值滤波和 Savitzky-Golay 平滑（Savitzky & Golay, 1964）提取平滑趋势，随后计算三个互补的偏差信号：原始轨迹与平滑轨迹之间的绝对残差、二阶有限差分（加速度）以及三阶有限差分（加加速度/jerk）。当残差超过缩放阈值，且加速度或加加速度同时也超过各自的阈值时，该帧会被标记；这种机制既能减少由缓慢漂移引起的误报，又能保持对突发瞬态变化的敏感度。阈值的设定取决于数据集的具体特征，包括机器人形态类型、旋转表示方式、数据来源（真实环境或仿真环境）以及基座移动能力。剔除策略涵盖了从单帧移除到整段完整轨迹（episode）丢弃等多种方式。例如，在 InternData-A1（Tian et al., 2025）数据集中，突变仅由物理碰撞（如夹爪接触刚性物体）引起，因此受损的完整轨迹会被直接丢弃。

阶段 2：状态-动作趋势对齐。在记录无误的轨迹中，动作指令在时间上应先于或同步于由此产生的状态变化；若时间戳不同步或发生丢包，这一因果不变性便会遭到破坏。针对每个共享的关节维度，先对状态和动作轨迹进行平滑处理，利用互相关（cross-correlation）估算最佳时间滞后，再基于对齐滞后后的“一阶差分”计算方向一致性（Directional Agreement, DA）指标。若某维度的 DA 值低于该数据集特定的阈值（通常为 0.6–0.7），则该维度会被标记，进而导致整段轨迹被剔除。对于采用增量动作（delta actions）的数据集，在进行比较前会先对动作序列进行积分以恢复绝对数值。该阶段揭示了某些数据子集存在严重的质量问题：RoboMIND UR 型数据集中有 81% 的轨迹未能通过此项检查并被剔除。

阶段 3：极值过滤。剔除状态或动作值超出预期范围的帧，以防止训练过程中使用的基于分位数的归一化（将 [q01, q99] 映射至 [−1, 1]）发生畸变。针对每种机器人形态，计算各维度的 q1 和 q99 分位数，并排除落在 [q1 − α(q99 − q1), q99 + α(q99 − q1)] 区间之外的帧。由于夹爪（gripper）维度的分布呈双峰特征，该维度不适用此过滤规则。

阶段 4：关节与末端执行器正向运动学的一致性检查。利用 Pinocchio 库（Carpentier，2019）根据各机器人的 URDF 模型计算正向运动学（FK），并将其与记录的末端执行器位姿进行比对。产生偏差的原因可能包括：关节角度的正负号约定不同、末端执行器坐标系定义差异、旋转表示方式错误、基座坐标系假设有误，以及末端执行器数据记录错误。该阶段主要侧重于数据校正而非激进过滤：通过调整工具-中心-点（TCP）定义来消除恒定的位置偏移，并将相对于肩部的双臂位姿转换至世界坐标系。这一过程揭示了同一机器人型号在不同数据集中可能采用不同的关节角度约定，从而进一步印证了采用统一状态-动作表示的必要性。

阶段 5：基座坐标系与末端执行器朝向对齐。针对不同数据集应用旋转校正，以统一世界坐标系下的朝向约定，确保正 x 轴始终对应机器人的正前方，并保证统一的状态-动作表示在不同机器人形态间保持几何一致性。

除了上述针对状态和动作信号质量的五个过滤阶段外，还实施三项额外检查，以确保视频、语言和本体感知观测之间跨模态的一致性。
检查 1：指令一致性。利用基于 VLM 的三阶段流程，验证每个演示与其语言标注之间的语义一致性。
检查 2：视频-状态一致性。执行严格的数据清洗，剔除低质量或不匹配的样本。
检查 3：视频质量过滤。进行视频级数据清洗，剔除可能妨碍策略学习的帧。

---

既有研究表明，利用视觉-语言（VL）混合数据对 VLA（视觉-语言-动作模型）进行联合训练，可显著提升其泛化能力（Black et al., 2025; Driess et al., 2025; Fang et al., 2026）。通过在 VLA 训练过程中引入 VL 数据，模型能够保留从网络规模多模态预训练中习得的丰富视觉与语义知识，并借助“动作专家”模块将这些知识迁移至动作生成任务中。例如，这使得模型能够遵循新语言指令、在陌生场景背景下操作，或操控此前未见过的物体。

为此，其整合多种来源构建一个综合性的 VL 数据集，其中包括专有数据、开源数据集（如 RoboPoint (Yuan et al., 2024)、RefSpatial (Zhou et al., 2025)、PixMo (Deitke et al., 2025) 和 CapsFusion (Yu et al., 2024)）以及精心合成的具身智能相关数据。最终形成的 VL 混合数据集包含约 2800 万个数据样本，涵盖以下类别：

(1) 通用视觉理解：包括视觉问答、多图像推理以及不同粒度（从单句摘要到段落级详细描述）的图像描述生成，旨在保持模型广泛的视觉感知与常识推理能力；
(2) 空间感知与推理：涵盖 2D/3D 视觉定位（visual grounding）、点定位、计数、空间关系推理（深度比较、距离估算、相机视角推断）以及操作可行性推理，这些能力可直接迁移至机器人的空间理解任务中；
(3) OCR 与文档理解：有助于维持 VLM 识别文本、数字和符号的能力；在涉及带标签物体（例如识别标有特定数字的积木）的机器人任务中，同样需要此类能力；
(4) 多模态专业知识：涵盖 STEM 问题求解、图表解读及视觉谜题推理等特定领域的视觉推理任务，有助于防止 VLM 在 VLA 微调过程中出现通用多模态推理能力的“灾难性遗忘”；
(5) 指令遵循、多语言及纯文本数据：这类数据增强了模型遵循多样化自然语言指令的能力——这对模型泛化至新型机器人任务至关重要——同时也支持了多语言机器人控制并保持了文本生成的质量；
(6) 以具身（Embodied）为核心的视觉-语言（VL）数据：这是我们专门构建的数据集，旨在弥合网络规模的视觉-语言知识与机器人操作任务之间的鸿沟。该子集包含：(a) 具身思维链（ECoT）推理数据，源自机器人操作轨迹；模型在此过程中进行三阶段的结构化推理：首先根据多视角观测（包括夹爪状态、物体位置及空间布局）描述当前场景状态，接着将当前状态与总体目标进行对比以评估任务进度，最后预测下一个原子级操作动作；(b) 自我中心（egocentric）视频理解数据，模型基于人类第一人称操作的短视频片段，描述细粒度的手/臂动作、手与物体的交互以及物体状态的变化；© 二维轨迹预测数据，模型在视觉观测和任务指令的引导下，将人手或机器人末端执行器的未来运动轨迹预测为归一化二维坐标序列。

其中，类别 (1)–(5) 具有双重作用：它们既防止预训练视觉-语言模型（VLM）通用能力的“灾难性遗忘”，又通过增强模型的空间理解、物体识别及场景泛化能力，直接助力机器人操作任务（例如空间推理、视觉定位和 OCR 等子集）。类别 (6) 则是专门为连接视觉-语言理解与动作生成而构建的：ECoT 数据教会模型感知具身特有的场景状态、追踪任务进度，并利用语言对下一步动作进行推理。这促使 VLM 主干网络构建更丰富的具身表征，从而更直接地服务于下游的连续动作生成任务（Zawalski et al., 2024; Chen et al., 2025c）；自我中心视频数据则让模型接触到第一人称视角下细粒度的人类操作模式及物体状态转换过程，使其能够将对物理交互演变过程的理解“落地”（grounding）——这涵盖了物体在接触作用下的形变、滑动或倾倒，以及抓取、放置和工具使用过程中手与物体相对构型的变化。尽管存在具身差异，这一知识仍能迁移至机器人操作中。此外，二维轨迹预测数据将视觉观测与图像坐标系下的空间运动推理直接联系起来；这些数据源共同构建了一个共享的表征基础，从而通过动作专家（action expert）促进了向底层动作预测的知识迁移。

具身思维链（ECoT）数据。受既往研究（Zawalski，2024；Feng，2026；Li，2026）启发，构建 ECoT 监督数据，旨在训练视觉-语言模型（VLM）协同执行三种形式的具身推理：描述当前场景、评估任务进度以及预测下一个原子级操作动作。针对包含任务指令的操作轨迹中采样的时间点 t，结合当前的“多视角观测”与仅在标注阶段可用的“轨迹上下文信息”，合成一条 ECoT 标注数据。

具体而言，在时间点 t，首先从所有可用摄像机视角（例如前视、腕部和侧视视角）提取同步图像。随后，构建三种形式的附加上下文信息。首先，构建“记忆摘要”：从任务片段（episode）开始到时间点 t 均匀采样帧，并提示一个强大的 VLM 总结已完成的动作及可见的状态变化。该记忆主要用于辅助标注过程中的任务进度评估，因为许多中间目标或先前的操作在当前帧中已无法直接观测到。其次，构建“未来动作预览”：从时间点 t 开始，以 1 秒为间隔采样 6 帧图像，并要求强大的 VLM 总结机器人在这段短片段中的近期行为。这种未来预览为预测下一个原子动作提供了直接的标注依据。第三，根据时间点 t 在完整轨迹中的相对位置计算“粗略的时间进度估计”，以此作为判断任务是否接近完成的弱辅助线索。

基于时间点 t 的多视角图像、任务指令以及上述辅助标注上下文，提示一个强大的 VLM1 生成结构化的三部分 ECoT 响应：(1) 场景描述：总结可见物体、空间关系、机械臂位置及末端执行器（夹爪）状态；(2) 任务进度评估：评估已完成的子目标，并以明确的完成判定（“任务已完成”或“任务尚未完成”）作为结尾；(3) 下一步动作：从下表 2 中预测单个原子级操作步骤。尽管负责标注的 VLM 能够获取特权轨迹上下文信息，但提示词要求生成的 ECoT 文本仅基于当前观测和任务指令中的证据进行表述。在训练过程中，每个 ECoT 数据样本都被转换为标准的视觉-语言（VL）输入-输出对：模型仅接收多视角图像和任务指令，并被训练以生成包含三个部分的完整 ECoT 文本。特权信号仅在数据合成阶段用于提高标注质量，而不作为训练输入。

以自我为中心的视频理解数据。基于人类操作视频构建以自我为中心的视频理解数据。对于每个片段（episode），将主摄像头的视频分割为时长随机（1.5–3 秒）且互不重叠的片段（clip），并从每个片段中提取 4 帧均匀分布的图像（分别位于片段时长的 0%、33%、67% 和 100% 处）。利用一个强大的视觉-语言模型（VLM）来描述这 4 帧序列中观察到的细粒度操作动作，内容涵盖手部和手臂的运动方向、手与物体交互时的空间关系以及物体的状态变化。VLM 会识别并过滤掉视觉变化极小的片段，以避免在缺乏信息的静态片段上进行训练。由此生成的标注数据能引导模型从以自我为中心的视角感知并描述物理操作的动态过程，从而与基于机器人观测数据的 ECoT 数据形成互补。

二维轨迹预测数据。为了进一步辅助 VLM 学习机器人与人类操作演示中的运动规划，同时缓解深度感知中的歧义问题，利用估计出的相机参数，将以自我为中心数据中的机器人末端执行器（EEF）及人类手部的运动轨迹投影到图像平面上。此外，采用基于边框（bounding-box）的标准过滤掉运动幅度极小的样本，从而剔除那些 EEF 或人手几乎没有移动、缺乏有效信息的数据点。

如图 3 概述QWEN-ROBOTMANIP：

1 核心架构

QWEN-ROBOTMANIP 采用一种解耦架构，包含用于多模态感知与语义推理的视觉-语言主干网络，以及用于生成连续动作的流匹配（flow-matching）动作专家模型。这种解耦设计使动作专家能够专注于高频、细粒度的运动控制，同时主干网络通过联合端到端训练，得以保留并扩展其预训练的感知与推理能力。

视觉-语言主干网络。采用 Qwen3.5-4B (Team, 2026) 作为视觉-语言主干网络。Qwen3.5 是一款原生多模态模型，采用早期视觉-语言融合方式进行训练：来自 Vision Transformer（包含动态分辨率空间合并机制）的视觉 Token 直接与文本 Token 序列交错排列，并在同一个 Transformer 架构内对图像与语言指令进行统一处理。给定一个或多个视角的摄像机画面及自然语言任务指令，主干网络将其联合编码为上下文表征（例如，最后一层隐状态维度 D_vlm=2560），这些表征同时捕捉了细粒度视觉特征与任务级语义，随后由动作专家通过交叉注意机制进行处理。

动作专家。引入一个 Diffusion Transformer (DiT) (Peebles & Xie, 2023) 作为流匹配动作专家 (Chi et al., 2023; Black et al., 2024; Liang et al., 2023)，用于从机器人轨迹数据和以自我为中心（egocentric）的人类演示数据中学习精确的连续动作。该专家模型包含 N=10 个 Transformer 模块，隐层维度 D_act=768，并设有 12 个注意头。每个模块先对拼接后的“状态-动作”Token 序列执行自注意操作，随后进行针对 VLM 隐状态的交叉注意计算，最后通过 SwiGLU 前馈网络进行处理。交叉注意层交替关注视觉 Token（偶数索引模块）和语言 Token（奇数索引模块）——这两类 Token 均提取自 VLM 的最后一层——从而使专家模型在每个处理阶段都能将动作预测分别建立在空间观测和语言指令的对应关系之上。机器人的本体感知状态经由双层 MLP 编码，并在进入 DiT 模块之前被拼接在带噪动作 Token 序列的前端。该专家模型进一步以去噪时间步嵌入（denoising timestep embeddings）和额外学习的相机嵌入（learned camera embeddings）为条件。该专家模型采用流匹配（flow-matching）目标进行训练（Lipman，2023；Esser，2024）。给定真实动作片段 a，采样时间步 t ～Beta(1, 1.5)，并利用高斯噪声 epsilon ～ N(0, I) 构建插值 x_t = (1-t) epsilon + t a。随后，训练模型以最小化预测速度场 x_1 - x_0均方误差。在推理阶段，通过 4-步欧拉积分生成动作序列，从而实现低延迟的实时控制。

2 跨具身（Cross-Embodiment）状态与动作表示

不同具身（embodiments）之间异构的本体感知状态和动作空间，使得在混合多具身数据集上进行可扩展训练成为一项关键挑战。其引入一种针对状态和动作的 80 维规范向量表示来解决这一问题。该表示的结构包含两个 29 维的“单臂”数据块，后接 22 维预留维度。每个单臂数据块包含以下语义组：

关节位置（7 维）：机械臂的关节位置；
末端执行器位姿（9 维）：笛卡尔坐标位置（3 维）以及采用 6 维连续旋转表示法（Zhou，2019）的姿态（6 维）；
夹爪状态（1 维）：平行夹爪的关节位置；
灵巧手关节（12 维）：对于配备多指灵巧手的具身，指代主动手部关节的位置。

末尾的 22 维预留维度，由双臂共享，可用于表示额外的自由度，例如移动底座的速度。对于状态向量，所有数值均以绝对坐标表示。对于动作向量，关节动作以绝对值表示，而末端执行器动作则表示为相对于当前状态的增量（delta）。特别地，末端执行器姿态的增量参数化为 3D 旋转向量，而非状态表示中所用的 6 维表示法。

不同的机器人具体形态对应于这一标准模板的不同子集。例如，具有7自由度的单臂夹持器系统（如 Franka Panda）会填充其中一个机械臂的关节、末端执行器及夹持器相关字段，而将其余维度设为零；双臂系统（如 ALOHA）则会填充两个机械臂对应的字段块；若机器人配备灵巧手，还会额外填充手部关节相关的维度。训练过程中，系统利用逐维二值掩码（binary mask）排除那些经零填充的维度，从而确保梯度仅在具有实际语义信息的维度上传递，避免对结构上不存在的自由度产生无效的监督信号。

3 统一的末端执行器运动预测

典型状态-动作表征，统一不同具身形态（embodiments）下状态与动作的结构布局，但尚未解决一个更为隐蔽的碎片化问题：即不同数据集中记录的末端执行器位姿所采用的坐标系各不相同（Lyu et al., 2026）。当同一动作因数据源不同而相对于不同的基座坐标系或相机坐标系进行表述时，模型必须学会协调这些几何上的不一致性，而不是专注于底层的操作技能。为了解决这一问题，将所有末端执行器动作统一表征为基于共享相机坐标系的位姿增量（delta pose），并通过位置编码将相机几何信息直接注入动作专家网络。结合具身-觉察条件控制（embodiment-aware conditioning），这确保了视觉上相似的动作在数值上也彼此接近，从而使模型能够从异构数据中提取跨具身的协同模式。

具体而言，从 80 维的状态-动作向量中提取出 N_ee {1, 2} 个独立的、针对每个末端执行器的 40 维 Token。每个机械臂的 29 个有效维度被封装进一个 40 维的槽位（slot）中，其中 11 个维度预留用于未来扩展；随后，DiT 模型通过自注意力机制对这些 Token 进行联合处理。

基于相机坐标系的位姿增量动作表征。采用一种基于相机坐标系的位姿增量表征（Chen et al., 2025a），而非将末端执行器的运动表示为机器人基座坐标系下的绝对位姿、末端执行器局部坐标系下的相对位姿或世界坐标系下的位姿增量。该表征的关键特性在于：视觉上相似的动作在动作空间中的数值也相近，从而实现了动作表征与视觉观测空间的直接对齐，并促进跨具身（cross-embodiment）迁移。这种方法要求在训练和推理阶段均具备已标定的相机内参和外参。

相机-觉察的位姿编码。为了让动作专家能够推理相机几何结构，通过相机位姿编码（CaPE，Kong et al., 2024）将相机参数注入 DiT 的交叉注意层。相机位姿通过 CaPE 进行编码，占据每个 64 维注意头中 32 个维度的空间，其余 32 个维度则由 RoPE（Heo et al., 2024）用于时间索引。每个图像 Token 的位姿编码源自其对应相机的外参，而每个状态/动作 Token 则使用其选定参考相机的外参。由于 CaPE 是一种旋转位姿编码，全局世界坐标系原点在点积注意计算中会在代数运算上相互抵消，从而仅保留每个视觉 Token 与查询（Query）状态/动作 Token 之间的相对位姿关系。

参考 GTA (Miyato et al., 2024) 和 PRoPE (Li et al., 2025b) 的做法，将 CaPE 不仅应用于键（Key）和查询（Query），还应用于值（Value）和注意输出，从而增强交叉注意的几何一致性。相机内参的引入方式是：将每个视觉补丁（patch）的归一化图像平面坐标通过一个可学习的线性层进行投影，并将其加到相应的图像 Token 上，从而提供针对每个 Token 的视场（FOV）觉察能力。

末端执行器-觉察的条件输入。除了去噪时间步之外，DiT 还接收另外两个条件信号，两者均通过自适应层归一化（Peebles & Xie, 2023）以加性嵌入（additive embeddings）的形式应用：

1. 末端执行器类型嵌入：针对每种末端执行器类别（单臂、双臂左、双臂右、以自我为中心的头部视角或移动底盘）设置一个可学习的码本条目，并将其与每个状态/动作 Token 关联，使模型能够应用特定于具身形态的动作先验。
2. 辅助标志嵌入：一种二值嵌入，用于指示当前样本是否存在已标定的相机参数；该标志决定了预测位姿的动作空间是在“相机坐标系增量模式”与“机器人底盘相对模式”之间进行切换。

多视图参考相机选择。在多视图场景下，末端执行器的动作是相对于选定的参考相机坐标系来表示的。在训练过程中，对于单臂数据集，随机选择任意可用的外部视角或腕部视角作为参考。对于双臂数据集，随机采用以下两种策略之一：（1）双臂共用一个头戴式相机或任意可用的第三人称视角作为公共参考坐标系；（2）左臂使用左腕相机，右臂使用右腕相机，分别作为各自的参考坐标系。

在 DiT 的交叉注意（cross-attention）机制中，每个图像 Token 使用其对应相机的位姿进行 CaPE，而每个状态/动作 Token 则使用其选定参考相机的位姿进行 CaPE，从而引导 DiT 对该参考坐标系下的“相机相对动作（camera delta action）”进行去噪。由于 CaPE 是一种旋转编码，不同视角间的相对位姿被隐式编码，世界坐标系上标在代数运算中相互抵消。

4 具身提示（Embodiment Prompt）

采用结构化提示，使策略能够基于任务语义和执行上下文进行条件化控制。每个提示包含以下字段：
• 具身形态（Embodiment）：机器人平台（例如 robot_aloha），使模型能够考量不同具身形态在形态结构和控制特性上的差异。
• 指令（Instruction）：高层任务描述，定义了该回合（episode）的总体目标。
• 速度（Speed）：回合的时长（以时间步计），离散化为以 500 步为单位的区间。
• FPS：输入序列的时间采样率。
• 相机视角方向（Camera View Direction）：相机相对于机械臂的位置，分为“臂侧（arm side）”或“对侧（opposite side）”两种情况。

这些字段共同作用，使模型不仅能捕捉要执行的任务，还能识别执行动作的机器人以及行为的时间结构。这有助于减少策略学习中的歧义，提高跨具身形态的适应性，并增强对执行速度和帧率变化的鲁棒性。为了进一步提高对不完整输入的鲁棒性，在训练期间以 15% 的概率随机丢弃具身形态、速度和 FPS 字段，从而鼓励模型在测试时提示信息部分缺失的情况下仍能保持良好的泛化能力。

5 上下文内策略适应

尽管跨具身（cross-embodiment）预训练赋予了模型强大的泛化能力，但将 VLA 策略部署到新机器人或新环境时，往往需要在不更新参数的情况下实现行为的快速适应。受大语言模型中“上下文学习”（in-context learning）的启发，为 QWEN-ROBOTMANIP 配备一种上下文内策略适应机制。该机制基于同一任务片段（episode）中近期执行历史（即“观测-动作”对）构成的结构化窗口来进行当前的动作预测，从而使策略能够在部署阶段调整行为，而无需任何参数更新或针对特定任务的微调。

执行上下文表征。一个关键的设计问题在于：什么样的信息构成有用的策略上下文？直接借鉴了模型自身的推理过程。在每个决策步骤中，QWEN-ROBOTMANIP 接收当前的视觉观测和本体感知状态，并预测一个包含 K 个步骤的完整动作片段（action chunk）。因此，将一个“上下文片段”定义为由视觉观测 o_h、本体感知状态 s_h 和片段 h 期间执行的 K 步动作序列 a_h 组成的三元组 (o_h, s_h, a_h)。这记录了机器人的视觉所见、自身状态以及所执行的动作。由 H 个此类片段构成的上下文，为策略提供了一个关于近期行为的结构化窗口，使其能够直接基于这些信息进行推理。

鉴于上下文片段内两种模态的表征结构截然不同，采用互补的路径分别对其进行处理。历史帧 o_h 被置于当前帧之前，并通过 VLM 的视觉编码器在单次前向传播中进行联合处理；同时，语言指令中会附加图像计数标注，以辅助 VLM 将每个视觉 Token 归因于正确的时间位置。本体感知状态和动作片段无法通过视觉路径处理，因此由两个轻量级 MLP 编码器将其映射到 VLM 的隐空间中。状态编码器 MLP (MLP_s) 和动作编码器 MLP (MLP_a) 生成针对每个片段的 Token 表征，并结合学习到的时间位置嵌入 e^temp_h（用于区分不同片段）以及槽位嵌入 e^slot_0:K’（用于区分片段内的动作 Token）。所有 H 数据块按时间顺序序列化为单个上下文token序列 C。

当前的“状态” s_t 并未在此处进行编码，而是保持原样流经动作头（action head）专用的状态编码器，从而完全保持了与基础 QWEN-ROBOTMANIP 模型的向后兼容性。

历史信息整合。研究两种将上下文token序列注入策略网络的方法。在“统一模式”（unified mode）下，上下文tokens C 被附加到 VLM 输入序列的末尾，并与视觉及语言token一起，在因果自注意机制下进行联合处理；这使得 VLM 能够同时对历史信息、任务描述和视觉观测进行推理。由此产生的、融合历史信息的最后一层隐状态，将通过交叉注意机制传递给 DiT 动作头。在“双重模式”（dual mode）下，状态-动作上下文直接注入 DiT 动作头而非 VLM，这虽然保持 VLM 上下文长度不变，但代价是历史信息的整合深度较浅。统一注入方式允许 VLM 利用完整的自注意机制，对行为历史、任务描述和视觉观测进行联合推理，从而实现比仅在动作头中处理历史信息更丰富的跨模态上下文整合。因此，采用统一注入作为默认配置。

随机上下文采样。一种简单的策略是始终提供最近的 H 个片段（chunks），但这会导致模型陷入退化的“捷径”学习。由于最后一个上下文片段在时间上最接近当前步骤，模型只需简单复制最近的动作片段，即可获得较低的训练损失，而无需真正理解该回合（episode）的行为动态。这使得上下文机制退化为一种简单的动作复制启发式规则；一旦紧邻的历史信息存在歧义、非典型，或者无法反映机器人更广泛的执行风格，该规则就会失效。希望模型学习的是当前回合的行为特征（Huang et al., 2025）——包括速度模式、抓取策略和交互特征——而不是依赖时间邻近性的捷径。为了防止这种情况，在训练过程中引入随机上下文采样。不再总是提供紧接当前步骤之前的 H 个片段，而是从整个回合中随机选择上下文窗口的位置。因此，采样的片段在时间上可能与当前步骤相距较远，这迫使模型基于整个回合的行为特征进行推理，而不是利用“近因效应”作为捷径。

这种随机化处理充当一种课程多样化（curriculum diversification）的手段。该模型必须学会从片段历史的任意子集中提取一致的行为风格，从而在推理阶段对缺失、不完整或时间错位的情境保持鲁棒性。在实际部署时，提供包含最近 H 个片段的滑动窗口作为情境，使模型能够利用所有可用的历史信息。实验表明，随机情境采样对于防止模型退化至关重要。若缺乏该机制，尽管策略能实现较低的训练损失，但任务成功率却很低——这清楚地表明模型学会了简单复制近期动作，而非根据执行情境进行推理。引入该机制后，模型展现出真正的情境适应能力，能够根据当前片段中更广泛的行为动态来调整自身行为。

---

1 预训练方案

双流协同训练

同时在两个互补的数据流上训练 QWEN-ROBOTMANIP。VLA（视觉-语言-动作）数据流构建自完整多源操作语料库，其中包括真实机器人演示、以自我为中心（egocentric）的人手操作视频以及从人类动作合成的机器人轨迹。

VLM（视觉-语言模型）数据流包含大规模视觉-语言监督数据；将其与 VLA 数据流协同训练，旨在防止预训练获得的感知和语言能力在动作预测优化过程中退化——这种退化会直接削弱模型理解新颖指令及泛化至未见视觉场景的能力 (Driess et al., 2025)。在实际操作中，采用机器人数据与 VL 数据之间 9:1 比例。

训练目标

流匹配（Flow matching）损失。对于每个 VLA 样本，给定一个真值动作片段 a。遵循流匹配的公式化定义，构建一个带噪声的插值（noisy interpolant）。动作专家网络（action expert）被训练用于预测相应的速度场 v = a - epsilon，从而最小化损失 L_FM。来自 L_FM 的梯度将同时应用于 VLM 主干网络和动作专家网络。

由于不同的机器人具身（embodiments）仅占据 80 维规范动作空间（canonical action space）中的不同子集，应用一个组合二值掩码 m {0, 1}，将优化目标限制​​在包含有效监督信号的维度和时间步上。该掩码由三个互补的来源构建而成：维度槽位掩码（per-dimension slot mask）用于标识当前机器人形态下实际使用的维度（例如，单臂夹爪仅填充单侧手臂的关节、末端执行器和夹爪字段，而将另一侧手臂和手部的槽位设为零）；时间步有效性掩码（step validity mask）用于排除被数据清洗流程标记为异常或超出片段（episode）边界的时间步，且一旦某一步被判定为无效，后续所有步骤也会被掩码屏蔽，以保持因果一致性；针对以自我为中心的人类数据，手部有效性掩码（per-hand validity mask）会在对应手部离开摄像机视野的时刻，将整侧手臂的槽位设为零，从而避免模型基于被遮挡的手部轨迹进行训练。这三个掩码进行“与”（AND）运算组合，最终的掩码流匹配损失即为仅针对有效条目的样本内平均值。

这种公式化设计确保了批次中的每个样本对梯度的贡献均等，无论有多少维度处于激活状态，从而防止了那些包含更多有效数据的样本主导优化过程。

VLM 下一个token预测损失。对于每个 VLM 样本，主干网络（backbone）均采用标准的自回归下一个token预测目标 L_VLM 进行训练。
总体目标函数为：

L = L_FM+ lambda L_VLM，

其中 lambda 用于控制两种损失的相对权重。将 lambda 设定为 0.1，以确保 VLM 监督信号提供稳定的正则化作用，同时不掩盖动作学习的效果。针对主干网络和动作专家网络（action expert），采用不同的学习率，以适应它们各自不同的初始化尺度。为了分摊 VLM 前向传播的计算成本，动作专家网络针对每个训练样本执行 K_repeat=8次重复扩散步骤：即针对同一动作片段（action chunk）采样 8 组独立的噪声和时间步长。这种做法在不增加数据消耗的前提下，显著提升了训练效率。

2 后训练阶段方案

特定领域的监督微调

在基础模型利用完整的异构语料库完成预训练后，通过监督微调（SFT）使其适应特定的部署场景。摒弃了针对单个任务训练专用策略的做法，转而采用通用的 SFT 范式。对于每个基准测试或实际部署场景，将所有可用的演示数据合并为一个统一的训练集，从而训练出一个能够执行目标领域内所有任务的统一微调模型。

SFT 与预训练在多个方面存在差异。首先，SFT 过程仅优化公式的流匹配（flow matching）目标 L_FM，而不包含 VLM 的下一个token预测损失。停用多阶段数据筛选流程，直接使用未经筛选的完整数据进行训练，从而保留了所有有效的演示数据用于后训练阶段。此外，对输入图像应用色彩抖动（color jitter）增强技术。最后，由于模型基于预训练检查点（checkpoint）进行初始化，SFT 阶段所需的 GPU 数量和训练步数均少于预训练阶段。

后训练阶段的联合训练

特定领域的 SFT 已成为定量评估预训练 VLA 模型质量的重要标准流程。一个强大的预训练模型在基准测试（benchmark）训练集上进行微调后，理应能高效适应目标域。然而，这种评估范式也可能暴露一个关键的失效模式：在针对特定基准进行大规模监督微调（SFT）后，VLA 模型可能会利用基准中重复出现的视觉和任务模式来提升任务表现，从而降低对语言指令的敏感度。此时，模型的策略不再强烈依赖于视觉和语言的双重输入，而是更像是一个“视觉-动作”模式匹配器。这种现象称为“VLA 向 VA（视觉-动作）的退化”。

这种退化源于三个相互叠加的因素。首先，特定领域的 SFT 数据集多样性有限，视觉布局和指令表达相对集中，使得模型容易学习场景模式与动作之间的“捷径”相关性。其次，训练集和测试集共享相似的视觉模式，模型仅凭记忆模式而非真正的语言语义落地（grounding）就能获得高分。因此，此类基准测试往往高估模型的指令遵循能力，且无法区分真正的语言条件控制与针对基准模式的过拟合。第三，缺乏强大组合语义映射能力模型在 SFT 过程中往往将语言视为弱上下文信号，导致动作决策越来越受限于从基准数据中学到的视觉捷径。

为了缓解这一风险，提出一种混合后训练策略，作为标准领域 SFT 的可选增强方案：模型不再仅在基准训练集上微调，而是结合根据分布相似度筛选出的预训练数据子集进行联合训练。这种方法既提供了更广泛的适应性信号，又保留了基础模型稳健的执行能力，同时避免引入可能稀释领域特定学习效果的无关数据。在主要实验中，遵循标准的领域特定 SFT 范式以确保与基线模型公平比较；而混合后训练策略则作为一项额外的增强手段进行验证。

为了直接评估模型是否保留了指令遵循能力，基于 RoboTwin 2.0 (Chen et al., 2025b) 构建一个名为 RoboTwin-IF（Instruction Following，即指令遵循）的新基准测试。该基准测试旨在考察模型在视觉场景相同或相似但指令不同的情况下，是否能执行相应的指令动作，而非仅仅依赖视觉模式匹配来选择默认行为。

---

在部署方案中，推理任务在远程服务器上执行，而观测数据和动作指令则通过 WiFi 连接在机器人与服务器之间进行传输。为了缓解云端推理及网络传输带来的延迟，采用实时分块（RTC）技术（Black et al., 2026）；该技术允许机器人在执行当前动作片段的同时异步生成下一个动作片段，从而有效掩盖往返延迟，实现平滑的实时控制。