Pure Vision-Language-Action (VLA) 模型：一份全面的中文综述精读

编者按：本文是 arXiv:2509.19012《Pure VLA Models: A Comprehensive Survey》的中文精读整理，涵盖背景、方法四大范式、数据/仿真/硬件、挑战与未来，共 9 篇。本长文由总览 + 8 章详解合并而成，可顺序通读，也可按章跳读。无论你是想快速建立全局观的入门读者，还是专注于某个范式细节的研究者或工程师，都可以把它当作一张可反复查阅的 VLA 地图。

原论文：Dapeng Zhang et al., “Pure Vision-Language-Action (VLA) Models: A Comprehensive Survey”, arXiv:2509.19012v3, 2025.

目录

说明：每一章末尾配有代表方法表 / 经典论文精讲 / 本章小结，可作为该章的速查锚点。

导读：VLA综述总览

一句话定位

Vision-Language-Action（VLA）模型把视觉-语言模型（VLM）从"被动看图说话"的序列生成器，重新定位为能在复杂、动态物理环境中主动操作与决策的具身智能体——它用统一的序列建模框架，把"看"“懂”"做"三件事缝合进同一个 token 流，是从语义级泛化迈向物理级执行的桥梁，也被视为通用具身智能（general-purpose embodied intelligence）的关键前沿。

这篇综述（《Pure Vision-Language-Action (VLA) Models: A Comprehensive Survey》，arXiv:2509.19012v3，2025年11月）系统梳理了 300 余篇近年研究，按动作生成策略给出了一个清晰的四大范式分类法，并配以数据集、基准、仿真平台、硬件与挑战展望。本导读帮你在进入八章详解之前，先建立一张"地图感"的全局认知。

背景与动机：从 LLM/VLM 到 VLA 的范式跃迁

要理解 VLA 为什么重要，得先看它是从哪里长出来的。

第一阶段：单模态基础模型的成熟。 视觉侧从 AlexNet 的局部卷积，到 ResNet 的残差深度学习，再到 ViT 把 self-attention 引入图像域，模型的迁移性与泛化性大幅提升；语言侧则借助 Transformer 与大规模预训练催生了 BERT、T5、GPT-4 等具备强推理、指令遵循与上下文学习能力的模型。与此同时，强化学习从 DQN、PPO 演进到 Decision Transformer，把"控制"也纳入了"序列建模"的统一视角。这三股力量——视觉表征、语言推理、序列化决策——为多模态融合打下了地基。

第二阶段：视觉-语言模型（VLM）成为通往具身智能的桥梁。 早期的 ViLBERT、VisualBERT 用双流/单流 Transformer 对齐图文；CLIP 借对比学习把大规模图文对映射到共享嵌入空间，实现零样本检索；随后 BLIP-2、Flamingo、LLaVA 等指令微调型多模态模型把开放式跨模态理解、细粒度 grounding 与多轮推理推到了实用水平。VLM 解决了"看懂、读懂"，但还不能"动手"。

第三阶段：VLA 把"动作"接进来。 传统机器人依赖孤立的感知管线、手工控制策略或任务专用强化学习，在工厂、实验室等受限环境尚可，一进动态、非结构化场景就泛化崩盘。VLA 的核心思路是：把图像与指令编码为前缀/上下文 token，注入机器人状态与传感反馈作为状态 token，再自回归地（或以扩散、强化等方式）生成动作 token，从而在一个序列建模框架内闭合"感知-语言-动作"回路。相比传统的"感知→规划→控制"分块管线，VLA 提供端到端的跨模态对齐，对目标的语义泛化与环境的物理扰动都更鲁棒。

这条脉络可以浓缩为一句话：从单模态到多模态，再到"多模态+可执行控制"。VLA 正是最后这半步的关键载体。

综述同时强调，这条跃迁不是模型算法单方面的事——它高度依赖数据与仿真：真实世界机器人数据采集昂贵、长尾稀缺，于是 OXE、DROID 等大规模协作数据集与 THOR、MuJoCo、Isaac Gym、CARLA 等仿真平台构成了 VLA 的"弹药库"。理解 VLA，必须把方法、数据、仿真三者放在一起看。

核心分类：四大范式一图一言

综述最具贡献性的部分，是按动作生成策略给出的分类法。图 3 以时间线为轴，画出了这棵分类树。

在这里插入图片描述

这张图沿时间轴展开，把 VLA 方法分为自回归、扩散、强化、混合与专用四大分支，每个分支下挂代表工作。读者应关注的是：方法创新是层层叠加的——从早期统一 token 化，到引入概率生成与几何约束，再到用强化微调把语义先验"接地"到物理奖励，最后走向多范式融合与领域专用化。

一言之概览：

  • 自回归（Autoregression-based）：把动作当 token，像 LLM 一样逐步"说"出动作序列。最经典、最可扩展，但解码有误差累积与延迟。
  • 扩散（Diffusion-based）：把动作生成建模为条件去噪，天然支持多模态动作分布，轨迹更平滑、几何更可约束，但计算重、时序一致性脆弱。
  • 强化微调（Reinforcement-based）：用 RL 把 VLM 的语义先验"接地"到奖励信号，融合离线模仿与在线探索，在稀疏奖励、安全约束、跨形态迁移上发力，但奖励工程难、训练不稳。
  • 混合与专用（Hybrid & Specialized）：把上述范式按"推理-执行"分工组合（如自回归做规划、扩散做轨迹），并向自动驾驶、人形、GUI、灵巧操作等领域做专用化适配。

注意：综述正文中分类法表述为"4 categories: autoregression-based, diffusion-based, reinforcement-based, hybrid, and specialized methods"——严格说是四大范式（把 hybrid 与 specialized 合为第四类）。

方法全景速览

下表先给一个鸟瞰，随后每个范式用一段话点出关键创新与代表方法。

范式 核心思想 代表方法（年份） 主要优势 主要短板
自回归 动作 token 化，逐步解码 Gato(2022)、RT-1(2022)、PaLM-E(2023)、RT-2(2023)、OpenVLA(2024)、Octo(2024)、FAST(2025)、WorldVLA(2025) 可扩展、语义泛化强、统一框架 误差累积、延迟高、对噪声脆弱
扩散 条件去噪生成动作分布 Diffusion Policy(2024)、RDT-1B(2025)、π0(2024)、Diffusion-VLA(2025) 多模态分布、轨迹平滑、几何可约束 计算重、时序一致性脆弱
强化微调 RL 接地语义先验到奖励 VIP(2023)、SafeVLA(2025)、ConRFT(2025)、SimpleVLA-RL(2025)、LeVERB(2025) 稀疏奖励、安全约束、跨形态 奖励工程难、训练不稳
混合与专用 多范式融合 + 领域适配 HybridVLA(2025)、3D-VLA(2024)、VoxPoser(2023)、CLIPort(2021)、Helix(2024)、GR00T N1(2025) 推理-执行分工、领域针对性强 系统复杂、易过拟合窄场景
自回归范式

自回归是最经典也最有效的序列生成范式：把动作序列视为时间相关过程，在感知输入、历史上下文与任务提示条件下逐步生成动作。Gato 最早演示了异构模态统一 token 化的可行性；RT-1 用 13 万真实演示训练真实世界机器人 Transformer 并以 FiLM 做多模态融合；RT-2 进一步把动作作为 token 融入 VLM，借助 web 规模知识实现开放词表抓取；PaLM-E 把 PaLM 与 ViT 结合成具身多模态 LLM。为解决"形态碎片化"，Octo 用 150 万视频训练开源跨机器人策略，UniAct 定义通用原子动作以跨形态兼容。近期工作聚焦推理集成与效率：FAST 提出高效可变长动作 token 化，WorldVLA 用动作世界模型缓解自回归误差传播，OpenVLA 以 7B 开源 VLA（970k 轨迹）超越 RT-2-X。结构优化方向则有 DeeR-VLA 多出口早退、VLA-Cache 复用 KV 状态、BitVLA 1-bit 量化把显存压到 30%。

扩散范式

扩散（含 flow matching、VAE 等）把动作生成从确定性回归重构为概率生成策略，对相同观测可生成多条合法轨迹。几何感知方法把 SE(3) 约束嵌入扩散（如 SE(3)-DiffusionFields），把抓取与运动在 3D 中联合优化；把策略学习重诠释为视频生成（UPDP、AVDC）则借用视频的时序丰富度做长时程规划。规模化方面，RDT-1B 在双臂操作上做轨迹级扩散并实现零样本泛化，Diffusion Policy 把动作建模为条件扩散、超越行为克隆。架构融合上，π0 把视频与语言编码为 latent token 并以 observe-understand-execute 闭环组织；Diffusion-VLA 把自生成推理与扩散策略结合。部署优化则有 TinyVLA/SmolVLA 用 LoRA 把训练成本压到单卡，认知启发式双/三系统设计（MinD、TriVLA）把低频规划与高频扩散策略分层。

强化微调范式

强化微调把视觉-语言基础模型与 RL 结合，用人类反馈或环境奖励把语义先验"接地"到可执行策略。VIP 从视觉预训练导出与动作无关的稠密价值函数；LIV 从无动作视频+文本学习联合视觉-语言奖励。SafeVLA 从安全视角切入，用约束策略优化（CPO）和安全评判网络把高风险行为约束在阈值之下。SimpleVLA-RL 极端地用单条轨迹 + 二值（0/1）奖励在线训练 VLA；ConRFT 混合离线 BC+Q-learning 与在线一致性目标，兼顾安全与样本效率。在四足/人形上，NaVILA 用单阶段 RL 微调输出连续控制以适应复杂地形，LeVERB 用层级式框架把 VLA 推理与 RL 动力学耦合做人形全身控制。这一范式的难点始终是：奖励间接且噪声大、SFT 与探索交织致训练不稳、向高维真实环境规模化代价高。

混合与专用范式

当单一范式不够用时，混合架构把多范式互补组合：HybridVLA 在一个 7B 框架内统一扩散轨迹生成与自回归 token 推理；Fast-in-Slow 借卡尼曼双系统理论把低延迟执行模块嵌入慢但更"会想"的 VLM 主干；RationalVLA 用可学习 latent embedding 把高层推理与底层策略连起来并过滤不可行指令。在多模态融合与空间理解上，CLIPort 把视觉处理拆成"what"（识别物体）与"where"（定位动作）双通路生成抓取热图；VoxPoser 用 LLM 引导生成可组合 3D 价值图；3D-VLA 用生成式 3D 世界模型统一感知-语言-动作。专用化适配覆盖自动驾驶（CoVLA）、GUI 交互（ShowUI）、人形全身控制（Helix）、魔方求解（CubeRobot）等。基础模型与大规模训练则借 R3M（时间对比视觉表示）、DROID（150k+ 轨迹）等把通用具身先验做大；部署侧 EdgeVLA、DeeR-VLA、CEED-VLA 在效率/安全/人机协作上持续打磨。

数据·基准·仿真·硬件

VLA 的进展与资源生态密不可分，综述第 4–6 章分别覆盖。

数据集与基准。 真实世界数据是 VLA 的命脉但采集昂贵、长尾稀缺。代表资源按规模递增：BridgeData（71 任务/10 环境）、RH20T（147 任务/110k 轨迹，含力/声/动作多模态）、DROID（150k+ 轨迹、1000+ 物体，2024）。最具系统性的是 Open X-Embodiment（OXE）——22 个机构联合、21 家参与，统一了 22 个机器人数据集格式，覆盖 527 技能、160266 任务，是当前跨平台训练的事实标准。仿真侧则有 ROBOTURK、Meta-World、RLBench、VIMA-BENCH、CALVIN、LIBERO、RoboCasa 等，分别在不同真实度/任务多样性/控制保真度间取舍。评测指标上，机器人多用成功率与语言遵循率，自动驾驶多用 L2 轨迹偏差与完成率，闭环驾驶还引入违规分与驾驶路径 adherence。

仿真平台。 仿真是廉价、安全、可复现的训练与评测场。室内导航与交互首推 AI2-THOR（近真实 3D 室内场景）与 Habitat/Habitat 2.0（可交互物理、可扩展 3D 环境）；物理引擎方面 MuJoCo 是被广泛采用的开源首选；NVIDIA Isaac Gym 基于 Omniverse 的 GPU 加速仿真，把大规模并行物理渲染推到了产业级；自动驾驶侧 CARLA 用游戏引擎渲染真实城市场景并支持灵活传感器配置，是闭环评测主力。综述强调，理想仿真器应整合通用物理引擎、灵活机器人仿真平台与高保真渲染三件套。

机器人硬件。 机器人本体由传感器（相机、LiDAR、IMU、触觉阵列）、执行器（电机/伺服/液压）、电源与控制单元构成。硬件设计须在性能、能效、重量与耐用性间权衡，以覆盖工业自动化、服务机器人、自动驾驶等不同场景。综述指出，VLA 的高算力需求与嵌入式平台的算力/功耗上限之间存在尖锐矛盾——这正是第 7 章"实时推理约束"挑战的物理根源。

挑战与未来

综述第 7 章把当前瓶颈归纳为五大挑战，并给出四大机遇。

五大挑战：

  1. 机器人数据稀缺——现有数据集（如 OXE）偏重桌面操作与抓取，任务/环境多样性不足，sim-to-real gap 依旧存在。
  2. 架构异质性——视觉主干（ViT/DINOv2/SigLIP）、语言主干（PaLM/LLaMA/Qwen）、动作头（离散 token/连续向量/扩散生成）选择纷繁，感知-推理-控制内部耦合松散，跨平台复用与公平对比困难。
  3. 实时推理与成本约束——自回归解码逐 token 累积延迟，高维视觉输入与巨大参数量远超嵌入式平台承载，"太慢"与"太贵"两头受压。
  4. 伪交互——模型基于先验与统计共现生成动作，缺乏对环境的因果探查与反馈修正，遇陌生场景即"听懂指令却做不出任务"。
  5. 评测与基准局限——现有基准多在实验室或高度结构化仿真中做桌面操作/抓取，难以反映开放世界泛化与鲁棒性，缺乏统一、权威、多样基准。

四大机遇：

  1. 世界建模与跨模态统一——把语言、视觉、动作在单一 token 流中联合建模，让 VLA 演化为"原型世界模型"，闭合从语义理解到物理执行的回路。
  2. 因果推理与真正交互——引入因果建模与交互式推理，让机器人学会"探查-验证-修正"，从数据驱动智能迈向深度交互智能。
  3. 虚实融合与大规模数据生成——通过高保真仿真、合成数据与多机器人共享，构建万亿级轨迹数据生态，像 GPT 借互联网语料跃迁语言智能那样跃迁具身泛化。
  4. 社会嵌入与可信生态——建立风险评估、可解释性与问责的标准化框架，让 VLA 从实验室产物变为可信伙伴，渗透医疗、工业、教育、服务等领域。

综述同时点出一个更深的判断：当前 VLA 系统本质上是大规模 LLM/VLM 的"迁移"，它们在语义理解与跨模态对齐上很强，却缺乏与物理世界直接交互的训练与经验。"理解指令却执行不了任务"的鸿沟，根源在于语义级泛化与具身能力之间的脱节——这是贯穿全部挑战的核心矛盾。

阅读指南

本综述共 8 章，组织结构见图 1。

在这里插入图片描述

图 1 展示了全篇的逻辑骨架：从背景（第 2 章）出发，经方法分类（第 3 章）与资源支撑（第 4–6 章），落到挑战与未来（第 7 章），最后总结（第 8 章）。读者可据此选择切入点。

八章各讲什么：

  • 第 1 章 引言：动机、贡献与全文地图。
  • 第 2 章 背景：从 LLM/VLM 基础模型到 VLA 的演进，数据与仿真的支撑作用，通向通用具身智能的前景。
  • 第 3 章 VLA 模型：全篇核心，按四大范式展开（自回归 4 小节、扩散 4 小节、强化 2 小节、混合与专用 6 小节），配 4 张代表方法表，是篇幅最重、最值得精读的一章。
  • 第 4 章 数据集与基准：真实世界与仿真两类数据集，机器人与自动驾驶两类场景，配 Table 5。
  • 第 5 章 仿真器：THOR、Habitat、MuJoCo、Isaac Gym、CARLA 等平台的能力与取舍。
  • 第 6 章 机器人硬件：本体组成与硬件设计权衡，是 VLA 部署的物理底座。
  • 第 7 章 挑战与未来方向：五大挑战 + 四大机遇，是判断领域走向的纲领。
  • 第 8 章 总结：归纳与展望。

建议阅读顺序：

  • 想快速建立全局观：本导读 → 第 2 章背景 → 第 3 章导语与各范式 Discussion → 第 7 章挑战。
  • 想深入方法：第 3 章逐节精读，配合 Table 1–4 与代表论文精讲。
  • 想做系统/部署：第 4–6 章资源 → 第 3 章中"结构优化与高效推理""部署"相关小节 → 第 7.1.3 实时推理约束。

不同读者的切入点：

  • 入门读者：先读本导读与第 2 章建立直觉，再用图 3 的分类树作为索引，挑每个范式 1–2 篇代表论文（如 RT-2、Diffusion Policy、OpenVLA、π0）读原文，避免一上来被 300+ 文献淹没。
  • 研究者：重点啃第 3 章四大范式的 Discussion 小节——每节都明确列出 Innovations 与 Limitations，是找研究 gap 的富矿；再结合第 7 章五大挑战定位选题（数据稀缺、架构异质、实时性、伪交互、评测）。
  • 工程师：直奔第 4–6 章选数据与仿真平台，回到第 3 章"结构优化与高效推理机制"（DeeR-VLA、VLA-Cache、BitVLA、EdgeVLA、CEED-VLA 等）看部署 tricks，最后用第 7.1.3 评估实时性与成本约束。

结语

VLA 正处在从"语义级泛化"向"物理级执行"跃迁的关键节点。它继承了 LLM/VLM 的语义与指令泛化能力，又通过显式状态耦合与动作生成获得了对环境扰动和长时程任务的鲁棒性；四大范式（自回归、扩散、强化、混合与专用）各擅胜场，正在走向融合。但真正的通用具身智能，还需跨越数据稀缺、架构异质、实时性、伪交互与评测等多重鸿沟，并把因果推理、世界建模与可信部署纳入核心议程。如果这些问题被逐步攻克，VLA 有望像 GPT 之于语言智能那样，成为重塑机器人与物理世界交互方式的下一个范式——从"看得懂、说得清"走向"做得到、做得稳、做得可信"。

第1章 引言

机器人学长期以来都是科学研究中极具吸引力的方向。但要让机器人真正走出实验室、走进人类生活的复杂场景，研究者们走过了一条漫长的路：从把任务"写死"在代码里的预编程指令，到用深度学习把感知、规划、控制切成几个阶段流水线处理，再到今天用视觉-语言-动作（Vision-Language-Action，VLA）模型把"看、懂、动"统一进一个端到端的模型里。这条范式演进的主线，正是本综述要梳理的核心脉络。

本章作为全文的开篇，要回答三个问题：第一，机器人控制的方法论为何会演进到 VLA 这一步？第二，为什么要把原本"只会生成图文"的视觉语言模型（VLM）改造成能做具身决策的 agent？第三，面对已有的众多机器人/具身智能综述，这篇综述的独特价值在哪里？理清这三点，读者才能带着正确的"问题意识"进入后续章节。

1.1 从预编程到端到端：机器人控制的范式演进

回顾机器人控制的发展，可以粗略划分为三个阶段，每一个阶段都在试图解决前一阶段留下的根本性瓶颈。

第一阶段：预编程指令与手工控制策略。 早期的机器人主要依赖预编程指令和工程化的控制策略来完成任务分解与执行。这类方法擅长处理简单、重复的任务，例如工厂装配线和物流分拣——环境结构化、动作可枚举、不确定性低。它的优势是确定性强、可解释、可重复；代价是极其脆弱：一旦环境或任务稍有偏离预设脚本，系统就会失效。本质上，这一阶段的机器人是"被编程"去执行某个特定动作序列，而不是"理解"任务。

第二阶段：深度学习驱动的感知-规划-控制分阶段流水线。 近年来人工智能的快速进步，使研究者得以利用深度学习在图像、文本、点云等多种模态上的特征提取与轨迹预测能力。通过把感知、检测、跟踪、定位等技术集成起来，研究者将机器人任务分解为多个阶段——先感知环境，再规划路径，最后执行控制——以满足执行需求，从而推动了具身智能和自动驾驶的发展。这种分阶段范式比预编程灵活得多，能在半结构化环境中工作，但仍有明显局限：各阶段之间的误差会累积传递，模块边界处的信息损失难以避免，而且每个阶段都要单独标注数据、单独训练。

更关键的问题在于原文指出的：大多数这类机器人仍以孤立 agent 的形式运作，面向特定任务设计，缺乏与人类和外部环境的有效交互。 它们"看"得到物体，却"听"不懂人的指令；"动"得起来，却无法根据人的语言反馈调整行为。这种"封闭性"使得机器人难以从人类积累的海量知识中受益，也难以胜任开放、多变、需要人机协作的真实任务。

第三阶段：VLA 端到端统一。 正是为了突破上述局限，研究者开始探索将大语言模型（LLM）与视觉语言模型（VLM）引入机器人操作，以实现更精确、更灵活的操控。现代机器人操作方法通常采用视觉语言生成范式（如自回归模型或扩散模型），结合大规模数据集与先进的微调策略。这类方法被统称为 VLA 基础模型，它们显著提升了机器人操作的质量。对生成内容的细粒度动作控制，赋予用户更大的灵活性，释放了 VLA 在任务执行上的实用潜力。

VLA 的核心直觉是：与其让感知、规划、控制三段式流水线各自为政、在接口处互相"翻译"信息，不如用一个统一模型直接把"看到的画面 + 听到的指令"映射为"要执行的动作"。这样既避免了模块间的误差累积，又能让语言这一人类最自然的交互接口真正参与到控制闭环中。从"看、懂、动"分立，到"看-懂-动"一体，这是具身智能方法论上的一次范式跃迁，也是本综述第3章将深入展开的核心主题。

1.2 从被动生成器到具身决策 agent：VLM 的角色重塑

理解 VLA，关键在于理解它对 VLM 角色的根本性改造。

传统 VLM（如 CLIP、BLIP、LLaVA 等，本综述第2章将系统回顾）本质上是被动的图文生成器与对齐器：输入图像和/或文本，输出描述、回答或检索结果。它们擅长"理解"和"表达"，但停留在语义层面，不与物理世界发生因果联系——模型说"桌上有一个杯子"，并不代表它知道如何把杯子拿起来。

VLA 做的事情，是把这类被动生成器改造成具身决策 agent。具体而言，它在 VLM 的语义理解能力之上，嫁接了"动作生成"这一新维度：模型不仅要看懂场景、听懂指令，还要输出可在真实或仿真机器人上执行的连续/离散动作。原文所谓"细粒度的动作控制"，正是指模型对生成内容——这里是动作序列——具有精确到关节、位姿或末端执行器轨迹的控制能力。

这一改造带来的好处是多方面的。其一，VLM 从互联网海量图文中学到的开放世界语义知识（物体是什么、人想要什么、任务该怎么做），第一次能直接"落地"为物理行为，而不必为每个新任务从零采集机器人数据。其二，语言成为人和机器人之间统一的交互接口：人可以用自然语言下达指令、纠正错误、表达偏好，机器人则把语言"翻译"成动作。其三，端到端的统一使得感知与动作在同一表征空间内对齐，长程任务和复杂约束（如"把红色杯子放到左边，但别碰到水杯"）得以被一致地表达与求解。

当然，这一改造也带来新挑战：动作空间的连续性、物理世界的安全性、实时推理的速度、以及对真实机器人数据的渴求——这些问题将在第7章集中讨论。但无论如何，"让 VLM 从会说话变成会动手"这一理念，已经成为当前具身智能研究的主旋律。

1.3 现有综述的不足与本文定位

尽管 VLA 前景广阔，但针对"纯 VLA 方法"的综述仍然稀缺。原文明确指出了现有综述的两类不足：

第一，偏重 VLM 基础模型。部分综述把注意力放在视觉语言基础模型的分类与演进上，讨论的是图文对齐、多模态预训练等"上游"问题，而对真正面向机器人的动作生成策略着墨不多。这类综述有助于理解 VLA 的"身世"，却难以指导机器人研究者选择和设计具体的策略方法。

第二，泛泛而谈历史，忽略新兴 pure VLA。另一些综述对机器人领域整个历史做全面分析，往往强调传统方法，而牺牲了对新兴技术的覆盖。它们要么仍基于基础模型的差异来给 VLA 方法分类，要么把 robotic manipulation 作为整体笼统带过，而 VLA 方法本身作为一个新兴方向，尚无成熟的方法论版图或共识性分类体系，这使得系统总结这些方法变得困难。

换句话说，现有综述要么"太上游"（停在 VLM），要么"太宽泛"（铺在整个机器人史），恰恰在"纯 VLA 方法"这一最活跃、最需要梳理的中间地带留下了空白。

本文正是要填补这一空白：聚焦 VLA 方法本身及其相关资源，提供一份聚焦而全面的综述。目标是给出清晰的分类法、系统总结 VLA 研究、阐明这一快速演进领域的发展轨迹。在简要回顾 LLM 与 VLM 之后，本文把重心放在 **VLA 模型的策略（policy）**上，强调以往工作的独特贡献与鲜明特征。如原文图2所示，本文为这些方法绘制了一幅 VLA 骨架图。

1.3.1 VLA 方法的四大分类

本文将 VLA 方法按其动作生成策略划分为四大类（详见第3章，并见原文图3的分类树）：

  1. 基于自回归的方法（Autoregression-based）：把动作离散化为 token，像语言模型生成文本一样逐 token 生成动作。代表如 Gato、RT-1、RT-2、OpenVLA 等。这类方法继承了 LLM 强大的语义推理与开放词表能力，但面临动作离散化损失与推理速度的权衡。
  2. 基于扩散的方法（Diffusion-based）：用条件扩散模型在连续动作空间上去噪生成动作分布，天然适合多模态、连续控制。代表如 Diffusion Policy、π0 等。
  3. 基于强化的方法（Reinforcement-based）：以强化学习优化策略，强调试错、奖励信号与长程决策。
  4. 混合与专用方法（Hybrid / Specialized）：将上述范式组合（如自生成推理 + 扩散策略的 Diffusion-VLA），或面向特定形态/任务定制（如人形、灵巧手、无人机）。

需要说明的是，原文在不同位置出现过"4 categories"与"5 categories（含 specialized）"两种表述，本文采用第3章正文最终的四大类划分，将 specialized 归入混合/专用一类。这一分类法是本文最重要的方法论贡献之一，它让一个原本缺乏共识的新兴领域有了可比较、可讨论的坐标系。

经典论文精讲：VLA 的奠基性工作

为了让读者在进入方法篇之前先建立直觉，下面挑选四篇贯穿全文、最具代表性的 VLA 工作做精讲。它们分别对应四大范式中的关键节点，也大致勾勒出 VLA 从"能否统一"到"如何统一"的演进轨迹。

Gato（2022）

链接：https://arxiv.org/abs/2205.06175

Gato 是"用一个 Transformer 玩转一切"的早期尝试，也是 VLA 统一思想的源头之一。它把视觉、语言、本体感觉、离散化动作乃至离散控制信号全部 token 化，塞进同一个自回归 Transformer 里，用同一个模型同时下棋、描图、做机器人操作。它的核心贡献不在某个具体任务的性能，而在于证明了"多任务、多模态、多本体可以共享同一套参数与同一套生成范式"这一可能性。后续的 RT-1、RT-2、OpenVLA 等都可以看作是 Gato 思想在机器人操作场景下的专门化与规模化。

RT-2（2023）

链接：https://arxiv.org/abs/2307.15818

如果说 Gato 证明了"统一可行"，RT-2 则回答了"为什么要用 VLM 来做"。RT-2 的关键创新是把机器人动作离散成 token、直接嫁接到已有大规模 VLM 的输出词表上，从而让模型在生成动作时能"复用"VLM 从互联网图文中学到的常识与组合泛化能力。它的实验表明，仅用机器人数据协同微调，就能让模型涌现出对训练分布之外物体、指令乃至语义推理（如"把草莓移到对应颜色的杯子旁"）的泛化——这是传统纯机器人数据训练的策略难以企及的。RT-2 确立了"动作即语言、VLM 即策略"这一自回归 VLA 范式的基本范式。

Diffusion Policy（2024）

链接：https://arxiv.org/abs/2303.04137

Diffusion Policy 是扩散类 VLA 的代表。它的核心洞见是：连续控制中的动作分布往往是多模态的（同一观测下可能有多个合理动作），而自回归离散 token 难以自然表达这种多模态性。通过把策略建模为条件扩散过程，在连续动作空间上逐步去噪，Diffusion Policy 天然支持多模态动作分布，并在长程操作任务上展现出更平滑、更稳定的轨迹。它为 VLA 提供了与自回归范式互补的另一条技术路线，也是后续 π0 等通用策略的重要基础。

π0（2024）

链接：https://arxiv.org/abs/2410.24164

π0 代表了 VLA 通往"通用机器人控制"的最新尝试。它以大型预训练 VLM 为骨干，用 flow matching 在连续动作空间上生成动作，既能继承 VLM 的语义与常识，又避开了纯自回归范式在连续控制上的离散化损失。更重要的是，π0 强调跨本体、跨任务的统一训练，试图用一个模型覆盖从单臂到双臂、从家务到灵巧操作的广泛场景。它所体现的"大模型 + 连续动作生成 + 跨本体统一"思路，正是当前 VLA 研究最具影响力的发展方向之一。

这四篇工作分别对应"统一思想的萌芽（Gato）— 自回归范式的确立（RT-2）— 扩散范式的互补（Diffusion Policy）— 通用化的最新进展（π0）"，读者在阅读第3章时可以此为线索，理解各范式之间的承接与张力。

1.4 本文的贡献

综合而言，本文的贡献有四：

  • 一套结构清晰的 pure VLA 方法分类法：基于动作生成策略对方法进行分类，既便于理解现有方法，也凸显了该领域的核心挑战。
  • 对各范式与技术的特性与创新的重点剖析：强调每一类、每一种方法的定义性特征与方法学创新，为把握当前方法提供清晰视角。
  • 对相关资源的全面梳理：覆盖训练与评估 VLA 模型所需的数据集、基准与仿真平台。
  • 对 VLA 实践影响、局限与未来方向的研究：识别现有技术的关键局限，并提出进一步探索的潜在途径。

这四点贡献对应本综述的四条主线：分类（第3章）→ 方法剖析（第3章）→ 资源（第4-6章）→ 挑战与未来（第7-8章）。

1.5 全文结构

本文整体结构如原文图1所示。
在这里插入图片描述

图1以层次化的方式呈现了全综述的组织：背景知识为方法篇奠基，方法篇是核心，资源篇（数据/仿真/硬件）为方法落地提供支撑，最后以挑战与展望收束。读者既可按顺序通读，也可根据兴趣直接跳转到相应章节——但建议先读第2、3章建立整体框架，再进入资源与挑战部分。

具体而言，全文共8章，组织如下：

  • 第2章 背景：回顾 VLA 研究的背景，从 LLM/VLM 基础模型出发，梳理从单模态到多模态、再到多模态加可执行控制的方法论脉络，为理解 VLA 奠定基础。
  • 第3章 Vision-Language-Action 模型：综述机器人领域现有的 VLA 方法，按自回归、扩散、强化、混合/专用四大范式逐一展开，并配以代表方法表与经典论文精讲。这是全文最核心、篇幅最重的一章。
  • 第4章 数据集与基准：介绍 VLA 方法所采用的数据集与基准，涵盖 Open X-Embodiment、DROID 等关键资源。
  • 第5章 仿真平台：讨论 VLA 训练与评测所依赖的仿真平台。
  • 第6章 机器人硬件：讨论承载 VLA 的机器人硬件形态，包括机械臂、四足、人形、轮式（自动驾驶）等。
  • 第7章 挑战与未来方向：进一步讨论基于 VLA 的机器人方法所面临的挑战与未来方向，如数据局限、推理速度、安全性等。
  • 第8章 总结：总结全文，并给出作者对未来发展的观点。

1.6 本章小结

  • 机器人控制经历了"预编程/手工策略 → 深度学习感知-规划-控制分阶段 → VLA 端到端统一"的范式演进，每一次跃迁都是为了解决前一阶段的根本瓶颈（确定性但脆弱 → 灵活但误差累积且封闭 → 统一且开放）。
  • VLA 的本质，是把 VLM 从被动的图文生成器改造为具身决策 agent，让互联网级别的语义知识首次能直接"落地"为物理动作，并以语言作为人机统一交互接口。
  • 现有综述的不足在于：要么偏重 VLM 基础模型（太上游），要么泛泛而谈机器人史而忽略新兴 pure VLA（太宽泛），恰在"纯 VLA 方法"这一中间地带留下空白。
  • 本文以"动作生成策略"为轴，提出 pure VLA 的四大分类法（自回归、扩散、强化、混合/专用），这是本综述的核心方法论贡献。
  • 本文四大贡献：分类法、方法剖析、资源梳理、挑战与未来方向，分别对应第3章、第3章、第4-6章、第7-8章。
  • 全文共8章，按"背景 → 方法 → 资源 → 挑战与总结"组织，第3章为重中之重。

第2章 背景

Vision-Language-Action（VLA）模型并非凭空出现，它的兴起是过去十余年单模态基础模型、多模态对齐技术、以及机器人学习与仿真基础设施共同推进的结果。本章的作用，是在进入具体 VLA 方法之前，先把这条演进线索理清楚：先是视觉与语言各自如何从浅层模型走向可迁移的深度表征，再是这两条线如何在视觉-语言模型（VLM）中合流，最后是 VLM 如何进一步吸收"动作"这一维度，演化为可以真正驱动机器人执行的 VLA 框架。

这条脉络可以用一句话概括：单模态 → 多模态 → 多模态+可执行控制。前两个阶段解决的是"看懂"和"听懂"的问题，第三个阶段解决的是"能动起来并完成任务"的问题。理解这条主线，才能理解为什么 VLA 被视为通向通用具身智能的关键路径，也才能理解后续章节中各类方法（自回归、扩散、强化学习、混合范式）所面临的共同约束——数据稀缺、跨本体迁移、推理效率与安全。

本章按照"过去—现在—未来"的时间结构组织：2.1 回顾 LLM/VLM 基础模型的演进；2.2 讲 VLA 模型的诞生以及数据与仿真对其的支撑作用；2.3 展望通向通用具身智能的未来方向。

2.1 早期：LLM/VLM 基础模型

单模态建模的突破，为多模态融合奠定了方法论与工程基础。这一节先分别看视觉、语言、强化学习三条线，再看它们如何在视觉-语言模型（VLM）中合流。

2.1.1 视觉：从局部卷积到全局自注意力

在计算机视觉领域，卷积神经网络（CNN）长期是主流范式。AlexNet（2012）在 ImageNet 大规模视觉识别挑战上的胜利，证明了深层卷积网络配合 GPU 训练与大规模数据可以显著超越传统手工特征，由此开启了深度学习主导视觉的时代。此后 ResNet（2016）引入残差连接（residual connection），通过"恒等映射短路"的巧妙设计缓解了深层网络的梯度消失与退化问题，使得训练上百层乃至更深的网络成为可能。残差连接的意义不仅在于视觉本身——它后来成为几乎所有深层网络（包括 Transformer 的残差块）的标配。

但卷积本质上是局部操作，感受野的扩展需要靠堆叠层来实现。Vision Transformer（ViT, 2020）改变了这一思路：它把图像切分为若干图块（patch），将每个 patch 视为一个 token，直接送入 Transformer 的自注意力机制。自注意力使得任意两个 patch 之间都能在一层内直接交互，从而大幅提升了模型在大规模预训练后的迁移能力与泛化能力。ViT 的出现，使得视觉与语言这两条原本架构迥异的线，第一次在"Transformer + token 序列"这一统一表示下走到了一起——这是后续 VLM 乃至 VLA 得以实现跨模态融合的架构前提。

2.1.2 语言：从预训练到指令跟随

在自然语言处理领域，Transformer 架构同样是大规模预训练与对齐技术的基石。BERT（2019）采用掩码语言建模的双向 Transformer 预训练，在一系列理解类任务上刷新纪录，证明了"预训练+微调"范式的威力。GPT 系列则走自回归生成路线，并随参数规模增长逐步展现出指令跟随与上下文学习（in-context learning）能力。T5（2020）把所有任务统一为"文本到文本"的形式，用一个统一的编码器-解码器框架处理翻译、摘要、分类、问答等异构任务，进一步确立了"统一序列建模"的思路。GPT-4（2023）则将语言模型的推理、知识与多模态理解推向新的高度。

这一系列工作的共同贡献，不只是模型本身的性能提升，更重要的是确立了几件事：一是大规模预训练可以带来涌现能力；二是统一序列建模能够把异构任务塞进同一套框架；三是指令微调与对齐让模型从"会生成文本"进化为"会按人意图行动"。这三点后来几乎原封不动地迁移到了 VLM 和 VLA 的设计中——VLA 把动作也 token 化、用同一套 Transformer 同时处理感知-语言-动作，正是这一思路的自然延伸。

2.1.3 强化学习：从策略优化到序列建模

与感知和语言并行发展的，是强化学习（RL）。机器人控制本质上是一个序贯决策问题，因此 RL 的进展对 VLA 同样关键。经典方法从 DQN（用深度网络逼近动作价值函数）到 PPO（策略优化中的稳健基线），逐步解决了高维状态空间下的策略学习问题。值得注意的是 Decision Transformer：它把 RL 问题重新表述为"给定回报、状态、动作的序列建模"，用监督式的方式对轨迹做条件生成，从而把控制问题转化为与语言建模无异的 next-token 预测。这一视角——把控制视为序列建模——与 VLA 的核心思想高度一致：VLA 正是把感知、状态、动作都纳入一个统一的自回归序列框架，因此 Decision Transformer 可以看作 VLA 在方法论上的一个重要先导。

2.1.4 视觉-语言模型：合流与对齐

在以上单模态进展的基础上，视觉-语言模型（VLM）成为连接单模态学习与具身智能的关键桥梁。

早期的 VLM 主要解决"图文如何对齐与融合"的问题。一类做法是双流架构（如 ViLBERT, 2019），分别用独立编码器处理图像区域特征和文本，再通过跨模态注意力进行交互；另一类是单流架构（如 VisualBERT, 2019），把视觉特征和文本 token 直接拼成一个序列送入同一个 Transformer。这两类工作探索了图文融合的两种基本范式，奠定了后续统一多模态模型的设计基础。

真正让 VLM 走向大规模实用化的，是 CLIP（2021）。CLIP 采用对比学习，将海量图文对映射到同一个共享嵌入空间，使得图像与对应文本在空间中彼此靠近。这一训练目标极其简洁却极为有效：它带来了零样本（zero-shot）识别与检索能力——给定一段自然语言描述，模型无需任何微调就能在图像集中检索出匹配的样本。CLIP 的意义远超检索本身：它训练出的视觉编码器成为此后无数 VLM、乃至 VLA 系统的默认视觉骨干，因为它天然地与语言对齐，能提供"可被语言语义直接索引"的视觉表征。

在 CLIP 之后，VLM 的研究重心转向更强的开放式跨模态理解、细粒度接地（grounding）与多轮推理。BLIP-2（2023）冻结预训练好的视觉编码器与 LLM，用一个轻量的 Q-Former 桥接模块从图像中提取少量与语言相关的 token，再喂给 LLM 生成回答，巧妙地避开了端到端联合训练的巨大开销。Flamingo（2022）则在少样本设定下，通过感知器（Perceiver）与交叉注意力把视觉信号接入冻结的 LLM，展现出强大的少样本视觉问答与推理能力。LLaVA（2023）则采用更直接的"视觉指令微调"路线：把视觉编码器输出投影为 LLM 的视觉 token，用图文对做对齐预训练，再用 GPT-4 生成的多模态指令数据做指令微调，以极简的架构和较低成本获得了接近商业闭源模型的视觉对话能力。

这些工作逐步把"看图说话"提升为"看图理解并推理"，并为更进一步的接地与执行铺平了道路——当一个模型既能理解图像、又能理解语言指令、还能在共享空间中对齐二者时，剩下的关键一步，就是让它真正"动起来"，这正是 VLA 要解决的问题。

2.2 当下：VLA 模型的发展

2.2.1 从 LLM/VLM 到 VLA 模型

顺着上述轨迹，研究自然地推进到 VLA 的整合：在单一序列建模框架内，统一视觉感知、语言理解与可执行控制。

VLA 的典型设计可以这样理解：把图像与语言指令编码为前缀/上下文 token，把机器人本体状态与传感反馈注入为状态 token，然后自回归地生成动作 token，输出控制序列，从而闭合"感知-语言-动作"的回路。与传统的"感知→规划→控制"分阶段流水线相比，VLA 提供的是端到端的跨模态对齐，以及对目标、约束、意图的统一处理。它继承了 VLM 带来的语义泛化与指令泛化能力，而显式的状态耦合与动作生成又赋予其对环境扰动与长时程任务的稳健性。

这一从"单模态"到"多模态"，再到"多模态+可执行控制"的递进，构成了一个完整的方法论根基：它让系统不仅能"看见"和"理解"，还能"行动"。从这一刻起，机器人不再是一个被分阶段编程的执行器，而是一个可以接收自然语言任务、观察世界、并自主产出动作的统一智能体。需要指出的是，"动作 token 如何生成"这一核心问题在 VLA 内部又演化出多条技术路线——按动作生成策略可大致分为自回归、扩散、强化学习微调，以及混合与专用四大范式，这正是第 3 章将要系统展开的内容。

2.2.2 数据与仿真的支撑作用

VLA 模型在机器人领域的发展，严重依赖高质量数据集与能够逼近真实世界复杂度的仿真器。当下的机器人方法基本都是数据驱动的深度学习方法，因此数据采集与标注直接决定了模型的上限。

真实世界数据采集成本高昂、费时费力。为了缓解数据饥渴，研究者一方面投入大量人力物力在真实环境中采集演示轨迹，另一方面也利用互联网上的大规模人类操作视频作为辅助监督，为 VLA 提供更丰富的行为先验与泛化信号。即便如此，真实数据仍面临标注昂贵、长尾场景难以覆盖等问题。

仿真器则提供了另一条互补路径：它们能生成大规模带标签数据，提供多样且可控的环境、灵活的传感配置、逼真的运动学模型，以及可交互的静态与动态场景，同时支持数据采集与模型评估。代表性的数据集如 Open X-Embodiment（OXE, 2024），整合了来自 21 家机构的 22 个机器人数据集，涵盖 527 项技能、160,266 个任务；BridgeData 则覆盖 10 个环境、71 个任务，跨越多个领域。这些资源通过标准化数据格式，大幅促进了 VLA 研究的快速迭代与可复现。在仿真侧，THOR、Habitat、MuJoCo、Isaac Gym、CARLA 等平台提供了可扩展的虚拟环境，能够生成包含动作轨迹、物体状态、自然语言指令在内的多模态标注。

数据与仿真这两类基础设施共同缓解了真实机器人数据稀缺的问题，加速了 VLA 模型的训练与评估。可以说，没有这层基础设施，今天 VLA 所依赖的"大规模多本体、多任务学习"就无从谈起。

2.3 未来：通向通用具身智能

VLA 模型站在视觉、语言与动作三股力量交汇的前沿。它建立在感知与推理基础模型的突破之上，强调人机交互与任务执行能力，并把这些能力延伸到物理世界。通过整合视觉编码器的表征力、大语言模型的推理力、以及强化学习与控制框架的决策力，VLA 有望真正弥合"感知—理解—行动"之间的鸿沟。

尽管如此，VLA 在可扩展性、泛化性、安全性与真实世界部署等方面仍面临诸多挑战，也正因此，它被广泛认为是具身人工智能的关键前沿。需要指出的是，尽管 VLA 在视觉-语言-动作交互上已取得显著进展，并受益于大规模语言模型的进步，但它尚未在具身智能领域达到完全的通用性。

通用具身智能（general embodied intelligence）主张：类人智能行为不仅依赖认知过程，还依赖物理身体、环境感知与反馈机制，从而能够与外部世界交互。为适应多样任务，通用具身智能可以通过不同类型的机器人来体现——服务于家庭场景的人形机器人、具备灵巧操作能力的装配机器人、以及具备特殊能力的仿生机器人等。显然，通用具身智能有望让人工系统在更多样的环境中完成更广泛的任务。VLA 正在朝着这一愿景演进，并在实现通用具身智能方面具有相当大的潜力。

经典论文精讲

在结束本章之前，我们挑选 VLA 演进线上最关键的几篇基础与多模态工作做精讲，帮助读者建立后续 VLA 方法的"源头坐标"。

CLIP（2021）

链接：https://arxiv.org/abs/2103.00020

CLIP 是 VLA 视觉侧最重要的奠基工作之一。它的核心创新在于训练目标：不再预测图像的离散类别，而是用对比损失把图像编码器与文本编码器对齐到同一嵌入空间，使得"一只猫的照片"与其文本描述"a photo of a cat"在空间中靠近。这一看似简单的改动带来了两个深远影响。其一，它赋予了模型零样本能力——只需用自然语言描述类别，就能完成开放词表的图像识别与检索，打破了传统分类器类别固定的桎梏。其二，CLIP 训练得到的视觉编码器天然与语言对齐，因此成为后续几乎所有 VLM（BLIP-2、LLaVA 等）和 VLA 系统（RT-2、OpenVLA 等）的默认视觉骨干。可以毫不夸张地说，CLIP 让"用语言索引视觉"成为可能，这是从"看见"走向"按语言指令行动"的第一块基石。

BLIP-2（2023）

链接：https://arxiv.org/abs/2301.12597

BLIP-2 解决的是"如何以低成本把视觉接入大语言模型"这一工程难题。直接端到端联合训练视觉编码器与 LLM 开销巨大，BLIP-2 的巧妙之处在于：冻结预训练好的视觉编码器与 LLM，只在中间训练一个轻量的 Q-Former 模块。Q-Former 从冻结的视觉编码器输出中，用一组可学习的 query 提取出少量（通常几十个）与语言高度相关的视觉 token，再把这些 token 作为"图像摘要"喂给冻结的 LLM。这种"冻结两段、只训中间"的设计，让 BLIP-2 以远低于端到端方案的成本，获得了强大的图像描述、视觉问答与多模态对话能力。对 VLA 而言，BLIP-2 的意义在于示范了一种模态桥接的通用范式：当未来需要把"动作"这一新模态接入已有的强大 LLM 时，同样可以借鉴"冻结骨干、训练轻量桥接"的思路，而非每次都从头联合训练。

LLaVA（2023）

链接：https://arxiv.org/abs/2304.08485

LLaVA 走的是一条与 BLIP-2 不同的"极简直接"路线。它把视觉编码器（CLIP 的 ViT）的输出经一个线性投影层，直接作为视觉 token 拼接到 LLM 的输入序列中；先在图文对上做对齐预训练（只训练投影层），再用 GPT-4 自动生成的多模态指令数据做指令微调（训练投影层与 LLM）。LLaVA 的贡献在于证明了"视觉指令微调"这一范式的高效性：用极简的架构和相对低廉的成本，就能让模型具备接近商业闭源模型的视觉对话与推理能力。这一思路直接影响了 VLA 的训练范式——许多 VLA 模型（如 OpenVLA）正是沿用"对齐预训练 + 指令/动作微调"的两阶段范式，只是把指令数据换成了包含动作标签的机器人轨迹数据。从这个意义上说，LLaVA 是连接纯 VLM 与 VLA 之间的一座重要桥梁。

ViT（2020）

链接：https://arxiv.org/abs/2010.11929

Vision Transformer 的意义在于把 self-attention 从自然语言引入图像领域，并以"patch as token"的方式统一了视觉与语言的序列化表示。在 ViT 之前，视觉与语言各自有截然不同的架构（CNN vs. Transformer）；ViT 之后，两者都可以被表达为 token 序列，这为后续的跨模态融合（CLIP、BLIP-2、LLaVA）乃至 VLA 的统一序列建模扫清了架构障碍。ViT 还显著提升了视觉模型在大规模预训练后的迁移性，这也是它成为众多 VLA 系统视觉骨干的原因之一。

本章小结

  • 单模态先行：视觉（AlexNet→ResNet→ViT）与语言（BERT→GPT→T5→GPT-4）各自经历了从局部到全局、从专用到统一的演进，最终在 Transformer + token 序列这一表示下走向可融合。
  • 强化学习的序列化转向：从 DQN/PPO 到 Decision Transformer，控制问题被重新表述为序列建模，这与 VLA "把动作 token 化、统一自回归生成"的核心思想一脉相承。
  • VLM 是关键桥梁：ViLBERT/VisualBERT 探索图文融合范式，CLIP 以对比学习实现零样本对齐并成为默认视觉骨干，BLIP-2/Flamingo/LLaVA 把开放式理解与指令微调推向实用，为 VLA 铺平道路。
  • VLA 的本质：在单一序列建模框架内统一感知-语言-动作，用前缀 token 编码图像与指令、用状态 token 注入本体反馈、自回归生成动作 token，闭合"感知-语言-动作"回路。
  • 数据与仿真不可或缺：OXE、BridgeData 等数据集与 THOR、Habitat、MuJoCo、Isaac Gym、CARLA 等仿真器共同缓解了真实机器人数据稀缺问题，是 VLA 大规模训练与评估的基础设施。
  • 未来指向通用具身智能：VLA 是通向通用具身智能的关键前沿，但在可扩展性、泛化性、安全性与真实部署上仍不成熟，尚未达到完全通用——这正是后续章节将要深入讨论的方法与挑战所在。

第3章 Vision-Language-Action 模型

近年来，Vision-Language-Action（VLA，视觉-语言-动作）模型经历了系统而迅猛的发展。其背后的驱动力来自三方面：多模态表征学习的成熟（让模型能"看懂"也"读懂"）、生成式建模的突破（让模型能"生成"而非仅"预测"动作）、以及强化学习与人类反馈机制的引入（让模型能在真实交互中持续改进）。如果说第2章交代了 VLA 的"地基"——LLM、VLM 以及早期感知-规划-控制流水线——那么本章要回答的核心问题是：当我们把这些能力拧成一股绳、端到端地输出可执行动作时，究竟有哪些方法范式可选，它们各自的取舍是什么？

本章是整篇综述的方法论核心。我们把现有 VLA 工作按"动作如何被生成"这一最根本的维度，划分为四大范式：自回归（Autoregression）、扩散（Diffusion）、强化微调（Reinforcement-based Fine-Tune），以及混合与专用（Hybrid / Specialized）。前三种范式对应三种生成/优化机制，第四种则覆盖那些不愿被单一范式框住、或在特定领域做了深度定制的进阶工作。图3给出了按时间线组织的分类树，图2则直观对比了各范式在感知-语言-动作回路上的"骨架"差异。

理解这四大范式的关系很重要：自回归把动作当作"语言"来逐 token 预测，天然继承了大语言模型的推理与泛化能力，但要承担逐帧解码的延迟与误差累积；扩散把动作生成重新定义为条件去噪的概率建模，能优雅地表达多模态动作分布，但计算开销大、时序一致性脆弱；强化微调并不取代上述生成骨架，而是在其上叠加"试错+奖励"的闭环，弥补纯监督的不足；混合与专用则试图把多种范式的长处焊接在一起，或针对自动驾驶、人形机器人、GUI 交互等场景做领域适配。本章将逐一展开。
在这里插入图片描述

图2的核心信息是：尽管所有 VLA 都共享"视觉+语言输入→动作输出"的外壳，但不同范式在内部信息流（是否逐 token、是否迭代去噪、是否有显式推理中间态）上差异显著，正是这些内部结构决定了它们各自的适用边界。

在这里插入图片描述

图3以时间线为轴，清晰呈现了四大范式的演化节奏：自回归最早成熟（2022 起）、扩散紧随其后并在 2024-2025 爆发、强化微调与混合/专用则在 2025 年集中涌现。读者可借此把握"从单一范式到多范式融合"的整体脉络，本章后续各节即沿此分类树依次展开。

3.1 基于自回归的 VLA 模型

自回归是 VLA 中最早成熟、也最"原生"的范式。它的直觉极其朴素：既然大语言模型能把一切文本看作 token 序列并逐个预测下一个 token，那为什么不把图像、机器人状态、动作也都 token 化，塞进同一个 Transformer，让"预测下一个 token"统一处理？这一思路的吸引力在于——它把机器人控制问题降维成了一个序列建模问题，从而可以直接复用 LLM 那套scaling、预训练与指令微调的方法论。

本节按四个递进的子方向展开：3.1.1 讲"通才方法论"，即最早把这套 token 化统一思想落地的代表方法；3.1.2 讲如何把 LLM 的推理能力注入 VLA，用于长时程语义规划；3.1.3 讲轨迹生成与视觉-语言对齐，即如何让自回归模型输出连贯且语义对齐的运动轨迹；3.1.4 讲结构优化与高效推理，解决自回归解码"慢且贵"的部署痛点。

3.1.1 自回归通才方法论

通才（generalist）方法论要解决的问题是：能否用单一模型、单一架构处理多种机器人任务、多种本体，而不是为每个任务单独训练一个策略？ 这正是 Gato、RT-1、RT-2 等一系列工作开辟的方向。

Gato（2022）是这一思路的起点：它把视觉、语言、本体状态、离散化动作统统 token 化，塞进一个统一的 Transformer，用同一套参数同时下棋、描述图像、控制机械臂。Gato 的意义在于证明"一个网络做所有事"在机器人上是可行的——尽管每个单项未必最强，但统一性带来了惊人的跨任务泛化。RT-1（2022）则更聚焦真实世界机器人：在 13 万条真实演示上训练一个 Transformer，用 FiLM（Feature-wise Linear Modulation）做多模态融合，证明了大规模真实数据 + Transformer 策略能在真实机器人上实现可泛化的操作。RT-1 的贡献不在于架构多么新颖，而在于它把"数据规模决定泛化"这一 LLM 的信条第一次扎实地带进了真实机器人世界。

PaLM-E（2023）把这一思路推向了"具身多模态大模型"的高度：直接把 PaLM 这个大语言模型与 ViT 视觉编码器嫁接，让 LLM 本身成为具身 agent 的大脑，能处理 VQA、导航、操作等多种任务。RT-2（2023）则更进一步——它不再为动作单独设计输出头，而是把动作本身当作 token 融入 VLM 的词表，从而让 web 规模的视觉-语言知识直接迁移到机器人抓取。这是一个关键转折：RT-2 之后，"动作即语言"不再是隐喻，而是字面意义上的实现，机器人策略第一次真正享受到了互联网规模预训练带来的开放词汇能力。

随后，开源生态开始发力。Octo（2024）在 150 万段视频上训练出开源的跨机器人策略，采用 reward-free imitation，证明了跨本体迁移的可行性；OpenVLA（2024）则发布了 7B 参数的开源 VLA，在 97 万条轨迹上训练，性能超越此前的 RT-2-X。这两者极大地降低了研究门槛，使 VLA 从"大厂专利"走向社区共建。其他工作如 LEO（3D 视觉-语言对齐 + VLA 微调）、RUM（基于效用的零样本部署）、RoboMM（模态掩蔽的多模态融合）、UP-VLA（统一提示框架）、UniAct（定义通用原子动作以解决跨本体异构）、Humanoid-VLA（人形控制）、NORA（轻量化开源 VLA，用 FAST+ 分词器与 97 万演示）、OneTwoVLA（自适应 System 1/2 推理）、VOTE（投票式集成以减少动作 token）、UniVLA（从多样视频学习任务中心的隐动作表征）、OE-VLA（开放多模态指令跟随）等，各自在通才性、跨本体、轻量化、推理自适应等维度上做扩展。

表1(A) 自回归通才 VLA 代表方法

方法 / 模型 年份 核心创新
Gato 2022 统一多模态 Transformer，将视觉/语言/状态/动作统一 token 化
RT-1 2022 真实世界机器人 Transformer，13 万演示，FiLM 多模态融合
PaLM-E 2023 具身多模态 LLM（PaLM + ViT），覆盖 VQA/导航/操作
RT-2 2023 在 PaLM-E 上加入动作 token，引入 web 规模 VLM 知识做开放词汇抓取
LEO 2024 两阶段训练：3D 视觉-语言对齐 + VLA 微调
Octo 2024 开源跨机器人策略，150 万视频，reward-free 模仿学习
RUM 2024 基于效用的打分机制，实现鲁棒零样本部署
RoboMM 2024 模态掩蔽的多模态融合，在 RoboData 上达到 SOTA
UP-VLA 2025 统一提示框架，融合任务/视觉/动作以提升少样本性能
UniAct 2025 定义通用原子动作，解决跨本体异构性
Humanoid-VLA 2025 将 VLA 应用于人形控制，多视角 RGB + 语言提示
NORA 2025 轻量开源 VLA，采用 FAST+ 分词器与 97 万演示
OneTwoVLA 2025 自适应 System 1 & 2 推理，支持长时程规划与错误恢复
VOTE 2025 投票式集成减少动作 token，加速推理与训练
UniVLA 2025 从多样视频学习任务中心的隐动作表征
OE-VLA 2025 扩展 VLA 以支持开放多模态指令跟随

从这张表能看出一个清晰趋势：通才方法论从"证明可行"（Gato）走向"真实世界规模化"（RT-1/Octo/OpenVLA），再到"开放世界与跨本体"（UniAct/UniVLA/OE-VLA），主线始终是用更大的数据、更统一的表征、更开放的词表去换取泛化。

RT-1（2022）

链接：https://arxiv.org/abs/2212.06817
RT-1 是第一个把"大规模真实数据 + Transformer 策略"做到真正可用的真实世界机器人方法。它的核心创新不在架构奇巧，而在于工程信念：在 13 万条真实演示上训练一个 Transformer，用 FiLM 把语言指令调制进视觉特征，再用离散化动作 token 做输出。它证明了 VLA 的泛化瓶颈首先是数据瓶颈。RT-1 对后续工作的影响深远——它确立了"真实数据规模决定真实世界泛化"的研究范式，RT-2、OpenVLA、Octo 等几乎都把它作为基线或思想源头。与本综述中其他方法的关系是：RT-1 属于"通才但未继承 web 知识"的一代，RT-2 通过把动作 token 化进 VLM 词表补上了这块短板。

RT-2（2023）

链接：https://arxiv.org/abs/2307.15818
RT-2 的核心创新是把动作当作普通 token 直接嵌入 VLM 的输出空间，让一个本用来理解网页图文的模型同时学会输出机器人动作。这意味着 web 规模的视觉-语言常识（比如"什么是杯子"“红色的物体在哪”)可以零成本迁移到机器人控制——模型不需要重新学世界知识，只需要学会"把动作翻译成 token"。RT-2 第一次让机器人策略享受到与 LLM 同源的开放词汇与组合泛化能力。它直接启发了 OpenVLA 等开源追随者，也确立了"动作即语言"这一自回归 VLA 的标准范式。与 PaLM-E 相比，RT-2 更进一步：PaLM-E 把 LLM 当大脑调度外部模块，RT-2 则让动作真正成为语言生成的一部分。

OpenVLA（2024）

链接：https://arxiv.org/abs/2406.09246
OpenVLA 的价值在于把 RT-2 这类闭源大厂工作"民主化"：它开源了 7B 参数的 VLA，在 97 万条轨迹（来自 Open X-Embodiment）上训练，在多任务基准上超越 RT-2-X。其核心创新不是架构革命，而是数据与工程的可复现性——它向社区证明，用公开数据 + 开源权重就能复现甚至超越闭源 VLA 的性能。OpenVLA 之后成为大量下游工作（ECoT、Diffusion-VLA、SpatialVLA、DeeR-VLA 等）的事实基线，几乎相当于自回归 VLA 领域的 “LLaMA”。它与 Octo 一起，标志着 VLA 研究从"少数玩家"进入"社区共建"阶段。

Octo（2024）

链接：https://arxiv.org/abs/2405.12213
Octo 与 OpenVLA 同属 2024 年开源 VLA 浪潮，但侧重点不同：它强调**跨机器人（cross-embodiment）**迁移，在 150 万段视频实例上用 reward-free imitation 训练，目标是让一个策略适配多种本体。其设计上对输入输出做了灵活的 token 化处理，使其能接收不同机器人的观测格式、输出不同动作空间。Octo 的意义在于把"跨本体泛化"从口号变成可下载的权重，与 OpenVLA 形成"一个重跨本体、一个重单本体强性能"的互补格局。两者共同奠定了开源 VLA 的基础设施。

3.1.2 LLM 推理与语义规划

通才方法论解决了"能做很多事"，但面对长时程、组合性强的任务，单纯"感知→动作"的直射映射往往不够——机器人需要先想清楚再动手。这一子方向的核心问题是：如何把 LLM 的推理能力注入 VLA，使其从被动的输入解析器转变为语义层面的"中介"与"规划者"。

Inner Monologue（2022）是这条线的开创者：它引入"内心独白"式的语言推理闭环，在动作执行前后都生成语言中间态，让机器人能基于反馈自我修正。这一思想——用语言作为推理与控制的桥梁——成为后续大量工作的模板。Instruct2Act（2023）把这一思路形式化为"视觉-语言-任务脚本-动作"流水线，引入语义中间表示；RoboFlamingo（2023）则把 OpenFlamingo 适配到机器人，实现了高效的 VLM→VLA 迁移，证明了少样本视觉语言模型可以直接服务于机器人控制。

随后，反馈与层次化规划成为提升适应性的关键。Interactive Language 实现了实时纠错，Open-Ended Instructable Agents 引入情景记忆，Hi Robot（2025）采用粗到细的层次化规划来处理长指令。层次化框架将语义规划与控制器结合，用于灵巧操作。ECoT（2024）把"思维链"思想显式形式化为具身推理，在 OpenVLA 之上加入可解释的推理步骤，是"先推理后动作"在开源 VLA 上的早期落地；InSpire、From Foresight to Forethought、CoT-VLA（2025）等进一步强调运行时稳定性与思维链机制。CoT-VLA 尤其值得关注——它把视觉思维链（visual chain-of-thought）与预测目标结合，让推理不仅停留在语言层面，还能可视化地预测未来状态。

值得注意的是，这一方向也发展出平台化与系统化趋势。Gemini Robotics（2025）基于 Gemini 2.0 构建多任务具身推理平台，把 LLM 定位为具身流水线的中央编排者；π0.5（2025）在异构机器人上训练以实现开放世界泛化；FAST（2025）则聚焦高效动作 token 化。支撑性工作如 VLA Model–Expert Collaboration 与 LLaRA（2024，用对话任务增强轨迹数据）探索了协作机制与辅助任务以改善 VLM→VLA 迁移。无人机专用系统如 CognitiveDrone、UAV-VLA（2025）突出了空中导航与卫星图像引导的规划。OneTwoVLA（2025）则处理自适应推理-动作切换与异构控制空间抽象。

自回归推理架构的通用做法是把输入 patch 成序列，再用这些 token 做进一步推理。这类模型能处理变长输入，且强大的上下文学习能力使其能在统一结构下处理不同模态。这也解释了为什么 LLM 推理与自回归 VLA 天然契合——两者本质上都是"序列 in、序列 out"。

表1(B) 基于 LLM 的自回归推理与语义规划代表方法

方法 / 模型 年份 核心创新
Inner Monologue 2022 引入语言驱动的内在推理闭环，提升具身任务成功率
Instruct2Act 2023 视觉-语言-任务脚本-动作流水线，引入语义中间表示
RoboFlamingo 2023 将 OpenFlamingo 适配到机器人，实现高效 VLM→VLA 迁移
LLaRA 2024 用对话任务增强轨迹数据，提升数据与迁移质量
ECoT 2024 形式化具身思维链推理，增强 OpenVLA
Mobility VLA 2024 长上下文 VLM 与导航结合，支持多模态指令跟随
UAV-VLA 2025 用 VLM 规划从卫星图像生成无人机任务
Tactile-VLA 2025 触觉反馈与推理结合，实现精确自适应控制
Shake-VLA 2025 多模态双臂系统，融合语音/视觉/触觉
Hi Robot 2025 层次化粗到细规划，处理长指令跟随
DexGraspVLA 2025 VLM 规划与扩散结合，实现鲁棒灵巧抓取
HAMSTER 2025 层次化 VLA，利用域外数据实现广泛泛化
CoT-VLA 2025 视觉思维链推理，结合预测目标
Gemini Robotics 2025 基于 Gemini 2.0 的多任务具身推理平台
CognitiveDrone 2025 认知型无人机 VLA，在空中基准上高成功率
π0.5 2025 在异构机器人上训练，实现开放世界泛化
InSpire 2025 引入空间推理提示，减少伪相关

从表1(B)可看出两个趋势：一是从"语言中间态"走向"层次化规划与平台化编排"，二是从单一操作走向导航、抓取、无人机、人形等多元场景。但幻觉控制、多模态对齐、推理稳定性与实时安全等挑战仍未解决。

Inner Monologue（2022）

链接：https://arxiv.org/abs/2207.05608
Inner Monologue 是把 LLM 推理注入机器人控制的开山之作。它的核心创新是"内心独白"闭环：机器人在动作执行前做语言规划，执行后做语言反思，从而能根据环境反馈（如触觉、视觉变化、人类纠错）动态调整。它把 LLM 从"一次性指令翻译器"提升为"持续在线的推理者"。这一"语言作为推理-控制桥梁"的范式深刻影响了 Instruct2Act、CoT-VLA、ECoT 等后续工作，可以说今天所有强调"先推理后动作"的 VLA 都能追溯到它的思想。它的局限在于依赖文本作为唯一中间态，对纯几何/动力学信息的表达力有限——这也正是后来 CoT-VLA 引入视觉思维链、3D-VLA 引入生成式世界模型的动机所在。

3.1.3 轨迹生成与视觉对齐

前两个子方向更关注"做什么"（语义层）与"如何想"（推理层），而轨迹生成与视觉对齐关注的是"如何输出连贯、语义对齐的运动轨迹"。自回归模型天然适合序列生成，但机器人轨迹有其特殊性：它既要时序连贯，又要与视觉观测和语言指令在语义上对齐——否则就会出现"看对了杯子，却抓向空气"的错位。

早期工作 LATTE（2022）证明了"语言直接映射到运动轨迹"的可行性，用 Transformer 解码器把自然语言变成运动序列，启发了后续多模态扩展。有了大规模预训练加持，VIMA（2023）和 InstructRL（2023）证明：把语言、视觉、动作统一 token 化后做联合训练，能支持强大的跨任务泛化——尽管这种泛化往往只在仿真中成立。与此同时，MOO 和基于 GPT 的方法利用预训练视觉-语言骨干做开放世界泛化与轻量轨迹生成，暗示语义先验可以减少对机器人专用预训练的依赖。

第二条线探索视频预测与世界模型。GR-1/GR-2（2024）把视频生成预训练迁移到机器人——先用海量网络视频学习"世界如何运动"，再迁移到机器人操作。GR-2 进一步用 web 规模视频-语言监督实现零样本操作。CronusVLA 和 WorldVLA（2025）则改善时序一致性。WorldVLA 的关键洞见是：纯自回归逐 token 解码会累积误差，而联合建模视觉与动作可以缓解这种误差传播——它把动作生成与视觉预测耦合，让模型在输出动作时同时"想象"下一帧，从而用视觉预测约束动作合理性。TraceVLA（2025）和 Uni-NaVid 进一步引入长时程提示，整体趋势是从短时程解码转向预测式环境建模。

自回归方法已被适配到多种本体——从四足行走到双臂操作，展现了 VLA 框架的灵活性。OpenVLA 等大规模工作突出了跨平台泛化与高效适配，而隐动作 token 方法（如 Moto，2025，用运动语言 token 桥接视频预训练与执行）指向轻量化预训练策略。

在操作之外，自回归轨迹生成已扩展到自动驾驶：近期模型通过对齐视觉、语言与轨迹预测实现闭环控制，往往不需要高精地图或 LiDAR。类似原理也用于移动操作与无人机规划，凸显了方法的跨平台通用性。研究者还把自回归框架扩展到精细感知与更丰富模态：GraspVLA（2025）等强调用鲁棒预训练流水线做精确操作；触觉-语言-动作集成（VTLA，2025，融合视觉-触觉输入与偏好优化，未见场景成功率超 90%）支持接触丰富的交互；3D/4D 感知（PointVLA，2025，向预训练 VLA 注入点云做轻量 3D 推理）则把空间结构嵌入自回归解码。OpenDriveVLA、RaceVLA、Interleave-VLA、MoManipVLA、Bi-VLA、RoboNurse-VLA 等分别在驾驶、无人机竞速、交错图文输入、移动操作、双臂协作、外科手术等场景做拓展。

表1© 自回归轨迹生成与视觉对齐代表方法

方法 / 模型 年份 核心创新
LATTE 2022 用 Transformer 解码器把自然语言映射到运动轨迹
VIMA 2023 统一多模态 token（语言/视觉/动作），强零样本泛化
InstructRL 2023 联合视觉-语言编码器 + 策略 Transformer，改善对齐
CrossFormer 2024 可扩展 Transformer 策略，处理多本体数据以泛化
GR-1 2024 统一视频与动作 token，通过视频预训练迁移做时序建模
GR-2 2024 在 GR-1 上引入 web 规模视频-语言监督，实现零样本操作
OpenVLA 2024 7B 开源 VLA，97 万轨迹，超越 RT-2-X
Bi-VLA 2024 双臂预测器，实现协调双臂操作
RoboNurse-VLA 2024 VLA 策略在医疗场景实现高精度手术抓取
Moto 2025 用运动语言 token 桥接视频预训练与执行
OpenDriveVLA 2025 把 2D/3D 感知对齐到统一语义空间，用于驾驶轨迹
GraspVLA 2025 用 GraspVerse 预训练 GPT 风格解码器，实现真实抓取迁移
RaceVLA 2025 为动态无人机竞速生成视觉-语言轨迹
VTLA 2025 融合视觉-触觉输入与偏好优化，未见场景成功率 >90%
PointVLA 2025 向预训练 VLA 注入点云，实现轻量 3D 推理
WorldVLA 2025 联合视觉-动作建模，缓解自回归误差传播
TraceVLA 2025 用视觉轨迹提示捕捉长时程任务线索
Interleave-VLA 2025 支持交错图文输入，提升零样本操作
MoManipVLA 2025 统一底盘-机械臂轨迹对齐，实现移动操作迁移

表1©反映出自回归轨迹生成已从"直接语言→轨迹映射"演化为涵盖多模态预训练、视频驱动世界建模、本体专用架构与跨模态感知的完整生态。它展示了自回归作为 VLA 统一机制的可扩展性与通用性，但长时程稳定性、噪声输入下的语义 grounding、物理机器人上的高效部署仍是挑战。

WorldVLA（2025）

链接：https://arxiv.org/abs/2506.21539
WorldVLA 的核心创新是把动作生成与视觉预测联合建模成一个自回归动作世界模型。传统自回归 VLA 只预测动作 token，误差会沿时间步累积；WorldVLA 让模型在输出动作时同时预测下一帧视觉，相当于让动作始终接受"世界将会怎样变化"的约束。这等价于把世界模型与策略耦合，缓解了纯动作解码的误差传播。它与 GR-1/GR-2 的视频预训练思路一脉相承，但更进一步——后者用视频做预训练后仍只输出动作，WorldVLA 则在推理时持续做视觉预测。它与 3D-VLA（生成式 3D 世界模型）也形成呼应：两者都相信"让模型想象未来"是提升动作合理性的关键。WorldVLA 的局限是联合建模显著增加了计算与数据需求。

3.1.4 结构优化与高效推理

自回归 VLA 的软肋很明确：逐 token 解码慢、误差累积、模型一大就贵。结构优化与高效推理这一子方向正是要解决部署痛点。核心挑战不在于精度，而在于如何降低计算冗余、缩短推理延迟、在多种机器人设置下保持鲁棒。

第一个方向是层次化与模块化优化。HiP（2023）证明：把任务分解为符号规划、视频预测、动作执行三层，能让自回归模型处理长时程推理。后续设计——从高效观测骨干、动作分块（action chunking）到轨迹感知注意力与频率分离——进一步表明模块化结构能在保住泛化的同时显著降算力。Actra（2024）用轨迹注意力与可学习 query 优化 Transformer 以削减开销。

第二个方向是动态与自适应推理。DeeR-VLA（2024）启用多出口（multi-exit）架构，根据任务复杂度提前终止解码；FAST（2025）把长动作序列压缩为变长 token，是 token 效率设计的代表。这类方法展示了"自适应计算"如何在几乎不损精度的情况下提升实时响应。

第三个方向是轻量压缩与并行化。量化与层跳过方法（MoLe-VLA，2025，MoE 路由动态跳层，降本约 40%；BitVLA，2025，1-bit 量化，内存降至 30% 而性能保持）大幅削减计算。并行解码与冗余削减（PD-VLA，2025，并行定点解码免重训加速推理）则在不动权重的前提下提速。

效率也通过传感器融合与时序复用实现。SpatialVLA（2025，体素网格 + 空间注意力增强几何感知）、VLA-Cache（2025，自适应缓存复用 Transformer KV 状态）、Beyond Sight（2025，语言引导的感知自适应改善多模态传感器融合）等在削减冗余计算的同时提升鲁棒性。

值得注意的是，若干工作把效率与多模态推理整合。OTTER（2025）用 TAVE 把语言意识注入视觉编码以强化对齐；ChatVLA（2025）用分阶段耦合与 MoE 路由统一架构以提升可扩展性。其他进展——从扩散式目标生成（GR-MG，2025）、量化（BitVLA）到超长时程层次反馈（LoHoVLA，2025）——展示了架构精修如何在效率与可扩展性间取得平衡。

表1(D) 自回归 VLA 的结构优化与高效推理机制

方法 / 模型 年份 核心创新
HiP 2023 用 token 预测的层次化规划，处理长时程操作
Actra 2024 轨迹注意力 + 可学习 query 优化 Transformer，削减开销
DeeR-VLA 2024 多出口架构，支持提前退出以降低延迟
FAST 2025 生成变长动作 token，高效执行长时程任务
SpatialVLA 2025 用体素网格与空间注意力增强几何感知
VLA-Cache 2025 自适应缓存复用 Transformer KV 状态以提效
Beyond Sight 2025 语言引导的感知自适应，改善多模态传感器融合
MoLe-VLA 2025 MoE 路由动态跳层，成本降低约 40%
PD-VLA 2025 并行定点解码，免重训加速推理
BitVLA 2025 1-bit 量化，内存降至 30% 而性能保持
GR-MG 2025 用扩散生成的目标做半监督自回归学习
LoHoVLA 2025 统一层次控制，处理超长时程闭环任务
OTTER 2025 用 TAVE 把语言注入视觉编码，强化对齐
ChatVLA 2025 专家路由 + 分阶段对齐的统一架构，提升可扩展性

表1(D)显示：结构优化已从早期的层次化分解，演进到自适应计算、轻量压缩、缓存与多模态感知整合，在基准与真实部署上都带来显著收益。未来方向是硬件感知的协同优化、智能调度与鲁棒安全机制。

FAST（2025）

链接：https://arxiv.org/abs/2501.09747
FAST 解决的是一个看似不起眼但影响深远的问题：动作序列该怎么 token 化才高效？ 早期 VLA 把每个时间步的动作离散成一个 token，导致长时程任务的序列极长、解码极慢。FAST 借鉴自然语言中的 BPE 思想，把动作序列压缩为变长 token——常见动作模式用短 token，罕见模式用长 token。这让自回归 VLA 在处理长时程、高频控制任务时效率大幅提升，且与具体架构解耦，可作为一个通用插件。FAST 被 NORA 等后续工作直接采用，其思想（动作也是一种"语言"，应该用类似 BPE 的方式压缩）也影响了 DD VLA 等离散扩散工作。它是"把 NLP 成熟技术搬到机器人"这一思路的典范。

3.1.5 讨论

创新：自回归模型通过在可扩展 Transformer 架构内统一多模态感知、语言推理与序列动作生成，推动了 VLA 研究的重大创新。它们支持跨任务泛化的通才 agent，通过 LLM 集成实现语义规划，并把轨迹生成扩展到长时程与多模态设置；token 压缩、并行解码与量化等结构优化则提升了真实部署的效率。

局限：自回归解码引入误差累积与延迟；多模态对齐在噪声或残缺输入下脆弱；扩展大模型需要惊人的算力与数据；推理驱动方法仍面临幻觉、稳定性与可解释性问题；而效率机制往往以牺牲精度或通用性为代价。要解决这些问题，需要推理与控制更紧的耦合、真实世界不确定性下的鲁棒性，以及硬件感知的优化策略来平衡可扩展性与实用部署。

3.2 基于扩散的 VLA 模型

如果说自回归把动作当"语言"来生成，那么扩散范式则把动作生成重新定义为条件去噪的概率建模。这一视角转换的动机很直接：机器人动作本质上是多模态的——同一个"把杯子放到左边"的指令，可以有多条都合法的轨迹（从不同角度抓、走不同路径）。确定性回归（如 L2 损失的行为克隆）会把这些轨迹平均掉，得到一条物理上无意义的"均值轨迹"；而扩散模型能自然地表达"多种合法动作分布"，从相同观测生成多条有效轨迹。

本节按三个维度展开：3.2.1 讲扩散通才方法论——如何把扩散引入动作生成；3.2.2 讲多模态架构融合——如何把扩散与 Transformer、LLM、力觉等异构模态焊接；3.2.3 讲应用优化与部署——如何让扩散 VLA 跑得动、用得起。

3.2.1 扩散通才方法论

扩散模型进入 VLA 的关键转变是：把机器人动作生成从确定性回归变成概率生成策略。通过把动作生成表述为条件去噪，扩散方法能自然建模多样的动作分布，从相同观测生成多条合法轨迹。

一条关键脉络是引入更丰富的表征结构。几何感知方法把 SE(3) 约束嵌入扩散，超越欧氏空间，在 3D 环境中联合优化抓取与运动（SE(3)-DiffusionFields，2023；3D Diffuser Actor，2024），确保动作物理一致。与此并行，把策略学习重新解读为视频生成（UPDP，2023；AVDC，2024）则利用视频的时序丰富性服务于长时程规划与跨模态 grounding。

规模化方面，RDT-1B（2025）展示了带时序与环境条件的轨迹级扩散，在双臂操作上实现零样本泛化。时序连贯性通过跨时间步的统一速度场（TUDP，2025）或带高效缓存的历史条件（CDP，2025）来解决。StructDiffusion（2023）结合扩散与以物体为中心的 Transformer 做语言引导的 3D 结构创建；DD VLA（2025）用离散扩散对离散化动作块建模并以交叉熵训练；TRETL（2025）通过对 demonstration 轨迹的隐状态平均来重组任务行为。

Diffusion Policy（2024）是这一方向的奠基性工作：它把动作建模为条件扩散，性能显著超越行为克隆，确立了"扩散策略"这一子范式，后续大量工作都以它为基线。

这些进展标志着三次转变：确定性到概率生成、欧氏到几何感知表征、监督到自监督范式。这种生成式建模的重构使多任务泛化、少样本适配与自然语言接口成为可能。但时序连贯性在动态环境切换下依然脆弱。

表2(A) 扩散通才 VLA 代表方法

方法 / 模型 年份 核心创新
SE(3)-DiffusionFields 2023 把扩散扩展到 SE(3) 位姿，学习抓取与运动规划的平滑代价
UPDP 2023 把决策建模为视频生成，以图像为接口、语言为引导
StructDiffusion 2023 结合扩散与以物体为中心的 Transformer，做语言引导 3D 结构创建
Diffusion Policy 2024 把动作建模为条件扩散，性能超越行为克隆
3D Diffuser Actor 2024 用条件扩散嵌入 3D 场景以生成轨迹
AVDC 2024 通过光流与运动重建从视频学习视觉运动策略
RDT-1B 2025 大规模扩散模型，带时序条件，用于双臂操作
TUDP 2025 跨时间统一扩散，用速度场与动作判别
CDP 2025 通过历史动作条件与缓存机制改善连贯性
DD VLA 2025 用离散扩散建模离散动作块，交叉熵训练
TRETL 2025 对演示轨迹的隐状态平均以重组任务行为

表2(A)能看出扩散 VLA 的演化主线：从欧氏空间到 SE(3)、从单步到时序统一、从连续到离散，架构选择与训练策略日益多元。但动态环境下的时序连贯性仍是软肋。

Diffusion Policy（2024）

链接：https://arxiv.org/abs/2303.04137
Diffusion Policy 是扩散 VLA 的奠基之作。它的核心创新极为简洁：把机器人动作生成建模为条件去噪扩散过程，而非传统的确定性回归。这一改写带来了两个根本性优势——其一，能表达多模态动作分布，不再把多种合法轨迹平均成无意义的"均值"；其二，扩散的迭代去噪天然具有"平滑"特性，输出轨迹更稳定。它在多个基准上显著超越行为克隆，确立了"扩散策略"这一子范式。它的影响几乎贯穿本章所有扩散工作——RDT-1B、3D Diffuser Actor、π0、Diffusion-VLA 等都以它为基线或灵感来源。它的局限是迭代去噪带来较高推理延迟，这正是后续 CDP（缓存）、CEED-VLA（一致性蒸馏）等工作要解决的部署问题。与自回归 VLA 相比，Diffusion Policy 牺牲了与 LLM 词表天然对齐的便利，换来了对多模态分布的优雅表达——这正是扩散范式相对自回归的核心 trade-off。

3.2.2 多模态架构融合

把扩散引入 VLA 只是第一步。真正难的是如何在单一框架内融合视觉、语言、动作这些异构模态，而不稀释各自的特性。视觉、语言、本体感知在时间粒度、语义层次与处理需求上各不相同——简单拼接会丢失模态专长，过度分离又难以对齐。

Transformer 与扩散的结合被证明尤其具有变革性，因为注意力机制天然补充生成式建模。大规模框架如 Dita（2025）和 Diffusion Transformer Policy 表明：把基于注意力的架构扩展到超出小动作头的规模，能显著改善连续动作建模——自注意力归纳偏置与机器人行为的组合性高度契合。

token 空间对齐是一条主路。M-DiT（2024）把异构信号映射到统一表征，使条件扩散 Transformer 能灵活支持目标与观测的任意组合，这是迈向通用机器人的关键一步。CogACT（2024）引入认知模块，用语义图把感知与行为关联起来。π0（2024）则把视频与语言编码为隐 token，在"观察-理解-执行"循环中运行，是这一方向的旗舰工作。

领域专用设计也很关键。ForceVLA（2025）把力觉当作一等模态，用力感知 MoE 把触觉反馈与视觉-语言嵌入融合，显著改善接触丰富操作。这体现了"为特定模态设计专用融合机制"比通用拼接更有效的思想。

近期工作把显式推理融入扩散策略。Diffusion-VLA（2025）引入自生成推理模块产生符号表示；CogACT 用语义场景图统一感知、推理与控制。预训练模型复用也在推进：SuSIE（2023）复用图像编辑扩散模型做零样本操作（通过生成目标图像）；PERIA（2024）联合微调 MLLM 与图像编辑模型做推理与子目标规划。Chain-of-Affordance（2024）通过序列化 affordance 子目标做结构化分解；π0 用 flow-graph 方式在复杂环境中超越端到端方法。Track2Act（2024）利用网络视频预测点轨迹并映射到机器人动作。

这些进展共同揭示了领域正在转型——从单体架构适配，走向认知启发的框架，整合结构化推理、多传感输入与显式知识表示。这标志着从纯数据驱动的端到端学习，转向更可解释、更可泛化的设计，尽管进展仍受高算力需求与数据集多样性不足的制约。

表2(B) 扩散多模态架构融合代表方法

方法 / 模型 年份 核心创新
SuSIE 2023 预训练图像编辑扩散模型，通过目标图像生成实现零样本操作
M-DiT 2024 统一多模态 token，灵活支持语言-图像-位置目标条件
CogACT 2024 引入认知模块，用语义图关联感知与行为
PERIA 2024 联合微调 MLLM 与图像编辑模型，做推理与子目标规划
Chain-of-Affordance 2024 把任务解析为序列化 affordance 子目标，显式感知-动作对
π0 2024 把视频与语言编码为隐 token，observe-understand-execute 循环
Track2Act 2024 利用网络视频预测点轨迹并映射到机器人动作
Dita 2025 可扩展扩散 Transformer，直接去噪连续动作
Diffusion-VLA 2025 通过符号中间态把自生成推理与扩散策略整合
ForceVLA 2025 引入六轴力觉与力感知 MoE 融合，实现实时控制

表2(B)的趋势清晰：从单体架构适配走向认知启发框架，整合结构化推理、多传感输入与显式知识表示。但高算力与有限数据多样性仍是瓶颈。

π0（2024）

链接：https://arxiv.org/abs/2410.24164
π0 是 Physical Intelligence 提出的 VLA flow model，也是扩散范式走向"通用机器人控制"的旗舰。它的核心创新是用 flow matching（扩散/流的变体）作为动作生成机制，把视频与语言编码为隐 token，在"观察-理解-执行"循环中运行。相比标准 Diffusion Policy，π0 用 flow matching 获得更高效的采样与更稳定的训练，并能在一个统一策略下处理从单臂到双臂、从抓取到折叠衣物等多种任务。它的意义在于证明：扩散/流范式不仅能做单一任务策略，还能支撑通用机器人控制，与 RT-2/OpenVLA 这类自回归通才形成正面竞争。π0.5 进一步在异构机器人上训练实现开放世界泛化，延续了这一路线。π0 与 Diffusion-VLA 代表了扩散 VLA 的两条进化路径：π0 走"统一 flow 模型"路线，Diffusion-VLA 走"推理+扩散"的混合路线。

Diffusion-VLA（2025）

链接：https://arxiv.org/abs/2412.03293
Diffusion-VLA 是"推理+扩散"混合范式的代表。它的核心创新是引入自生成推理模块：模型先产生符号化的推理中间态（类似思维链），再用这些符号引导扩散策略生成动作。这相当于把自回归 VLA 擅长的"慢思考"与扩散策略擅长的"多模态动作生成"焊接在一起——前者负责语义规划与可行性过滤，后者负责输出物理连贯的轨迹。它直接针对纯扩散策略"会做但不会想"与纯自回归 VLA"会想但动作单一"的双重局限。Diffusion-VLA 与 HybridVLA、RationalVLA 等混合架构思路相通，都相信"推理与生成分离"比单一范式更强；它与 π0 的区别在于显式保留了符号推理中间态，可解释性更好。这类工作预示着 VLA 正从"单一范式比拼"走向"多范式协同"。

3.2.3 应用优化与部署

从实验室原型到真实部署，是扩散 VLA 最艰巨的挑战之一。这要求在效率、适应性、鲁棒性三个相互关联的前沿上同时推进。近期工作表明：进展不再来自无脑堆大模型，而来自有原则的优化策略、认知启发架构与实用部署机制。

效率优化已是中心主题。扩散模型资源密集，但轻量化设计如 TinyVLA、SmolVLA（2025）表明：预训练骨干 + 参数高效微调（如 LoRA，仅 5% 可训练参数）能把训练成本压到单 GPU 规模而不损性能。互补策略如 VQ-VLA（2025，用向量量化动作分词器缩小 sim-to-real 差距）展示了效率与鲁棒性如何协同。这些工作反映了"智能稀疏"的范式转变——优先考虑每单位算力的性能，而非暴力堆规模。

任务适应性已成高级 VLA 的定义性特征。灵巧操作中，大规模精选数据集如 DexVLG（2025，在 DexGraspNet 上训练大规模抓取模型）实现强零样本性能；移动操作中，AC-DiT（2025，通过移动到身体的条件统一感知与驱动）等框架把固定基座策略迁移到移动平台。整体趋势是在通用架构与深度领域专用间取得平衡——嵌入任务专用归纳偏置同时保留广泛多模态能力。

架构创新是下一个前沿。双系统与三系统设计如 MinD、TriVLA（2025）展示了认知原理如何操作化。MinD 把低频视频预测（战略规划）与高频扩散策略（反应控制）整合；TriVLA 则显式分离视觉语言推理、动力学感知与策略学习为协调模块。在交互频率（如 36Hz）下运行，这些认知启发架构不仅提升性能，还增强可解释性与可维护性——工业部署的关键要求。

运行时鲁棒性已成为真实世界采纳的决定性因素。轻量干预策略如 BYOVLA（2025）在推理时动态编辑无关视觉区域而无需微调，缓解不可预测环境下的鲁棒性失效。自反思架构如 DreamVLA（2025）引入层次化错误处理，配推理增强模块、错误感知层与专家适配器。这些策略共同展示了向"防御性 AI"的转变——把韧性与可靠性和原始性能并重。

扩散 VLA 的应用版图迅速扩张。自动驾驶中，DriveMoE（2025，场景/技能专用 MoE）实现 SOTA 闭环控制；人形机器人中，DreamGen（2025，用视频世界模型）从单任务遥操作泛化到数十种新行为。EnerVerse（2025，多视角自回归视频扩散预测具身未来）与 VidBot（2025，用深度先验从单目视频重建 3D affordance）延展了以视频为中心的世界模型范式。基础模型雄心进一步凸显领域轨迹：FP3（2025，在 6 万条轨迹上预训练的大规模 3D 策略）与 GR00T N1（2025，人形基础模型，多模态 Transformer 控制）旨在为机器人提供通用先验——但它们也必须应对安全、实时控制与物理可靠性这些文本领域不突出的挑战。

泛化与微调策略对真实部署至关重要。ObjectVLA、SwitchVLA（2025）分别展示开放世界物体操作与执行感知任务切换的可行性；LangToMo、Evo-0（2025）引入像素运动预测与几何感知插件等新中间表征。系统化微调框架如 OFT（2025，整合并行解码、动作分块与连续表征学习）把领域从探索性概念验证推向工程学科。

表2© 扩散 VLA 的应用优化与部署

方法 / 模型 年份 核心创新
NoMaD 2023 在扩散策略中统一目标导航与无目标探索
TinyVLA 2025 LoRA 微调仅 5% 可训练参数，有效降低训练成本
SmolVLA 2025 在消费级硬件上部署紧凑 VLA，支持异步推理
VQ-VLA 2025 用向量量化分词器缩小 sim-to-real 差距
DexVLG 2025 在 DexGraspNet 上训练大规模抓取模型，零样本灵巧
AC-DiT 2025 用多模态移动性条件适配扩散 Transformer
DexVLA 2025 用形态学课程学习实现跨机器人适配
MinD 2025 视频想象 + 高频扩散策略结合
Hume 2025 双系统价值引导推理 + 快速去噪
TriVLA 2025 三系统 VLA，36Hz 动力学与推理层
BYOVLA 2025 运行时干预增强鲁棒性，免重训
DreamVLA 2025 动态自反思循环，含 CoT、错误 token 与专家层
GEVRM 2025 用 IMC 原则与文本引导视频生成提升鲁棒性
DriveMoE 2025 场景/动作专用 MoE 架构，用于自动驾驶
DreamGen 2025 生成神经轨迹，让人形学习新任务
EnerVerse 2025 多视角自回归视频扩散预测具身未来
VidBot 2025 用深度先验从单目视频重建 3D affordance
OFT 2025 并行解码与分块动作优化微调
TrackVLA 2025 共享 LLM 头 + 扩散，用于具身视觉跟踪
FP3 2025 大规模 3D 基础扩散策略
GR00T N1 2025 人形基础模型，多模态 Transformer 控制
ObjectVLA 2025 无需人类演示的开放世界物体操作
SwitchVLA 2025 从状态-上下文信号建模执行感知任务切换
A0 2025 affordance 感知模型，把任务分解为空间 affordance 与低层执行
LangToMo 2025 把像素运动预测作为动作的中间推理
Evo-0 2025 通过视觉几何基础模块注入 3D 几何特征

表2©显示：要实现鲁棒泛化，需要架构创新、高效模型设计、自适应任务专用化、认知启发架构与鲁棒运行时策略协同。但安全关键场景仍不成熟，从实验原型到可靠通用机器人系统的跨越尚未完成。

3.2.4 讨论

创新：扩散模型从根本上把机器人控制重构为生成建模问题。它们使概率动作生成、多模态架构融合与认知启发的部署策略成为可能，超越了确定性、模块化的流水线。这些方法改善了轨迹多样性、几何 grounding 与推理整合。TinyVLA、SmolVLA 等效率导向设计让真实部署日益可行。

局限：动态环境下时序连贯性脆弱；大规模扩散模型需要惊人的算力与数据；对抗或不确定条件下安全关键可靠性探索不足；多模态融合虽丰富表征却有稀释模态专长的风险；领域专用适配可能降低可迁移性。未来需要更高效鲁棒的训练范式、更丰富的安全感知评估标准，以及基础规模建模与实际部署约束之间更紧密的对齐。

3.3 基于强化微调的 VLA 模型

前两节的范式（自回归与扩散）主要在监督学习框架下工作——从演示数据中学习"看到 X 就输出 Y"。但监督学习有天然上限：演示数据有限、稀疏、且无法覆盖所有情况；更重要的是，机器人要在真实交互中"试错"才能学到演示里没有的东西。强化微调（Reinforcement-based Fine-Tune）正是要补上这一环：把视觉-语言基础模型与强化学习结合，通过奖励信号在交互中持续改进感知、推理与决策。它不取代生成骨架，而是在其上叠加闭环优化。

3.3.1 强化微调策略

强化 VLA 的演化可分几条脉络。

第一条：从视觉预训练导出奖励。早期方法用大规模人类视频或机器人操作数据集，通过强化奖励策略提升操作技能。这些方法探索了预训练 VLM 在 RL 中的可提示性，表明即使是冻结的 VLM 也能通过 prompt embedding 学习支持高效的下游策略训练。VIP（2023）导出与动作无关的自监督目标条件价值函数，生成平滑嵌入，通过嵌入距离隐式评估价值。LIV（2023）等用语言与图像联合生成奖励代理，通过自监督对比训练获得跨模态状态-语言表征，强调奖励感知表征的可迁移性，支持稀疏奖励或复杂语言指令下的机器人学习。

第二条：优化奖励/损失函数。ALGAE（2024）、PR2L（2024）等用语言模型作为奖励函数设计的中介，通过人类演示与 VLM 语义映射学习奖励代理。这简化了奖励工程，而泛化性与可解释性可通过 RLHF 进一步优化。例如 ELEMENTAL（2025）展示了在复杂操作任务中快速定制任务需求、从有限样本高效学习的能力。

第三条：安全约束。SafeVLA（2025）从安全角度切入，应对 VLA 在开放环境部署的风险。它提出约束学习对齐机制，在保持任务性能的同时防止高风险行为。具体地，它把安全评论家网络纳入 VLA 架构以估计风险水平，并用约束策略优化（CPO）框架在最大化策略奖励的同时确保安全损失低于阈值。SafeVLA 在多任务测试（操作、导航、搬运）中显著减少风险事件，尤其在模糊自然语言指令增加策略不确定性的场景下表现优异——这为真实部署提供了关键安全机制。

第四条：四足与人形。与机械臂 VLA 不同，四足与人形机器人强调轨迹预测、目标描述、避障等。NaVILA（2025）用单阶段 RL 策略微调 VLA 输出连续控制命令，适配复杂地形与动态变化的语言指令。MoRE（2025）则把多个低秩适配模块作为不同专家集成进密集 MLLM，形成稀疏激活的混合专家模型，再用 RL 目标作为 Q 函数训练。LeVERB（2025）把这条线推向人形全身控制（WBC）：它提出层次化 VLA 框架，视觉-语言策略从运动学演示学习潜在动作词汇，RL 控制层产生低层动力学命令——这种两层设计弥合了语义-控制鸿沟，在 150 多个任务上实现鲁棒 sim-to-real 迁移。

第五条：离线与在线 RL。离线 RL 在混合质量数据上导出鲁棒策略。ReinboT（2025）通过最大化累积奖励的 RL 原则，预测捕捉操作任务细微差异的稠密奖励，让机器人在长期收益引导下生成更鲁棒决策。在线 RL 方面，SimpleVLA-RL（2025）仅用单条轨迹 + 二值（0/1）结果级奖励训练 VLA，避免对稠密监督或大规模行为克隆数据的依赖，却能达到与全轨迹 SFT 相当的性能。ConRFT（2025）认识到纯离线或纯在线各自的局限，提出混合策略：离线策略用行为克隆 + Q-learning 从有限演示中提取策略并稳定价值估计，在线策略引入一致性目标与人工干预机制以稳步提升性能，确保训练全程安全探索与样本效率。在自动驾驶领域，AutoVLA（2025）引入自回归生成模型，先处理视觉输入与语言指令，再通过推理微调产生可重构为连续轨迹的离散可行动作；它采用思维链推理与分组相对策略优化（GRPO）两步微调，达到 SOTA。

第六条：效率与压缩。不同于需要海量参数的模型，一些研究在强化 VLA 中探索量化、剪枝、知识蒸馏，常与 PPO 等算法结合。RPD（2025）从 VLA 教师蒸馏学生模型以提速推理；RLRC（2025）引入由结构化剪枝、SFT+RL 性能恢复与量化组成的新压缩框架，在保持任务成功率的同时降低内存、提升吞吐。iRe-VLA（2025）结合 SFT 稳定性与 RL 探索以增强 VLA 能力；VLA-RL（2025）用在线 RL 与基于 VLM 的奖励建模改善鲁棒性；AutoDrive-R2（2025）用 CoT 推理与 RL 自反思增强自动驾驶；ReWiND（2025）用语言条件奖励从小规模演示做离线 RL；Embodied-R1（2025）用强化微调与多任务奖励课程；IRL-VLA（2025）在奖励世界模型中应用逆 RL；ThinkAct（2025）用强化视觉潜在规划桥接推理与执行。

表3 强化 VLA 演化与核心创新

方法 年份 强化学习在 VLA 中的创新
VIP 2023 从视觉预训练为未见任务生成稠密奖励函数
LIV 2023 从无动作视频+文本学习联合视觉-语言奖励
PR2L 2024 利用 VLM 世界知识 + RL 做机器人操作
ALGAE 2024 引入语言引导抽象以解释 RL 驱动行为
GRAPE 2024 在轨迹层对齐 VLA，从成功/失败建模奖励
RLDG 2024 用 RL 生成训练数据以微调通才策略
ELEMENTAL 2025 通过 VLM 语义映射从演示学习奖励代理
NaVILA 2025 多模态 VLA + RL，实现四足复杂地形导航
SafeVLA 2025 约束 RL 对齐以防止风险动作，保持性能
iRe-VLA 2025 结合 SFT 稳定性与 RL 探索增强 VLA
ReinboT 2025 用 RL 增强 Robot GPT，最大化奖励与数据质量利用
ConRFT 2025 融合离线 BC、Q-learning 与在线一致性，安全高效 RL
MoRE 2025 用 RL 与混合质量数据微调扩展四足 VLA
SimpleVLA-RL 2025 仅用单条轨迹 + 二值（0/1）奖励做在线 RL
LeVERB 2025 VLA 推理与 RL 动力学耦合，做人形全身控制
AutoVLA 2025 CoT 推理 + RL 优化，用于自动驾驶
RPD 2025 用 RL 精炼从 VLA 教师蒸馏学生
RLRC 2025 通过剪枝、SFT+RL 恢复与量化压缩 VLA
VLA-RL 2025 用在线 RL 与基于 VLM 的奖励建模改善鲁棒性
AutoDrive-R2 2025 用 CoT 推理与 RL 自反思增强自动驾驶
ReWiND 2025 从小规模演示用语言条件奖励做离线 RL
Embodied-R1 2025 强化微调 + 多任务奖励课程
IRL-VLA 2025 在 VLA 框架内的奖励世界模型中应用逆 RL
ThinkAct 2025 用强化视觉潜在规划桥接推理与执行

表3显示：强化 VLA 已从"视觉预训练导出奖励"演化到"安全约束 + 离线/在线混合 + 多本体 + 压缩"的成熟体系，并从机械臂扩展到四足、人形与自动驾驶。

3.3.2 讨论

创新：强化微调策略用视觉与语言信号生成稠密、可迁移的奖励代理，把离线行为克隆与在线 RL 结合以稳定策略优化、增强泛化。安全导向方法（SafeVLA）通过约束优化减少开放世界高风险动作，是重要进展。向四足、人形、自动驾驶的扩展凸显了强化驱动 VLA 在多种本体上的通用性。

局限：奖励工程往往间接或有噪，导致次优学习；SFT 与探索的交互会损害训练稳定性；向高维真实环境扩展算力昂贵，需要大量硬件与数据；安全策略虽已提出，但在模糊或对抗指令下可靠泛化仍是开放问题。未来需要更高效的奖励表征、鲁棒的样本高效训练范式，以及同时捕捉安全与推理能力的更丰富评估基准。

3.4 其他进阶研究

自回归、扩散、强化仍是 VLA 设计的基础范式，但具身任务日益复杂多样，催生了超越这些边界的方法。本节把它们组织为五个方向：混合架构（3.4.1）、多模态融合与空间理解（3.4.2）、领域适配（3.4.3）、基础模型与大规模训练（3.4.4）、部署中的效率/安全/人机协作（3.4.5）。

3.4.1 混合架构与多范式整合

单一生成范式（无论自回归、扩散还是 RL）面对多样复杂的具身操作任务常常力不从心。混合架构应运而生，策略性地组合多种范式以利用其互补优势。其核心目标是整合连续动作生成的平滑性与物理一致性、离散推理的精确性、以及动态真实环境所需的适应性。

代表工作 HybridVLA（2025）在单一 7B 框架内统一了扩散式连续轨迹生成与自回归 token 级推理：用扩散产生平滑物理一致的运动，同时保留自回归模型的上下文推理能力。这一设计直接回应了"扩散会做不会想、自回归会想但动作单一"的二元困境。

双系统哲学（受认知科学启发）也被广泛采纳。Fast-in-Slow 把卡尼曼双过程理论操作化——在较慢但认知更丰富的 VLM 骨干内嵌入低延迟执行模块，实现实时响应同时保留高层推理。RationalVLA（2025）则通过可学习隐嵌入把视觉-语言推理与低层操作策略相连，让模型过滤不可行命令、规划可执行动作。VRB（2023，从人类视频学习 affordance）、YAY Robot（2024，实时自然语言纠错）、EgoVLA（2025，从视频迁移人腕/手动作到机器人）、ACTLLM（2025，用动作一致性约束对齐感知与可执行动作）等也是这条线的代表。

规模化混合设计也展现潜力。Transformer-based Diffusion Policy 表明十亿参数架构能有效结合扩散与注意力，超越传统 U-Net 设计——它捕获更丰富的上下文依赖用于轨迹建模，预示下一代 VLA 把自回归 Transformer 嵌入扩散规划器，兼顾上下文感知与高质量运动生成。

OpenHelix（2025）则推动混合 VLA 设计的系统化：通过大规模实证评估，它基准对比了不同的推理-执行整合策略，并开源实现与设计指南。这标志着领域成熟，促进混合 VLA 开发的可复现性与标准化。

表4(A) 混合架构与多范式整合

方法 年份 核心创新
VRB 2023 从人类视频学习 affordance，实现复杂机器人交互
YAY Robot 2024 把实时自然语言纠错纳入机器人训练
HybridVLA 2025 在单一框架内结合扩散轨迹与自回归推理
RationalVLA 2025 通过隐嵌入连接高层推理与低层策略
OpenHelix 2025 通过大规模实证研究提供标准化混合 VLA 设计
EgoVLA 2025 从视频把人腕/手动作迁移为机器人动作
ACTLLM 2025 用动作一致性约束对齐感知与可执行动作
TUDP 2025 用速度与判别信号构建时间统一扩散策略

表4(A)表明混合 VLA 正从"两种范式简单拼接"走向"认知启发的系统化设计"，OpenHelix 的标准化努力标志着这一子方向的成熟。

3.4.2 多模态融合与空间理解

在复杂环境中实现鲁棒操作，仅靠跨模态对齐不够，还需要结构化、任务感知的融合机制来捕捉细粒度语义与空间关系。近期进展反映出从早期特征拼接，明确转向建模几何、affordance 与空间约束的架构。

CLIPort（2021）奠定基础：它把视觉处理解耦为"what"通路（识别物体）与"where"通路（定位动作），用 CLIP 表征从配对图像-语言输入生成 pick-and-place 热图，展示了语言条件操作中结构化视觉推理的优势。在此基础上，3D 空间理解成为核心能力。VoxPoser（2023）引入 LLM 引导的可组合 3D 价值图，把指令解释分为目标理解与动作规划（在体素化场景上）——这种模块化设计通过干净地分离语义解析与空间推理来增强泛化。3D-VLA（2024）则在生成式 3D 世界模型中整合自回归语言建模与扩散式动作预测，实现感知、语言、动作的连贯统一。

多视角感知通过统一表征学习处理。RoboUniView 用多视角 Transformer 模块融合时空线索，相比单视角基线大幅改善 3D 场景几何理解。BridgeVLA（2025）则反其道而行——把 3D 观测投影到多视角 2D，在统一 2D 热图空间预测动作，凸显紧凑而空间 grounding 的表征的效率。

更精细的空间推理方法不断涌现。ReKep（2024）用关系关键点图建模时空依赖，在精度关键任务上表现卓越；RoboPoint（2024）预测 affordance 图突出可行交互区域，为下游规划提供感知先验；GeoManip（2025）整合符号化几何约束引导动作生成而无需任务专用重训，实现强 OOD 泛化。GMLLMA（2024）跨本体与动作空间适配 MLLM；TTF-VLA（2025）融合过去与当前视觉 token 做免训练推理提升；MemoryVLA（2025）用感知/认知 token 加记忆库构建工作记忆。

这些工作勾勒出清晰轨迹：从基于通路的 2D 融合，到模块化、3D 感知的架构，统一空间 grounding、语义推理与动作生成。随着 VLA 系统越来越多地在非约束真实环境运行，显式推理几何与 affordance 的能力将始终是鲁棒可泛化操作的决定性因素。

表4(B) 多模态融合与空间理解

方法 年份 核心创新
CLIPort 2021 用 CLIP 分离"what/where"通路，生成动作热图
3D-VLA 2024 通过生成式 3D 世界建模统一感知、语言、动作
ReKep 2024 用关系关键点图做精确时空推理
RoboPoint 2024 预测 affordance 图作为下游机器人规划先验
GMLLMA 2024 跨本体与动作空间适配 MLLM 做 grounding 推理
BridgeVLA 2025 把 3D 观测对齐到 2D 热图，样本高效预测动作
GeoManip 2025 嵌入几何约束，免重训泛化动作
TTF-VLA 2025 融合过去与当前视觉 token，免训练提升推理
MemoryVLA 2025 用感知/认知 token + 记忆库构建工作记忆

表4(B)的趋势是：空间理解从 2D 通路融合走向 3D 感知的模块化架构，几何与 affordance 的显式建模成为关键。

CLIPort（2021）

链接：https://arxiv.org/abs/2109.12098
CLIPort 是把 CLIP 的开放世界语义理解引入机器人操作的早期典范。它的核心创新是"双通路"设计：用 CLIP 的语言-图像对齐做"what"通路（识别该操作哪个物体），用 Transporter 网络的几何感知做"where"通路（定位抓取/放置位置），两者融合生成 pick-and-place 热图。这一设计蕴含的洞见至今仍指导着 VLA 设计——语义理解与空间定位应由不同机制分别处理再融合，而非塞进单一黑箱。CLIPort 证明了"用大规模预训练语义先验 + 轻量任务专用几何模块"能在少样本下实现语言条件操作，直接启发了 VoxPoser、3D-VLA、RoboPoint 等一众强调空间 grounding 的工作。它与本综述中纯端到端 VLA（如 RT-2）形成对照：CLIPort 牺牲了端到端的简洁性，换来了更强的可解释性与数据效率。

3D-VLA（2024）

链接：https://arxiv.org/abs/2403.09631
3D-VLA 的核心创新是用生成式 3D 世界模型统一感知、语言与动作。它不再把 3D 理解作为附加模块，而是让模型在 3D 空间中"想象"未来状态，再据此生成动作——把自回归语言建模与扩散式动作预测在 3D 世界模型内耦合。这回应了纯 2D VLA 的两大局限：缺乏显式 3D 几何感知、以及动作生成缺乏"世界会如何变化"的约束。3D-VLA 与 VoxPoser（3D 价值图）、WorldVLA（自回归动作世界模型）、GR-1/GR-2（视频世界模型）一脉相承，都相信"让模型预测/想象未来"是提升动作合理性的关键，区别在于 3D-VLA 把这一思想锚定在显式 3D 表征上。它的意义在于证明 3D 世界模型可以作为统一感知-语言-动作的骨架，为后续 3D 感知 VLA（PointVLA、FP3、Evo-0 等）开辟道路。

VoxPoser（2023）

链接：https://arxiv.org/abs/2307.05973
VoxPoser 的核心创新是用 LLM 引导生成可组合的 3D 价值图：把自然语言指令分解为目标理解与动作规划，在体素化场景上分别构建"该接近哪里"与"该如何操作"的价值图，再组合成可执行轨迹。它的关键洞见是把语义解析与空间推理模块化分离——LLM 负责理解"要做什么"，价值图负责表达"在哪里做"，两者解耦后各自可泛化。这与 CLIPort 的双通路思想异曲同工，但 VoxPoser 把它提升到 3D 体素空间，并显式利用 LLM 的组合推理能力。VoxPoser 的影响在于示范了"LLM 不直接输出动作，而是输出空间约束"这一中间表示范式，启发了 ReKep（关键点图）、RoboPoint（affordance 图）等以空间中间表示为核心的工作。它的局限是依赖价值图这种人工设计的中间表示，灵活性不及端到端学习。

3.4.3 领域适配

VLA 框架的通用性使其扩展到各具独特感知、推理与控制挑战的专用具身领域。这些适配不仅验证了 VLA 原则的通用性，也揭示了领域成功所需的架构与算法改造。

安全关键场景：自动驾驶中，CoVLA（2024）构建了首个该领域大规模 VLA 数据集——约 5 万条配对语言指令与驾驶轨迹视频，覆盖多样城市场景，展示了视觉-语言推理如何与连续控制策略耦合以导航与避障。

GUI 交互：VLA 范式也扩展到图形用户界面，感知-动作循环在纯数字空间运行。ShowUI 采用 VLA 流水线处理屏幕元素并生成点击、拖拽、填表等控制序列，在 GUI-Bench 上的强劲表现凸显了 VLA 原则对非物理操作任务的适用性。

人形全身控制：LeVERB（3.4.1 已述）用层次化架构把视觉-语言策略（学潜在动作词汇）与 RL 控制层（产生低层动力学命令）结合，在 150+ 任务上实现鲁棒 sim-to-real。Helix（2024）则证明单一统一策略网络无需任务专用重训即可习得从物体操作到跨机器人协作的多样人形行为。

大规模编排与移动操作：AutoRT（2024）通过"observe-reason-execute"框架协调异构机器人舰队，把战略规划委托给 PaLM-E、RT-2 等 VLM；MoManipVLA（2025）通过航点轨迹生成与双层运动优化，把固定基座 VLA 迁移到移动操作。

其他领域创新：物理 grounding VLA 嵌入稳定性与接触点估计模块，改善复杂物理约束下的操作；CubeRobot（2025）把双循环 VisionCoT 与 Memory Stream 设计用于魔方求解，在低/中复杂度任务上近乎完美，高难度场景也表现强劲；EAV-VLA（2025）则反向思考——开发对抗补丁攻击以破坏或重定向机器人动作，从攻防视角审视 VLA 安全。GenAug（2023，语义数据增强）、ROSIE（2023，扩散式数据增强）则从数据侧支撑领域适配。

这些领域驱动的适配展示了 VLA 架构的通用性，也强调了为不同操作场景定制感知-推理-控制流水线的重要性，进一步印证了 VLA 作为跨物理、数字、混合环境的统一具身智能框架的潜力。

表4© 专用领域适配与应用

方法 年份 核心创新
GenAug 2023 用语义数据增强以最少真实数据重定向行为
ROSIE 2023 用扩散式数据增强丰富操作数据集
CoVLA 2024 为自动驾驶构建大规模 VLA 数据集（配对指令+轨迹）
LeVERB 2025 为人形身体控制设计层次化策略，鲁棒 sim-to-real
Helix 2024 统一人形控制，覆盖操作/移动/协作
AutoRT 2024 通过 observe-reason-execute 用基础模型编排机器人舰队
MoManipVLA 2025 通过航点与运动优化把固定基座 VLA 适配到移动机器人
CubeRobot 2025 用双循环 VisionCoT + 记忆流解魔方，高成功率
EAV-VLA 2025 开发对抗补丁攻击以破坏或重定向机器人动作

表4©显示 VLA 已从机械臂操作扩展到自动驾驶、GUI、人形、舰队编排等多元场景，领域适配往往需要定制化的感知-推理-控制改造。

3.4.4 基础模型与大规模训练

基础模型与大规模训练的兴起重塑了 VLA 轨迹，使统一的感知-推理-控制框架能跨任务、本体、环境泛化。通过利用海量多模态数据集与可扩展架构，这一方向旨在构建具广泛能力与高效适配的通才具身 agent。大规模预训练正日益成为下一代 VLA 系统的骨干。

大规模数据集是基础规模训练的关键。DROID（2025）贡献超 15 万条轨迹，覆盖 1000+ 物体与任务场景，含 RGB-D、语言、低维状态与环境标签等多模态标注。General Flow 框架用 3D 点轨迹作为可迁移 affordance 表征，实现人到机器人的跨域技能迁移。ViSA-Flow（2025）在大规模人-物交互视频上预训练生成模型，学习语义动作流，下游机器人学习只需最少适配。R3M（2022）通过时间对比的视频-语言对齐学习紧凑视觉表征；VC-1（2024）研究预训练数据规模，用 4000+ 小时视频训练 MAE Transformer。CACTI（2023）建立可扩展的四阶段多任务机器人学习流水线。

训练策略也已被广泛研究以提升效率与适应性。Zhang 等（Fine-tuned GMPs，2024）通过 2500 次 rollout 实验分析微调因素（动作空间、策略头设计、监督信号），为适配基础规模 VLA 提供实用指南。Chen 等（Robot CoT，2025）研究把思维链推理整合进具身策略学习，证明轻量推理机制能带来显著性能提升且推理提速 3 倍。CAST（2025）通过反事实语言与动作生成增强数据集多样性；RoboBrain（2025）提出统一的具身基础模型，覆盖感知、推理与规划。

这些努力共同指向一个收敛轨迹：在 massive、diverse 数据集上训练、配备模块化推理能力的通才具身 agent。大规模预训练、高效适配与可迁移 affordance 表征的结合，正把基础规模 VLA 定位为下一代机器人智能的骨干。

表4(D) 基础模型与大规模训练

方法 年份 核心创新
R3M 2022 通过时间对比的视频-语言对齐学习紧凑视觉表征
CACTI 2023 建立可扩展的四阶段多任务机器人学习流水线
VC-1 2024 用 4000+ 小时视频 + MAE Transformer 研究预训练数据规模
DROID 2025 提供 15 万+ 轨迹、1000+ 物体/任务的大规模多模态数据集
ViSA-Flow 2025 在大规模人-物交互视频上预训练动作流生成模型
Fine-tuned GMPs 2024 跨动作空间与信号基准化通才策略微调策略
Robot CoT 2025 为具身策略引入轻量 CoT 推理，推理提速 3 倍
CAST 2025 通过反事实语言与动作生成增强数据集多样性
RoboBrain 2025 提出统一具身基础模型，覆盖感知/推理/规划

表4(D)表明基础规模 VLA 正沿"数据-架构-训练策略"三维同步推进，数据驱动与算法驱动并重。

R3M（2022）

链接：https://arxiv.org/abs/2203.12601
R3M 的核心创新是用时间对比学习从视频中学习可迁移的视觉表征——把"同一轨迹的不同帧拉近、不同轨迹的帧推远"，并结合视频-语言对齐，得到对机器人任务有用的紧凑嵌入。它的动机是：机器人标注数据稀缺，但人类活动视频海量；若能从视频中学到"什么是目标、什么是进展"的语义，就能作为下游策略的通用视觉先验。R3M 与 VC-1、ViSA-Flow 同属"从视频学机器人表征"这一脉络，区别在于 R3M 强调时间对比目标，VC-1 强调数据规模与 MAE，ViSA-Flow 强调动作流生成。它代表了一种与"端到端从机器人数据学一切"互补的思路——先从更广泛的视频数据学通用表征，再用少量机器人数据微调，是数据高效 VLA 的重要支柱。

3.4.5 部署：效率、安全与人机协作

VLA 模型从研究走向真实应用，部署需要同时关注效率、鲁棒性与人机交互。实时推理、对抗条件下的韧性、无缝协作工作流，是动态不可预测环境中可靠运行的关键。

效率导向设计聚焦降低推理延迟、算力需求并改善资源受限平台的适配。RTC（Real-Time Chunking，2025）在执行当前动作段时预测下一段，实现连续高频控制。EdgeVLA（2024）消除末端执行器预测中的自回归依赖并采用紧凑语言模型，以最小性能损失实现 6 倍加速。DeeR-VLA（2024，与 3.1.4 的多出口机制同源）用动态提前退出在置信度阈值满足时终止推理，降低在线控制成本。CEED-VLA（2025）用一致性蒸馏 + 提前退出解码实现超 4 倍推理加速，并通过混合标签监督缓解误差累积。RoboMamba（2024）用轻量融合面向资源受限部署；ReVLA（2025）跨视觉域适配以提升鲁棒性。

适配中的知识完整性也是优先项。知识绝缘 VLA 模型在把专用模块集成进预训练 VLM 时用绝缘策略应对语义退化，保留跨任务泛化。轻量多模态融合与跨域适配共同贡献可部署效率。

安全与鲁棒性已成为与效率并列的部署就绪支柱。SAFE（2025）利用 VLA 内部特征表征跨多任务检测失效，泛化到未见场景并支持主动干预。Cheng 等的 PVEP（Physical Vulnerability Evaluation Procedures）安全评估揭示了对对抗补丁、排版提示与分布漂移的脆弱性，推动对抗鲁棒的感知-控制流水线发展。可解释性工作（Lu 等）揭示了 VLA 隐层中物体、关系、动作的符号编码，为更透明的决策奠基。自适应控制框架如 DyWA（2025）联合建模几何、状态、物理与动作以响应动态部分可观条件。

人机协作探索了人与 VLA 模型相互精炼的交互学习循环。Xiang 等提出把有限专家干预整合进 VLA 决策的协作框架。闭环策略如 Zhi 等把 GPT-4V 感知与实时反馈控制结合以即时适配环境变化。历史感知策略学习与以物体为中心的视觉提示（CrayonRobo，2025，通过物体中心提示提供可解释 grounding）增强任务 grounding 与透明度；技能库构建与 grounding mask 方法支持可扩展、可复用的任务分解；相机空间策略设计如 cVLA（2025，直接在 2D 图像坐标预测轨迹航点）改善 sim-to-real 迁移，使策略更本体无关。

表4(E) VLA 部署：效率、安全与人机协作

方法 年份 核心创新
EdgeVLA 2024 消除依赖 + 紧凑 LLM，实现 6 倍推理加速
DeeR-VLA 2024 用置信度提前退出削减控制成本
Dual Process VLA 2024 跨双模型分离推理与运动控制以提效
CEED-VLA 2025 一致性蒸馏 + 提前退出，推理提速 4 倍
RoboMamba 2024 用轻量融合面向资源受限部署
ReVLA 2025 跨视觉域适配以提升鲁棒性
SAFE 2025 从内部 VLA 信号主动检测失效
DyWA 2025 建模动力学以在不确定环境自适应控制
CrayonRobo 2025 通过物体中心提示提供可解释 grounding
cVLA 2025 用 2D 航点预测增强 sim-to-real 迁移
RTC 2025 支持分块策略的平滑异步执行

表4(E)显示部署需多维并举：实时推理优化、失效与对抗鲁棒性、人在环精炼共同推动持久可靠可交互的机器人系统。

3.4.6 讨论

创新：本节涵盖的进阶 VLA 工作有几项集体性创新——组合互补范式做推理与动作生成的混合架构、面向 3D 感知空间 grounding 的高级多模态融合、以及把 VLA 原理扩展到自动驾驶/人形/GUI 的领域适配。基础规模模型利用海量多模态数据集构建日益通用的 agent，部署导向方法强调效率、安全与人机协作。

局限：混合系统算力昂贵且难以规模化；多模态融合在噪声或残缺真实输入下仍挣扎；领域专用适配有过拟合窄场景风险；基础模型需要惊人的数据与资源投入；部署努力虽前景可观，但在对抗或动态条件下的鲁棒性、可解释性与可靠性仍面临挑战。未来需要更高效的训练策略、更广的评估标准，以及研究设计与实际部署之间更紧密的整合。

本章小结

  1. 四大范式各有定位：自回归（Gato→RT-2→OpenVLA）把动作当语言生成，继承 LLM 泛化与推理但慢且有误差累积；扩散（Diffusion Policy→π0→Diffusion-VLA）把动作当概率去噪，优雅表达多模态分布但算力重；强化微调（VIP→SafeVLA→ConRFT）在监督骨架上叠加试错闭环，弥补稀疏数据但奖励工程难；混合与专用（HybridVLA/CLIPort/3D-VLA/GR00T N1）则多范式协同或领域定制。

  2. 数据与开源是关键拐点：Open X-Embodiment、DROID 等大规模数据集，以及 OpenVLA、Octo 等开源权重，把 VLA 从"大厂专利"推向"社区共建"，是 2024-2025 年领域加速的直接动力。

  3. "让模型想象未来"成为共性趋势：WorldVLA、3D-VLA、GR-1/GR-2、EnerVerse 等都把视觉/世界预测与动作生成耦合，用"世界会如何变化"约束动作合理性，是缓解自回归误差累积与提升物理一致性的共同方向。

  4. 推理与生成分离是混合范式的核心思想：Diffusion-VLA、HybridVLA、RationalVLA、Fast-in-Slow 等都相信"慢思考（推理）+快生成（扩散/解码）"的分离架构优于单一范式，认知科学的双系统理论正被操作化为 VLA 架构。

  5. 部署正成为第一性问题：效率（FAST/BitVLA/EdgeVLA/CEED-VLA）、安全（SafeVLA/SAFE）、人机协作（RTC/CrayonRobo）三条线并进，“防御性 AI”——把韧性与可靠性和性能并重——正在成为真实世界采纳的决定性因素。

  6. 未解决的核心难题：长时程稳定性、噪声输入下的语义 grounding、动态环境时序连贯性、对抗/模糊指令下的安全泛化、以及基础规模建模与实际部署约束之间的鸿沟，仍是通往通用具身智能的主要障碍，需要推理与控制更紧的耦合、硬件感知优化与更丰富的安全感知评估标准。

第4章 数据集与基准

数据，是 VLA 模型成长的"养料"，也是衡量其能力的"标尺"。前一章我们花了大量篇幅拆解 VLA 的四大建模范式——从端到端 Token 化到扩散策略、从世界模型到检索增强——但所有这些范式都有一个共同前提：必须有一份高质量、多模态、覆盖足够任务与场景的数据集来训练，以及一套公平、可复现的基准来评测。这一章正是回答"数据从哪里来、用什么评"的问题。

具体而言，本章要把 VLA 生态里的数据资源梳理成两条主线：真实世界数据集与仿真数据集，并在每条主线内区分具身机器人与自动驾驶两类应用。真实世界数据昂贵但"原汁原味"，是终极评测与现实部署的依据；仿真数据廉价、可规模化为安全关键场景，是大规模训练与长尾测试的阵地。两者互补，共同构成 VLA 的数据底座。我们会在 4.1、4.2 两节给出代表性数据集与评估指标，4.3 节讨论其创新与局限，并尝试回答一个贯穿全章的问题：为什么 VLA 至今仍受"数据瓶颈"困扰？

在这里插入图片描述

图 4 直观呈现了 VLA 数据的"多模态+多场景"特征：同一份样本里往往同时包含图像（乃至深度/点云）、机器人本体状态、动作序列与自然语言指令，这正是 VLA 区别于纯视觉或纯语言数据集的根本所在。

4.1 真实世界数据集与基准

高质量的真实世界数据，是开发可靠 VLA 算法的基石。近年来社区在这一方向投入巨大，研究者用不同的传感器配置、在不同的任务与场景设置下采集了大量机器人演示与自动驾驶日志。本节先讲具身机器人，再讲自动驾驶，最后归纳二者常用的评估指标。

4.1.1 具身机器人

具身机器人数据集的设计初衷，是捕捉"感知—动作"的闭环耦合：机器人通过视觉、听觉、本体感知、触觉等多路传感输入感知环境，并产生与之时间对齐的电机动作、意图与上下文标签。这类数据是模仿学习、强化学习、视觉-语言-动作建模与机器人规划的"地基"。

数据采集的痛点与早期探索。 真实世界机器人数据采集成本高昂——既需要硬件设备，又需要精细的操作遥测。早期的代表性工作给出了三条不同路径：

  • MIME（2018） 用 RGBD 采集了约 8300 段、20 类任务的演示，是最早一批成规模的双手操作数据之一；
  • RoboNet（2019） 把视角放宽到多机器人、多视角，积累了约 16.2 万段 RGB 轨迹，强调"跨环境泛化"；
  • MT-Opt（2021） 进一步把规模推到 80 万段、12 类任务，主打大规模多任务数据采集系统。

值得注意的是，这三者与更早的数据集有一个关键差别：它们不再假设每个任务只有一条最优轨迹，而是为同一任务采集多段演示，并以"测试轨迹之间的最小距离"作为评估指标。这一改动看似细微，实则把"模仿学习"从"复刻一条专家路径"推进到"覆盖一个技能分布"，对后续操作与 VLA 研究影响深远。

多域数据与可泛化策略。 BridgeData（2021）提供了大规模、多域的机器人数据，涵盖 10 个环境下的 71 个任务（约 6 万段 RGBD 轨迹）。论文给出一个很有说服力的实验结论：在新域的目标数据之外，联合训练 BridgeData 与该域少量（如 50 个）未见任务，可使成功率较仅用目标域数据翻倍。 这一发现直接奠定了"预训练大动作模型 + 少量下游微调"的范式基础，也使 BridgeData 成为当代 VLA 方法最常用的预训练来源之一。

RT-1（2022）则从另一侧切入：它提供了一组覆盖 700 余任务、1.3 万段的真实世界机器人数据，用以同时提升任务性能与对全新场景的泛化能力。Bc-z（2022）则刻意纳入"同场景内未见物体组合"的操作任务，专门支持"可泛化策略学习"的研究。可以看到，这一阶段的数据集开始把"泛化"当作第一公民来设计。

多模态与生态化数据集。 MOO（2023）为手部操作、移动、多任务、多智能体乃至肌肉控制等场景提供了较完整的软件平台与生态。RoboHive（2023）则定位为"连接现有能力与未来增长"的桥梁，支持强化学习、模仿学习与迁移学习等多种范式。RH20T（2024）尤为特别：它在 147 个任务上采集了 11 万段操作片段，同时包含视觉、力、音频与动作多模态信号，每段还配有真人演示与语言描述——这种"一镜到底的多模态对齐"使其特别适合一次性模仿学习与基于历史片段的策略迁移。

协作式、地理最广的数据集。 为了走向更通用的操作策略，社区开始由多机器人、跨地域协作采集，由此诞生了一批至今地理与上下文多样性最高的具身机器人数据：

  • DROID（2024）：跨多区域多机器人协作采集，约 7.6 万段 RGBD 轨迹，强调场景与任务多样性；
  • AutoRT（2024）：以"观测—推理—执行"的方式调度机器人车队进行规模化采集，约 7.7 万段；
  • UMI（2024）：以手持夹爪低成本采集，约 1400 段、7 类任务，主打"人人可采"的便携性；
  • OXE / Open X-Embodiment（2025）：由 21 家机构联合、整合 22 个机器人数据集，覆盖 527 项技能、160266 个任务，并提供统一标准化数据格式，是迄今规模最大的协作式机器人数据集。

其中 OXE 的意义远超"数据多"——它通过统一格式让异构数据可互通互训，直接催生了 RT-X、OpenVLA 等一批跨具身形态（cross-embodiment）的通用策略工作。真实世界机器人数据集的整体脉络见表 5(A)。

评估指标。 具身机器人基准最常用的是 成功率（Success Rate）——成功完成任务数占总任务数的比例。部分研究还会额外引入 语言遵循率（Language Following Rate），用来衡量模型能否正确理解并执行语言指令（而非"歪打正着"地完成任务）。此外，近年 VLA 模型常被迁移到未见环境中评测，以衡量鲁棒性与泛化能力。

4.1.2 自动驾驶

自动驾驶数据集与具身机器人数据集形态迥异。它是人工智能最具变革性的落地之一，高度依赖大规模数据来训练与评测感知、规划、控制算法。过去十年涌现出大量数据集，普遍提供多模态传感数据：摄像头图像、激光雷达点云、雷达信号与高精地图等。这些数据集在地理覆盖、传感器配置、驾驶行为多样性与标注丰富度上差异显著，因而彼此互补。

开环与稀有事件的矛盾。 大多数公开数据集是在开环（open-loop）条件下采集的，主要记录正常驾驶行为。开环数据易于获取，却难以覆盖长尾边角案例（corner cases）——而恰恰是这些罕见、危险场景决定了自动驾驶的安全上限。为弥补这一缺口，近期工作转向：生成合成数据、模拟闭环交互、以及专门针对稀有或安全关键事件策划数据集。这一思路的转变，是自动驾驶 VLA 数据建设最重要的趋势。

评估指标。 自动驾驶 VLA 模型常用指标包括：L2 距离——衡量预测轨迹与参考轨迹的偏差；以及完成率（Completion Rate）——量化成功完成的驾驶任务占比。这两者与具身机器人的成功率/语言遵循率形成对照：前者偏"轨迹精度"，后者偏"任务成败"。

4.2 仿真数据集与基准

连续控制任务的真世界数据采集极其困难——它需要实时交互与人类标注者的持续反馈，且往往昂贵、耗时、难以规模化。因此，研究者在训练与评测具身机器人或自动驾驶模型时，大量借助虚拟引擎生成的仿真数据。

仿真数据的优势在于安全、可控、可规模化、可复现：能够构造真实世界里危险或无法重现的场景，能在同一环境下批量生成海量交互轨迹。其代价是仿真到现实的鸿沟（sim-to-real gap）——渲染保真度、物理引擎精度与任务建模的简化，都会让仿真上的好成绩未必能迁移到真机。

4.2.1 具身机器人仿真

具身 AI 的仿真数据集通常包含合成场景、基于物理的交互、导航/操作/任务执行标注，以及智能体—环境动力学。它们支撑从视觉导航、语义探索到复杂多步操作的训练与基准测试。

  • ROBOTURK（2018）：通过移动设备遥操作采集的高质量 6-DoF 操作状态与动作仿真数据（>7868 段、2200 个任务）。与传统"让远程用户在虚拟引擎里演示"不同，ROBOTURK 还借助策略学习生成具有不同奖励的多步任务，并聚合成大量演示用于训练与评测。
  • Meta-World（2019）：50 个操作任务的基准，是强化学习与多任务学习最常用的仿真平台之一。
  • ALFRED（2019）：由长时程、组合性、且具有不可逆状态变化的任务构成的基准（8055 段、120 个任务），同时提供高层目标与底层语言指令，在序列长度、动作空间与语言多样性上都显著复杂于既有视觉-语言数据集，旨在拉近仿真与真实应用的距离。
  • RLBench（2019）：100 个操作任务的仿真基准，常被用作"低成本生成大规模轨迹"的工具，但受限于渲染保真与物理精度。
  • iGibson 0.5 / 1.0 / 2.0（2020–2021）：iGibson 0.5 提出了一个面向交互式导航的基准，并设计了专门的"交互式导航分数（Interactive Navigation Score）"，由**路径效率（Path Efficiency，最短成功路径与实际路径长度之比）与努力效率（Effort Efficiency，导航过程中额外的运动学与动力学代价）**两个子指标构成，专门刻画导航与物理交互之间的耦合。其后的 iGibson 1.0/2.0 进一步把场景升级为真实家庭的高保真副本，物体分布与布局贴近物理空间，从而提升生态效度、缩小 sim-to-real 鸿沟。
  • VIMA / VIMA-BENCH（2022）：提出四级评测协议，从随机物体摆放一直到全新任务，逐级考察更强的泛化能力（>60 万段、>1000 个任务），是少有的把"泛化能力"显式分层量化的基准。
  • CALVIN（2022） 与 LOTA-Bench（2024）：聚焦长时程、语言条件任务，在多模态传感的多样化操作环境中评测，尤其适合检验"在大规模交互数据上训练、迁移到未见场景"的方法，性能以任务成功率度量。
  • LIBERO（2023）：5000 段、100 个任务的仿真基准，强调任务集的组合与泛化划分。
  • RoboCasa（2024）：>10 万段、100 个任务，主打家庭场景下的大规模仿真。
  • RoboGen（2024）：106 个任务，强调以生成式方式自动产出任务与场景。

这些仿真数据集的整体概览见表 5(B)。

评测指标。 仿真具身基准普遍以任务成功率为核心指标，并辅以各级泛化协议（如 VIMA 的四级、CALVIN 的长时程链式任务）来区分"会做"与"会迁移"。

4.2.2 自动驾驶仿真

闭环仿真对自动驾驶安全至关重要——它能生成真实世界中难以或危险采集的安全关键场景。然而，直接复用历史驾驶日志构造闭环评测并不简单：场景配置更新后，必须对原始传感数据做修改以反映新的布局——例如增删行人/车辆、改变自车与他车的轨迹等。

UniSim 是这一方向的代表：作为一个神经传感仿真器，它把单条录制轨迹扩展为多传感闭环仿真。其做法是构建神经特征网格（neural feature grids）来重建静态背景与动态参与者，再将二者合成以模拟新视角下的 LiDAR 与摄像头数据，从而支持对参与者的增、删、移位；为更好覆盖未见视角，UniSim 还用卷积网络补全原始录制中不可见的区域。这种"神经重建 + 闭环编辑"的范式，让闭环评测不再依赖昂贵的真实车队复演。

评估指标。 闭环自动驾驶基准需要专门面向交互式驾驶任务的指标，常用三者：

  • Driving Route（驾驶路线）：衡量是否遵循规划轨迹；
  • Infraction Score（违规扣分）：对违反交通规则的行为进行惩罚；
  • Completion Score（完成度）：评估任务完成情况。

三者合用，能比开环的 L2 偏差更全面地刻画 VLA 模型在真实、安全关键驾驶场景下的表现。

说明：关于 MuJoCo、Isaac Gym、THOR、Habitat、CARLA 等仿真器本身的详细讨论，见第 5 章"仿真器"。本章聚焦于建立在仿真器之上的数据集与基准。

4.3 讨论：创新与局限

创新。 这一领域近年最重要的进展，可以归结为三点：

  1. 系统化分类法：本章按复杂度、模态与任务多样性对数据集建立了清晰分类，为研究者选择合适的数据资源提供了框架，也暴露了现有资源的空白；
  2. 标准化评估指标：从成功率、语言遵循率到 L2 偏差、驾驶路线/违规扣分，评估协议正逐步统一，使不同方法可比可复现；
  3. 大规模协作：以 Open X-Embodiment（OXE）为代表，多机构联合、统一格式的协作式数据集，显著扩大了任务覆盖、丰富了模态组合、促进了跨域策略迁移，推动具身 AI 研究走向可规模化。

局限。 但瓶颈依然明显：

  • 真世界数据昂贵且受限：采集往往受限于受控实验室环境，场景多样性不足，地理与任务分布偏窄；
  • 仿真数据"够用但不够真"：虽可规模化、可安全，仍难完全复刻真实交互的复杂度、噪声与不可预测性；
  • 指标不够"细腻"：成功率与轨迹偏差等粗粒度指标，难以反映语言接地（language grounding）、长时程推理、非结构化环境下的安全部署等更微妙的能力——而这些恰恰是 VLA 真正走向实用的关键。

要突破这些局限，既要持续扩大数据集的多样性与真实感，也要设计更丰富的评测协议，使"分数高"真正等价于"在真实世界中安全、可靠、可泛化"。

代表方法表

下表（对应论文 Table 5）汇总了本章讨论的代表性机器人数据集与基准，分为真实世界（A）与仿真（B）两子表。从表中可清晰看到两条趋势：一是时间上数据规模从早期的万级（MIME、BridgeData）跃迁到 OXE 的百万级；二是模态上从单一 RGB 逐步纳入 RGBD、力、音频乃至高精地图等多模态信号——这正是 VLA 模型从"看图做事"走向"多模态理解与长时程规划"的数据侧写照。

表 5：代表性机器人数据集与基准

(A) 真实世界数据集与基准

数据集名称 年份 传感器 片段数(Episodes) 任务数
MIME 2018 RGBD 8300 20
EPIC-KITCHENS 2018 RGB 10000 32
RoboNet 2019 RGB 162000 –
MT-Opt 2021 RGB 800000 12
BridgeData 2021 RGBD 60100 24
Bc-z 2022 RGB 25877 100
RT-1 2022 RGB 13000 700
MOO 2023 RGB 59100 –
RoboHive 2023 RGBD 98500 38
OBRH 2023 RGBD 5600 109
RH20T 2024 RGBD 110000 147
DROID 2024 RGBD 76000 –
AutoRT 2024 RGB 77000 –
UMI 2024 RGB 1400 7
OXE 2025 RGBD >1000000 160266

(B) 仿真数据集与基准

数据集名称 年份 传感器 片段数(Episodes) 任务数
ROBOTURK 2018 RGB >7868 2200
Meta-World 2019 RGB – 50
ALFRED 2019 RGBD 8055 120
RLBench 2019 RGBD – 100
VIMA 0.5 2022 RGB >600000 >1000
CALVIN 0.5 2022 RGBD – 34
LIBERO 2023 RGB 5000 100
LOTA-Bench 2024 RGB 611 12
Mobile ALOHA 2024 RGB 825 7
RoboCasa 2024 RGBD >100000 100
RoboGen 2024 RGB – 106

表中 “–” 表示原论文未给出该项数值；“0.5” 标记表示对应数据集的特定版本。两个子表对比可见：真实世界数据在片段总量上由 OXE 拔得头筹（>100 万），而仿真数据则以 VIMA 的 >60 万段与多级泛化协议见长——前者胜在"真"，后者胜在"可控与可分层评测"。

经典论文精讲

Open X-Embodiment / RT-X（2024）

链接：https://arxiv.org/abs/2310.08864

Open X-Embodiment（OXE，又称 RT-X）是 VLA 数据生态里具有"基础设施"意义的一项工程。它由全球 21 家机构联合，把 22 个异构机器人数据集整合到统一格式下，覆盖 527 项技能与 160266 个任务，片段总量超过百万级。其与 VLA 的关系是双重的：一方面，OXE 是 RT-X、OpenVLA、Octo 等通用跨具身策略工作的直接训练来源，使得"一个模型、多种机器人形态"成为可能；另一方面，它提出的数据标准（统一的观测/动作/语言字段）正在成为社区的既成规范。核心创新不在算法，而在数据工程与协作机制：通过统一格式让原本互不兼容的数据可互通互训，把"数据孤岛"连成"数据大陆"。其对后续工作的影响是深远的——此后 VLA 研究在汇报结果时，几乎都会标注"在 OXE 子集上训练/评测"。局限方面，OXE 目前仍以桌面操作与抓取为主，长时程、移动操作与全身控制的占比仍偏低（这一点在第 7 章挑战部分亦有讨论）。

DROID（2024）

链接：https://arxiv.org/abs/2403.12945

DROID（A Large-Scale In-The-Wild Robot Manipulation Dataset）是一份大规模、多机器人协作采集的真实世界操作数据集，约 7.6 万段 RGBD 轨迹，跨多个区域与机器人平台，场景与物体分布高度多样。它与 VLA 的关系在于：DROID 是继 BridgeData 之后，社区用以训练"可泛化真实世界策略"的主力数据之一，常与 OXE 联合用于 foundation-scale VLA 训练。其核心创新是地理与硬件多样性——由分散在不同实验室的机器人共同采集，天然带有场景、光照、物体分布的多样性，从而缓解了单一实验室数据的分布偏置。对后续工作的影响体现在两点：一是为跨域泛化提供了更硬的评测基准，二是其采集范式（分布式协作、统一协议）被后来的 AutoRT、UMI 等工作进一步发展。与 OXE 相比，DROID 更强调"同一协议下多源采集的一致性"，而 OXE 更强调"异构数据的格式统一"——二者互补，共同抬高了真实世界数据的规模与多样性上限。

RT-1 数据集与模型（2022）

链接：https://arxiv.org/abs/2212.06817

RT-1（Robotics Transformer）既是模型也是数据集：它配套提供了 1.3 万段（约 13,000 段）真实世界机器人演示，覆盖 700 余个任务。与本章的关联在于，RT-1 数据集是"用真实世界大规模数据训练可泛化机器人策略"这一范式的标志性实证——论文展示了在足够多样的真实数据上，一个 Transformer 策略即可在未见场景上保持较高成功率。其与 OXE/DROID 的联系是历史性的：RT-1 的数据后来被纳入 OXE，而 RT-1 模型本身也成为 RT-2、RT-X 等后续工作的基线。作为经典精讲，RT-1 的意义在于它把"数据规模 → 泛化能力"的因果链在真实机器人上跑通，为 VLA 时代"以数据为中心"的研究取向奠定了信心。

CLIPort（2021）——介于数据与方法的桥梁

链接：https://arxiv.org/abs/2109.12098

CLIPort 虽以方法闻名（CLIP 语义 + Transporter 几何的双通路），但其配套的仿真任务套件也是 VLA 数据生态的重要一环：它把"语义理解（what）"与"空间定位（where）"解耦为两条通路，并提供了一组语言条件的操作任务基准。与本章的联系在于，CLIPort 的任务设计启发了后来 VIMA-BENCH、CALVIN、LIBERO 等基准的"语言条件 + 分层泛化"思路。其核心创新在于证明了预训练视觉-语言模型（CLIP）的语义先验可直接迁移到操作任务，无需大规模机器人数据——这为数据稀缺场景下的 VLA 提供了一条"借力通用大模型"的退路，也反向印证了高质量任务基准对方法迭代的价值。

AI2-THOR（2017）——仿真基准的起点之一

链接：https://arxiv.org/abs/1712.05474

AI2-THOR 是一个近真实 3D 室内场景仿真器，智能体可在其中导航并与物体交互完成任务，支持模仿学习、强化学习、操作规划、视觉问答、表征学习、检测与分割等多种研究。它与本章的联系在于：THOR 是早期"物理 + 任务"仿真基准的代表，为后续 ALFRED、RoboCasa 等更复杂的家庭任务基准铺了路。其核心创新是近真实室内场景 + 可交互物体的组合，把仿真从"几何导航"推进到"语义交互"。对后续工作的影响是深远的——Habitat、iGibson 等平台都延续了"用真实空间副本提升生态效度"的思路。作为本章的精讲之一，THOR 提醒我们：好的基准不仅要"难"，更要"贴近真实任务结构"。

CARLA（2017）——自动驾驶仿真的基石

链接：https://arxiv.org/abs/1711.03938

CARLA 是基于游戏引擎的开放城市驾驶仿真器，支持灵活的传感器配置，能生成适合训练与评测驾驶策略的信号，并提供可控、可复现、低成本的测试环境。与本章自动驾驶仿真部分（4.2.2）的联系是直接的：CARLA 是 UniSim 之外另一条主流的闭环仿真路径——前者用神经重建追求极致真实，后者用游戏引擎追求极致可控。其核心创新在于把城市级驾驶场景做成开源、可脚本化的平台，使得"稀有事件注入"与"闭环评测"成为社区标配。对后续工作的影响是：如今绝大多数自动驾驶 VLA 的闭环评测，要么直接在 CARLA 上做，要么以 CARLA 为对照系。它也提示了 4.1.2 节的核心矛盾——真实开环数据难以覆盖长尾，而 CARLA 这类仿真器正是补齐长尾的关键工具。

本章小结

  1. VLA 数据沿"真实—仿真"双线发展：真实世界数据（MIME→BridgeData→RT-1→DROID→OXE）胜在真实，仿真数据（ROBOTURK→Meta-World→ALFRED→VIMA→CALVIN→RoboCasa）胜在可控可规模化，二者互补缺一不可。
  2. 数据规模与模态同步扩张：从早期万级 RGB 到 OXE 的百万级 RGBD/多模态，规模的跃迁与模态的丰富共同支撑了 VLA 从"看图操作"到"多模态长时程规划"的能力升级。
  3. 协作式、标准化是破局关键：OXE 以统一格式整合 22 个数据集、21 家机构，证明了"数据联盟"比"单点扩容"更能撬动通用性，这一思路正在重塑数据集建设范式。
  4. 评估指标从粗到细分层演进：具身侧从成功率走向语言遵循率与泛化协议（VIMA 四级、CALVIN 长时程），驾驶侧从开环 L2 偏差走向闭环的驾驶路线/违规扣分/完成度——指标越细，越能反映语言接地与安全部署等真实能力。
  5. 闭环仿真填补长尾空白：自动驾驶的开环数据难以覆盖危险边角案例，UniSim 的神经重建与 CARLA 的引擎渲染分别从"真实感"与"可控性"两端补齐长尾。
  6. 核心局限仍是"真数据贵、仿真不真、指标太粗"：要真正释放 VLA 的实用潜力，既需扩大真实数据的多样性与真实感、缩小 sim-to-real 鸿沟，也需设计能刻画语言接地与长时程推理的更细腻评测协议。

第5章 仿真平台

导语

如果说数据是 VLA 模型的"燃料"，那么仿真器就是制造燃料的"炼油厂"与检验发动机的"试车台"。在真实世界里，采集一条机器人操作轨迹需要昂贵的硬件、精细的遥操作和大量人工，而一次失败的抓取可能损坏夹爪、碰碎花瓶；在自动驾驶场景中，"长尾"危险工况更是几乎不可能在路采中安全复现。仿真平台恰恰补上了这块短板：它把物理引擎、传感器模型和可编程场景打包成一个可控、可复现、低成本的环境，让研究者能够大规模生成标注轨迹、注入稀有场景、并对策略做安全评估。

本章承接第4章对数据集与基准的讨论，把视角从"数据从哪里来"转到"数据与评估在什么环境里发生"。它与第6章（机器人硬件）一同构成了 VLA 研究的"基础设施层"：仿真器决定能在多大规模、多高逼真度上训练策略，而硬件形态决定了策略最终要适配的感知与执行接口。第7章将进一步指出，即便有了仿真，sim-to-real gap（仿真到现实的迁移鸿沟） 依然是 VLA 落地的核心瓶颈之一——理解本章各仿真器的取舍，正是理解这一瓶颈成因的前提。

本章要回答的核心问题是：一个理想的 VLA 仿真器应当具备哪些能力？现有平台分别在哪一维度上各有所长？ 我们先从仿真器的共性需求切入，再按"室内具身交互"与"自动驾驶"两大应用脉络逐一介绍 THOR、Habitat、iGibson、ALFRED、MuJoCo、Isaac Gym、CARLA/LGSVL 等代表性平台，最后归纳选型考量。

5.1 为什么仿真器是 VLA 研发不可或缺

现代 VLA 方法本质上是深度学习驱动的数据方法，其性能上限在很大程度上由数据的规模与多样性决定。然而真实世界的机器人数据采集面临三重困难：硬件成本高、实验效率低、安全风险大（详见第7章对"机器人数据稀缺"的讨论）。仿真器之所以不可或缺，正是因为它在这三个维度上都能给出更好的折中。

一个典型的机器人仿真平台通常会整合三类核心能力：

  • 物理引擎：模拟刚体/柔体动力学、碰撞、摩擦、关节与接触力，使机器人的动作产生符合物理规律的环境反馈。这是策略能否学到"因果关系"的基础。
  • 传感器模型：提供 RGB、RGB-D、LiDAR、IMU 等多种模态的仿真观测，并允许灵活配置相机内外参、分辨率、噪声模型，从而匹配真实硬件的感知接口。
  • 可编程场景与任务逻辑：支持导航、操作、多模态指令跟随等多种任务，允许研究者自定义物体分布、初始状态、语言指令乃至长时序组合目标。

借助这些能力，仿真器能够提供可扩展、照片级真实且物理合理的环境，支撑强化学习、模仿学习乃至大规模预训练模型在其中的训练与评估。更重要的是，它把实验放进了一个安全、可控、可复现的沙盒：撞车不会伤人、摔碎不花真钱、随机种子保证他人能复现你的结果——这些特性对 VLA 这种高维度、长时序、易出" corner case "的研究尤为关键。

需要强调的是，仿真并非万能。第7章会指出，即使采用域随机化（domain randomization）、风格迁移等技术，仿真到现实的鸿沟依然存在：许多策略在仿真里表现优异，部署到真机却骤然失效。因此，理解每个仿真器在"逼真度—可扩展性—物理精度"三者间的取舍，对选型至关重要。

5.2 室内具身交互仿真器

室内场景是具身智能研究的主战场：导航、物体重排、家用任务、语言条件操作等都发生在家居与办公环境里。这一脉络的仿真器大致沿"人工建模→真实空间复刻→长时序任务基准"的方向演进。

5.2.1 AI2-THOR：近照片级真实的交互式 3D 室内场景

AI2-THOR 是一个以近照片级真实（near photo-realistic）的 3D 室内场景为特色的仿真器，AI 智能体可以在其中导航环境、与物体交互以完成任务。它的设计动机很直接：早期许多仿真环境要么物理过于简化、要么场景过于卡通，难以支撑视觉感知与语言 grounding 的研究。THOR 用手工精心建模的厨房、客厅、卧室等室内场景，配合大量可交互物体（可拾取、可开合、可推拉），把"看见—听懂指令—动手"的闭环放到一个视觉上可信的环境里跑通。

它支撑的研究方向相当广泛，包括模仿学习、强化学习、操作规划、视觉问答（VQA）、无监督表示学习、目标检测与语义分割等。对 VLA 而言，THOR 的价值在于提供了一个视觉真实、动作语义丰富的 playground：语言指令可以映射到具体的可交互物体与离散动作上，便于评估"语言—视觉—动作"三者的对齐质量。

论文精讲：AI2-THOR（2017）

链接：https://arxiv.org/abs/1712.05474

AI2-THOR 是把"交互式 3D 室内场景"做成研究级基础设施的代表性工作。它与 VLA 的关系在于：VLA 模型需要在视觉真实的环境中把语言指令落地为可执行动作，而 THOR 恰好提供了"看得清、能动得了"的场景。其核心创新是构建了一套覆盖厨房、客厅、卧室等多类房间、配备大量可交互物体（可拾取、可开合、可推拉）的高保真场景库，并暴露统一的动作 API（如移动、旋转、抓取、开关），让感知与控制研究可以在同一基准上对比。它对后续工作的影响深远——Habitat、iGibson 等平台在"场景真实性"与"交互丰富度"上都可看作对 THOR 路线的延伸与提升。在本综述中，THOR 与 Habitat、iGibson 共同构成了室内具身交互仿真器的谱系，三者分别代表了"人工建模高交互"、“真实扫描大规模”、"真实家居复刻"三种取向。

5.2.2 Habitat 与 Habitat 2.0：从真实建筑扫描到物理交互

与 THOR 走"人工建模"路线不同，另一类仿真器选择基于真实空间的数字化复刻：它们不是人造环境，而是覆盖数千栋全尺寸建筑、智能体受真实物理与空间约束的场景。Habitat 正是这一范式的代表——它以真实建筑的 3D 重建扫描作为场景来源，强调大规模导航任务的高效仿真。

Habitat 2.0 进一步把这一范式推向"可交互、支持物理"的复杂 3D 环境：它不仅能让智能体在真实户型里导航，还引入了可操作的物体与物理引擎，使得"重排家具、开抽屉、放物品"等家用任务成为可能。这一升级直接回应了 VLA 研究的核心需求——单纯导航已不够，模型需要理解语言指令并在物理世界里产生改变环境状态的动作。Habitat 系列的意义在于：它把"真实场景规模"与"物理交互能力"结合，为训练能泛化到真实家居的家用助手提供了高保真平台。

5.2.3 iGibson 1.0 / 2.0：真实家居的复刻与多任务支持

更早期的"物理+机器人任务"仿真环境往往只覆盖狭窄的场景集，且场景小而简化。iGibson 1.0 与 iGibson 2.0 则是开源仿真平台，在大规模、真实环境内支持更丰富的家用任务。其场景是真实住宅的复刻：物体分布与布局与物理空间高度一致，从而提升了生态效度（ecological validity），缩小了仿真与真实机器人学习之间的差距。

对 VLA 而言，iGibson 的贡献在于"真实性"这一维度：当训练数据来自与真实家居同分布的场景时，策略学到的视觉先验更可能迁移到真机。值得一提的是，iGibson 的早期版本 iGibson 0.5 还专门提出了一个交互式导航基准，并引入了 Interactive Navigation Score，由 Path Efficiency（最短成功路径与实际路径长度之比）和 Effort Efficiency（导航中物理交互带来的额外运动/动力学代价）两个子指标构成——这一思路把"导航"与"物理交互"耦合在一起评估，预告了后来 VLA 任务"感知—决策—动作"一体化的趋势。

5.2.4 ALFRED：长时序、组合性的家用任务基准

如果说前面的平台提供的是"环境"，ALFRED 提供的则是"考题"。它是一个由长时序、组合性任务构成的基准，任务带有不可逆的状态变化（non-reversible state changes，例如把杯子放进柜子并关上门之后，状态难以简单回退），旨在弥合仿真基准与真实世界应用之间的差距。

ALFRED 的特别之处在于它同时提供高层目标与底层语言指令，使得任务在序列长度、动作空间与语言多样性上都显著复杂于既有视觉-语言数据集。这与 VLA 的核心挑战高度契合：真实世界指令往往不是单步的"把红色方块放到蓝碗里"，而是多步、有依赖、需要规划的长指令（“先去厨房，把水杯洗干净，再放到餐桌上”）。因此，ALFRED 不仅是数据集，更是衡量 VLA 模型长时序推理与语言 grounding 能力的试金石。

论文精讲：ALFRED（2019）

链接：https://arxiv.org/abs/1912.01734

ALFRED 把"家庭服务机器人"的任务建模为一组需要多步操作、状态不可逆的家用目标，并配以高层目标描述与逐底层步骤的语言指令。它与 VLA 的关系是：VLA 模型要在视觉-语言条件下输出可执行动作序列，而 ALFRED 恰好提供了一个"语言复杂、动作多步、状态有后果"的评测场景，逼着模型不能只做单步反应，而要具备规划与状态追踪能力。其核心创新是同时给出高层与底层指令并引入不可逆状态变化，使得"碰巧做对一步"无法蒙混过关，显著提升了基准的区分度。对后续工作而言，ALFRED 确立了"长时序组合任务+语言条件"这一范式，CALVIN、LIBERO 等基准都沿此方向扩展。在本综述中，ALFRED 与 ROBOTURK、RLBench、VIMA-Bench、CALVIN 等一同构成第4章所列的仿真数据集/基准谱系（见表5(B)），是从"环境"走向"评测协议"的关键一环。

5.3 物理引擎与高保真仿真平台

理想的仿真器应当把通用物理引擎、灵活的机器人仿真平台与高保真渲染系统三者合一。先进的仿真器不仅允许多个智能体在同一环境中交互，还能输出丰富的传感器与物理量。这些特性使其既是机器人仿真的利器，也适合作为生成模型的评估环境。下面两节介绍在"物理精度"与"渲染保真+GPU加速"两个方向上各有代表性的平台。

5.3.1 MuJoCo：被广泛采用的开源物理引擎

MuJoCo（Multi-Joint dynamics with Contact）是一个被广泛采用的开源物理引擎，专为需要精确仿真的机器人及相关研究而设计。它的定位不是"全场景渲染器"，而是"高质量的接触/关节动力学求解器"：在处理高自由度机械臂、灵巧手、足式机器人等需要精细接触建模的任务时，MuJoCo 以数值稳定、求解快速著称。

对 VLA 研究，MuJoCo 的意义在于"动作端的物理可信度"：当策略在仿真里学到"轻轻夹起鸡蛋"这样的连续控制时，背后依赖的是引擎对接触力、摩擦、柔顺性的准确刻画。许多桌面操作任务基准（如 Meta-World）即以 MuJoCo 为物理后端；而 RLBench 等另一些平台则采用 CoppeliaSim/PyRep 等不同引擎，这正说明物理后端的选择因任务需求而异。需要说明的是，MuJoCo 原始工作发表于 IROS 2012（Todorov et al.），并无独立 arxiv 论文，因此本综述以"方法名（年份）"形式引用。

5.3.2 Isaac Gym：Omniverse 之上的 GPU 加速仿真

近年来，基于 GPU 的仿真引擎日益流行。其中 NVIDIA Isaac Gym 构建于 Omniverse 平台之上，能够在物理逼真的虚拟环境中支持 AI 驱动机器人的大规模开发、仿真与测试。Isaac Gym 的核心卖点是"并行化"：借助 GPU，它可以在同一时刻并行运行成千上万个机器人实例，把强化学习所需的样本吞吐量提升一到两个数量级——这对数据饥渴的 VLA 训练尤为关键。

Isaac Gym 已在学术界与工业界广泛流行，用于加速新型机器人工具的创造与既有系统的增强。它代表了仿真器发展的一个重要趋势：从"单实例、CPU 跑"走向"海量并行、GPU 跑"，使大规模策略训练成为可能。

论文精讲：Isaac Gym（2021）

链接：https://arxiv.org/abs/2108.10470

Isaac Gym 把物理仿真与强化学习训练都搬到 GPU 上，避免了传统 CPU 仿真与 GPU 训练之间的数据搬运瓶颈，从而实现"仿真—训练"一体化的高吞吐并行。它与 VLA 的关系是：VLA 模型尤其是基于强化学习微调的动作策略，需要海量交互样本来打磨连续控制，而 Isaac Gym 提供的并行仿真正好补上了这一供给侧短板。其核心创新是基于 Omniverse 的物理逼真渲染加上 GPU 原生的并行仿真栈，使单机即可同时运行数千个环境实例进行强化学习，将原本需要大量计算节点和数天的训练任务压缩到单机数小时量级。对后续工作的影响是深远的——它推动了"大规模并行仿真+RL"成为足式、灵巧操作等方向的事实标准训练范式，其后续 Isaac Lab 进一步扩展了这一生态。在本综述中，Isaac Gym 与 MuJoCo 形成"高吞吐并行"与"高精度接触"两端的对照，共同说明了物理引擎选型对 VLA 训练效率与动作质量的双重影响。

5.4 自动驾驶仿真与闭环评估的特殊需求

自动驾驶是 VLA 的另一大应用场景，其仿真需求与室内具身交互有显著不同。本综述在第4章已指出：闭环仿真（closed-loop simulation）对自动驾驶系统的安全至关重要，因为它能生成在真实世界里难以或危险采集的安全关键场景。这一节我们顺着该线索，讲清自动驾驶仿真器为何需要"可编辑的重放"以及专门的评价指标。

5.4.1 从开环日志到闭环可编辑仿真

此前的公开驾驶数据集多在开环设置下采集，主要呈现正常驾驶行为，难以覆盖长尾 corner case。直接在录制日志上做评估也并不充分：闭环评估要求系统能根据更新后的场景配置修改原始传感器数据以反映新的局面——例如，可能需要添加或移除 actor（车辆、行人等动态参与者），且既有 actor 与自车的轨迹都可能与原始记录不同。

这正是 UniSim 等神经传感器仿真器诞生的动机。UniSim 是一个神经传感器仿真器，它把单条录制轨迹扩展为多传感器闭环仿真：通过构建神经特征网格来重建静态背景与动态 actor，并将二者合成以模拟新视角下的 LiDAR 与相机数据，从而支持 actor 的添加、移除与重定位。为更好地适配未见视角，UniSim 还用卷积网络补全原始数据中不可见的区域。这种"用神经渲染把开环日志升级为闭环可编辑仿真"的思路，是自动驾驶仿真的一大趋势。

5.4.2 CARLA 与 LGSVL：基于游戏引擎的城市驾驶仿真

为系统性地产出可训练、可评估的驾驶场景，研究者开发了包含静态道路要素（交叉口、红绿灯、建筑物）与动态 agent（车辆、行人）的仿真器。CARLA 与 LGSVL 利用游戏引擎渲染真实的驾驶场景，支持灵活的传感器配置，并能生成适合训练与评估驾驶策略的信号。这些平台通过提供可控、可复现、低成本的测试环境，已成为推动自动驾驶研究的关键基础设施。

CARLA 与 LGSVL 的定位差异值得注意：CARLA 是学术界最常用的开源城市驾驶仿真器，强调场景多样性与研究友好；LGSVL（LG SVL Simulator）则更偏向高保真与自动驾驶工程化测试。两者都以游戏引擎为渲染后端，在视觉真实性与传感器仿真上具备工业级水准。

论文精讲：CARLA（2017）

链接：https://arxiv.org/abs/1711.03938

CARLA 基于 Unreal Engine 构建，提供一组开源的城市与乡村驾驶场景，并支持灵活配置相机、LiDAR、雷达、GNSS 等传感器，可自由布置车辆、行人、天气与光照。它与 VLA 的关系是：自动驾驶 VLA 模型需要在视觉-语言条件下输出连续的驾驶控制（轨迹或方向盘/油门/刹车），而 CARLA 提供了把"看见路况—理解意图/指令—输出动作"闭环跑通的高保真环境。其核心创新在于以开源、可扩展的方式提供了照片级真实且可编程的城市场景，使研究者能批量生成 corner case、复现实验，从而把自动驾驶从"路采为主"推向"仿真+路采并重"。对后续工作的影响是 CARLA 几乎成为端到端驾驶研究的标准评测床，衍生出大量基准与 leaderboard。在本综述中，CARLA 与 LGSVL 一同代表自动驾驶仿真谱系，与室内仿真器（THOR/Habitat/iGibson）形成"开放道路 vs. 室内家居"的互补：前者强调动态交通 actor 与安全关键场景，后者强调可交互物体与语言指令。

5.4.3 闭环驾驶仿真的专用评价指标

与开环真实世界驾驶数据集不同，闭环仿真基准需要面向交互式驾驶任务的专用评价指标。常用的指标包括：

  • Driving Route（路线遵循度）：衡量车辆对规划轨迹的遵循程度；
  • Infraction Score（违规扣分）：对违反交通规则的行为进行惩罚；
  • Completion Score（任务完成度）：评估任务完成情况。

三者结合，能更全面地评估 VLA 模型在真实且安全关键的驾驶场景中的表现。这也呼应了第4章的观点：仅用成功率或轨迹偏差（如 L2 距离）这类指标，往往不足以反映语言 grounding、长时序推理或非结构化环境下的安全部署等细粒度能力。

5.5 仿真器选型考量

把上述平台放在一起，可以看出几条选型时的权衡脉络：

  1. 应用场景决定大类。室内具身交互选 THOR/Habitat/iGibson/ALFRED，桌面精细操作选以 MuJoCo 为后端的环境（如 Meta-World；RLBench 等则基于 CoppeliaSim/PyRep），大规模并行 RL 训练选 Isaac Gym，自动驾驶选 CARLA/LGSVL。跨类混用虽可行，但各自生态与传感器模型差异较大。

  2. 逼真度与可扩展性的权衡。真实扫描类（Habitat、iGibson）视觉逼真度高、生态效度好，但场景规模与可交互性受扫描数据限制；人工建模类（THOR）交互丰富但视觉真实性稍逊；GPU 并行类（Isaac Gym）吞吐量极高但单实例渲染开销被摊薄。三者各有适用阶段——大规模预训练重吞吐，精细评估重逼真。

  3. 物理精度与渲染保真要分清。MuJoCo 在接触/关节动力学上精度高但渲染朴素；Isaac Gym/Omniverse 渲染逼真且支持并行物理；游戏引擎类（CARLA/LGSVL）渲染优秀但物理往往为驾驶场景定制。VLA 的"动作质量"依赖物理精度，"视觉泛化"依赖渲染保真，二者常常需要分别满足。

  4. 评测协议比环境本身更重要。ALFRED、VIMA-Bench、CALVIN 等基准的价值在于它们定义了多级泛化、长时序、组合性的评测协议；CARLA 的闭环指标（Driving Route/Infraction/Completion）则把"安全关键"纳入评估。选仿真器时，应同时看它支持哪些基准与指标，而非只看场景好不好看。

  5. 正视 sim-to-real gap。无论选哪个平台，第7章指出的迁移鸿沟都无法回避。务实做法是：用仿真做大规模训练与 corner case 注入，用真实数据做微调与最终评估，并以域随机化、域适应等手段缩小分布差异。

本章小结

  • 仿真器把物理引擎、传感器模型与可编程场景三者合一，为 VLA 提供安全、可控、可复现、低成本的训练与评估环境，是缓解真实机器人数据稀缺的关键基础设施。
  • 室内具身交互仿真器沿"人工建模高交互（THOR）→ 真实扫描大规模（Habitat/Habitat 2.0）→ 真实家居复刻（iGibson）→ 长时序组合任务基准（ALFRED）"脉络演进，逐步逼近真实家用任务的复杂度。
  • 物理引擎方向上，MuJoCo 以接触/关节动力学精度见长，Isaac Gym 借 GPU 并行把仿真吞吐量提升一两个数量级，分别代表"精度优先"与"吞吐优先"两条路线。
  • 自动驾驶仿真有特殊需求：需把开环日志升级为可编辑闭环仿真（添加/移除/重定位 actor、改轨迹），UniSim 等神经仿真器代表了这一趋势；CARLA/LGSVL 基于游戏引擎提供高保真城市场景。
  • 闭环驾驶评估需专用指标（Driving Route、Infraction Score、Completion Score），仅靠成功率或 L2 轨迹偏差不足以反映安全关键能力。
  • 选型本质是在"逼真度—可扩展性—物理精度—评测协议"四维上做权衡；而无论选型如何，sim-to-real gap 始终是 VLA 落地必须正面应对的挑战（见第7章）。

第6章 机器人硬件

在前面几章中，我们先后讨论了 VLA 模型的方法范式（第3章）、支撑这些范式的数据集与基准（第4章），以及用来低成本生产训练数据的仿真平台（第5章）。这些讨论把目光聚焦在“算法与数据”一侧，隐含的假设是：只要模型足够强、数据足够多，机器人就能完成任务。然而 VLA 模型最终要落在一台真实的物理机器上——它的眼睛是相机而非张量，它的手是电机而非 logits。本章正是要把视线拉回到这个常被算法综述忽略、却决定 VLA 能否真正部署的层面：机器人硬件。

硬件是 VLA 与物理世界之间的“最后一公里”。感知要靠传感器采集，决策要由控制单元计算，动作要靠执行器施加，而这一切都要在有限的功耗、重量与成本预算内完成。源文本将机器人硬件的核心组件概括为四类——传感器、执行器、动力系统与控制单元——并指出硬件设计必须在性能、能效、重量与耐用性之间取得平衡，以服务于工业自动化、服务机器人与自动驾驶等不同应用 [313], [314], [315]。这一章篇幅不长，但要点值得讲透：我们不仅要逐类拆解这些组件，还要把它们与 VLA 的部署现实联系起来——为什么不同的机器人形态（机械臂、四足、人形、轮式）会给 VLA 带来截然不同的输入输出接口与实时性要求，为什么“模型很大”与“机器人很小”之间的张力会成为 VLA 落地的核心瓶颈（这一点将在第7章作为“实时推理约束”专门展开）。

理解硬件，也是理解“具身（embodiment）”一词字面含义的起点。VLA 语境下的 embodiment 不是一个抽象概念，它就是指这台机器具体的传感器布置、自由度、动作空间与动力学——同一个 VLA 模型，部署在 Franka 机械臂和人形机器人上，面对的是两套完全不同的物理接口。本章在介绍各组件之后，会专门讨论机器人形态与 VLA 部署的关系，为第7章的挑战分析铺垫好物理层面的背景。

6.1 机器人硬件的核心组件

源文本将机器人的物理结构归纳为四大核心组件：传感器、执行器、动力系统与控制单元。这四者构成一个闭环——传感器感知世界与自身状态，控制单元整合这些信息并下发指令，执行器把指令转化为物理运动，动力系统为整个闭环持续供能。下面逐类展开，并着重说明每一类与 VLA 模型的接口关系。

6.1.1 传感器：VLA 的“感官”

传感器负责向机器人提供关于外部环境与自身内部状态的信息，是 VLA 模型一切输入的来源。源文本列举了相机、LiDAR、惯性测量单元（IMU）与触觉阵列等典型传感器。

**视觉传感器（相机）**是当前 VLA 模型最核心的输入通道。绝大多数 VLA 工作以 RGB 图像（常为第三人称或手腕相机）作为主要视觉观测，部分系统还会引入 RGB-D 相机获取深度信息。相机之所以占据主导地位，一方面是因为 VLA 模型大多继承自视觉-语言模型（VLM），其视觉编码器天然面向图像；另一方面是因为图像与互联网规模的语言-图像预训练数据（如 CLIP、BLIP 系列）天然对齐，便于迁移。在第3章讨论的 RT-1、RT-2、OpenVLA、Octo 等代表方法中，相机图像都是策略网络的首要输入。

**LiDAR（激光雷达）**通过发射激光束并测量回波时间来获取周围环境的三维点云，提供精确的距离与几何信息。它在自动驾驶场景中尤为关键——第5章提到的 CARLA 等驾驶仿真器就支持灵活的传感器配置以生成 LiDAR 数据。对于室内操作型 VLA，LiDAR 用得相对较少，但在导航、建图（SLAM）与避障任务中仍是重要的互补感知。

**惯性测量单元（IMU）**由加速度计与陀螺仪组成，测量机器人的线加速度与角速度，提供高频的本体状态估计。对于四足、人形等需要动态平衡的机器人，IMU 是不可或缺的——它让控制单元知道“身体此刻是否在倾倒”。这类高频本体感知与 VLA 通常处理的低频视觉-语言指令形成互补：前者支撑底层平衡与步态，后者负责高层任务规划。

触觉传感器捕捉机器人与物体接触时的力、压力分布或纹理信息，是精细操作的关键。源文本特别提到 tactile arrays（触觉阵列）。在 VLA 研究中，触觉正变得越来越重要：例如 Tactile-VLA（2025）将触觉反馈与推理结合以实现精细、自适应的控制，VTLA（2025）则将视觉-触觉输入与偏好优化融合以提升对未见场景的泛化。触觉之所以重要，是因为很多操作任务（如插拔、轻拿轻放、判断物体是否滑动）单凭视觉难以胜任，必须依赖接触反馈来闭合控制环。

除了上述四类，机器人还常配备关节编码器（读取各关节角度与速度）、力/力矩传感器（测量末端接触力）等本体感知器件。这些信号通常被压缩成低维的“机器人状态（robot state）”向量，作为状态 token 注入 VLA 模型，与图像、语言 token 一起参与序列建模——这正是第2章描述的 VLA 统一序列建模框架在硬件层面的落点。

直觉：可以把传感器的多样性理解为 VLA 模型“感官带宽”的扩展。早期 VLA 几乎只看 RGB 图像，因此擅长“看得见就能做”的任务；而触觉、力觉、深度的引入，本质上是把那些“看不见但摸得着”的信息也接入了策略网络，让机器人从“视觉条件下的动作生成”走向“多模态条件下的动作生成”。

6.1.2 执行器：把信号变成动作

执行器将控制单元下发的电信号转化为物理动作，是机器人“动起来”的直接实现者。源文本列出了三类典型执行器：电机、舵机与液压系统。

**电机（motor）**是机器人中最常见的执行器，包括直流电机、无刷电机、步进电机等。机械臂的每个关节通常由一个电机驱动（常配合减速器以增大扭矩），人形与四足机器人的髋、膝、踝等关节也依赖高功率密度的电机。电机的优点是响应快、控制精度高、噪音相对低，适合需要精细力位控制的操作与步态任务。

**舵机（servo）**是一种集成了电机、减速器与位置反馈控制电路的执行模块，能够按指令转到指定角度，常见于教育级与轻型机器人。许多开源机器人平台（包括基于 LeRobot 框架的低成本机械臂）使用舵机来降低硬件门槛，使研究者能在有限预算内搭建可用于 VLA 实验的真机平台 [315]。

液压系统利用加压流体驱动执行元件，能提供远超电机的输出力，常见于需要大负载的场合（如波士顿动力的早期大狗机器人）。液压的代价是系统复杂、体积大、易漏液、噪音高，因此在桌面操作 VLA 中几乎不出现，但在某些重载工业或野外足式机器人中仍有其不可替代的位置。

执行器的选择直接决定了 VLA 模型输出的“动作空间”形态。如果关节由位置控制的舵机驱动，VLA 输出的往往是目标关节角；如果由力矩控制的电机驱动，输出可能是力矩或末端速度。第3章中提到的离散动作 token 化（如 RT-2、FAST）、连续控制向量、扩散生成的轨迹等不同动作头，最终都要落到具体执行器能接受的指令格式上。执行器的物理特性（最大速度、加速度、回程间隙、刚度）也会反过来约束策略——一个在仿真里生成的极速轨迹，若超过真实电机的力矩上限，部署时就会失真，这正是第5、7章反复提到的 sim-to-real gap 在执行器层面的具体表现。

6.1.3 动力系统：持续运行的能量保障

动力系统为整机的感知、计算与运动提供能量，通常以电池或外部电源的形式存在。对 VLA 部署而言，动力系统的意义不仅在于“让机器人能开机”，更在于它直接约束了能效预算，进而约束了上面能跑多大的模型。

固定基座的工业机械臂（如 Franka Emika Panda [313]）通常接市电，几乎不受功耗限制，因此可以外接高性能 GPU 做云端推理；而移动机器人——四足、人形、轮式——必须自带电池，电量要同时供给电机与机载计算单元。VLA 模型普遍依赖大规模 Transformer，自回归解码的逐 token 生成又极其耗电，这使得“机载部署一个大 VLA”在能耗上往往不可行。源文本在列举硬件设计要权衡的因素时把“energy efficiency（能效）”放在了显眼位置，正是这个原因。

更现实的做法是边-云协同（edge–cloud co-inference）：机器人本地跑轻量化的感知与安全临界控制，把耗时的 VLA 推理卸载到云端或边缘服务器。第7章在讨论实时推理约束时会指出，即便采用量化、压缩与边-云协同，要在精度、实时性与低成本之间取得平衡仍然困难——这一困境的物理根源，正是动力系统能携带的能量有限。

6.1.4 控制单元：机器人的“大脑”

控制单元是机器人的计算核心，负责整合传感器输入、运行决策与策略算法，并向执行器下发指令。源文本指出，控制单元一般基于嵌入式处理器或微控制器。

在传统机器人中，控制单元往往是一个实时性极强的嵌入式系统：微控制器（MCU）以 kHz 级频率运行底层关节伺服环，保证力位跟踪的稳定性；嵌入式处理器（如 ARM SoC）负责稍高层的状态机与轨迹插值。这一层级对时延极其敏感——几毫秒的抖动就可能导致机器人失稳或碰撞。

VLA 的引入给控制单元带来了新的张力。VLA 模型本质上是大规模深度神经网络，其推理更适合在 GPU/TPU 上完成，而非传统嵌入式 MCU。这就形成了“大模型与小机器”的结构性矛盾：

  • 时延层面：底层控制要求毫秒级响应，而 VLA 的自回归解码因每个动作 token 都依赖前一个，时延会累积（第7章详述）。高频任务（动态抓取、移动导航）与 VLA 的慢推理之间需要分层调度来弥合。
  • 算力层面：当前最先进的 VLA 所需 GPU 显存远超典型嵌入式平台的容量。这迫使部署时要么走云端推理（引入网络时延与可靠性问题），要么走模型压缩（量化、蒸馏）路线，相关轻量化工作如 TinyVLA、SmolVLA 即是为此而生。

因此，一个合理的现代机器人控制架构往往是分层的：底层 MCU 跑高频伺服与安全控制，中层嵌入式 GPU 跑局部感知与短视界策略，高层（可能在云端）跑 VLA 进行语义理解与长视界规划。源文本把控制单元描述为“整合传感器输入并向执行器下发指令的计算核心”，在 VLA 时代，这个核心实际上被拆分成了一个从云端到 MCU 的多层计算栈。

6.2 硬件设计的权衡

源文本强调，机器人硬件设计必须在性能、能效、重量与耐用性四个目标之间取得平衡，以满足不同应用领域的任务特定需求。这四者往往相互制约，不存在“全都要”的免费午餐。

  • 性能 vs. 能效：更强的电机、更快的算力意味着更高的功耗，而功耗又受电池与散热限制。VLA 的大模型推理进一步放大了这一矛盾——追求高精度的大模型会吃掉本就紧张的电量预算。
  • 重量 vs. 性能/续航：更重的执行器与更大电池能带来更强动力与更长续航，但自重增加又会反过来消耗更多能量、降低有效载荷，并使人形/四足的步态更难控制。这是一个典型的“越重越要更强、越强越重”的反馈环。
  • 耐用性 vs. 重量/成本：工业与服务场景要求机器人经得起碰撞、粉尘与长时间运行，这需要更坚固的材料与密封设计，又会增加重量与成本。在实验室里跑得很好的轻型机械臂，到了工厂产线未必扛得住连续作业。

不同应用对这些因素的优先级不同，这恰恰解释了为什么现实中没有“一种硬件打天下”的通用机器人：

  • 工业自动化：以 Franka 机械臂 [313]、Galaxea A1 [314] 等为代表的机械臂强调精度、重复性与耐用性，通常固定基座、接市电，对功耗与重量不敏感，但对定位精度与可靠性要求极高。VLA 在这里的落地更多是“提升泛化与编程效率”，而非“解决移动与续航”。
  • 服务机器人：工作在家庭、医院、餐厅等非结构化环境，强调安全、轻量与人机交互友好。它们往往是移动平台加机械臂的复合形态，需要在有限算力下处理开放世界的不确定性，VLA 的语义理解与指令泛化能力在此尤为宝贵。
  • 自动驾驶（轮式机器人）：车辆本身动力充沛，但对感知范围、可靠性与功能安全的要求极端严苛，LiDAR、多路相机与高算力车载计算平台是标配。VLA 在自动驾驶中的角色偏向“端到端从感知到规控”的统一建模（见第3章相关小节）。

理解这些权衡，有助于读者在评估一篇 VLA 论文时形成预期：一个在固定机械臂上验证的策略，不能想当然地迁移到人形全身控制——不仅是算法问题，更是硬件接口、动作空间、频率与能耗预算的全面不同。

6.3 机器人形态与 VLA 部署

源文本在更广义的综述语境中（第2章）提到，通用具身智能可以通过多种机器人形态实现，包括用于家庭场景的人形机器人、带灵巧手的装配机器人，以及具备专项能力的仿生机器人。把这一视角与本章的硬件讨论结合，我们可以更清楚地看到机器人形态如何塑造 VLA 的部署形态。下面分四类形态讨论，它们各自对 VLA 提出不同的输入输出与控制频率要求。

**机械臂（manipulator arm）**是当前 VLA 研究最主流的实验载体。它固定基座、自由度有限（常见 6–7 自由度）、动作空间相对规整，便于数据采集与可重复评估。Open X-Embodiment（OXE）数据集中相当比例的轨迹就来自机械臂操作，第3章大多数代表性 VLA（RT-1、RT-2、OpenVLA、Octo、π0 等）也以桌面/机械臂操作为主战场。机械臂的“友好”在于：感知以相机为主、动作以末端位姿或关节角为主、频率要求适中（几赫兹到几十赫兹），与 VLA 自回归解码的节奏较为匹配。

**四足机器人（quadruped）**强调移动与地形适应，感知上依赖 IMU 与本体关节状态来维持动态平衡，视觉用于地形判断与导航。四足对底层控制频率要求很高（步态控制常在数百赫兹），VLA 通常不直接跑底层，而是负责高层导航指令与地形语义理解。把 VLA 的语义/视觉理解与强化学习的底层运动控制相耦合、用于四足复杂地形导航，已成为该形态下 VLA 部署的典型范式。

**人形机器人（humanoid）**兼具操作与移动能力，自由度最高（全身常数十个关节），既要做全身平衡（whole-body control），又要做双手操作，是 VLA 部署难度最大的形态。Humanoid-VLA、LeVERB、Helix、GR00T N1 等近期工作正把 VLA 推向人形平台，其共同思路是把高层语义推理与底层全身动力学控制分层耦合——由 VLA 产生高层动作意图或子目标，由专门的动力学控制器完成稳定执行。人形硬件的复杂度也最高——电机、电池、传感器数量都成倍增加，前述能效与重量的权衡在此最为尖锐。

轮式机器人/自动驾驶车辆以轮子移动，本体平衡问题大大简化（不需要维持双足/四足动态平衡），但感知范围与速度要求大幅提升。这类形态下，VLA 更多面向“从多路传感器到规控端到端”的统一建模，第5章提到的 CARLA 仿真器即专门服务于此类场景的训练与评测。

联系：这种形态差异正是第3、7章反复讨论的“跨具身（cross-embodiment）泛化”难题的物理根源。一批跨具身工作（如 Octo、CrossFormer、UniAct 等）试图用统一的动作抽象让一个策略跨形态迁移，但只要硬件接口（传感器布置、自由度、动作空间、控制频率）不同，迁移就需要额外的适配层。换句话说，embodiment 的异构性本质上是硬件的异构性。

6.4 硬件平台与开源生态

源文本通过引用 Franka Robotics [313]、Galaxea A1 机械臂 [314] 与 LeRobot [315] 勾勒了 VLA 研究中常见的硬件平台与工具生态。这些平台的选择并非偶然，它们代表了 VLA 时代硬件可得性的三种走向。

Franka Emika Panda 是学术界最广泛使用的协作机械臂之一，其 7 自由度、力矩传感与相对友好的 ROS 接口，使其成为 RT-1、RT-2 之后大量操作型 VLA 工作的默认实验平台。许多公开数据集（包括 OXE 的部分子集）都是在 Franka 或类似机械臂上采集的。

Galaxea A1 等新兴机械臂代表了面向 VLA 时代设计的、更易获取的硬件，配合开源控制框架，降低了研究者在真实机器人上验证 VLA 的门槛。硬件门槛的降低，直接关系到第7章提到的“真实世界数据稀缺”问题——只有更多团队买得起、用得上机器人，真实数据的长尾才有可能被逐步覆盖。

LeRobot [315] 由 Hugging Face 维护，是一个面向真实世界机器人机器学习的 PyTorch 框架，它把数据集、模型与（低成本）硬件平台打包在一起，目标是让 VLA 研究像 NLP/CV 那样可复现、可共享。这与 Open X-Embodiment 在数据层面的标准化努力形成互补：OXE 统一了数据格式，LeRobot 之类的框架则统一了从硬件到模型的实验链路。

趋势：从专有高端机械臂，到低成本开源机械臂，再到端到端的开源机器人学习栈，硬件及其生态正在朝“可复现、可迁移、可规模化采集数据”的方向演化。这一趋势对 VLA 至关重要——VLA 是数据 hungry 的范式，而真实数据的规模与多样性，最终受限于有多少团队能在多少种硬件上高效采集。

Open X-Embodiment / RT-X（2024）

链接：https://arxiv.org/abs/2310.08864

由 22 家机构联合构建的统一机器人数据集，覆盖多种机器人形态与数千种技能。它把分散在不同硬件（Franka、真实世界双臂、移动平台等）上采集的异构轨迹统一成共享格式，第一次让“跨具身”从口号变成可训练的数据现实。它与本章的关系在于：OXE 的核心贡献不只是数据量，更是对硬件异构性的标准化封装——不同机器人的关节定义、相机布置、动作空间都被映射到一个公共 schema，这正是上一节“embodiment 异构性本质是硬件异构性”在数据层面的解法。第4章会专门讨论它，此处仅强调其硬件维度的意义。

DROID（2024）

链接：https://arxiv.org/abs/2403.12945

大规模真实世界操作轨迹数据集，在多种机械臂硬件平台上采集 15 万条以上演示。DROID 的价值在于证明了“真实硬件、真实场景、规模化采集”是可行的，且采集流程与硬件平台可复用。对本章而言，它代表了一种趋势：硬件门槛降低（开源机械臂 + 标准化采集脚本）后，真实数据的规模化才成为可能，这与 LeRobot 的理念一脉相承。

CARLA（2017）

链接：https://arxiv.org/abs/1711.03938

开放的城市驾驶仿真器，提供灵活的传感器配置（多路相机、LiDAR、IMU 等）与高保真交通场景。它直接对应本章 6.1.1 节提到的“轮式机器人/自动驾驶车辆”这一形态——在真实车辆上采集多传感器数据成本极高且危险，CARLA 这类仿真器通过软件复刻硬件传感器栈，让 VLA 在驾驶场景下能以低成本获得多模态感知训练数据。

6.5 硬件与 VLA 的双向塑造

综合本章，我们可以看到一个常被忽视的事实：硬件与 VLA 是相互塑造的。

一方面，硬件约束了 VLA。传感器的种类决定模型能“感知”什么；执行器的动作空间决定模型要“输出”什么；控制单元的算力与动力系统的能效决定模型能“多大、多快”。第7章将作为核心挑战展开的“实时推理约束与成本”，其物理根源正是本章讨论的控制单元算力与动力系统能效。不理解硬件，就无法理解为什么 VLA 落地会“too slow and too expensive”。

另一方面，VLA 也在反过来拉动硬件演化。VLA 对多模态感知的需求，推动了触觉、深度传感器在机器人上的普及（Tactile-VLA、VTLA 等）；VLA 对跨形态泛化的需求，推动了硬件平台与数据格式的标准化（OXE、LeRobot）；VLA 对机载算力的需求，推动了面向机器人的低功耗 AI 加速芯片与边-云协同架构的发展。可以说，VLA 的研究议程正在成为机器人硬件设计的一个新输入。

本章小结

  • 机器人硬件由传感器、执行器、动力系统与控制单元四大核心组件构成，分别承担感知、运动、供能与计算，四者闭环协作完成“感知—决策—执行”。
  • 传感器（相机、LiDAR、IMU、触觉阵列等）决定 VLA 的输入模态；当前 VLA 以 RGB 相机为主，但触觉、力觉、深度的引入正把策略从“视觉条件”推向“多模态条件”。
  • 执行器（电机、舵机、液压）决定 VLA 输出的动作空间形态；位置控制、力矩控制等不同执行方式直接约束策略可生成的轨迹，也影响 sim-to-real 的真实性。
  • 动力系统与控制单元共同构成 VLA 落地的能耗与算力天花板：移动机器人电池有限，而 VLA 大模型自回归推理耗电且慢，催生了边-云协同与轻量化（TinyVLA/SmolVLA）等方向。
  • 硬件设计需在性能、能效、重量、耐用性间权衡，不同应用（工业自动化、服务机器人、自动驾驶）对这些目标优先级不同，因而没有“一机通用”的硬件方案。
  • 机器人形态（机械臂、四足、人形、轮式）深刻塑造 VLA 的输入输出接口与控制频率；跨具身泛化难题的物理根源正是硬件的异构性，硬件平台与开源生态（Franka、Galaxea、LeRobot、OXE）的标准化是缓解该难题的现实路径。

第7章 挑战与未来方向

前几章我们一路看下来，VLA 的故事其实颇为振奋人心：从 Gato 把视觉、语言、状态、动作统一进一个 Transformer（第3章），到 RT-2 让 VLM 的互联网知识"流淌"进动作 token，再到 OpenVLA、Octo、π0 把开源生态和跨机器人泛化推向新高度（第3、4章）；从 Open X-Embodiment、DROID 这样的联合数据集（第4章），到 Isaac Gym、CARLA、AI2-THOR 等仿真平台（第5章），再到日益丰富的机器人硬件形态（第6章）——方法、数据、平台三条线索似乎都在快速收敛。然而，当我们把这些进展放回真实世界的现场时，一个朴素的事实反复出现：模型"听得懂指令，却做不好任务"。

本章正是要把这种落差讲清楚。它的核心问题只有一个——语义泛化与具身能力之间的鸿沟究竟从何而来，又该如何弥合。围绕这一核心矛盾，本章先在 7.1 节拆解五大具体挑战（数据稀缺、架构异构、实时推理与成本、伪交互、评估局限），再在 7.2 节给出四个最具希望的未来方向（世界建模与跨模态统一、因果推理与真正交互、虚实融合与大规模数据生成、社会嵌入与可信生态）。每个挑战都会回扣到前面章节的具体方法，让读者看到：前文那些精巧的设计，恰恰是在"打补丁"式地缓解这些根本性瓶颈。

需要强调的是，本章不只是"问题清单"。它的潜台词是：VLA 已经走到一个拐点——单靠继续放大模型、堆数据，边际收益正在递减；真正的下一步，是从"模型优化"转向"系统性范式变革"。这也是为什么 7.2 的四个机遇都带有范式层面的意味，而非又一个 trick。

7.1 Vision-Language-Action 模型的挑战

本节要回答的核心问题是：当前 VLA 系统最根本的病根在哪里？综述给出的判断十分明确——当今 VLA 几乎都是大规模 LLM/VLM 的"迁移产物"。这些基座模型在语义理解和跨模态对齐上确实很强，但它们从未真正"在物理世界里活过"：没有受力反馈、没有试错、没有因果后果。于是 VLA 系统在真实环境中常常表现出"理解了指令，却完成不了任务"的尴尬。这背后是一个根本性矛盾——语义层面的泛化能力，与物理世界的具身能力之间，存在断裂。

如何实现从"非具身知识"到"具身智能"的转化，如何真正打通语义推理与物理执行，是 VLA 走向通用的中心挑战。综述将这一矛盾具体拆解为下面五个方面。它们分别对应数据、架构、效率、交互、评估这五个层面，恰好覆盖了前几章所有方法的"软肋"。

7.1.1 机器人数据稀缺

问题一句话：机器人交互数据是决定 VLA 上限的关键资源，但现有数据集在规模（scale）和多样性（diversity）两个维度上都不够。

先讲脉络。语言模型之所以能涌现出强泛化，是因为有整个互联网规模的语料兜底；而机器人数据的获取成本结构与文本完全不同——它受制于硬件成本、实验效率和安全性约束。在真实世界里采集中等规模的演示尚且困难，更不用说覆盖各种罕见工况（corner cases）了。这一点在自动驾驶领域同样存在：大规模真实路采既昂贵又耗时，覆盖海量稀有场景几乎不可能，所以才催生了 CARLA（2017）这类仿真器来补充静态道路元素与动态智能体。机器操作领域面临的是同构的困境。

再看现状。已有的开源数据集，如 Open X-Embodiment / RT-X（2024），确实大幅推进了机器人学习，但其任务分布主要集中在桌面操作和物体抓取——这正是它聚合 21 家机构、22 个数据集所付出的代价：大家最容易共享的就是桌面场景。这种任务与环境多样性的匮乏，显著限制了模型向新场景、复杂长程任务的泛化。

仿真平台（如 RLBench）提供了一条成本可控的批量轨迹生成途径，但受限于渲染保真度、物理引擎精度和任务建模能力。即便使用域随机化（domain randomization）、风格迁移（style transfer）等技巧，sim-to-real gap 依然顽固存在：许多模型在仿真里表现优异，一旦部署到真机上就大幅退化。这一点在前文也能找到印证——3D-VLA、VoxPoser 等方法之所以强调 3D 结构与价值图，cVLA 之所以用 2D 路径点预测来改善迁移，本质上都是在与这个 gap 对抗（见第3章）。因此，同时提升数据规模与真实感，仍是缓解泛化不足的首要挑战。

与前文的联系：第4章我们看到了 Open X-Embodiment、DROID 等数据集的努力方向，第5章的仿真器则是"造数据"的另一条腿。本节指出二者都还远远不够——前者卡在多样性，后者卡在 sim-to-real。

经典论文精讲

Open X-Embodiment / RT-X（2024）
链接：https://arxiv.org/abs/2310.08864
它整合了来自 21 家机构的 22 个机器人数据集，统一成涵盖 527 项技能、160266 个任务的开放语料，是迄今规模最大的真实世界机器人操作数据集之一。它与本节挑战的关系是双面的：一方面，它正是"数据稀缺"问题最直接的回应，让 RT-X、OpenVLA 等跨机器人策略成为可能；另一方面，它也暴露了本节所讲的局限——其任务高度集中于桌面操作，多样性远不足以支撑开放世界泛化。它的意义在于证明了"跨机构数据共享"这条路走得通，从而把瓶颈从"能不能聚合"转移到了"聚合后够不够多样"。

DROID（2024）
链接：https://arxiv.org/abs/2403.12945
DROID 贡献了超过 15 万条真实世界操作轨迹，覆盖 1000 余种物体与任务场景，并配齐 RGB-D、语言、低维状态与环境标签等多模态标注，是对 Open X-Embodiment 桌面偏向的一个补充。它和本节讨论的"多样性不足"直接相关：DROID 的设计哲学就是用真实采集的物体与任务多样性去对冲分布偏移。但它同样受制于本节指出的真实采集成本——规模再大也难以触及长尾场景。

CARLA（2017）
链接：https://arxiv.org/abs/1711.03938
CARLA 是开放城市驾驶仿真的代表作，用游戏引擎渲染逼真驾驶场景，支持灵活的传感器配置，能批量生成训练与评测信号。本节在讨论自动驾驶数据稀缺时专门提及它。它在 VLA 全景中的角色是"虚拟数据补充真实数据"的范式样本——也是 7.2.3 节"虚实融合"机遇的早期实践者。

7.1.2 架构异构

问题一句话：大多数 VLA 都号称"端到端"地统一视觉、语言、动作，但具体实现上各搞各的，骨干网络和动作头百花齐放，感知-推理-控制之间仍是松耦合。

先讲骨干层面的异构。不同工作采用的视觉编码器可能基于 ViT、DINOv2 或 SigLIP；语言骨干可能是 PaLM、LLaMA 或 Qwen；动作头则散落在离散 tokenization、连续控制向量、乃至扩散生成等截然不同的范式之间（详见第3章四大范式）。这种架构多样性虽然在探索期是健康的，但它阻碍了模型间的横向比较与复用，拖慢了统一标准的形成。

更深一层的问题是内部耦合方式。感知、推理、控制三者在 VLA 内部常常只是"松耦合"——特征空间割裂，跨平台、跨任务的可迁移性很弱。一个典型表现是：有些模型在跨任务语言理解上很强，但一旦要接到底层控制器（low-level controller）就需要大量适配工作。前文中的 RT-1 用 FiLM 做多模态融合、RT-2 把动作当 token 融进 VLM、π0 用 flow model 作动作头、Diffusion Policy 用条件扩散——每一种都是对"感知-推理-控制如何耦合"的不同回答，但也意味着接口和表征都不通用。这种架构异构推高了系统集成复杂度，并显著制约了泛化性与可扩展性。

与前文的联系：第3章的四大范式分类本身就是对这种异构的"承认与整理"。本节指出，分类清楚不等于统一达成——VLA 仍缺一个像 NLP 里 Transformer 那样的事实标准。

7.1.3 实时推理约束与成本

问题一句话：当前 VLA 高度依赖大规模 Transformer + 自回归解码，推理慢、显存贵，部署在真机上"既太慢又太贵"。

先讲延迟从哪来。自回归解码意味着每个动作 token 都要等前一个 token 生成完才能开始计算，延迟会随动作序列长度累积。而高频任务——动态抓取、移动导航——往往要求毫秒级响应。两者天然冲突。这一点在前文的方法演进中能看得很清楚：FAST（2025）之所以提出高效可变长动作 tokenization、VLA-Cache 之所以复用 KV 状态，以及第3章效率优化线发展出的 token 压缩、并行解码、量化等手段（与侧重推理的 ECoT 等工作并列），本质上都是在与自回归延迟赛跑。

再看成本。高维视觉输入加上动辄数十亿参数的模型，对算力和显存的需求远超典型嵌入式平台的承受能力。许多 state-of-the-art VLA 所需的 GPU 显存，已经超出了真机搭载能力。即便用量化、压缩、端云协同推理（edge–cloud co-inference），也很难在精度、实时性、低成本这三者间同时达标。综述把这种处境概括得很形象：VLA 的部署被"卡在太慢和太贵之间"（trapped between being too slow and too expensive）。

与前文的联系：第3章的"效率优化"小节、Octo/OpenVLA 等开源模型对部署友好性的强调，都是对这一挑战的正面回应。但本节提醒我们：这些优化往往以牺牲精度或泛化为代价，并没有从根本上解决"自回归范式不适合实时控制"的矛盾。

经典论文精讲

FAST（2025）
链接：https://arxiv.org/abs/2501.09747
FAST 提出高效的可变长动作 tokenization，把长程动作序列压缩成更少的 token，从而显著降低自回归解码的步数与延迟。它与本节挑战的关系是直接的：自回归延迟随动作长度累积，FAST 正是从"动作表征"这一侧切入去缩减序列长度。它的意义在于表明——在不放弃自回归框架的前提下，动作 token 的设计本身就能带来可观的速度收益，这也是 7.1.3 节"效率优化"路线的代表。

π0（2024）
链接：https://arxiv.org/abs/2410.24164
π0 用 flow model（连续流匹配）作为动作头，而非纯自回归离散 token，兼顾了通用机器人控制的表达能力与生成效率。它和本节的关系在于：π0 代表了一种"绕开纯自回归"的折中——用扩散/流式生成来建模连续动作分布，从而避免长动作序列逐 token 解码的延迟累积。这种设计正是对"自回归太慢"这一痛点的方法级回应。

7.1.4 人机交互中的"伪交互"

问题一句话：当前 VLA 看似在"交互"，实则是根据先验知识或静态训练模式生成动作，而非基于环境动力学和因果推理的真正交互。

这是五个挑战里最深刻的一个，因为它直指"智能"的本质。当前系统面对陌生情境或状态变化时，往往依赖从数据中学到的统计共现（statistical co-occurrence）去"猜"动作，而不是去主动探测环境、用传感器反馈去修正行为。这种因果推理的缺失意味着：VLA 表面上"照做了指令"，却没有在环境状态与动作后果之间建立真正的因果链。结果是机器人在动态环境中往往无法自适应——一旦实际状态偏离训练分布，模型既不会试探也不会修正，只能继续硬套旧模式。

综述把这种现象称为"伪交互"（pseudo-interaction）。它揭示了 VLA 在因果建模与反馈利用上的根本短板，也是具身智能最难啃的骨头之一。前文中 Inner Monologue（2022）试图用语言驱动的内在推理闭环、Diffusion-VLA 用自生成推理来增强可解释性，都是对"伪交互"问题的局部缓解，但都尚未触及因果建模本身。

与前文的联系：第3章中带推理链的方法（ECoT、Inner Monologue、Diffusion-VLA）可以看作对"伪交互"的早期反击——它们至少让模型的决策过程更可追溯。但本节强调：可追溯 ≠ 有因果，真正的突破要等到 7.2.2 节的因果推理方向。

7.1.5 评估与基准局限

问题一句话：现有 VLA 基准多设在实验室或高度结构化的仿真环境里，以桌面操作和抓取为主，无法衡量开放世界的泛化与鲁棒性。

先讲现状。当前基准主要面向狭窄分布上的表现，它们能测出"在熟悉任务上做得好不好"，却测不出"在开放世界里鲁不鲁棒"。一旦把模型部署到户外、工业现场或复杂家庭场景，性能往往急剧下滑，评测与真实可用性之间的鸿沟暴露无遗。这恰恰呼应了 7.1.1 节的数据多样性问题——基准的局限本质上是数据分布局限的镜像。

后果有两个层面。其一，狭窄的评测范围阻碍了对 VLA 可行性的全面评估；其二，缺乏统一、权威、多样的基准，让模型间的横向比较变得困难，整个领域的"进度度量"本身都不可靠。综述明确指出：缺乏统一、权威、多样的基准，正成为真实世界进展的一大瓶颈。这一点和 Open X-Embodiment 数据集的桌面偏向是一体两面——数据集和基准都还停留在"桌面世界"。

与前文的联系：第4章的数据集、第5章的仿真器都部分承担了"基准"角色，但本节指出它们覆盖的场景太窄。换言之，VLA 领域亟需一个类似 NLP 里 MMLU、自动驾驶里 CARLA+真实路测那样"权威且开放"的评测体系。

7.1.6 小结：超越模型优化的范式转折

综述在本节末尾做了一个重要的升华：上述五个方面虽点出了数据、架构、交互、评估上的关键短板，但并未穷尽 VLA 面临的全部挑战。更根本的长期问题是——VLA 系统能否真正实现可控性、可信性与安全性。也就是说，VLA 的未来不仅要解决性能与泛化问题，更要回应"负责任地部署智能体"这一更深层的关切。这暗示研究者必须跳出"模型优化"的思维定势，走向系统性的范式变革才能应对长期挑战。这个判断为 7.2 节的四个机遇定下了基调。

7.2 Vision-Language-Action 模型的机遇

本节回答的问题是：在挑战之外，VLA 最值得押注的未来方向是什么？综述给出的判断是——尽管挑战严峻，VLA 作为连接语言、感知、动作的关键桥梁，潜力巨大；克服当前瓶颈，将重塑机器人研究的范式，并把 VLA 推到真实世界部署的前沿。下面四个方向并非彼此孤立，而是构成一条递进路线：先统一表征（7.2.1），再补上因果与交互（7.2.2），同时用虚实融合的数据彻底解决"喂不饱"的问题（7.2.3），最后在社会层面落地为可信伙伴（7.2.4）。

7.2.1 世界建模与跨模态统一

一句话：让语言、视觉、动作不再松耦合，统一进单一 token 流，使 VLA 演化为"原型世界模型"。

当前 VLA 里，语言、视觉、动作三者仍是松耦合的——这把模型的能力限制在"指令生成"层面，而非整体性的世界理解。若能实现真正的跨模态统一，VLA 就能在单一 token 流中联合建模环境、推理与交互。这种统一结构将允许 VLA 演化为一个"原型世界模型"（proto–world model）——机器人不再只是被动执行指令，而是对世界有内部预测模型，能anticipate动作后果。

这条思路在前文中已有萌芽：WorldVLA（2025）用自回归动作世界模型来缓解自回归误差传播，3D-VLA 用生成式 3D 世界模型统一感知/语言/动作，Gato 早在 2022 年就把一切塞进统一 token。本节的意义在于把这些零星尝试拔高为一个统一范式目标——从"生成"走向"世界理解"。综述特别指出，这不仅是技术进步，更是迈向通用人工智能（AGI）的关键一步：把语义理解到物理执行的闭环真正合上。

经典论文精讲

WorldVLA（2025）
链接：https://arxiv.org/abs/2506.21539
WorldVLA 是一个自回归动作世界模型，它把"预测下一刻世界状态"和"生成动作"放进同一框架，从而缓解纯动作自回归带来的误差传播。它与本节机遇的关系是高度对齐的——它正是"原型世界模型"思路的一个具体实现：模型不仅输出动作，还内部建模世界如何随动作演化。它的出现表明，世界建模不再是 RL 里的特权，而是可以被吸收进 VLA 的自回归主干里。

3D-VLA（2024）
链接：https://arxiv.org/abs/2403.09631
3D-VLA 用生成式 3D 世界模型统一感知、语言与动作，强调 3D 场景几何对具身任务的必要性。它与本节"跨模态统一"方向的关系在于：它把"世界"显式表示为 3D 生成模型，而非隐式的 token 嵌入，从而让"环境建模"变得可交互、可生成。这种做法是对 7.2.1 节"原型世界模型"的另一种诠释——世界模型可以建在 3D 几何之上。

Gato（2022）
链接：https://arxiv.org/abs/2205.06175
Gato 早在 2022 年就把视觉、语言、状态、动作统一 token 化进一个 Transformer，是"单一 token 流"思想的最早实践者。它与本节机遇的关系是奠基性的：7.2.1 所设想的"单一 token 流联合建模"，其原型就是 Gato。只是 Gato 当时的规模与能力有限，未能真正展现"世界模型"的潜力；而今天的大规模 VLA 有机会把这个愿景兑现。

7.2.2 因果推理与真正交互的突破

一句话：从依赖统计共现的"猜"，走向主动探测、验证、修正的"真交互"。

这是对 7.1.4 节"伪交互"问题的正面回应。现有 VLA 依赖静态数据分布和表层相关性，缺乏基于因果规律的交互能力——它们靠"从先验模式里猜"来模拟交互，而非真正探测环境、用反馈更新策略。若未来 VLA 能引入因果建模与交互式推理，机器人就能学会探测、验证、适应，从而与动态环境展开真正的"对话"。

这样的突破将克服伪交互，标志着从"数据驱动智能"向"深度交互智能"的跃迁。从方法层面看，这意味着 VLA 要从纯粹的模仿学习/离线训练，走向在线交互、主动学习、甚至类科学式的"假设-实验-修正"循环。前文中的强化学习类方法（第3章 RL 范式）以及 Inner Monologue 的反馈闭环，可以看作这条路径上的早期路标，但离真正的因果推理仍有距离。这也是综述所认定的、通往 AGI 的关键一步。

7.2.3 虚实融合与大规模数据生成

一句话：用高保真仿真+合成数据+多机共享，构建万亿级轨迹数据生态，复制 GPT 式的数据跃迁。

这是对 7.1.1 节数据稀缺问题的"机遇面"解读——数据稀缺既是限制，也是巨大的机会。若能把虚拟与真实数据生态打通——通过高保真仿真、合成数据生成、多机器人共享——就有望构建包含万亿级轨迹、覆盖多样任务的数据集。综述用了一个非常贴切的类比：正如 GPT 借助互联网规模语料触发了语言智能的跃迁，这样的数据生态有望触发具身泛化的跃迁，让 VLA 在开放世界场景中稳健运行。

这条路径的关键在于"融合"二字：单靠仿真会卡在 sim-to-real gap（7.1.1），单靠真实采集会卡在规模与成本（7.1.1）。只有把两者协同——用仿真造规模、用真实校准分布、用域随机化和风格迁移桥接 gap——才能既"喂得饱"又"喂得真"。前文的 Isaac Gym（2021）做 GPU 加速物理仿真、CARLA 做驾驶场景、AI2-THOR 做室内仿真（第5章），以及 Open X-Embodiment 的多机共享（第4章），都是这条融合路径上的积木。

经典论文精讲

Isaac Gym（2021）
链接：https://arxiv.org/abs/2108.10470
Isaac Gym 基于 NVIDIA Omniverse 平台，做 GPU 加速物理仿真，能在物理逼真的虚拟环境里大规模开发、仿真、测试 AI 驱动的机器人。它与本节机遇的关系是基础设施级的——"万亿级轨迹"的设想离不开 Isaac Gym 这类高保真、高吞吐仿真器。它的意义在于把仿真的吞吐量推到了能与大规模训练匹配的量级，是虚实融合路径上不可或缺的算力底座。

AI2-THOR（2017）
链接：https://arxiv.org/abs/1712.05474
AI2-THOR 提供近真实的 3D 室内场景仿真，支持交互式任务建模。它与本节的关系在于：家庭/室内是 VLA 最有潜力的落地场景之一，而 AI2-THOR 这类平台正是生成此类场景大规模轨迹的来源。它和 CARLA（驾驶）、Isaac Gym（机械）一起，构成了虚实融合数据生态的三大场景支柱。

Open X-Embodiment / RT-X（2024）
链接：https://arxiv.org/abs/2310.08864
在 7.2.3 节的语境下，Open X-Embodiment 代表的是"多机器人共享"这一支柱——它证明了跨机构、跨机器人形态的数据聚合可行。把它与仿真数据结合，就是"真实共享 + 虚拟生成"的融合范式，正是本节所设想的万亿级数据生态的雏形。

7.2.4 社会嵌入与可信生态

一句话：VLA 的最终价值不只在于技术能力，更在于能否安全、可信、合乎伦理地嵌入社会。

当 VLA 进入公共与家庭空间，安全性、可信性与伦理对齐将决定它的采纳程度。建立标准化的风险评估、可解释性、问责框架，将把 VLA 从"实验室造物"转变为"可信伙伴"。一旦嵌入社会，VLA 有望成为下一代人机交互接口，重塑医疗、工业、教育、服务等领域。综述把这种社会嵌入视为"把前沿研究转化为现实世界变革"的里程碑式机遇。

这一方向与前几个机遇有内在联系：世界模型（7.2.1）提供可预测性从而提升安全；因果推理（7.2.2）让行为可解释、可问责；大规模数据（7.2.3）覆盖长尾从而降低风险。换言之，前三个技术机遇是社会嵌入的必要前置条件。这也呼应了 7.1.6 节的判断——VLA 的长期问题不是性能，而是可控、可信、安全。

本章小结

  • 核心矛盾是"语义泛化 vs. 具身能力"的断裂：当今 VLA 多为 LLM/VLM 的迁移产物，语义理解强但缺物理世界经验，导致"懂指令却做不好任务"。这是贯穿全章的总纲。
  • 五大挑战覆盖数据、架构、效率、交互、评估：数据稀缺（规模+多样性不足、sim-to-real gap）、架构异构（骨干/动作头不统一、感知-推理-控制松耦合）、实时推理与成本（自回归延迟累积、显存/算力门槛）、伪交互（缺因果推理与反馈闭环）、评估局限（桌面为主、缺开放世界评测）。每一个都能在前几章方法中找到对应的"补丁"。
  • 伪交互是最深刻的挑战：从统计共现到因果推理的跃迁，决定了 VLA 能否从"数据驱动智能"走向"深度交互智能"，是通往 AGI 的关键一步。
  • 四大机遇构成递进路线：跨模态统一（原型世界模型）→ 因果推理与真正交互 → 虚实融合的万亿级数据 → 社会嵌入与可信生态。前三者是技术前置，后者是落地归宿。
  • 范式转折的信号：综述明确指出，未来需要跳出"模型优化"，走向系统性范式变革；单靠放大模型与堆数据的边际收益正在递减。
  • 未解问题：统一的动作表征与评测基准仍未形成；因果建模如何引入 VLA 主干尚无成熟方案；可信与安全的标准化框架几乎空白。这些正是 VLA 下一阶段研究的主战场。

第8章 结论

导语

如果说前七章是在"拆解"Vision-Language-Action（VLA）这座正在生长的建筑物——从地基（基础模型）到骨架（四大范式）、从材料（数据与基准）到施工环境（仿真与硬件）、再到结构隐患与修缮方向（挑战与未来）——那么本章的任务是"收束"：把分散在各章的线索重新拧成一股，回答三个问题——VLA 在整条技术脉络中处于什么位置？它已经走到哪一步、还差什么？要走向"可信且可持续进化"的具身智能，下一步该往哪去。

原论文的第 8 节本身相当简短，本质上是一段总结性陈词：它重申 VLA 把视觉-语言模型（VLM）的可泛化能力延伸到了具身 AI、自动驾驶与各类操作任务，提供了一个统一的架构分类法，并分析了三百余篇文献的优劣与未来方向。本章在忠实于这段总结的基础上，结合全文脉络做一次系统回顾与前瞻，使结论具备"收束感"与"前瞻性"，而不仅是对原段落的复述。

8.1 全文脉络回顾：八章如何递进

本综述的组织遵循一条清晰的"由来—方法—资源—部署—反思—展望"主线，八章层层递进：

  • 第 1 章 引言与第 2 章 背景交代 VLA 的动机与方法论谱系。机器人长期依赖预编程指令与工程化控制策略，只能胜任工厂流水线、物流分拣这类简单重复任务；大语言模型（LLM）与视觉-语言模型（VLM）的成熟，使机器人第一次具备了"看—理解—行动"一体化的可能。背景章顺着"单模态建模 → 多模态对齐 → 多模态 + 可执行控制"的轨迹，把 AlexNet/ResNet/ViT、BERT/GPT/T5、CLIP/BLIP/LLaVA 等基础工作串成 VLA 的前置条件。
  • 第 3 章 VLA 模型是全篇重心，提出按"动作生成策略"划分的统一分类法：自回归、扩散、强化学习微调、混合与专用四大范式，并配以四张代表方法表逐一深入。
  • 第 4 章 数据集与基准梳理真实世界与仿真两类数据资源，涵盖从 MIME、BridgeData 到 Open X-Embodiment（OXE）、DROID 的演化。
  • 第 5 章 仿真平台与第 6 章 机器人硬件分别从"虚拟环境"与"物理本体"两端支撑 VLA 的训练与部署——前者（AI2-THOR、Isaac Gym、CARLA 等）解决数据规模与可控性，后者（传感器、执行器、控制单元）决定能力边界。
  • 第 7 章 挑战与未来方向系统诊断 VLA 的五大瓶颈（数据稀缺、架构异构、实时推理约束、伪交互、评估局限），并展望世界建模、因果推理、虚实融合与社会嵌入四条机会。
  • 第 8 章 结论（本章）做整体收束。

贯穿这八章的核心命题是：VLA 把 VLM 从被动的序列生成器推进为具身决策 agent。VLM 只需要"说出"世界，VLA 还必须"改变"世界——它要在语义泛化与物理执行之间架桥，这正是其独特价值，也是其最难之处。

8.2 统一分类法：四大范式的一句话定位

第 3 章的核心贡献是给出一个可操作的分类法。它不按骨干网络（ViT/LLaMA/Qwen）或应用领域来分，而是按"动作从哪里来"这一最本质的维度划分。下面用一句话定位每个范式，再点出其内在张力：

  • 自回归式 VLA：把图像、指令、状态、动作全部 token 化，在统一 Transformer 里逐 token 生成动作序列。代表：Gato（2022）、RT-1/RT-2（2022/2023）、PaLM-E（2023）、OpenVLA（2024）、Octo（2024）、FAST（2025）。它继承了 LLM 的可扩展性与语义泛化，但自回归解码带来逐 token 累积延迟，且离散 token 难以表达连续、高精度的运动。
  • 扩散式 VLA：以视觉-语言为条件，用去噪过程生成连续动作分布，天然适合多模态轨迹与平滑运动。代表：Diffusion Policy（2024）、π0（2024）。它解决了连续控制与多解性（multi-modality）问题，但迭代去噪推理慢、训练数据需求大。
  • 强化学习微调式 VLA：在视觉-语言基座上叠加 RL，用（往往是 VLM 生成的）稠密奖励或人类反馈去优化策略。代表：VIP、LIV（2023），NaVILA、SafeVLA、iRe-VLA、SimpleVLA-RL（2025）。它把"模仿"升级为"试错与改进"，引入安全约束与在线探索，但奖励信号常是间接或有噪声，训练稳定性与样本效率仍是难题。
  • 混合与专用式 VLA：当单一范式不够用时，把多条路线缝合，或针对特定领域定制。代表：HybridVLA（自回归推理 + 扩散轨迹）、CLIPort（CLIP 的"what/where"双通路）、3D-VLA（生成式 3D 世界模型）、VoxPoser（LLM 引导的可组合 3D 价值图）、Diffusion-VLA（自生成推理 + 扩散策略）、WorldVLA（自回归动作世界模型）。这一类反映了 VLA 正从"选一种范式"走向"按问题结构组合范式"。

从这张分类法能读出一个趋势：四大范式并非彼此替代，而是各自攻克 VLA 的一个侧面——自回归管语义与规模化、扩散管连续与多模态、强化管优化与安全、混合/专用管复杂结构与领域适配。一个成熟的 VLA 系统很可能是多种范式的有机组合。

8.3 数据、基准与仿真：VLA 的"燃料与试车场"

VLA 是数据驱动方法，因此第 4–5 章梳理的资源是其能否落地的关键。从这些资源里能看出三条脉络：

  1. 规模与多样性持续攀升。早期数据集（MIME、RoboNet）以万级单臂操作为主；BridgeData 覆盖 10 个环境 71 任务；OXE 把 22 个机器人数据集、21 家机构协作采集的数据整合为 527 技能、160266 任务、超百万条规模的统一格式，成为当前 VLA 训练的事实标准之一；DROID（2024）则进一步提供 76000+ 真实世界操作轨迹。
  2. 真实与仿真双轨并行。真实数据贵而稀、仿真数据廉却存在 sim-to-real gap。OXE、DROID、UMI 等真实数据集锚定物理真实性；RLBench、CALVIN、LIBERO、VIMA、RoboCasa 等仿真基准提供低成本、可复现的评测，配合域随机化、风格迁移等手段缓解迁移落差。
  3. 驾驶与操作分野但趋同。自动驾驶侧（CARLA、LGSVL）关注稀有与安全关键场景生成，操作侧关注长程多步任务；两者都在向"高保真 + 可交互 + 多模态标注"靠拢。

仿真的角色不止于造数据，更是评测与迭代闭环的"试车场"：AI2-THOR、Habitat、MuJoCo、Isaac Gym、CARLA 提供从物理引擎到传感器模型的可扩展虚拟环境，使 VLA 能在毫米级控制与百万级规模之间取得平衡。可以说，没有这些平台，就没有 VLA 今天的数据规模与可复现性。

8.4 优劣诊断：从"懂指令"到"会执行"的距离

综合第 7 章与全文，VLA 的优势与短板可概括如下：

优势。VLA 继承了 VLM 的语义泛化与跨模态对齐能力，能用自然语言下达开放指令，并在一定程度上跨任务、跨具身形态迁移；端到端的"感知—推理—动作"管线避免了传统感知-规划-控制分层的误差累积，对长程任务更具鲁棒性；开源生态（OpenVLA、Octo、π0 等）正快速拉低研究门槛。

短板。核心矛盾是"语义级泛化"与"物理级执行"之间的断裂——模型往往"懂指令却做不好任务"。具体表现为五点：数据稀缺且长尾覆盖不足；架构异构（骨干、动作头、耦合方式各不相同）阻碍比较与复用；自回归/扩散的大模型推理慢、显存高，难以满足动态抓取、移动导航的毫秒级响应；“伪交互”——模型靠统计共现猜动作，缺乏对环境的因果探测与反馈修正；评测多停留在实验室桌面操作，迁移到户外、工业、家庭等开放场景后性能骤降。

更根本的问题是：当前 VLA 大多建立在大规模 LLM/VLM 的迁移之上，而这些基座本身缺乏与物理世界交互的训练经验。因此 VLA 的"具身"目前仍偏浅层，要真正从"非具身知识"跨越到"具身智能"，需要在范式层面而非仅在模型优化层面突破。

8.5 经典论文精讲

下面对全文反复出现、最具方向意义的几篇做精讲，作为本章的收束注脚。

π0（2024）

链接：https://arxiv.org/abs/2410.24164

π0 是 Physical Intelligence 提出的 VLA flow model，用流匹配（flow matching）替代传统扩散的迭代去噪，在统一基座上实现通用机器人控制。它与本综述的联系在于：它代表了"扩散/流式"范式走向通用基座的尝试，也示范了如何用单一模型跨多种机器人形态。其核心创新是把连续动作生成的高质量与统一 Transformer 的可扩展性结合起来，对后续通用 VLA 基座的形态有直接影响。

OpenVLA（2024）

链接：https://arxiv.org/abs/2406.09246

OpenVLA 是一个 7B 参数的开源 VLA，在 970k 轨迹上训练，超越此前的 RT-2-X。它是本综述"自回归式 VLA"与"开源生态"两条线索的交汇点：证明了开源、可复现的大规模 VLA 能够在真实世界操作上达到乃至超过闭源系统的水平。其影响在于把 VLA 从少数大实验室的"黑箱"推向社区共建，加速了方法比较与迭代。

RT-2（2023）

链接：https://arxiv.org/abs/2307.15818

RT-2 把动作当作 token 融入 VLM，借助 web 规模预训练知识实现机器人控制。它在分类法中是自回归范式的关键节点：第一次系统证明了"VLM 的语义知识可以直接迁移到动作生成"，确立了"动作即语言 token"这一被后续大量工作沿用的设计。它与 π0、OpenVLA 的对照，恰好展示了自回归路线从概念验证到通用基座的演化。

Diffusion Policy（2024）

链接：https://arxiv.org/abs/2303.04137

Diffusion Policy 把条件扩散引入动作策略，以视觉观测为条件生成多模态动作分布。它是扩散范式的奠基之作：明确了连续控制中"多解性"与"平滑性"的必要性，并用去噪过程优雅地建模。它对 VLA 的影响是范式性的——此后扩散式动作头成为与自回归并列的主流选择，π0、HybridVLA 等都可视为其思想的不同延伸。

3D-VLA（2024）

链接：https://arxiv.org/abs/2403.09631

3D-VLA 用生成式 3D 世界模型统一感知、语言与动作，是"混合与专用"范式及第 7 章"世界建模"方向的代表。它的意义在于指出一条超越 token 拼接的路径：让模型在 3D 空间中显式建模环境、预测交互后果，再据此生成动作。这与 WorldVLA（自回归动作世界模型）一道，预示着 VLA 向"proto–world model"演化的可能。

CLIPort（2021）

链接：https://arxiv.org/abs/2109.12098

CLIPort 把 CLIP 的语义理解与 Transporter 的空间抓取结合，形成"what（识别）/ where（定位）"双通路。它在分类法中是早期混合/专用范式的典型：用极简但精准的方式说明了一个道理——视觉-语言知识不必端到端塞进一个动作头，而可以分解为"语义判断"与"空间动作"两条互补通路。这一思想持续影响着后来的模块化 VLA 设计。

8.6 展望：可信、可持续进化的 VLA

回到原论文的收束性判断：VLA 作为连接语言、感知与动作的关键桥梁，有潜力跨越"语义—物理"鸿沟，成为具身智能的中枢通路；突破当前瓶颈，将可能重塑机器人研究的范式，并把 VLA 推到真实世界部署的前沿。综合全文，我们把它具体化为四个方向上的展望：

  1. 从"指令生成器"到"世界模型"。当前语言、视觉、动作在 VLA 中仍是松耦合，模型停留在"生成指令"而非"整体理解世界"。真正的跨模态统一，应让 VLA 在单一 token 流中联合建模环境、推理与交互，演化成 proto–world model——既能预测"如果我这样做，世界会怎样"，又能据此选择动作。3D-VLA、WorldVLA 已是这一方向的早期信号。
  2. 从"伪交互"到"真因果"。多数 VLA 靠静态分布与表层相关"猜"动作，缺乏对环境的因果探测与反馈修正。引入因果建模与交互式推理，让机器人学会"试探—验证—适应"，是从数据驱动智能迈向深度交互智能的关键一跃。
  3. 虚实融合与超大规模数据生态。数据稀缺既是瓶颈也是机会。通过高保真仿真、合成数据生成与多机器人共享，构建包含万亿级轨迹、跨多样任务的统一数据生态，有望像 GPT 借互联网语料那样，触发具身泛化的跃迁。
  4. 社会嵌入与可信生态。VLA 的最终价值不在技术能力，而在社会融合。当 VLA 进入公共与家庭空间，安全、可信与伦理对齐将决定其能否被采纳。建立风险评估、可解释性与问责的标准化框架，才能把 VLA 从实验室产物变为可信伙伴，进而成为下一代人机接口，重塑医疗、工业、教育与服务等领域。

需要强调的是，这些方向彼此并不孤立：世界模型为因果推理提供"沙盘"，因果推理指导数据高效采集，大规模数据反哺世界模型，而可信框架则贯穿全程为前三者提供"安全护栏"。一个可持续进化的 VLA，应是这四者闭环耦合的系统，而非任一单点的突破。

本章小结

  • VLA 的本质贡献是把 VLM 从被动序列生成器推进为具身决策 agent，在语义泛化与物理执行之间架桥；这是其价值所在，也是其最难之处。
  • 本综述的统一分类法按"动作生成策略"将 VLA 划分为自回归、扩散、强化学习微调、混合与专用四大范式，四者各攻一个侧面，正走向有机组合。
  • 数据与仿真资源（OXE、DROID、BridgeData、RLBench/CALVIN/LIBERO、AI2-THOR/Isaac Gym/CARLA 等）是 VLA 的燃料与试车场，真实与仿真双轨并行、规模与多样性持续攀升。
  • VLA 当前的核心短板是"懂指令却做不好任务"，根源在于语义级泛化与物理级执行的断裂、架构异构、实时推理约束、伪交互与评测局限。
  • 走向可信、可持续进化的 VLA，需在世界建模、因果交互、虚实融合数据生态与社会可信框架四个方向上协同推进，形成闭环而非单点突破。
  • 更根本地，VLA 要从"大模型迁移"的浅层具身，迈向在范式层面与物理世界深度耦合的具身智能——这不仅是技术进步，更是迈向通用人工智能的关键一步。

全文结语

回看这篇合并后的长文，VLA 的轮廓已相当清晰：它把视觉-语言模型从"被动看图说话"推进为能在动态物理世界中"看—懂—做"的具身决策 agent，用统一的序列建模框架缝合了感知、推理与动作，是从语义级泛化迈向物理级执行、进而通向通用具身智能的关键载体。四大范式（自回归、扩散、强化微调、混合与专用）各擅胜场且正在融合，数据、仿真与硬件共同构成其基础设施。但真正的跃迁，仍取决于能否跨越"懂指令却做不好任务"的鸿沟——也就是数据稀缺、架构异构、实时性、伪交互与评测局限这五大瓶颈，以及世界建模、因果推理、虚实融合数据生态与社会可信框架这四条机遇能否落地。若这些问题被逐步攻克，VLA 有望像 GPT 之于语言智能那样，重塑机器人与物理世界交互的方式，从"看得懂、说得清"走向"做得到、做得稳、做得可信"。

# 深度学习 # 自动驾驶 # 机器人
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

机器人技术服务通信全解析：架构、协议、实战与避坑指南

摘要： 机器人技术服务通信是工业机器人、服务机器人等实现自动化与智能化的核心基础，涵盖硬件控制、算法决策与云端调度的全链路交互。本文系统解析了机器人通信的三大架构层级（硬件内网、上位机中控、云端运维），对比了CAN/CANopen、以太网、串口、WiFi及工业无线等主流协议的适用场景与优劣势（如CAN总线微秒级延迟适于运动控制，WiFi灵活但抗干扰弱），并梳理了通信核心流程（初始化、心跳检测、指令

avatar DAMO开发者矩阵

【路径规划】基于距离相关 S 形惯性权重 PSO (DSI-PSO) 算法的新颖策略解决路径规划优化中收敛速度慢的问题附matlab代码

在当今科技飞速发展的时代，路径规划作为众多关键领域的核心技术，其重要性不言而喻。无论是机器人在复杂环境中的自主导航，还是物流配送车辆在城市道路网络中的最优路线选择，又或是自动驾驶汽车的安全行驶规划，路径规划的优劣直接决定了系统的运行效率与性能表现。然而，传统路径规划算法以及基本粒子群优化算法（PSO）在应对这一挑战时，常常面临收敛速度慢的困境，使得规划过程耗时冗长，难以满足实际应用中的实时性需求。

avatar DAMO开发者矩阵

【路径规划】基于距离相关 S 形惯性权重 PSO (DSI-PSO) 算法的新颖策略解决路径规划优化中收敛速度慢的问题附matlab代码

在当今科技飞速发展的时代，路径规划作为众多关键领域的核心技术，其重要性不言而喻。无论是机器人在复杂环境中的自主导航，还是物流配送车辆在城市道路网络中的最优路线选择，又或是自动驾驶汽车的安全行驶规划，路径规划的优劣直接决定了系统的运行效率与性能表现。然而，传统路径规划算法以及基本粒子群优化算法（PSO）在应对这一挑战时，常常面临收敛速度慢的困境，使得规划过程耗时冗长，难以满足实际应用中的实时性需求。

avatar DAMO开发者矩阵