具身智能之OpenVLA详解：开源 VLA 的基线时刻——如何把机器人动作接进语言模型

猫先生Mr.Mao

117人浏览 · 2026-07-14 17:14:42

猫先生Mr.Mao · 2026-07-14 17:14:42 发布

写在前面

【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。
项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI

魔方AI空间
 猫先生
面试面经：WeThinkIn/Interview-for-Algorithm-Engineer

AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

导读

Vision-Language-Action Model 要成为机器人策略的基础模型，不能只停留在闭源系统和少数实验室内部。机器人社区需要一个能下载、能复现、能微调、能部署的开源 VLA。

OpenVLA 是一个 7B 参数的开源 VLA 模型。它基于 Prismatic-7B VLM，将 DINOv2 + SigLIP 的融合视觉编码器接到 Llama 2 7B 上，再把连续机器人动作离散成 action tokens，用语言建模的方式预测动作序列。训练数据来自 Open X-Embodiment，论文筛选出 970k 条真实机器人操作轨迹，用 64 张 A100 训练 14 天、27 个 epoch。

实验回答三个问题：OpenVLA 作为通用机器人策略能不能直接用；在新机器人、新任务上能不能小数据微调；LoRA 和量化能不能把训练、推理门槛降下来。OpenVLA 在 29 个真实机器人任务上比闭源 55B RT-2-X 高出 16.5% 绝对成功率；微调后在多物体、多指令任务上优于 Diffusion Policy；LoRA rank=32 可以用 1.4% 可训练参数接近全量微调效果，4-bit 量化在实机任务上基本保持 bfloat16 表现。

猫先生认为，OpenVLA 把 VLA 从闭源展示推到了一个更工程化的位置：模型权重、训练代码、微调路径和推理压缩方案一起开放，这会直接影响后续机器人基础模型的默认起点。

论文标题：OpenVLA: An Open-Source Vision-Language-Action Model

论文地址：https://arxiv.org/abs/2406.09246

项目主页：https://openvla.github.io/

GitHub：https://github.com/openvla/openvla

HuggingFace：https://huggingface.co/openvla

OpenVLA overview
图 1：OpenVLA 的整体定位。论文把 OpenVLA 放在多机器人、多任务和可微调三个维度上评估，单一任务成功案例不是主要证据。

原文脉络

大规模视觉语言预训练已经证明能带来语义泛化能力，机器人动作数据也开始被统一到 Open X-Embodiment 这类跨平台数据集中。已有强 VLA 往往闭源，社区很难系统研究训练、微调和部署细节。

OpenVLA 的构造方式包括三步：选择一个较强的开源 VLM 作为基础，保留视觉语义和空间特征，再把机器人动作转成 token，让模型以 next-token prediction 的形式学习控制。实验从“直接部署”“小数据微调”“低成本适配”三条线验证它是否能作为通用机器人策略的开源基线。

1-2. 背景与相关工作：VLA 为什么需要开源基线

真实机器人数据昂贵，任务和平台差异大，单任务模仿学习很难自然泛化；视觉语言模型拥有互联网规模的语义知识，却不能直接输出可执行动作。VLA 的目标就是把视觉、语言和动作接到同一个模型里，让机器人既能理解指令和场景，又能输出控制信号。

OpenVLA 站在几条研究线上：RT-1/RT-2 证明了 transformer 策略和互联网预训练对机器人控制有用，Open X-Embodiment 提供了跨机器人轨迹数据，Octo 展示了开源通用策略的可能性，Prismatic 这类 VLM 则提供了更强的视觉语言骨架。

论文强调的缺口有两个：一是强 VLA 多数不可访问，研究者无法复现或系统改造；二是 VLA 如何微调到新机器人、新任务，过去没有被充分研究。OpenVLA 因此不只发布模型，也把微调和量化作为论文贡献的一部分。

3. 方法与核心架构：把 VLM 改造成动作生成器

3.1 模型骨架：Prismatic-7B、DINOv2、SigLIP 与 Llama 2

OpenVLA 直接从 Prismatic-7B VLM 出发。这个选择有两层含义：语言侧使用 Llama 2 7B，视觉侧使用 DINOv2 + SigLIP 的融合编码器。SigLIP 更偏语义对齐，DINOv2 更偏视觉结构和空间表征，两者拼接后经 projector 映射到 LLM 的 embedding 空间。

论文比较了 Prismatic、IDEFICS-1 和 LLaVA 等 VLM backbone。结果显示，LLaVA 在语言 grounding 上比 IDEFICS 更好，而 Prismatic 进一步带来约 10% 绝对成功率提升。作者将这一提升归因于 fused SigLIP-DINOv2 视觉编码器，尤其是 DINOv2 带来的空间特征对机器人操作更友好。

OpenVLA architecture
图 2：OpenVLA 的核心架构。图像经 fused visual encoder 编码，和语言指令一起进入 Llama 2 7B，模型输出 action tokens，再解码成连续机器人动作。

猫先生认为，OpenVLA 在架构上的关键，是把机器人控制改写成一个更容易复用大模型基础设施的问题：动作被 token 化之后，训练、微调、LoRA、量化都能沿用语言模型生态中的成熟工具。

3.2 动作离散化：把连续控制写成 action tokens

OpenVLA 的训练形式很直接：输入是图像和语言指令，输出是机器人动作 token 序列。机器人动作原本是连续值，论文对每个动作维度分别做离散化，划成 256 个 bin。为了避免异常值影响边界，bin 的上下限不是用全局 min/max，而是用训练集中动作分布的第 1 和第 99 百分位数。

离散化后，动作就可以被当作 token 来预测。Llama tokenizer 原本只有 100 个保留 special tokens，OpenVLA 需要 256 个动作 token，因此论文直接复用 tokenizer 里使用频率最低的 256 个 token，把它们覆盖成动作 token。训练目标则是标准 next-token prediction，但 loss 只作用在动作 token 上。

这种做法牺牲了一部分连续控制的细腻度，却换来了模型训练形式的统一。OpenVLA 不需要额外设计复杂控制头，也不需要把语言模型拆成两套输出接口。

3.3 训练数据：970k Open X 轨迹与数据筛选

OpenVLA 使用 Open X-Embodiment 数据集，并对数据做了筛选。论文保留适合单臂末端执行器控制、带第三人称相机视角的操作数据，最终得到 970k 条真实机器人轨迹。数据混合权重参考 Octo，同时也根据 OpenVLA 的训练表现做了清洗。

DROID 数据的处理很能说明作者的取舍。论文一开始尝试把 DROID 以 10% 权重混入训练，但发现 DROID 后三分之一数据的 action token accuracy 长期偏低，于是从最终训练集中移除了这部分数据。对 VLA 来说，数据规模重要，动作标注质量和控制接口一致性同样重要。

3.4 训练细节：视觉编码器要一起动，epoch 要足够多

OpenVLA 在几个训练选择上给出了比较实用的结论。图像分辨率方面，224 和 384 在真实机器人上没有明显差异，而 384 推理慢约 3 倍，所以最终采用 224。视觉编码器方面，论文发现冻结 vision encoder 会明显损害性能，这和很多 VLM 微调习惯不同；机器人控制需要视觉特征适配场景、物体和动作几何，视觉侧不能只当固定特征提取器。

训练轮数也和常见 LLM/VLM 不一样。LLM 或 VLM 往往只跑一两个 epoch，OpenVLA 则训练了 27 个 epoch，并观察到实机表现会持续提升，直到 action token accuracy 超过 95%。最终训练使用 64 张 A100，14 天，总计约 21,500 A100-hours，batch size 为 2048，固定学习率 2e-5。

推理端，OpenVLA 以 bfloat16 加载时大约需要 15GB GPU 显存，在 RTX 4090 上约 6Hz。论文还提供远程 VLA inference server，允许机器人端把观测流式传给远端 GPU，从而降低本地部署硬件要求。

4. 实验结果：通用部署、微调能力与成本门槛

4.1 多机器人直接评测：对比 RT-1-X、Octo 和 RT-2-X

第一组实验测试 OpenVLA 是否能作为通用策略直接部署。评测覆盖两个机器人平台：BridgeData V2 的 WidowX，以及 RT-1/RT-2 使用的 Google robot。任务按 visual、motion、physical、semantic generalization 和 language conditioning 分类。BridgeData V2 上每个方法做 170 次 rollout，Google robot 上做 60 次 rollout，并采用相同初始状态的 A/B 评测。

BridgeData V2 results
图 3：BridgeData V2 WidowX 评测。OpenVLA 在总成功率上最好，除 semantic generalization 外，多数类别超过 RT-2-X。

结果显示，RT-1-X 和 Octo 在这些更强泛化任务上明显吃力；RT-2-X 凭借互联网预训练的 VLM backbone 表现强很多；OpenVLA 则在 BridgeData V2 上显著超过 RT-2-X，在 Google robot 上与 RT-2-X 大体相当。论文汇总 29 个任务后，OpenVLA 比 RT-2-X 高出 16.5% 绝对成功率，同时参数量只有 7B，而 RT-2-X 是 55B。

需要注意的是，RT-2-X 在 semantic generalization 上仍然更强。论文认为这和 RT-2-X 使用更大规模互联网预训练、并在 robot action data 与互联网视觉语言数据上共同 fine-tune 有关；OpenVLA 为了简化，只在机器人动作数据上 fine-tune。

Google robot results
图 4：Google robot 评测。OpenVLA 和 RT-2-X 整体接近，并显著强于 RT-1-X 与 Octo。

猫先生认为，OpenVLA 对 RT-2-X 的优势不能简单理解为“7B 打败 55B”。更合理的读法是：更贴近目标机器人数据分布的数据清洗、更大的 OpenX 轨迹规模、以及空间视觉特征融合，共同补上了模型规模上的差距。

4.2 小数据微调：和 Diffusion Policy 比什么

第二组实验关注新机器人、新任务适配。OpenVLA 在 Franka-Tabletop 和 Franka-DROID 两个设置上微调，每个目标任务只有 10 到 150 条示范。对比方法包括从零训练的 Diffusion Policy、输入输出规格匹配 OpenVLA 的 Diffusion Policy、微调 Octo、微调 OpenVLA，以及直接从 Prismatic VLM 微调的 OpenVLA scratch。

Fine-tuning results
图 5：Franka 新任务微调结果。Diffusion Policy 在窄任务上强，OpenVLA 在多物体、多指令、语言 grounding 更重的任务上更稳。

OpenVLA 没有全面压过 Diffusion Policy。对于单一指令、动作精度要求高的窄任务，Diffusion Policy 仍然有优势，轨迹更平滑、更细腻。但在多物体、多指令、需要语言 grounding 的任务里，OpenX 预训练带来的跨场景经验开始发挥作用，OpenVLA 和 Octo 往往比从零训练更稳。

总体平均上，OpenVLA 最好，而且是唯一在所有测试任务上都达到至少 50% 成功率的方法。OpenVLA scratch 的较低表现也说明，大规模机器人预训练让小数据适配更可靠。

4.3 LoRA 与量化：让 VLA 更接近普通实验室可用

全量微调 OpenVLA 需要 8 张 A100 跑 5 到 15 小时。论文进一步比较了 last layer only、frozen vision、sandwich fine-tuning 和 LoRA。只调最后一层效果很差；冻结视觉编码器也不理想；sandwich fine-tuning 能降低显存，但性能仍低于 LoRA。

PEFT table
表 1：参数高效微调对比。LoRA rank=32 只训练约 1.4% 参数，就能接近全量微调成功率。

LoRA rank=32 的表现为 68.2% ± 7.5%，接近 full fine-tuning 的 69.7% ± 7.2%，但只训练 97.6M 参数，也就是全模型约 1.4%。LoRA rank=64 没带来明显收益，因此论文建议默认 rank=32。用 LoRA 微调时，单张 A100 可以在 10 到 15 小时内完成新任务适配。

Inference speed
图 6 / 表 2：OpenVLA 在不同 GPU 上的推理速度，以及 bfloat16、int8、int4 的显存与实机成功率对比。

量化实验中，bfloat16 在 BridgeData V2 代表任务上成功率为 71.3% ± 4.8%，显存约 16.8GB；int4 成功率为 71.9% ± 4.7%，显存降到 7.0GB。int8 反而掉到 58.1% ± 5.1%，主要原因不是离线 token accuracy，而是实际推理速度变慢，控制频率偏离训练数据中的 5Hz 非阻塞控制器。

这组结果提醒 VLA 部署不能只看模型精度和显存，控制频率会直接改变机器人系统动力学。int4 在这篇论文里更像是实际可用的折中点：显存低，速度也足够接近实机控制要求。

4.4 消融结果：OpenX 预训练和视觉特征都重要

附录里的消融进一步解释了 OpenVLA 的性能来源。OpenVLA 相比只在 Bridge 数据上训练的 OpenVLA-Bridge，Bridge 评测成功率从 45.6% ± 5.6% 提升到 76.3% ± 4.8%，说明 OpenX 的跨平台、多任务数据多样性是核心因素。

fused vision encoder 也有贡献。只用 SigLIP 的 OpenVLA-Bridge-SigLIP 为 40.6% ± 5.5%，低于 SigLIP+DINOv2 融合版本。视觉编码器冻结实验同样指向一个结论：机器人控制需要适配视觉特征，尤其是空间、物体姿态和末端执行器关系，不能完全依赖通用 VLM 预训练留下来的固定视觉表征。

5. 讨论与局限：OpenVLA 的边界

OpenVLA 当前只支持单张图像观测。真实机器人系统往往有多相机、腕部相机、本体状态、历史观测等输入，论文认为未来需要支持更灵活的多模态观测形式。控制频率也是限制之一，ALOHA 这类高频双臂系统可达 50Hz，OpenVLA 现有自回归动作生成还难以直接覆盖这类场景。

动作生成方式本身也留下了改进空间。OpenVLA 一次预测一个离散动作 token，缺少 Diffusion Policy 常用的 action chunking 和 temporal smoothing，因此在窄而精细的灵巧任务上不如 diffusion policy 平滑。论文把 action chunking、speculative decoding 等作为未来方向。

另外，OpenVLA 虽然超过了已有通用策略，但绝对可靠性还没有达到工业部署级别。论文明确提到，多数任务成功率仍低于 90%。很多 VLA 设计问题也没有充分探索，比如 base VLM 规模如何影响控制能力、机器人数据与互联网视觉语言数据是否应该共同训练、哪类视觉特征最适合动作预测。