VLA 技术调研

本文系统梳理 VLA（Vision-Language-Action Model）这一贯穿具身智能与自动驾驶两大领域的下一代范式：从概念定义、技术挑战，到代表性模型（RT-2、OpenVLA、Helix、π0、CoVLA、OpenDriveVLA 等），再到国内外行业进展（理想、小鹏、元戎、小米）。

1. 概览

1.1 什么是 VLA，与 VLM / LLM、端到端之间的关系

核心差异：将 Action（动作）作为模型的直接输出。

VLA（Vision-Language-Action Model）是一种融合视觉感知、语言理解和动作执行的多模态大模型，旨在通过类人思维链推理（Chain of Thought, CoT）实现与物理世界的智能交互。其核心目标是将 AI 从"被动辅助工具"升级为"主动生产工具"，在自动驾驶、机器人等领域实现高度拟人化的决策与执行能力。

三者结构差异：

模型类型 输入 输出 典型用途
LLM 文本 文本 问答、写作、代码
VLM 图像 + 文本 文本 图像理解、视觉问答（VQA）
VLA 图像 + 文本（+ 传感器） 动作（连续/离散） 机器人控制、自动驾驶轨迹 
LLM     :   Text ──► Text
VLM     :   Vision + Text ──► Text
VLA     :   Vision + Text (+Sensor) ──► Action（关节角度 / 轨迹 / 控制信号）

与"端到端"的关系：VLA 是端到端的极致——从原始感知直接到动作输出，中间不依赖人工设计的模块（如感知→预测→规划→控制的串行 pipeline）。传统端到端是"端到端 CNN/Transformer"，VLA 是"端到端多模态大模型"。

1.2 为什么一定要选择 VLA？

没有一定，它是一种螺旋式发展的趋势。 支撑它走上舞台的两个原因：

  1. 上限更高：统一架构 + 大规模预训练，理论能力天花板远高于分模块方案

  2. 技术成熟度到了：2023.7 Google 推出 RT-2 才受到大家关注，背后是 diffusion / transformer 等基础技术的成熟

判断标准：新技术发展有不确定性。当基础技术（多模态预训练、scaling law、扩散模型）成熟到一定程度，VLA 这种"看起来激进"的方案才会从论文走进量产。

1.3 有哪些挑战和阻碍？（以智驾场景为例）

VLA 不成熟的核心原因可以归纳为三点：数据少、模态对齐难、复杂度高。下面以"车的场景"为例展开。

  • 训练数据少：Vision(pic, sensor, last_action) -> next Action 这种成对的数据极度稀缺

  • 模态对齐：Vision（时序）、Action 的对齐是难题

  • 复杂度高：把感知 + 推理 + 控制集成到一个模型里，训练和推理代价陡增

1.3.1 数据不足

  1. 量级与多样性不足：数据量级远不及训练视觉-语言模型（VLM）的数据，且多样性严重不足，多采集于简单环境。存在 "数据不足限制模型能力、模型能力有限制约数据采集" 的恶性循环。

  2. 数据采集难题：在实际应用中，获取高质量、多样化且适用于 VLA 训练的数据存在困难，阻碍模型性能提升。

破局思路：仿真数据（DriveDreamer4D、DrivingSphere）+ 网络视频预训练（GR-2、π0）+ 真实数据精调，三位一体。

1.3.2 多模态对齐

涉及图像、时序、3D 空间、动作的对齐：

  • 图像、语言和动作是异质模态，表示空间不同步

  • 输入变化极大（比如按钮视觉变化、语言歧义），难以正确对齐动作输出

  • 时序和空间理解要求高，尤其在"操作"中必须精准定位 + 预测动作时机

1.3.3 复杂度升高

  • 三模态联合建模 + 长时序推理，导致模型参数爆炸、推理速度变慢

  • 训练流程需要同步图像处理、语言理解、动作预测，pipeline 复杂

  • 模型难以部署在低功耗设备或实时任务场景中

2. 典型模型架构

2.1 技术分类

按"动作表征方式"和"基座类型"分类，VLA 大致有四条技术路线：

路线 代表模型 动作表征 特点
离散化 Action Token RT-2、OpenVLA 把动作转为文本 token 复用 VLM 架构，但精度受限
扩散头 Action π0、Diffusion-VLA、RDT-1B 用扩散模型生成连续动作 高维连续控制强，慢
Flow Matching π0、Helix 流匹配生成动作 比 diffusion 快，质量高
双系统（快慢脑） Helix、DP-VLA System1 快反射 + System2 慢推理 兼顾实时性和推理深度

2.2 开山之作：RT-2 框架

2023.7 谷歌 DeepMind 推出了一款新的机器人模型 Robotics Transformer 2 (RT-2)。RT-2 模型的核心创新点主要体现在模型架构设计和能力突破两方面，通过融合互联网级视觉-语言数据与机器人控制，实现了机器人泛化能力和语义推理能力的显著提升。

论文：《RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control》

2.2.3 创新点：视觉-语言-动作模型（VLA）的统一表示

1. 动作文本化编码

  • 将机器人的动作（如关节角度、末端执行器指令等）转化为文本 tokens，与自然语言指令、视觉信息统一输入模型。（例如将"移动机械臂至坐标 (x,y,z)"表示为特定文本序列）

  • 优势：无需为动作设计独立的解码模块，直接复用视觉-语言模型（如 PaLM-E）的现有架构，简化训练流程并增强跨模态对齐能力。

2. 联合微调策略

  • 在训练阶段同时使用机器人轨迹数据（如操纵物体的动作序列）和互联网级视觉-语言任务（如视觉问答、图像描述）。

  • 目标：通过大规模非结构化数据（网页图文）增强模型的语义理解能力，同时通过机器人数据保留控制精度。

工程启示：RT-2 把"动作"统一到"语言"空间，是 VLA 第一次能复用 LLM 生态的关键。代价是离散化动作损失精度，后续 π0/Helix 都是为了解决这个。

2.3 OpenVLA：首个完全开源的 VLA 模型

丰田、谷歌、斯坦福、UC 伯克利合作的 OpenVLA，公布于 2024 年 3 月，于 2024 年 6 月 13 日正式发布。

关键参数：

  • 70 亿参数（7B）

  • 在 97 万真实机器人演示数据上训练

  • 基于 Llama 2 语言模型 + 融合 DINOv2 + SigLIP 预训练特征的视觉编码器构建

性能突破：

  • 在 29 项任务中，绝对任务成功率比 RT-2-X（550 亿参数）高 16.5%，参数少 7 倍

  • 在多任务环境泛化和语言接地能力表现强，优于 Diffusion Policy 20.4%

  • 可通过现代低秩适应方法（LoRA）在消费级 GPU 上微调

  • 经量化后可高效部署

  • 开源了模型检查点、微调笔记本和 PyTorch 代码库，支持在 Open X-Embodiment 数据集大规模训练 VLA 模型

创新点：

  • 打破封闭生态：现有主流 VLA 模型（如 RT-2、RT-2-X）多为企业闭源方案，公众无法获取模型参数或代码。OpenVLA 首次开源 70 亿参数的 VLA 模型，并提供完整训练框架，推动学术界和工业界对 VLA 的研究与应用。

  • 降低技术门槛：开源资源（模型检查点、微调笔记本、PyTorch 代码库）使开发者无需从头训练，可直接基于预训练模型快速定制机器人技能，加速技术落地。

2.4 OpenDriveVLA：面向端到端自动驾驶的 VLA

论文：《OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model》—— Technical University of Munich

这是一种专为端到端自动驾驶设计的视觉-语言-动作（VLA）模型，其核心思想是通过融合视觉感知、语言理解和动作生成能力，实现基于环境语义的端到端自动驾驶决策。

关键技术创新：

  • 层次化视觉-语言对齐：提出一种层次化对齐方法，将 2D 图像视觉特征和 3D 结构化视觉标记（如激光雷达点云生成的 BEV 特征）投影到统一语义空间，解决驾驶视觉表征与语言嵌入之间的模态差异，使模型能将视觉感知与语言指令直接关联。

  • 自回归代理-环境-自车交互建模：通过自回归机制建模自车、周围智能体（如其他车辆、行人）和静态道路元素之间的动态关系，确保轨迹规划同时考虑空间位置（如避免碰撞）和行为逻辑（如遵守交通规则、预测其他车辆意图），实现更安全、合理的路径规划。

2.5 Helix：通用人形机器人 VLA（Figure.AI）

2025 年 2 月 20 日，智能机器人公司 Figure.AI 发布的 VLA 模型 《Helix: A Vision-Language-Action Model for Generalist Humanoid Control》。它是典型的快慢双系统，也是最接近量产的机器人 VLA 系统。Figure.AI 在机器人领域的地位近似于 OpenAI 在 LLM 领域内的地位。

Helix 有五大神奇之处：

  1. 快：RT-2 论文里提到的决策频率只有 1~5 Hz，更没法做到 200 Hz 的操作速度。Helix 的上一代 Figure 01 借助基于简单神经网络的机器人操控小模型，做到了以 200 Hz 的频率生成 24-DOF 动作。Helix 进一步提升到 35 自由度，而 RT-2 还是 6 自由度。

  2. 简单：就一个大模型，通过自然语言就可得到最终的 Action。

  3. 训练效率高：现有的 VLA 系统通常需要专门的微调来优化不同高级行为的性能，Helix 则不用。

  4. 泛化能力强：Helix 直接输出高维动作空间的连续控制，避免了先前 VLA 方法（如 RT-2、OpenVLA）使用的相对简单的离散化动作 tokenization 方案——这些方案虽取得一些成功，但在高维人形控制中面临扩展挑战。

  5. 所需训练数据少：收集了高质量的多机器人、多操作员数据集，包含各种远程操作行为，仅使用约 500 小时的高质量监督数据训练 Helix；而一般的 VLA 预训练数据集一般 1 万小时起步。

关键洞察：Helix 的"少数据高效果"靠的是 数据质量 + 架构效率（连续动作 + 双系统），而非堆数据。这对机器人方向是颠覆性的——意味着中小团队也能训练人形机器人 VLA。

2.6 A Dual Process VLA：双过程 VLA（DP-VLA）

论文：《A Dual Process VLA: Efficient Robotic Manipulation Leveraging VLM》

这篇文章提出了一种双过程视觉-语言-动作模型（DP-VLA），旨在解决现有 VLA 模型在实时性能方面的计算瓶颈问题。其设计灵感源自卡尼曼的"快思考/慢思考"：

  • System 1（快）：VLM 主干处理高频常规操作

  • System 2（慢）：仅在遇到复杂场景时触发深度推理

2.7 CoVLA：面向自动驾驶的大规模 VLA 数据集

论文：《CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving》

核心创新点聚焦于构建大规模多模态数据集与开发端到端自动驾驶模型，旨在解决自动驾驶中"长尾"场景的复杂推理与规划问题。

技术关键点：

1. 提出 CoVLA 数据集：首个融合视觉-语言-动作的大规模自动驾驶数据集

  • 多模态数据融合与规模突破：

    • 包含 10,000 个真实驾驶场景（总计超 80 小时视频），涵盖城市道路、高速公路、雨天、夜间等多样化环境。

    • 每个场景同步整合前视摄像头视频（1080p, 20Hz）、车载传感器数据（GNSS、IMU、CAN 总线），并标注逐帧语言描述与未来 3 秒轨迹动作（60 帧，全球坐标系下的 (x,y,z) 坐标）。

    • 原始数据规模达 1000 小时以上，经筛选后形成高质量子集，远超现有同类数据集（如 BDD-X、DRAMA 等）的规模与标注密度。

  • 自动化标注与字幕生成 pipeline：

    • 轨迹标注：通过卡尔曼滤波融合 GNSS/IMU 数据，自动生成高精度轨迹，并通过启发式方法剔除异常值。

    • 目标检测：采用传感器融合技术（雷达 + 摄像头）检测前车，结合专用模型（OpenLenda-s）识别交通灯状态（含箭头信号）。

    • 自动字幕生成：

      • 规则基字幕：基于车速、加速度、转向角等参数生成结构化描述。

      • VLM 基字幕：利用 VideoLLaMA 2 模型处理视频片段（60 帧窗口，采样 8 帧），生成包含时空信息的自然语言描述（如天气、风险提示）。

      • 幻觉抑制：以规则基字幕为事实约束，引导 VLM 补充细节（如"窄路""湿滑路面"），减少虚构内容。

  • 数据多样性与平衡性：通过逆经验分布采样策略，平衡车速、转向角、信号灯等特征的分布，避免数据偏斜。

2. 开发 CoVLA-Agent：基于 VLA 模型的可解释端到端自动驾驶系统

  • 模型架构创新：融合 CLIP 视觉编码器（提取图像特征）、Llama-2 语言模型（处理文本指令与推理）、MLP 层（整合车速等数值信号），实现"图像输入→语言描述 + 轨迹预测"的端到端输出。引入轨迹查询特殊令牌，通过 LLM 生成未来 3 秒的 10 个轨迹点，结合均方误差（MSE）损失优化预测精度。

  • 多任务联合训练：同时训练场景描述生成与轨迹预测任务，通过加权交叉熵与 MSE 损失联合优化，强化语言与动作的一致性。

  • 性能验证与可解释性：使用真实字幕（ground truth caption）时，轨迹预测的平均位移误差（ADE）为 0.814 米，最终误差（FDE）为 1.655 米，显著优于使用预测字幕的结果（ADE=0.955, FDE=2.239）。

2.8 DriveDreamer4D：世界模型做 4D 驾驶场景数据机器（理想）

论文：《DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation》—— 理想汽车

这篇文章提出了 DriveDreamer4D 框架，通过融合自动驾驶世界模型的先验知识，提升了 4D 驾驶场景表示能力，为自动驾驶闭环仿真提供了更真实、多样的场景模拟方案。

2.8.1 研究背景与问题

  • 闭环仿真需求：端到端自动驾驶系统需要闭环仿真来评估算法，但现有方法（如 NeRF、3DGS）依赖正向驾驶场景的训练数据，难以渲染变道、加减速等复杂操作。

  • 世界模型的局限：现有自动驾驶世界模型虽能生成多样驾驶视频，但仅输出 2D 视频，缺乏捕捉动态环境时空一致性的能力。

2.8.2 核心方法：DriveDreamer4D 框架

  • 新颖轨迹视频生成模块（NTGM）：利用世界模型作为"数据机器"，通过调整驾驶动作（如转向角、速度）生成新轨迹，并结合结构化条件（3D 边界框、高精地图）控制交通元素的时空一致性，解决复杂场景数据不足的问题。

  • 表亲数据训练策略（CDTS）：融合时间对齐的真实与合成数据训练 4D 高斯 splatting（4DGS）模型，引入正则化损失确保感知一致性，缩小数据分布差异，提升模型泛化能力。

2.9 DrivingSphere：构建高保真 4D 闭环仿真世界（理想）

论文：《DrivingSphere: Building a High-fidelity 4D World for Closed-loop Simulation》—— 理想汽车

论文提出 DrivingSphere 框架，旨在构建高保真闭环自动驾驶仿真环境。其核心通过动态环境合成模块生成包含静态背景与动态物体的 4D 占据网格世界，并利用视觉场景合成模块将其转化为时空一致的多视角视频。

相比传统开环仿真和闭环仿真，DrivingSphere 具备：

  • 丰富模拟粒度：包含建筑、植被等非交通元素

  • 物理空间真实性：精确建模 4D 空间交互

  • 高视觉一致性：ID 感知编码确保跨帧跨视角连贯

实验表明，其在视觉保真度（FVD 指标 103.42）、开闭环评估（PDMS 0.742，RC 11.7%）等方面显著优于 MagicDrive、DriveArena 等基线方法，有效缩小模拟与真实环境的域差距。

2.10 π0：基于 Flow Matching 的开源 SOTA（Physical Intelligence）

2024 年 Physical Intelligence 发布的 VLA 模型 π0，基于 transformer + 流匹配（flow matching）架构，当前开源领域最强的 VLA 模型之一。

π0 的关键设计：

  • 统一动作头：用 flow matching 替代 diffusion policy，推理更快、训练更稳

  • 跨本体训练：同一模型控制多种机器人本体（机械臂、人形、移动底盘）

  • 灵巧操作：能完成叠衣服、装盒子等长程复杂任务

3. 行业进展

3.1 理想汽车

理想在 VLA 方向的投入是国内车企最深的，相关论文涵盖了从数据、重建、规划到模型的全栈：

参考链接（GTC 2025 报告）：https://static.rainfocus.com/nvidia/gtcs25/sess/1727430977700001r2OJ/FinalPresPDF/S72557_1742210910032001XQ6j.pdf

理想 VLA 相关论文清单：

  • GaussianAD: Gaussian-Centric End-to-End Autonomous Driving

  • Generalizing Motion Planners with Mixture of Experts for Autonomous Driving

  • Preliminary Investigation into Data Scaling Laws for Imitation Learning-Based End-to-End Autonomous Driving

  • StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models

  • Balanced 3DGS: Gaussian-wise Parallelism Rendering with Fine-Grained Tiling

  • ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration

  • DrivingSphere: Building a High-fidelity 4D World for Closed-loop Simulation

  • DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation

3.2 小鹏

小鹏汽车在新 X9 发布上市之前，做了一场 AI 技术分享会，再次强调了自己是一家 AI 驱动的技术公司。这次技术分享会的核心内容之一：小鹏正在研发 VLA 基座模型，也在研发"世界模型"，而且小鹏汽车已经拥有 10 EFLOPS 的算力。

可以说，小鹏汽车整个智驾技术路线也已经向业界下一代主流路线 VLA 开始迭代。 reportedly 用 2 亿 Clips 训练 720 亿超大规模模型。

3.3 元戎启行

元戎启行更进一步，于 2025 年 1 月 22 日宣布与某头部车企合作，基于 英伟达 Thor 芯片推出 VLA 量产车型，计划年内交付消费者。元戎还透露将在 Robotaxi 领域探索 VLA 应用。

3 月 30 日，在百人会智能汽车创新技术与产业论坛上，元戎启行 CEO 周光表示已完成 VLA 模型（多模态的视觉语言动作模型）的道路测试，并将基于 VLA 模型打造全系列的智能驾驶系统产品，涵盖激光雷达方案与纯视觉方案，适配多种芯片平台，预计今年将有超 5 款搭载 VLA 模型的车型进入消费者市场。

周光认为：VLA 模型作为当下最先进的技术，使汽车成为了 AI 智能体，在需求暴涨的背景下，VLA 模型将重塑市场格局。

参考：元戎启行：今年将有超5款搭载VLA模型的车型进入消费者市场

3.4 小米

2025 年 3 月中旬，小米汽车与华中科技大学联合发表论文：《ORION: A Holistic End-to-End Autonomous Driving Framework by Vision-Language Instructed Action Generation》，提出了一种全新的端到端自动驾驶框架 ORION，旨在解决现有方法在闭环评估中因果推理能力不足的问题。

核心内容：

1. 研究背景与挑战

  • 端到端自动驾驶的瓶颈：传统端到端方法在闭环评估中因因果推理能力有限，难以做出正确决策。尽管视觉语言模型（VLM）具备强大的理解和推理能力，但其语义推理空间与动作空间的数值轨迹输出存在鸿沟，导致闭环性能不佳。

  • 现有方法的缺陷：

    • 直接文本输出：VLM 不擅长数值推理，且自回归机制无法处理人类规划的不确定性。

    • 元动作辅助：VLM 与经典端到端方法解耦，无法协同优化轨迹和推理过程。

行业观察：小米 ORION 与理想 MindVLA 的技术路线之争，本质是"VLM 内嵌动作头"还是"VLM 外挂元动作"的路线分歧。

4. 结论 —— 个人观点

最后给出对 VLA 整体方向的几个判断：

  1. VLA 一定不是终极技术 —— 它是当前阶段把"多模态感知 + 推理 + 控制"统一到 Transformer 架构下的最优解，但绝不是终态。下一代的"世界模型 + 强化学习"很可能颠覆当前 VLA 范式。

  2. 数据 <Input, action> 是 VLA 最大的挑战 —— 算法已经不是瓶颈，数据才是。<Vision, Instruction, Action> 三元组的采集成本远高于 <Text> 或 <Image, Text>。谁能低成本、大规模、高质量地生产这种数据，谁就能赢。

  3. VLA 是上层技术，最终比拼的还是对"人、车、场"的建模准确度 —— 模型再大，对场景物理规律、驾驶常识、机器人动力学的建模不准，照样开不了车、抓不起杯子。基础的世界建模（world model）才是 VLA 真正的地基。

5. 参考文献

关键 Paper

VLA 其他相关论文速递

  • Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

  • OpenVLA: An Open-Source Vision-Language-Action Model

  • TOWARDS SYNERGISTIC, GENERALIZED AND EFFICIENT DUAL-SYSTEM FOR ROBOTIC MANIPULATION

  • π0: A Vision-Language-Action Flow Model for General Robot Control

  • RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION

  • GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

  • Diffusion-VLA: Scaling Robot Foundation Models via Unified Diffusion and Autoregression

  • DexVLA: Vision-Language Model with Plug-In Diffusion Expert for General Robot Control

  • Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success

  • ChatVLA: Unified Multimodal Understanding and Robot Control with Vision-Language-Action Model

  • VLM-E2E: Enhancing End-to-End Autonomous Driving with Multimodal Driver Attention Fusion

理想 VLA 相关论文

  • GaussianAD: Gaussian-Centric End-to-End Autonomous Driving

  • Generalizing Motion Planners with Mixture of Experts for Autonomous Driving

  • Preliminary Investigation into Data Scaling Laws for Imitation Learning-Based End-to-End Autonomous Driving

  • StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models

  • Balanced 3DGS: Gaussian-wise Parallelism Rendering with Fine-Grained Tiling

  • ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration

  • DrivingSphere: Building a High-fidelity 4D World for Closed-loop Simulation

  • DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation

Report / 综述文章

# 学习
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

《智能终端应用开发基础》全套课件PPT

avatar DAMO开发者矩阵

深圳鸿芯智谷：从IT培训到AI+机器人的产教融合转型之路

深圳市鸿芯智谷科技有限公司成立于，法定代表人为（总经理）。公司注册地址位于深圳市宝安区航城街道草围社区宝安大道5010号深圳多彩汇威文化创意博览城B座C233，总部位于深圳市宝安区西部硅谷产业园。鸿芯智谷依托十三年深厚底蕴，完成品牌升级与全新重组，是一家深耕产教融合与智能科技领域的创新型企业。公司由行业资深核心高管、人工智能与具身智能领域顶尖专家联合创办，兼具技术底蕴与创新活力。

avatar DAMO开发者矩阵

VLAN综合实验

pc2/pc4/pc5/pc6处于同一网段；其中pc2可以访问pc4/pc5/pc6;3、所有pc通过DHCP获取IP地址，且pc1/pc3可以正常访问pc2/pc4/pc5/pc6。2、pc1/pc3与pc2/pc4/pc5/pc6不在同网段；1、pc1和pc3所在接口为access；pc4可以访问pc6；pc5不能访问pc6；3、开启DHCP，使pc获得地址。1、创建VLAN，划分VLAN。2

avatar DAMO开发者矩阵