## 摘要 本文解读 arXiv 2026 论文《TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM》。该论文提出**TurboVLA**——一个直接 $V{+}L{\to}A$ 映射的实时操作策略范式，通过融合**DINOv3 视觉编码器**、**BERT 轻量文本编码器**与**堆叠双向交叉注意力交互**，仅用 **0.2B 参数**即可在 RTX 4090 上以 **32 Hz** 实时闭环控制，其特别之处在于把大语言模型彻底移出执行路径。实验表明 **LIBERO 平均成功率 97.7%**，超过 $\pi_{0.5}$（96.9%）与 CogVLA（97.4%）等十亿级模型，同时推理显存仅 **0.9 GB**，为消费级显卡上的实时具身智能部署提供了重要借鉴。 **视频讲解**：[点击观看 B 站视频](https://www.bilibili.com/video/BV14FMk6QECv) [TOC] ## 论文基本信息 | 项目 | 内容 | |---|---| | 标题（英文） | TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM | | 标题（中文） | TurboVLA：$<$1 GB 显存、RTX 4090 上 32Hz 实时运行的视觉-语言-动作模型 | | 作者 | Hengyi Xie, Chenfei Yao, Xianjin Wu, Xuanyang Xi, Yiping Tang, Di Xu, Yingying Zhu, Dingkang Liang, Xiang Bai, Han Ding | | 机构 | 华中科技大学 & 华为技术有限公司 | | 会议 | arXiv 2026（arXiv:2607.27205） | | arXiv | https://arxiv.org/abs/2607.27205 | | 项目网站 | 暂无独立项目页（论文称代码开源，见 arXiv:2607.27205） | ## 背景与动机 **为什么现有 VLA 难以实时部署？** 当前视觉-语言-动作模型的主流设计是 **LLM 中心化**（$V{\to}L{\to}A$）：RT-1/RT-2、OpenVLA、PaLM-E、$\pi_0$、CogVLA 等把大语言模型当作感知与动作之间的"中央桥梁"，每次控制调用都要付出十亿级参数的前向计算与显存开销（OpenVLA 单次推理 202.9 ms、占 14.9 GB 显存）。轻量与加速方向（TinyVLA、RoboMamba、SmolVLA、Evo-1、DreamVLA）从动作侧（连续动作头、动作 tokenizer、并行解码）或骨干侧（压缩模型规模、状态空间骨干）提效，**但仍保留 LLM 中心接口**，没有从根源移除这笔开销。 TurboVLA 的关键观察是：**当指令已经明确技能时，执行策略并不需要开放式语言生成**——语言的作用只是决定视觉证据如何指导动作。因此论文把 VLA 范式重构为直接 $V{+}L{\to}A$ 执行映射（Grounding DINO 的双向交叉注意力视觉接地机制被引入控制导向表示），用 0.2B 参数、0.9 GB 显存、31.2 ms 延迟拿到了 97.7% 的 LIBERO 平均成功率。论文还从"范式重述（P6）、审计负载假设（P1）、替换算子（P2）"三个创新模式论证了这一范式转变为何成立：去语言消融 97.7%$\to$70.8%（Goal 套件仅 11.6%）证明语言本身负载关键，而移除 LLM 中心后性能不降反升。 从历史视角看（附录 H），VLA 经历了 **LLM 中心化兴起（2022–2024）→ 轻量与加速浪潮（2024–2026）→ TurboVLA 范式切换（2026）** 三个阶段。附录 A 的 LIBERO 全量基线对比（14 个基线）清楚显示：无论是否使用具身预训练（Emb. PT.），所有保留 LLM 中心的模型都在效率上付出代价： | 方法 | Emb. PT. | Params (B) | VRAM (GB) | Lat. (ms) | Avg. (%) | |---|---|---|---|---|---| | Diffusion Policy (RSS'23) | ✗ | 0.3 | 1.1 | 924.8 | 72.4 | | OpenVLA (CoRL'24) | ✓ | 7.5 | 14.9 | 202.9 | 76.5 | | $\pi_0$ (RSS'25) | ✓ | 3.2 | 12.3 | 84.2 | 94.2 | | UniVLA (RSS'25) | ✓ | 7.6 | 15.0 | 173.8 | 95.2 | | $\pi_{0.5}$ (CoRL'25) | ✓ | 3.4 | 12.8 | 93.6 | 96.9 | | CogVLA (NeurIPS'25) | ✓ | 8.3 | 16.1 | 115.5 | 97.4 | | Mantis (CVPR'26) | ✓ | 4.9 | 7.9 | 198.7 | 96.7 | | MM-ACT (CVPR'26) | ✗ | 8.2 | 16.3 | 723.2 | 96.3 | | VLA-JEPA (ECCV'26) | ✓ | 2.8 | 5.3 | 108.7 | 97.2 | | VEGA-3D (ECCV'26) | ✓ | 9.0 | 16.0 | 546.4 | 97.3 | | OpenVLA-OFT (RSS'25) | ✓ | 7.7 | 15.7 | 112.2 | 97.1 | | DDVLA (ICML'26) | ✓ | 7.5 | 14.5 | 60.8 | 96.4 | | SmolVLA (arXiv'25) | ✗ | 2.3 | 7.1 | 203.1 | 88.8 | | DreamVLA (NeurIPS'25) | ✗ | 0.7 | 1.5 | 128.0 | 92.6 | | VLA-Adapter (AAAI'26) | ✗ | 1.5 | 4.3 | 87.3 | 97.3 | | Evo-1 (CVPR'26) | ✗ | 0.8 | 1.7 | 137.2 | 94.8 | | **TurboVLA (Ours)** | ✗ | **0.2** | **0.9** | **31.2** | **97.7** | ## 研究主线：从问题到结论  **图 7：TurboVLA 研究主线——问题（LLM 中心化 VLA 延迟高）→ 动机（执行级控制无需开放语言生成）→ 设计（直接 V+L→A 映射）→ 方法（双向交叉注意力）→ 实验（LIBERO/双臂/真机）→ 结论（97.7% 成功率、31.2 ms 延迟）**（Mermaid 流程图） ## 基准/方法设计 TurboVLA 的核心设计思想是：**移除执行路径中的大语言模型，用直接 $V{+}L{\to}A$ 映射取而代之**。四个关键设计要素支撑了这一范式： - **保留完整指令 token 序列**：对象、属性、空间关系以 token 粒度参与细粒度视觉条件化，而非池化成一个向量。 - **双向交互**：视觉$\to$指令注入场景上下文，指令$\to$视觉条件化任务语义，两者互补。 - **状态特征后置**：机器人状态只在解码器输入，让交互模块专注任务条件化的场景理解。 - **单次前向动作块**：无动作 token 化、无自回归生成，直接并行预测 $H$ 步连续动作。  **图 1：从 LLM 中心化 VLA 到 TurboVLA：(a) 直接融合视觉与指令特征做连续控制；(b) 相近的 LIBERO 性能下延迟与规模大幅下降** ## 分类全景  **图 8：VLA 研究谱系分类全景——LLM 中心化（RT-1/RT-2、OpenVLA、PaLM-E、π0、CogVLA）、轻量/加速（TinyVLA、RoboMamba、SmolVLA、Evo-1）、语言条件化策略（CLIPort、BC-Z、CALVIN、PerAct）与直接映射（TurboVLA）**（Mermaid 分类树） ## 方法细节 TurboVLA 的结构"简单到极致"：**编码器 + 交叉注意力 + 动作解码器**——性能靠范式正确性而非模型容量。 - **多模态编码**：DINOv3 视觉编码器 + BERT 轻量文本编码器，投影到共享维度 $d{=}256$；机器人状态独立编码。 - **双向视觉-语言交互**：$N{=}6$ 层堆叠双向交叉注意力，产生任务条件化的视觉特征与场景感知的指令特征。 - **动作块解码**：ACT 式 transformer 解码器，$H$ 个可学习动作查询**并行**预测整段连续动作，单次前向完成。 - **训练**：行为克隆 + $\ell_1$ 损失，无辅助语言建模目标；学习率 $5\times10^{-5}$，4 张 RTX 4090。  **图 2：TurboVLA 总览：(a) 视觉观察与语言指令经紧凑编码器后直接映射为连续动作块；(b) 交互模块仅由堆叠双向交叉注意力构成** ## 实验设计与结果 **评测协议**：LIBERO 四套件（Object/Spatial/Goal/Long）$\times$ 10 任务，使用 OpenVLA 版 `no_noops` 数据、单模型混训、动作视界 $H{=}12$，每任务 50 次 rollout（共 2000 次试验，VLA-Adapter 协议）；RoboTwin 2.0 的 50 个双臂语言条件任务（clean 演示）、单模型、14 维关节动作、$H{=}50$，每任务 100 次（StarVLA 框架）；AgileX Piper 真机四类任务每任务 40 次试验，从 LIBERO 预训练权重微调（$4{\times}65$ 条演示、12.5k 步）。效率指标在 RTX 4090 单卡 batch=1 下实测。 **LIBERO 主表**（与最强十亿级基线对比）： | 方法 | Params (B)↓ | VRAM (GB)↓ | Latency (ms)↓ | Avg. (%)↑ | |---|---|---|---|---| | OpenVLA (CoRL'24) | 7.5 | 14.9 | 202.9 | 76.5 | | $\pi_{0.5}$ (CoRL'25) | 3.4 | 12.8 | 93.6 | 96.9 | | CogVLA (NeurIPS'25) | 8.3 | 16.1 | 115.5 | 97.4 | | VLA-JEPA (ECCV'26) | 2.8 | 5.3 | 108.7 | 97.2 | | VLA-Adapter (AAAI'26) | 1.5 | 4.3 | 87.3 | 97.3 | | Evo-1 (CVPR'26) | 0.8 | 1.7 | 137.2 | 94.8 | | **TurboVLA (Ours)** | **0.2** | **0.9** | **31.2** | **97.7** | 97.7% 平均成功率超过 $\pi_{0.5}$（96.9%），同时只用了其 $\sim$6% 参数、$\sim$1/3 延迟、$\sim$1/14 显存。 **消融实验（附录 B）**： - **语言条件化不可替代**：去掉语言条件 97.7%$\to$70.8%（LIBERO-Goal 套件暴跌至 11.6%）；换成任务 ID 嵌入仅恢复到 95.4%。 - **文本编码器选择**：BERT 97.7%（216.1M）$>$ T5-Small 97.1%（141.9M）$>$ SigLIP-Base 95.5%（216.9M）。 - **双向交互最优**：无交互 95.2% $\to$ 语言查询视觉 96.1% $\to$ 视觉查询语言 96.5% $\to$ 双向 97.7%。 - **深度与视界**：深度 $N$：2$\to$93.5%、4$\to$95.7%、6$\to$97.7%、8$\to$96.6%；视界 $H$：8$\to$96.4%、12$\to$97.7%、15$\to$95.6%——$N{=}6$、$H{=}12$ 为最佳点。  **图 3：视觉-语言交互变体：(a) 直接拼接 (b) 仅指令更新 (c) 仅视觉更新 (d) 双向交互联合更新双流**  **图 4：动作视界 $H$ 对 LIBERO 的影响：$H{=}12$ 为最佳点，过长使块预测更困难** **双臂扩展（附录 D）**：RoboTwin 2.0 上 60.2% 平均成功率，超越 $\pi_{0.5}$（57.0%），0.4B 参数、43.4 ms 延迟： | 方法 | 训练 | Params (B) | Lat. (ms) | Avg. (%) | |---|---|---|---|---| | DP3 (RSS'24) | 每任务 | 0.3 | 78.4 | 55.2 | | $\pi_0$ (RSS'25) | 每任务 | 3.2 | 87.6 | 46.4 | | UP-VLA (ICML'25) | 多任务 | 1.6 | 74.3 | 52.9 | | $\pi_{0.5}$ (CoRL'25) | 多任务 | 3.4 | 95.6 | 57.0 | | StarVLA-$\alpha$ (ECCV'26) | 多任务 | 3.8 | 74.9 | 50.3 | | **TurboVLA** | 多任务 | **0.4** | **43.4** | **60.2** | **真机验证**：AgileX Piper 上四类任务（抓滚筒 / 移扑克牌 / 按订书机 / 叠三个碗），从 LIBERO 权重微调 12.5k 步，每任务 40 次试验，成功率优于同协议 $\pi_{0.5}$。  **图 5：AgileX Piper 真机评测：腕部 + 第三视角 RGB-D 相机；右上为 TurboVLA 与 $\pi_{0.5}$ 的成功率对比，右下为定性执行示例**  **图 6：TurboVLA 以 0.2B 参数、0.9 GB 推理显存、31.2 ms 策略延迟实现紧凑本地部署与实时语言条件化操作** ## 结果对比总结  **图 9：结果对比总结——TurboVLA 以 0.2B 参数、0.9 GB 显存、31.2 ms 延迟超越 CogVLA 97.4%，实现 RTX 4090 上 32 Hz 实时闭环，双臂 RoboTwin 60.2% 超 π0.5 的 57.0%**（Mermaid 结果对比图） ## 关键发现 - **范式比容量更关键**：直接 $V{+}L{\to}A$ 通路同时赢下性能、延迟、显存三线——97.7% 对 $\pi_{0.5}$ 的 96.9%，参数仅其 $\sim$6%、延迟 $\sim$1/3、显存 $\sim$1/14。 - **语言是负载关键**：去掉语言条件 97.7%$\to$70.8%，其中 Goal 套件从高位跌至 11.6%；任务 ID 嵌入只能恢复到 95.4%，语义语言信息不可替代。 - **双向交互逐步归因**：无交互 95.2% $\to$ 单向 96.1%/96.5% $\to$ 双向 97.7%，每加一条信息通路都有实打实的收益。 - **超参数存在甜点**：交互深度 $N{=}6$（97.7%）优于 $N{=}2$（93.5%）与 $N{=}8$（96.6%）；动作视界 $H{=}12$（97.7%）优于 $H{=}15$（95.6%）。 - **跨具身可迁移**：双臂 RoboTwin 2.0 达 60.2%（超 $\pi_{0.5}$ 的 57.0%），0.4B 参数、43.4 ms；真机 40 次试验协议下优于同协议 $\pi_{0.5}$。 - **文本编码器影响明确**：BERT（97.7%）$>$ T5-Small（97.1%）$>$ SigLIP-Base（95.5%），语义理解能力决定语言条件化上限。 ## 局限性 - **无具身预训练**：TurboVLA 从零训练（无 Emb. PT.），泛化与数据效率依赖 LIBERO 规模，更大数据上的表现未知。 - **RoboTwin 仅 clean 场景**：未使用随机化场景数据；双臂任务集（50 个）与真机任务（4 个）覆盖仍窄。 - **轻量文本编码器边界**：BERT 无法承担开放式推理/任务分解，长时域任务（LIBERO-Long 94.2%）仍有明显差距。 - **效率度量单点化**：延迟与显存在单张 RTX 4090、batch=1 下测量，未覆盖低端边缘设备与批处理场景。 ## 常见问题（FAQ） ### TurboVLA 为什么不需要大语言模型？ 当指令已经明确技能时，执行策略只需用指令决定视觉证据如何指导动作，不需要开放式语言生成。TurboVLA 用直接 $V{+}L{\to}A$ 映射替代 LLM 中心化的 $V{\to}L{\to}A$，把大语言模型从执行路径中彻底移除。 ### 0.2B 参数如何达到 97.7% 的 LIBERO 平均成功率？ 靠范式正确性而非模型容量：保留完整指令 token 序列做细粒度视觉条件化，用 6 层双向交叉注意力让视觉与指令互相条件化，再以并行动作块解码单次前向输出 $H{=}12$ 步动作。消融显示双向交互与语义语言各自贡献了约 2 个百分点。 ### 双向交叉注意力解决了什么问题？ 它让视觉特征携带任务语义、指令特征携带场景上下文，两者联合更新（对应交互消融从单向 96.1%/96.5% 提到双向 97.7%）。该机制源自 Grounding DINO 的视觉接地思想，被引入控制导向表示。 ### 真机部署需要多少数据？ AgileX Piper 真机仅需 4$\times$65 条演示、12.5k 步微调（从 LIBERO 预训练权重出发），每任务 40 次试验即达到优于同协议 $\pi_{0.5}$ 的成功率，且推理仅占 0.9 GB 显存，可与感知/规划共享单卡。 ### TurboVLA 能处理长时域任务吗？ 部分可以：LIBERO-Long 达 94.2%，但轻量文本编码器无法承担开放式推理与任务分解，长时域任务仍是明显短板（作者展望用更轻的骨干与更强的交互机制推广）。 ### 如何复现 TurboVLA？ 代码开源；单模型混训 LIBERO 四套件（$H{=}12$），行为克隆 + $\ell_1$ 损失、学习率 $5\times10^{-5}$、4 张 RTX 4090，约 2000 次 rollout 的 VLA-Adapter 评测协议，消费级显卡即可实时闭环验证。 ## 参考链接 - TurboVLA 论文（arXiv:2607.27205）：https://arxiv.org/abs/2607.27205 - OpenVLA: An Open-Source Vision-Language-Action Model（CoRL 2024）：https://arxiv.org/abs/2406.09246 - $\pi_0$: A Vision-Language-Action Flow Model for General Robot Control（RSS 2025）：https://arxiv.org/abs/2410.24164 - LIBERO: Learning Language-Conditioned Robot Behavior from Offline Data（CoRL 2023）：https://libero-project.github.io/ - Grounding DINO: Marrying DINO with Grounded Pre-Training（ECCV 2024）：https://arxiv.org/abs/2303.05499 - ACT: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware（RSS 2023）：https://arxiv.org/abs/2304.13705 - RT-1: Robotics Transformer for Real-World Control at Scale（2022）：https://arxiv.org/abs/2204.01691 - RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control（2023）：https://arxiv.org/abs/2307.15818 --- > 给大家推荐一款自用写文献综述、无虚构文献的 AI： > > 🌟 **复旦大学 FudanNLP 团队自研 [切问学术](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi)** > > 官网：[qiewenpaper.com](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi) > > 覆盖 **3.6 亿篇**可溯源真实中英文文献，能自动整合文献观点生成规范综述 > > 还能挖掘研究创新点、复现实验，配合视频教学，新手快速上手文献综述写作 --- > **🍀后记🍀** > > 博客的关键词集中在编程、算法、机器人、人工智能、数学等等，持续高质量输出中。 > > **🌸讨论QQ群**：[白拾的小屋](https://qun.qq.com/universal-share/share?ac=1&authKey=Suzrb5NKb9KulvZxFC8EMFvcd6jgVp%2B%2BnTG8h351HWQorXVfvI1n5QwEX5dlJyTh&busi_data=eyJncm91cENvZGUiOiI3NTAzNjU3MDAiLCJ0b2tlbiI6IlpFL2xLaGYxdXU4cWJPT2dJTkY3aExnWHNaQ1UrL3NJbWprenhLZitWUHVVNmhIR1M5SkZrS09SWmxKNlRreksiLCJ1aW4iOiIyMjc1OTYwNDg2In0%3D&data=hgymRnqgtjQPGoBKhZ8cEyznp0CMLWfCbG4rfiWIADCArVXw50a7c-Q4MWU2Eq3dwOUjG19hamAWQQU4lY-cOQ&svctype=4&tempid=h5_group_info) (750365700) > > **⭐B站账号**：[白拾的物理AI组会](https://space.bilibili.com/98639326)（活跃于知识区和动画区） > > **✨GitHub主页**：[YhbCode000](https://github.com/yhbcode000)（工程文件）