摘要

 Robotic foundation models achieve strong generalization by leveraging internet-scale vision-language representations, but their massive computational cost creates a fundamental bottleneck: high inference latency. In dynamic environments, this latency breaks the control loop, rendering powerful models unsafe for real-time deployment.
 We propose AsyncVLA, an asynchronous control framework that decouples semantic reasoning from reactive execution. Inspired by hierarchical control, AsyncVLA runs a large foundation model on a remote workstation to provide high-level guidance, while a lightweight, onboard Edge Adapter continuously refines actions at high frequency.
 To bridge the domain gap between these asynchronous streams, we introduce an end-to-end fine-tuning protocol and a trajectory re-weighting strategy that prioritizes dynamic interactions. We evaluate our approach on real-world vision-based navigation tasks with communication delays up to 6 seconds. AsyncVLA achieves a 40% higher success rate than state-of-the-art baselines, effectively bridging the gap between the semantic intelligence of large models and the reactivity required for edge robotics.
 We present videos showcasing the performance and release our checkpoints and training code on our project page.

讨论和未来

 We presented AsyncVLA, a vision- and language-conditioned navigation framework that leverages a pretrained VLA for high-level visual and semantic understanding, with a lightweight Edge Adapter running onboard the robot for fast, adaptive action inference. This design enables robust navigation in dynamic and partially observable indoor environments and can effectively handle both static and dynamic obstacles while compensating for both network and inference latencies.
 We demonstrate that AsyncVLA consistently outperforms state-of-the-art baselines, including OmniVLA and OmniVLA-edge, in terms of collision avoidance, adherence to language instructions, and efficiency in goal-reaching. Notably, AsyncVLA maintains high performance even under latency up to 5 seconds, highlighting its robustness to communication latency between the workstation and robot, which is often unavoidable in real-world robot deployments. Furthermore, AsyncVLA shows strong generalization to out-of-distribution language instructions, demonstrating that it can still leverage the rich semantic understanding of OmniVLA while performing rapid inference with its Edge Adapter.
 Although AsyncVLA achieves strong performance in diverse navigation tasks, we are currently limited to using base VLAs with open-source weights that can be fine-tuned end-to-end—a step we found crucial to better align the VLA and Edge Adapter. Additionally, AsyncVLA is constrained by the limited amount of dynamic interactions in available navigation datasets. As future work, we plan to further decouple the base VLA and Edge Adapter policies so that only the Edge Adapter requires training, thereby reducing the computational cost of training AsyncVLA. We also aim to explore additional sources of dynamic interactions for training, such as human video.

我来详细分析这篇关于AsyncVLA的论文。这是一篇关于机器人导航的视觉-语言-动作模型（VLA）的异步控制框架研究。

论文概述

标题: AsyncVLA: An Asynchronous VLA for Fast and Robust Navigation on the Edge
作者: Noriaki Hirose, Catherine Glossop, Dhruv Shah, Sergey Levine
发表: arXiv:2602.13476v1, 2026年2月

核心问题

论文解决了一个关键挑战：如何将大规模机器人基础模型部署在边缘设备上，而不受计算成本的限制？

具体而言：

• 大型视觉-语言-动作模型（VLAs）具有强大的泛化能力，但推理延迟高
• 在动态环境中，高延迟会破坏控制回路，导致系统不安全
• 移动机器人通常无法搭载高性能GPU，需要远程工作站推理，引入网络延迟

核心贡献

1. AsyncVLA架构设计

论文提出了一个异步分层控制系统，灵感来自经典的分层控制理论：

┌─────────────────────────────────────────────────────────────┐
│                    AsyncVLA 架构                            │
├─────────────────────────────────────────────────────────────┤
│  外层循环 (Slow Outer Loop)                                  │
│  ├── 基础VLA (Base VLA): OmniVLA (8.27B参数)                │
│  ├── 运行在远程工作站 (RTX 4090)                            │
│  ├── 提供高级视觉和语义理解                                 │
│  └── 频率: ~5Hz (受推理延迟+网络延迟影响)                   │
│                                                             │
│  内层循环 (Fast Inner Loop)                                  │
│  ├── Edge Adapter (76M参数)                                 │
│  ├── 运行在机器人边缘控制器 (Jetson Orin)                   │
│  ├── 基于最新观察快速调整动作                               │
│  └── 频率: 8Hz                                              │
└─────────────────────────────────────────────────────────────┘

关键创新: Edge Adapter接收来自基础VLA的动作token嵌入（而非原始图像），同时处理当前最新观察，实现快速反应。

2. Edge Adapter详细架构

根据图2，Edge Adapter包含：

组件	说明
输入	1. 基础VLA的8×1024动作token嵌入（经投影压缩） 2. 当前图像 $I_t^s$ 的EfficientNet-B0特征 3. 拼接图像 $[I_t^s;I_{t-k}^s]$ 的特征（捕捉动态变化）
视觉编码器	EfficientNet-B0（轻量级）
图像分辨率	96×96（小于基础VLA的1/4）
主干网络	Transformer
动作头	4层MLP，预测N步动作块
参数量	76M（仅为基础VLA的0.9%）

Token投影机制: 基础VLA的动作嵌入原始维度为8×4×4096，通过两个MLP ResNet块压缩至8×1024，便于网络传输。

3. 训练策略

3.1 两阶段端到端训练

阶段1: 初始化训练
├── 冻结基础VLA的预训练权重 ψ
├── 从零开始训练Edge Adapter参数 θ
├── 从零开始训练Token投影器参数 φ
└── 目标: 获得合理的初始权重，不破坏基础VLA性能

阶段2: 端到端微调
├── 解冻所有参数: θ̂, φ, ψ
├── 联合优化整个异步系统
└── 目标: 更好对齐基础VLA和Edge Adapter的表示

3.2 动态轨迹重加权（Up-weighting Reactive Trajectories）

这是训练的关键创新，解决动态交互数据稀缺问题：

核心思想: 自动识别并上采样包含突发动作变化的训练序列

具体方法:

• 提取两个动作块参考：
  • A t = { a t + i ref , t } i = 0 N − 1 A^t = \{a_{t+i}^{\text{ref},t}\}_{i=0}^{N-1} At={at+iref,t​}i=0N−1​（当前坐标系）
  • A t − k = { a t − k + i ref , t − k } i = 0 N − 1 A^{t-k} = \{a_{t-k+i}^{\text{ref},t-k}\}_{i=0}^{N-1} At−k={at−k+iref,t−k​}i=0N−1​（延迟坐标系）
• 计算最终位姿距离: $\text{dist}(a_{t+N-1}^{\text{ref},t},a_{t-k+N-1}^{\text{ref},t-k})$
• 若距离 > 阈值 $d_{\text{th}}=1.0\text{m}$，则上采样该数据

效果: 强制Edge Adapter学习处理动态障碍物（如行人）、紧急避障等反应性行为。

3.3 训练目标函数

$$J(P)=J_{\text{im}}(P)+J_{\text{sm}}(P)$$

模仿损失 $J_{\text{im}}$:
$$J_{\text{im}}=\frac{1}{N}\sum _{i=0}^{N-1}\left[(a_{t+i}^{\text{ref}}-a_{t+i}{)}^2+(\Delta a_{t+i}^{\text{ref}}-\Delta a_{t+i}{)}^2\right]$$

• 第一项: 绝对位姿监督（学习大致方向）
• 第二项: 相对位姿变化监督（鼓励快速动作调整）

平滑损失 $J_{\text{sm}}$:
$$J_{\text{sm}}=\frac{1}{N}\sum _{i=0}^{N-1}(a_{t+i+1}-a_{t+i}{)}^2$$

4. 数据集与实现细节

训练数据混合:

数据集	内容	用途
GNM	6个公开数据集聚合（RECON, CoryHall等）	通用导航
LeLaN	野外视频+语言条件导航	语言理解
SACSoN (HuRoN)	包含行人的动态场景	动态避障

关键实现参数:

• 动作块大小 N = 8
• 控制频率 = 3Hz → 时间跨度 2.4秒
• 使用LoRA微调（仅训练5%参数）
• 有效批量大小 = 180（5×H200 GPUs，梯度累积）

实验评估

实验设置

硬件平台: Vizbot移动机器人

• 传感器: 鱼眼相机、追踪相机、轮速传感器
• 边缘计算: NVIDIA Jetson Orin (30W模式)
• 远程工作站: NVIDIA RTX 4090

网络延迟: 实测0.28-6.0秒（WiFi环境，见图4）

任务类型:

1. 目标位姿条件导航: 12-30米距离，10个复杂环境（含静态和动态障碍物）
2. 语言条件导航: 5-20米距离，12个环境，含分布外(OOD)指令

主要结果

表I: 定量分析摘要

方法	模型大小	2D位姿成功率	语言成功率	静态碰撞	动态碰撞	到达时间
OmniVLA-edge	108M	0.25	0.25	0.80	-	76.36s
OmniVLA	8.26B	0.45	0.30	0.70	1.05	70.73s
Ours (无E2E)	8.27B+76M	0.25	0.25	0.82	1.05	82.78s
Ours (workstation)	8.27B+76M	0.30	0.30	0.89	0.50	89.79s
Ours (AsyncVLA)	8.27B+76M	0.85	0.85	0.10	0.10	59.18s

关键发现:

• AsyncVLA成功率比最佳基线高40%（85% vs 45%）
• 碰撞率显著降低（静态碰撞0.10 vs 0.70，动态碰撞0.10 vs 1.05）
• 到达时间缩短15%

延迟鲁棒性分析（图7）

在人工控制的延迟条件下（0.2s, 2.0s, 5.0s）:

延迟	OmniVLA成功率	AsyncVLA成功率
0.2s	~0.45	~0.85
2.0s	~0.15	~0.75
5.0s	~0.00	~0.65

结论: AsyncVLA在5秒延迟下仍保持65%成功率，而OmniVLA完全失效。

定性分析

图5 - 行人避让场景:

• AsyncVLA: 检测到行人后减速避让，安全通过后继续前进
• OmniVLA: 由于动作更新延迟，与行人发生碰撞

图8 - 不同延迟下的轨迹:

• AsyncVLA在不同延迟下保持相似的最优轨迹
• OmniVLA在2秒延迟时开始偏离，5秒延迟时完全失败

图9 - 动作块可视化:
展示了Edge Adapter如何基于当前观察（含行人）修正基础VLA的延迟动作（不含行人），实现动态避障。

技术贡献总结

方面	贡献
架构	首个将大型VLA与小型边缘模型异步解耦的导航框架
训练	端到端训练协议+动态数据重加权策略
鲁棒性	可处理高达6秒的网络延迟
实用性	在真实机器人上验证，代码和模型开源

局限性与未来工作

1. 依赖开源权重: 需要基础VLA可微调
2. 动态数据稀缺: 现有导航数据集动态交互不足
3. 未来方向:
   • 进一步解耦，仅训练Edge Adapter
   • 探索更多动态交互数据源（如人类演示）

与相关工作的对比

方法类型	代表工作	延迟处理	动态环境	网络延迟
小型VLA	MiniVLA, EdgeVLA	低延迟	有限	不适用
量化/蒸馏	BitVLA, SmolVLA	中等	中等	不适用
动作专家	π0, DiffusionVLA	~100ms	有限	不考虑
双系统VLA	Fast-in-Slow, OpenHelix	~300ms	极慢速物体	不考虑
AsyncVLA	本文	~5秒	真实行人	显式建模

结论

AsyncVLA通过异步分层架构、端到端训练和动态数据重加权，成功解决了大型机器人基础模型在边缘部署时的延迟瓶颈。该方法在保持强大语义理解能力的同时，实现了对动态环境的快速反应，为实际机器人部署提供了可行的技术路径。