具身智能VLA推理实时保证方法Deltoris

硅谷秋水

487人浏览 · 2026-10-26 13:39:38

硅谷秋水 · 2026-10-26 13:39:38 发布

论文：Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference（上海交大 / 中科院计算所，arXiv 2608.04428，2026 年 8 月预印本）

一、问题与动机

基于扩散的 VLA 模型（Diffusion Policy、PAD、UVA 等）动作质量好、泛化性强，但推理很慢。机器人闭环控制一般要 50–200 Hz，而 PAD 在 Orin 上只能跑到约 2 Hz。作者给出两个观察：

扩散 VLA 主要受算力限制：屋顶线分析显示，在 Orin 上这些模型都落在 compute-bound 区。去噪过程占总执行时间的 91.1%。
相邻控制步的输入高度相似：在 PushT 数据集上，相邻帧有 98.5% 以上的像素完全不变，平均差值只有约 1.3。

如图 1 所示VLA模型的推理流水线：

二、方法：三部分软硬件协同

1. 时间感知的位级稀疏（Temporal-aware Bit-level Sparsity）

对线性层用差分计算：$y_t = y_{t-1} + W\Delta x_t$，其中 $\Delta x_t = x_t - x_{t-1}$。
$\Delta x_t$ 用符号-幅值表示，比补码的有效 1 bit 更少。计算时按 bit 串行，只处理值为 1 的位：$W\Delta x = (-1)^s\sum_b W\cdot v_b\cdot 2^b$。
适用于输入投影、MLP、QKV、cross-attention 和输出投影。self-attention 的两个操作数都随输入变化，展开后加法太多，所以只做传统的单操作数位稀疏（作者给出的数据是它只占 5.9% 的时间）。
选择利用帧间相似、而不是去噪步间相似。理由有两点：帧间的位稀疏度更高（6.8–11.4× 对 2×）；而且蒸馏会让去噪步数越来越少，步间相似性会逐渐消失，帧间相似性则会一直存在。作者认为两者正交，可以叠加。
位稀疏度从只利用权重时的约 2× 提高到 6–11×，运算量减少约 93%。

2. 推测推理（Speculative Inference）

新问题：差分计算遇到非线性层时必须还原出完整值，所以要读写上一帧的激活。朴素实现会让片外访存增加约 1.8×，负载从 compute-bound 变成 memory-bound。
做法类似 LLM 的推测解码：
- 小模型自回归地预测未来 k 帧的观测和状态 $(O', S')$；
- 大模型对这 k 帧做批量验证，权重只加载一次，相邻帧的激活也一起加载、一起求差分；
- 当 $|S_{t+1}-S'_{t+1}|<\theta_{th}=0.01$ 时接受，否则从出错的那一步截断，重新开始推测。
这里的"小模型"并不是另外训练的网络，而是同一个模型只跑约 1/5 的去噪步数，属于免训练方案。窗口取 k = 3。

如图所示基于扩散VLA模型的扩散过程：

如图所示提出的推测推理概览：

3. 专用加速器架构

128 条 1D 脉动阵列，每条 64 个 bit-serial PE，采用 output-stationary 数据流。同一行的 PE 共用 sign/read/shift 控制信号，消除了传统位串行加速器中各 PE 之间的负载不均衡。
每 M = 16 行共享一次权重读取，减少 SRAM 访问。
编解码器：首帧和权重用向量量化，后续帧的差分用 CSR 稀疏格式压缩，以减少 DRAM 流量。
实现：TSMC 16nm，面积 2.45 mm²，SRAM 2 MB，频率 1 GHz。

如图所示Deltoris的智体架构：

三、主要结果

精度：只用时间位稀疏时与原模型逐位一致。加上推测推理后，平均成功率下降约 0.2%；单独换成小模型则会下降 7.7% 以上。
速度：相对 Orin GPU 快 24–46×（最高 34.2×，摘要口径）；相对 Cambricon-D、Ditto、Exion 分别快 6.1×、3.3×、4.3×。
能效：相对 GPU 节能 652–1040×。
消融：加时间位稀疏 1.5×，再加推测推理 3.5×，最后叠加压缩。

四、贡献

新的问题定位：据作者所知，这是第一个针对扩散 VLA 的软硬件协同工作。它指出机器人闭环控制里存在帧间时间冗余，这和视频、NeRF 里的时间冗余类似，但以前没有被用在 VLA 上。
把时间差分和位串行结合起来：之前的位稀疏工作（Pragmatic、BBS）只利用权重本身的零位，大约跳过 50% 的运算；本文把差分后的激活变成稀疏度极高的 bit 流，而且对线性层是精确计算，不是近似。
系统层面的一致性：作者发现稀疏化之后瓶颈转移到了访存，于是用推测推理和压缩接着处理新瓶颈。消融实验把这条"compute-bound → memory-bound"的链条讲得很清楚，这比只报一个加速比更有说服力。
推测推理用在扩散 VLA 上：以前的 Spec-VLA、KERV 都针对自回归 VLA。本文利用了一个特点：PAD、UVA 这类扩散 VLA 会同时预测未来观测，所以可以拿这些预测去驱动推测。
1D PE 阵列共享控制流：从结构上解决了 bit-serial 加速器长期存在的负载不均衡问题，设计简洁。

五、不足与疑问

方法层面

扩散噪声的帧间一致性没有讲清楚。去噪器的输入里包含每一帧重新采样的高斯噪声 $x’_T$。如果相邻帧的噪声独立采样，动作 token 部分的 $\Delta x$ 不可能稀疏。论文似乎默认固定噪声种子或复用噪声，但没有明说。这会影响动作的多样性和多模态性，而多模态性正是扩散策略的核心优势之一。
"逐位一致"只是相对量化模型而言。差分累加要做到精确，必须是整数运算、权重和激活定点化（8-bit），并且每帧的量化 scale 固定。所以对比的基准其实是 INT8 模型，而不是原始的 FP 模型。如果使用动态量化，差分就不成立。论文对这一点交代得不充分。
推测推理实际上削弱了闭环控制。验证用的大模型输入的是小模型预测的观测 $O'$，而不是真实传感器数据。所以"验证"检查的只是两个模型之间的一致性，没有和真实世界对齐，效果上相当于开环执行了 k 步。如果遇到外部扰动（物体被推开、碰撞），这个机制无法察觉。另外，Diffusion Policy 本身并不预测未来观测，DP 上的 $O'_{t+1}$ 是怎么得到的，论文也没有说明。
50 Hz 每步推理这个前提有争议。DP、π0 等主流方法都用 action chunking，一次预测 16–50 步、执行其中一部分，本来就不需要每个控制步都推理一次。论文没有和"chunking + 低频推理"这条现成路线做对比，动机因此被夸大了一些。
平均加速 ≠ 实时保证。实时系统关心的是最坏情况延迟。推测失败需要回滚，遇到场景突变、首帧、相机移动时差分稀疏度会下降。论文只报告平均加速比，没有给出尾延迟或最坏延迟。
状态缓存开销：差分计算要为每一层、每个去噪步保存上一帧的输出 $y_{t-1}$，存储量随"层数 × 去噪步数"增长。作者用推测和压缩缓解了它，但没有量化这部分容量需求。对更大的模型，2 MB SRAM 显然装不下。

实验层面

只在仿真上评测（Meta-World、PushT、LIBERO）。PushT 是固定视角、背景静止的 2D 场景，98.5% 像素不变的统计基本就是这类场景的最好情况。真实相机存在传感器噪声、光照闪烁和自动曝光，低位 bit 会频繁翻转，腕部相机则整帧都在运动，帧间稀疏度很可能大幅下降。"快速运动"实验只是跳帧模拟，说服力有限。
模型规模偏小、类型有限。论文没有覆盖 π0 / π0.5 这类以 VLM 为主干的 flow-matching VLA。在那类模型里 VLM 前向占比更高，"去噪占 91%"的结论不一定成立。
基线比较的公平性：ASIC 结果缩放到 8nm 后和 Orin GPU（通用芯片）比，34× 和 850× 这样的数字主要体现的是专用芯片相对通用芯片的优势。Cambricon-D、Ditto、Exion 都是作者自己用模拟器复现的，算力和缓存虽然做了对齐，但都按作者设定的配置运行。
加速来源偏重访存优化：只加时间位稀疏时，运算减少 93%，加速却只有 1.5×。大头来自推测推理和压缩。这说明标题里的"位级稀疏"单独贡献有限，而推测推理恰恰是会带来精度风险和闭环问题的那部分。
敏感性分析不够充分：阈值 $\theta_{th}=0.01$ 的物理单位以及它在不同任务之间能否迁移都没有讨论。窗口和阈值的扫描只在 PAD 一个模型上做了。另外，这是预印本（页眉还是 “Conference’17” 模板），尚未经过同行评审。

六、总评

Deltoris 的核心洞察（机器人控制中的帧间冗余）和"差分 + 位串行"的组合很巧妙，从 compute-bound 到 memory-bound 再到推测推理的逻辑链也完整，是一篇典型的体系结构风格协同设计工作。它最主要的风险在于把仿真里非常理想的时间相似性外推到真实机器人，以及推测推理在闭环安全性上的隐含代价。如果要在实际系统（比如你的 telegrip / LeRobot 机械臂）上参考，时间差分计算这部分最值得借鉴，因为它对线性层是精确的。推测推理则需要谨慎评估它对闭环反馈的影响。