摘要： 视觉-语言-动作（Vision-Language-Action, VLA）模型已经成为实现通用机器人操作能力的一条重要技术路径。然而，VLA模型通常依赖密集视觉token和长时程闭环推理，这带来了较高的计算成本和推理延迟，阻碍其实时控制能力。VLA推理加速可以沿两个正交方向展开：一是token剪枝，即减少序列长度本身；二是低比特量化，即降低每次计算所需的比特数。Safe-Pruner解决的是前者，它是一种免训练、即插即用的剪枝框架，通过利用attention saliency的语义一致性，避免关键视觉token被错误移除。本文在Safe-Pruner的基础上进一步引入量化方向，通过应用HiFloat8（HiF8）实现剪枝与量化的联合加速。 本工作的核心发现如下：尽管激进剪枝后的VLA模型对量化极其敏感，HiF8仍然能够以最简单的数据流形式，在OpenVLA-OFT/LIBERO设置下直接以8-bit运行剪枝后的模型，并且相对于BF16没有任何成功率损失，即实现无损精度。这表明，HiF8凭借锥形精度分配能力与宽动态范围，能够准确表征剪枝后保留的少量任务关键Token，并维持精度敏感的动作

1. 背景与动机

1.1 视觉-语言-动作（VLA）模型

VLA模型将预训练视觉语言骨干网络与大规模机器人示范数据相结合，在单一策略模型中端到端处理视觉感知、语言理解和动作生成。它通常主要由视觉编码器、语言模型骨干网络和动作预测器组成。对于一个高度依赖低延迟、实时控制能力的具身智能体而言，这种强表达能力仍然伴随着较高的推理成本，因此模型需要更加轻量化的计算结构。

其中，视觉token尤其主导了序列长度和attention计算成本。在闭环控制结构中，模型需要在每一个控制步骤执行多阶段前向推理，推理延迟会直接影响控制稳定性。因此，轻量化加速是将VLA模型部署到真实机器人控制场景中的必要前提。

1.2 为什么VLA难以量化

与典型语言模型相比，VLA的低比特量化更加困难，主要有两个结构性原因。

首先，动作生成路径对精度高度敏感。VLA的输出是连续控制信号，通常来自回归、扩散或flow-matching类型的动作头。因此，一个很小的数值误差就可能直接转化为不准确的动作，并在闭环控制过程中逐步累积，最终导致任务失败。与语言任务不同，语言任务中的分类logits小扰动往往可以被模型吸收，而VLA对误差的容忍空间要小得多。

其次，也是本文语境下最重要的一点，量化误差可能与剪枝引入的精度损失相互叠加。包括 Safe-Pruner在内的基于saliency的视觉token剪枝方法，通常根据attention probabilities计算token的重要性。如果量化扭曲了这些attention数值，saliency估计就会发生偏移，本不该被移除的token会被不可逆地移除，进而导致性能级联式崩溃。因此，在该场景中，量化格式不仅决定最终输出的数值精度，也决定剪枝逻辑本身的可靠性。

1.3 为什么选择HiF8

这些挑战与HiF8的设计目标高度契合。HiF8采用锥形精度机制，可以根据数值大小动态分配指数位和尾数位：在分布密集的中心区域提供较高的表示精度，同时在分布尾部提供较宽的动态范围。因此，它能够在不依赖细粒度per-token / per-block scale的情况下，同时兼顾宽动态范围和高精度表示，也就是说，仅使用最简单的单一per-tensor scale即可完成有效量化。

尤其重要的是，HiF8能够在不显著扭曲attention数值的情况下进行表示。因此，当它与依赖 attention的剪枝方法结合时，可以保持剪枝决策的可靠性。

2. 方法
2.1 Safe-Pruner

Safe-Pruner是一种免训练、即插即用的视觉token剪枝框架，用于加速VLA推理。大多数现有剪枝方法仅依赖早期阶段信号，例如浅层attention，来决定哪些token应被剪除，并永久丢弃被判定为不重要的token。这会产生所谓的“短视选择”问题：某些只有在深层才变得重要的token，可能会在浅层阶段被过早移除。

图1 跨多帧图像的语义attention一致性

Safe-Pruner从语义attention一致性的观察出发：在同一任务的不同控制步骤中，VLA模型往往会将attention集中在具有相同语义的图像patch上，例如目标物体；即使这些patch的空间位置发生变化，这种attention集中趋势仍然会持续存在。基于这一观察，Safe-Pruner通过过去帧的saliency预测当前帧的saliency，即future attention forecast，并将其与浅层saliency融合，以选择重要视觉token，从而避免过早移除那些将在深层变得重要的token。为了处理子任务边界处attention pattern的突变，它还采用了一种基于saliency map余弦相似度的子任务边界检测策略，并自适应刷新参考关键帧。

Safe-Pruner的架构主要包括两个机制：Future-Aware Token Pruning 和 Subtask-Based Key Timestep Selection。

图2 Safe-Pruner架构

Future-Aware Token Pruning。 在VLA模型浅层中不吸引attention、因此看起来不重要的视觉 token，往往在进入深层后会变得显著。如果仅基于浅层信息剪除这样的token，就可能损害模型精度。Safe-Pruner因此会参考过去帧中相似的视觉token，并直接复用该token的attention score。具体而言，它通过计算当前patch embedding与关键帧中图像patch之间的余弦相似度，将当前图像patch与过去相似patch进行匹配，并引入对应的attention score，从而更好地保留深层重要token。

Subtask-Based Key Timestep Selection。 如果Future-Aware Token Pruning在每一帧都计算关键帧，那么几乎不会有视觉token被剪除，推理加速收益也会非常有限。因此，该方法选择按子任务缓存token attention score，即每个子任务只计算一次关键帧。相比简单的均匀时间划分，按子任务划分关键帧能够在更加一致的上下文中参考过去token的attention score，从而实现更加稳定的视觉剪枝。

本文以Safe-Pruner作为剪枝方向的基础，并在其上进一步叠加HiF8量化方向。

2.2 HiFloat8

HiF8（HiFloat8）是一种面向低比特训练和推理设计的8-bit浮点格式。与E4M3、E5M2等传统FP8变体不同，传统FP8通常固定指数位宽，而HiF8在8个bit中引入可变宽度的dot field，根据需要在指数位和尾数位之间动态分配 bit。其主要特性可以概括如下。

锥形精度。 对于normal values，HiF8会根据指数大小收窄尾数位：在中心区域保留3个尾数位，而在较大幅值区域逐渐减少到1–2个尾数位。通过将表示能力集中在高频中心区域，这种“中间精细、两端粗糙”的分布方式，结合可扩展极端范围的denormal encoding，总共能够覆盖约38个 binades，接近FP16的40个binades。该宽动态范围使跨越多个数量级的activation能够被直接表示，而无需细粒度rescaling，从而降低深层attention中overflow/underflow的风险。

2.3 将HiF8应用于VLA模型

本文以OpenVLA-OFT作为目标骨干网络。OpenVLA-OFT是一种VLA模型，它使用并行解码、action chunking和连续动作回归，取代逐步自回归解码；其主要计算量集中在Transformer骨干网络中的linear operations和attention matrix multiplications上。因此，HiF8量化被应用于这些计算密集路径。

具体而言，在每个Transformer layer中，我们使用HiF8执行以下部分：

Q/K/V projections；
output projection；
FFN 中的 gate/up/down projections。

对于最精度敏感的组件，即vision encoder和action head，则保持在相对更高精度，或根据需要使用HiF8执行；实验中的最终配置在第 3 章中说明。

由于Safe-Pruner是一个免训练的推理阶段框架，我们的HiF8量化同样应用于推理阶段。量化配置采用最简单的方案，直接遵循HiF8的设计理念。得益于HiF8的宽动态范围，整个tensor共享单一 scale 即可。

实现方式。 我们对weight和activation均应用HiF8量化。HiF8仿真算子复现了8-bit表示和rounding行为，因此成功率是在对硬件HiF8单元数值行为进行忠实仿真的条件下测得的。

3. 实验

3.1 实验设置

本文的目标骨干网络为OpenVLA-OFT，评测benchmark为LIBERO。LIBERO从四个操作维度评估VLA模型的泛化能力，包括四个suite，分别对应空间推理（Spatial）、以物体为中心的交互（Object）、目标导向执行（Goal）和长时程规划（Long）。每个suite包含10个操作任务，每个任务包含50个评估episode，总计2,000个episode。我们遵循标准评测协议，并使用官方公开权重，以保持结果的可比性。

主要评测指标为success rate，即任务完成质量。作为辅助参考指标，我们报告FLOPs，用于衡量理论计算复杂度。需要注意的是，FLOPs会独立于数值精度统计multiply-accumulate operations：它反映的是token剪枝带来的FLOPs降低，但并不能体现HiF8带来的收益，例如低比特宽度带来的memory和bandwidth节省，以及低比特矩阵计算单元上的更高吞吐。

3.2 主要结果

下表比较了四个 LIBERO suite 上的三种模型：未剪枝原始模型（Vanilla）、Safe-Pruner 剪枝后的 BF16 模型，以及在 Safe-Pruner 基础上进一步应用 HiF8 的模型。Vanilla 和 Safe-Pruner（BF16）两列来自 Safe-Pruner 原论文中报告的 OpenVLA-OFT 结果；Safe-Pruner + HiF8 列为本文实测结果。

Safe-Pruner + HiF8可以保持BF16精度

如果Safe-Pruner + HiF8列的平均成功率与Safe-Pruner（BF16）列基本一致，那么即使在序列长度已经通过剪枝减少到不到一半的高要求条件下，采用单一per-tensor scale的HiF8也能够无损复现BF16精度。该结果说明，在同时经受VLA动作生成路径精度敏感性和剪枝决策attention依赖性的考验后，HiF8仍是一种无需细粒度校准机制即可实际使用的8-bit格式。通过A5板端实测(下表)，Safe-Pruner+HiF8量化相对BF16端到端提速26.6%(仍在优化中)。

4. 讨论与总结

4.1 为什么 HiF8 在该场景下能够无损

剪枝后的VLA模型叠加了三层最不利于量化的条件。首先，剪枝后剩余的少量token都是任务关键token，几乎没有误差余量；其次，动作生成路径对小数值误差高度敏感；第三，剪枝决策本身依赖attention数值的保真度。尽管如此，HiF8仍然保持了BF16精度，这恰好可以由它的关键设计特征解释。

首先，锥形精度将表示能力集中在分布密集的中心区域，从而能够高精度捕捉剪枝后保留下来的关键token数值，以及对精度敏感的动作信号。其次，宽动态范围能够适配深层attention的宽分布，避免overflow/underflow，并且不需要细粒度rescaling，从而保持attention saliency不被扭曲。这种保真性会直接传递到Safe-Pruner的future-saliency prediction和subtask-boundary detection 中，使剪枝逻辑不会受到破坏。

总之，在剪枝后VLA这一严苛场景中，HiF8被验证为一种只需单一per-tensor scale的简单数据流即可保持BF16精度的量化格式。这为同时结合两条正交加速路径提供了一条实用方案：通过剪枝减少序列长度，通过量化降低bit-width，并且二者不会相互损害精度。

4.2 未来工作

本次验证范围包括单一骨干网络OpenVLA-OFT、单一benchmark LIBERO，以及与BF16的对比。未来工作可以沿以下方向继续展开：

扩展到更多骨干网络，例如π0.5和CogACT；
迁移到真实机器人场景中进行验证。

References

Safe-Pruner: Semantic Attention–Guided Future-Aware Token Pruning for Efficient Vision-Language-Action Manipulation. arXiv:2605.29662
Ascend HiFloat8 (HiF8) Format for Deep Learning. arXiv:2409.16626
OpenVLA-OFT: Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success. arXiv:2502.19645
LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning. NeurIPS 2023