论文：EdgeDAE: Acceleration of Diffusion Action Experts for Real-Time Physical AI with Tiny VLAs on Edge FPGA-GPU Systems（UC Irvine）

一、方法概述

要解决的问题：Octo 这类小型 VLA 的推理分两部分：

• ViT 主干：计算量大，适合放在 GPU 上跑。
• 扩散动作头（DAE）：一个约 1.7–1.8M 参数的 3 层残差 MLP，每输出一个动作都要迭代去噪 20 步。

作者在 Jetson Orin Nano 上测得 DAE 耗时 56 ms，比主干（48 ms）还慢。他们的解释是：DAE 每一步都要从 DRAM 重新读一遍权重，属于访存瓶颈，GPU 的算力用不满。

核心思路：异构分工。ViT 主干留在 Jetson Orin Nano 上；DAE 卸载到 Xilinx Kria KR260 FPGA 上运行，频率 250 MHz。两块板子之间用 1 Gbps UDP 只传一个 readout token，实测通信 70 μs。

硬件设计要点：

模块	设计
全片上存储	权重、偏置、量化 scale、LayerNorm 参数、时间编码、DDPM 调度常数全部常驻 URAM/BRAM，去噪循环中完全不访问片外内存
量化	两种方案：① 逐通道 INT8，P=128 MAC/cycle；② NF4-g16 混合精度，输入/输出投影层仍用 INT8（约占参数 5%），ResNet 块用 NF4 + 每 16 个权重一个 16-bit scale，P=64 MAC/cycle
QLU 计算单元	把不同形状的矩阵乘手动展平成统一循环，II=1；双端口 URAM 每周期读两路权重；NF4 的 16 个量化级别预先乘好 scale，反量化变成一次查表
SiLU	256 项 sigmoid 查找表，与 MAC 循环解耦，避免读端口冲突
GRNG	4 路独立 Xorshift128 + Box-Muller，每周期产生 4 个高斯样本，不在关键路径上
DDPM 单元	调度系数和时间编码都只依赖步数 t，编译期预先算好；更新公式做成三级流水，动作裁剪也融合进流水

如图所示EdgeDAE 系统架构（左）与 DDPM 推理计算图（右）：

主要结果：

指标	Octo-Small	Octo-Base
DAE 延迟（Jetson → FPGA，INT8）	56.06 → 1.38 ms（40.6×）	57.00 → 1.80 ms（31.7×）
端到端延迟	104.18 → 49.50 ms（−52.5%）	142.59 → 87.39 ms（−38.7%）
吞吐	9.60 → 20.20 it/s	7.01 → 11.44 it/s
能效	1.467 it/J（相对 RTX 4090 为 17.3×）	0.742 it/J（相对 Jetson 为 1.13×）
精度（Bridge 离线评测）	INT8 / NF4 的成功率与 FP32 相差都在 1.5 个百分点以内	NF4 的 MSE 比 FP32 低 6.84%

二、贡献

如图所示向量化 GRNG 单元：

1. 系统层面的切分很准。论文把 VLA 推理拆成"计算密集的主干"和"参数很小、迭代很多的 DAE"两种负载，并指出后者的权重可以完整放进片上存储。DAE 足够小，能整体放进 FPGA 片上，同时又是边缘 GPU 上的延迟瓶颈，这个工作点以前很少有人专门做。
2. 为 DAE 做了完整的专用数据通路。噪声生成、量化 MLP、DDPM 更新都在片上完成，不需要主机参与，延迟也是确定的。
   • 时间编码和调度常数是常量，可以预先算好，这个观察简单但有效。
   • 硬件数据可信：Small 模型约 1.7M 参数，在 128 MAC/cycle 下每步约 13k 周期，20 步在 250 MHz 下约 1.1 ms，与报告的 1.38 ms 基本吻合。

3. 两种量化方案可以互换，权衡讲得清楚。INT8 延迟最低；NF4-g16 让 URAM 用量减半，代价是延迟大约翻倍。同一套 QLU 同时支持两种方案，工程上比较干净。

如图所示宽型 QLU 计算架构：

4. 验证了 NF4 优于均匀 INT4。在 Base 上，分组 INT4 的成功率是 81.70%，NF4 是 85.90%；不分组的 INT4 在 Small 上成功率接近 0。这说明 4-bit 方案对 DAE 质量影响很大。

5. 做出了真实可运行的端到端原型（Jetson + KR260），而不只是仿真。

三、不足与质疑

1. GPU 基线很可能偏弱，这是最关键的问题

• 56 ms 不符合访存瓶颈的解释。DAE 约 1.8 MB（INT8；FP32 约 7 MB），20 步总共读约 36–140 MB。Orin Nano Super 的带宽约 100 GB/s，纯读权重的时间只有约 0.4–1.4 ms，远小于 56 ms。
• 真正的瓶颈更可能是框架和 kernel 启动开销。batch=1 时每步要启动几十个小 kernel，20 步就是几百次启动。论文说主干用 torch.compile 的 reduce-overhead 模式编译成一个整体，但 DAE 似乎没有做同样的优化。
• 论文没有给出 profiling 证据（例如 roofline、带宽利用率、kernel 时间线）来支撑"访存瓶颈"的说法，也没有和 CUDA Graph / TensorRT / INT8 优化后的 GPU DAE 对比。按我的粗略估计，优化后的 GPU DAE 可能只需几毫秒。如果是这样，FPGA 在 DAE 上的优势会从 40× 降到个位数倍，端到端收益也只剩几个百分点。
• 第 3.2 节的论证前后不一致：用 INT8 的 1.8 MB 和 L2 容量比较，但 GPU 基线跑的应该是 FP32。而且表 3 中 Small 的 INT8 片上占用实际是 1.21 MB。

2. 能效对比有误导性

• "相对 RTX 4090 提升 17.3×"的大部分功劳属于 Jetson，不属于 FPGA。Jetson 基线本身就有 1.037 it/J，已经是 4090 的约 12 倍。FPGA 带来的实际提升只有 1.467/1.037 ≈ 1.41×（Small）和 1.13×（Base）。
• 4090 的数据都不是实测：延迟抄自 Octo 仓库（JAX 实现，测试条件不同），功耗直接取 200 W。
• FPGA 功耗用的是 Vivado post-P&R 估计值（4.5–5.4 W），不是 KR260 整板实测功耗，没有算上 ARM 核、DDR、外设和网络。

3. 受 Amdahl 定律限制，加速后剩余空间很小

• DAE 加速之后，主干占 Octo-Base 总延迟的 97.9%，Small 也在 97% 左右。也就是说，EdgeDAE 已经把能优化的部分基本榨干，后续收益只能来自主干。
• 论文没有做 GPU/FPGA 之间的流水重叠（让第 n+1 帧的主干和第 n 帧的 DAE 同时跑），吞吐是串行算的。不过 DAE 只剩约 1–2 ms，重叠后吞吐也提升不了多少。

4. 适用范围窄，核心前提难以推广

• 全片上存储依赖 DAE 极小。KR260 片上总量约 2.9 MB，NF4 版本已经用掉 96–97% 的 BRAM。
• “NF4 为更大模型腾出空间”的说法站不住。URAM 确实省了一半，但 BRAM 已经满了，瓶颈只是从 URAM 换到了 BRAM。
• 主流新一代 VLA 放不进去。π0、GR00T 这类模型的动作专家有几百 M 参数，而且是带注意力的 Transformer，会访问 VLM 的 KV cache，不是独立的 MLP。全片上的前提直接失效。论文只验证了 Octo 一种模型。
• 没有和算法侧的替代方案比较。DDIM、少步采样、consistency/flow 蒸馏可以把 20 步降到 1–5 步，GPU 上的 DAE 开销会直接降一个数量级，而且不需要额外硬件。

5. 精度评测不够有说服力

• "成功率"不是真实机器人成功率。它是 Bridge 数据集上离线、开环的动作误差阈值指标（τ=0.15），没有任何闭环或真机实验。这和标题里的 “Real-Time Physical AI” 有落差。图 5 的任务名甚至还是占位文字 “manipulation task”。
• “NF4 降低 MSE 是隐式正则化”的解释缺乏依据。扩散采样本身是随机的，而且 FPGA 的 GRNG 和原始 JAX 的随机数生成器不同。差异只有几个百分点，论文没有报告多随机种子的方差和置信区间，很可能只是噪声。
• 没写清楚精度是在哪里测的：是在 FPGA 上实测，还是软件模拟量化？片上用的 16-bit 定点、SiLU 查找表近似对精度的影响也没有单独评估。
• GRNG 的统计质量没有验证（Xorshift128 + 定点 Box-Muller 的分布偏差）。
• 不分组的 INT4 出现 +1863% MSE 这种极端结果，论文也没有解释原因。

6. 创新性和工程完整性

• 量化方法创新有限。INT8 逐通道和 NF4 都是现成方案（NF4 来自 QLoRA）。"量化与模型规模解耦"其实只是把同一套方案用在两个模型上。主要创新集中在系统切分和 HLS 数据通路，属于工程整合。
• 系统层面的代价没有讨论：两块板子加 Ethernet UDP 带来的成本、体积、可靠性（UDP 丢包）和同步问题。也没有和"直接换更强的 Jetson（Orin NX/AGX）"对比性价比。
• 文稿质量有瑕疵：机构名写成 “Nhu Department”，图里有 “Controll” 拼写错误；Base NF4 的 URAM 用量正文说 28、表里是 32，前后不一致；摘要提到的定点运算协同设计在正文里几乎没有展开。

四、总体评价

EdgeDAE 抓住了一个实在的点：小型扩散动作头放在边缘 GPU 上效率很低，而它又小到可以整体放进 FPGA 片上。论文为此做了完整、自洽、可复现性较好的 FPGA 数据通路，DAE 本身的加速数字是可信的。

论文的问题在于收益的叙述方式：

• 40× 加速和 17× 能效，很大程度上来自偏弱的 GPU 基线和"Jetson 对比 4090"的功耗差，不是 FPGA 本身的贡献。
• 方法只适用于 DAE 极小的 Tiny VLA，对当前主流的大动作专家 VLA 推广性有限。
• 缺少真机闭环验证。

它更适合被看作一篇有启发性的 workshop/短文级系统原型。要让结论更有说服力，需要补三类实验：

1. 与优化后 GPU 基线（CUDA Graph/TensorRT）的公平对比；
2. 板级实测功耗；
3. 闭环真机成功率。