假设你要在三个月内给自己的产线挑一个 VLA 模型。论文排行榜上第一名 89.7%，第二名 85.5%。你选了第一名，理由是只差这 4.2 个百分点，第一名还更贵一点，贵有贵的道理。

三个月后你发现，那个 89.7% 是官方发布权重的成绩；你在自己数据上按论文配方微调五万步之后，同一套本地评测器给出的是 57.8%。差的不是 4.2 个点，是 31.9 个点。

这不是我编的场景，是 RoboSeed 这份报告里真实记录的一组数字：LingBot-VLA 2.0 的官方权重在 RoboTwin Clean 上是 89.72%（4486/5000），本地训练出来的 50k checkpoint 在同一个评测器、同一批 50 个任务上只有 57.78%（2889/5000）。两次评测都是每任务 100 次 episode，没有跳过任何任务。

RoboSeed 想解决的问题就卡在这里：成功率是一个标量，而选型是一个向量问题。你要同时回答能不能做成任务、改得起改不起、部署装不装得下、它的机制值不值得跟、以及它的结论别人能不能复核。这篇报告的做法是把这个向量显式地拆成五个 0 到 100 的分量，把每个分量的算法写死到可以重跑，然后把 4 个模型家族、12 个 checkpoint 单元塞进同一张表里。

它还有一个我很欣赏的克制：当某个分量的输入测不出来时，它不给分，写一个横杠，并且拒绝给出总分。所以整篇报告的 12 个单元里，总分那一列全是横杠。这不是作者的疏忽，是这套框架最核心的一条规则。

一分钟速览

七条要点

• 问题：只看任务成功率选 VLA/WAM，会把能力、训练成本、部署成本、机制价值、证据强度五件不同的事压成一个数。
• 框架：五维打分，能力 P、下游训练可负担性 T、部署可负担性 D、本地可验证的研究价值 V、可复现证据 R，各 0 到 100。
• 归一化：成本和延迟用固定锚点的对数效用换算，锚点不随候选增加而漂移，每翻一倍固定掉 25 分。
• 缺失值：任一必需分量缺失，该维度与总分都只写横杠，不插值、不重分配权重，另算一个加权输入覆盖率 q 告诉你证据还缺多少。
• 实证：4 个家族（ABot-M0、LingBot-VLA 2.0、OpenWAM、LiLa-WAM）12 个 checkpoint 单元，主战场是 RoboTwin 的 50 任务 × 100 episode × 2 个场景，另有 LIBERO、LIBERO-plus、RoboCasa、CALVIN。
• 结论：原文按算力预算给了三条可执行的分档线，200 个 H200 卡时加 80% 成功率要 0.8B，250 卡时加 84% 要 Qwen3.5-2B，300 卡时加 85% 要 Qwen3-VL-4B。
• 代价：部署维度一个都没测出来（12 个单元全部横杠），训练成本只算了下游适配不继承预训练，所有本地结果都是单 seed 仿真。

这份框架最反常识的三处

第一处是它对自己方法的处理。作者自己训练的 ABot-M0 拿到了研究方向分 V 的最高值 75，理由不是「我们提出了更好的算法」，而是「我们有本地骨干对照，还把同一个 LIBERO checkpoint 零样本丢进 LIBERO-plus 测了一遍」。分数高的是证据，不是方法。

第二处是它的失败被算进了框架。作者明说，跨方法矩阵过不了他们自己设的第三道可比性闸门，所以任何跨方法的架构优劣都不能解读。一个评测框架主动声明自己的数据不支持某种结论，这在类似报告里并不常见。

第三处是它把「不可测」当成一等公民。部署维度需要预热后 batch 1 的峰值显存和 p95 请求延迟，报告里所有策略都缺这一对数据，于是 D 全空，总分全空。框架宁可交一张横杠表，也不交一个看起来完整的排名。

五个维度：把「选模型」拆成五个 0 到 100 的分量

评估单元是一个四元组，不是一个模型名

RoboSeed 的评估单元是 checkpoint、训练配方、执行接口、评测器四者的元组。这个定义比它看上去重要得多。

因为同一个权重，换一套接口（比如把关节目标换成末端位姿）、换一个评测器 commit（比如 ABot 用 13c3c47、OpenWAM 用 0aeea2d）、换一套动作维度的语义，出来的成功率就不是同一个量。报告里反复强调这一点：OpenWAM 官方权重与本地权重用的是同一个适配过的评测器，所以它们俩之间可以比；但 OpenWAM 的 93.84% 不能直接和 ABot 的 85.50% 比，因为评测器、动作空间、初始化、数据窗口全都不一样。

三道可比性闸门，先过闸再比分数

在给分之前，作者放了三道闸门：

1. 任务接口是否满足应用要求。用任务名选预计算视觉条件的策略，和能接受任意自然语言的策略，是两种能力，不能互相替代。
2. 训练范围是否一致。对一个已发布基座做下游适配，其成本不含继承来的预训练。
3. 因果性的架构排序需要匹配数据、输入与执行接口、精度、执行语义、硬件，以及多个训练 seed。

第三道闸是关键。作者的跨方法矩阵明确不过这道闸，所以他们的结论止步于「预算筛选」和「后续实验优先级」，不上升到「哪个架构更好」。这条自我限制，比很多榜单上直接排名的做法要诚实。

五个维度各自吃什么输入、支撑什么决策，原文用一张表对齐过，我把它压成下面这样：

维度	量化输入	支撑的决策
能力 P	Clean 与 Randomized 闭环任务成功率	这个候选能不能达到任务成功率要求
训练 T	实测的下游 H200 卡时	团队改得起、跑得起多轮实验吗
部署 D	权重大小、推理峰值显存、p95 延迟	策略装不装得进服务预算、来不来得及
研究价值 V	检查过的机制、对照、受控消融、迁移证据	哪些结论能支撑后续的机制研究
复现证据 R	配置映射、任务记录、覆盖率、训练记录、seed	这个结果别人能查到什么程度、能不能复现

这张表最值得注意的是第二行和第三行都在问「钱」，但问的不是同一笔：T 问的是把一个基座改成你能用的样子要花多少卡时，D 问的是把它搬到机器上以后每秒钟要花多少显存和毫秒。

能力 P：两个场景都齐了才给分

能力分的定义极简：

$$P=100\cdot \frac{p_C+p_R}{2}$$

pC 与 pR 分别是 Clean 与 Randomized 两个场景下的任务宏平均成功率。RoboTwin 每个场景里每个任务都是 100 次 episode，各任务分母相等，所以宏平均与微平均在这套设置下重合。

规则里最重要的是后半句：两个场景缺一个，P 就写横杠，不给区间也不插值。于是 LingBot 官方权重（89.72%，只有 Clean）和 LiLa-WAM 官方权重（89.60%，只有 Clean）都没有 P 分，它们的高成功率只留在各自的正文表里，不进评分表。

P 旁边还挂了一个 Wilson 95% 区间，但作者明确写了它的边界：这个区间只描述固定任务混合下的 episode 抽样，不含训练 seed 变化、任务总体不确定性、协议偏差。因此不能用区间重叠证明等价，也不能用小点差证明更优。

图 1｜RoboSeed 的三层结构：上为四个家族、模型配置与基准张成的评估矩阵；中为接口对齐到证据审计的复现流程；下为五维画像与配套的训练、评测证据。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

训练可负担性 T：把显卡时换成 0 到 100

对数效用：每翻一倍固定掉 25 分

T 的输入是一个纯物理量：分配的 H200 卡数乘以记录的训练时长，单位是卡时。

$$H=\sum _j{N}_j{t}_j,T=F(H;64,1024)$$

其中 F 是固定锚点的对数效用：

$$F(x;a,b)=100\cdot {\mathrm{clip}}_{[0,1]}\left(\frac{\log (b/x)}{\log (b/a)}\right)$$

锚点 (a, b) 取 64 与 1024 卡时，对应四张卡上跑 16 小时和 256 小时。低于 a 得满分 100，高于 b 得 0，中间按对数线性。因为是对数，成本每翻一倍固定掉 25 分。

固定锚点这个设计值得单独说。如果改用 min-max 归一化，那么每加一个新模型，所有人的分数都会变；而固定锚点让旧分数稳定，也让「0 分」有了确定含义——超出你声明的那条预算线，不等于方法没有价值。

实测值是这样的：0.8B 用了 174.1 卡时得 63.9 分，Qwen3-VL-2B 用 214.0 卡时得 56.5 分，Qwen3.5-2B 用 212.9 卡时得 56.6 分，Qwen3-VL-4B 用 288.1 卡时得 45.7 分，Qwen3.5-4B 用 394.4 卡时得 34.4 分，Qwen3.5-9B 用 509.2 卡时得 25.2 分。

注意 Qwen3.5-2B 的 56.6 比 Qwen3-VL-2B 的 56.5 高 0.1 分——同一台机器、同一批卡，这 0.1 分来自 212.9 与 214.0 卡时那 1.1 小时之差。

这个 T 不是什么

这条边界比公式本身更重要。T 度量的是「实测到的下游配方的设备成本」，它明确不是下面这些东西：

• 不是到共同成功率的算力。停掉的训练可以 T 很漂亮，同时 P 很惨，所以 T 永远不能单独读。
• 不是 time-to-90%，不是数据效率，不是 FLOPs，不是能耗，不是利用率，也不是价格。
• 不做硬件折算。RTX-5090 的小时不折算成 H200 的小时，所以 LiLa-WAM 仓库里那句「约 110 个 RTX-5090 卡时」只作为来源声明保留，不进评分。
• 不吃近似内存读数。表里那些 GiB 均值峰值保留在原始记录里，但不进 T，因为采样口径与单位不统一。

还有一条硬约束：官方 checkpoint 如果没有测得参考训练时长，T 也写横杠——哪怕你知道参考的更新步数和 batch。所以 LingBot 官方与 OpenWAM 官方的 T 都是空的。

同一张表里还留着一组容易被误读的内存读数：Qwen3.5-4B 的均值约 142.50 GiB、峰值约 143.00 GiB，而更大的 Qwen3.5-9B 反而只有 137.04 GiB 与 139.69 GiB。作者的处理很克制——实验笔记记录后续运行装了加速依赖，但没有一组 4B 前后的配对实验能把这部分效应单独摘出来，所以内存排序不能被解读成参数规模的规则，也不能被当成测到的 kernel 加速。这条说明比那组数字更有用：一份看起来自相矛盾的表，正确的处理是指出矛盾来自哪里，而不是挑一个好看的解释。

吞吐也有同样的性质。六个骨干的名义吞吐分别是 61.3、49.8、37.0、50.1、27.0、20.9 samples/s，而这是「名义 batch 样本数」而不是唯一数据项；同时它由更新步数、batch 与完整墙钟时间反算而来，不是用 profiler 采的。所以它能用来说明「这次跑得快还是慢」，不能用来做硬件性能对比。

作者还给出了一个更完整的项目成本式，同时明确说只测了其中几项：

$$C_{\text{project}}=C_{\text{inherited}}+C_{\text{adapt}}+C_{\text{search}}+K{C}_{\text{eval}}+C_{\text{serving}}+C_{\text{integration}}$$

继承预训练（LingBot、OpenWAM 都是继承）、失败试验、工程人力这三项都没有计量，所以报告不给美元总额，也不给「端到端训练成本冠军」。

图 2｜六个骨干在同一套配方下的成功率与训练卡时：4B 附近出现平台，9B 反而回落到 83.83%，卡时却涨到 509.2。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

部署可负担性 D：12 个单元全是横杠

三个分量与它们的锚点

D 想同时回答三件事：装得下吗、跑得动吗、来得及吗。

$$D=0.2F(W;2,32)+0.4F(M;8,80)+0.4F(L_{95};50,1000)$$

W 是主发布权重产物的十进制 GB 大小，锚点 2 到 32 GB；M 是预热后策略推理峰值显存，单位 GiB，锚点 8 到 80；L95 是 p95 策略请求延迟，单位毫秒，锚点 50 到 1000。作者强调这三个锚点是声明的评估偏好，不是机器人的安全时限。

权重那一项只算分发负担，权重 0.2；显存和延迟各占 0.4。为什么这么配？因为对真机部署来说，下不下载得动是次要的，显存塞不进和延迟超时才是硬失败。

为什么连一项都测不出来

有效的延迟测量有一张很长的清单：同一张加速卡、同一精度、batch 为 1、有预热、有请求条数、相机输入固定、执行与预测时域固定、积分步数固定，并且要说明预处理、数据传输、解码是否算在延迟里。显存同理，要峰值、要预热后、要 batch 1。作者要求采样几百个预热请求的原始计时才能给分。

结果是：这份快照里没有任何策略同时具备配对的显存与 p95 延迟，于是 D 全空。作者还堵了两条常见的糊弄路径——训练显存不能替代推理显存；冻结的编码器在推理时依然花钱。

我认为这一节是整份报告里最像工程审计的部分。部署成本是整个 VLA 领域最容易含糊的地方：论文里写「我们的模型很小」，仓库里写「单张 24 GB 卡可跑」，但没人给你预热后的 p95。框架在这里选择空着，而不是拿参数量的名义值凑一个分数。

研究价值 V 与可复现证据 R：怎么判「可复现」

V：四条 yes/no，各 25 分

研究方向分不看新颖性形容词，也不看论文声誉，只看本地是否真的建立起了可复用的结论。四条判据，每条 25 分：

1. 机制可执行：检查过的实现与有效配置能指认所提机制，以及它的条件化与执行通路。
2. 有决策对照：本地结果里有一个记录在案的家族内参照或受控替代方案，能支撑一个具体决策，并且混杂因素被披露。一个不相干的已发布百分比不算。
3. 机制隔离：本地组件消融固定了数据、曝光、接口、评测器，并在至少三个训练 seed 上重复。整 checkpoint 的对比不算。
4. 迁移测试：同一个本地 checkpoint 不加适配地在一份记录在案的新分布上被测过，有结果有分母。在多个基准上各自重训 checkpoint 不算。

第三条和第四条是全篇最严的门槛，也是所有家族都栽的地方。四条打分的结果是：ABot-M0 得 75（可执行 1、对照 1、隔离 0、迁移 1），LingBot-VLA 2.0 得 50，OpenWAM 得 50，LiLa-WAM 得 50。没有一个家族有机制隔离实验。

V 在方法家族层级给分，家族内所有 checkpoint 共享。作者提醒，这不代表每个骨干都有迁移结果——ABot 那个迁移是 LIBERO checkpoint 零样本进 LIBERO-plus，换到 0.8B 骨干上就没有。

R：五条审计里程碑，各 20 分

可复现证据是五项二值检查：

1. 存在配置与权重到运行的映射。
2. 原始任务记录能支撑报告出来的计数。
3. 每个被观测的场景都覆盖全部 50 个任务，每任务至少 20 次 episode。
4. 本地训练区间与分配的卡数有记录。
5. 至少三个独立训练 seed 有完整评测。

得分情况：ABot 的本地单元、LingBot 本地、OpenWAM 本地都拿 80；LingBot 官方与 OpenWAM 官方拿 60（缺参考训练时长）；LiLa-WAM 两个单元只拿 40——全部任务覆盖了，但每任务只有 5 次 episode，过不了第三条，而且没有独立核验过的硬件归一化训练区间。没有任何单元满足第五条。

作者自己给这个维度划了边界：这五项是审计里程碑，不是「结果正确」的概率。而且即使第二条通过，从汇总率反推出来的任务总数也比独立的逐 episode 轨迹要弱。

这两维最容易被误读

V 高分不等于方法更强。作者明确写了：ABot 多出来的分反映的是本地对照和鲁棒性证据的组合，不能证明它的 Action Manifold Learning 比预测式世界建模更有价值。同理，R 高分不等于结果可靠，它只说明这份记录的可检查程度。

图 3｜研究方向分的四条判据与四个家族的得分：隔离那一列全是 0，迁移只有 ABot 拿到 1。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

实证面：4 个家族、12 个单元是怎么跑出来的

统一的 RoboTwin 协议与六个骨干

主战场是 RoboTwin 2.0。协议很硬：50 个任务，每个场景每任务 100 次 episode，demo_clean 与 demo_randomized 两个场景都跑，用未见过的指令，启动 seed 0，评测器 commit 记作 13c3c47，成功与否取二值环境判定，不混入进度分。

ABot-M0 那一组是这份报告最干净的一段实证：六个骨干，同一套配方，150k 次更新，全局 batch 64，四张 H200 NVL，每卡 16、梯度累积 1，27,500 条轨迹、6,075,103 次转移，图像 224×224，训练 seed 42，空间模块冻结，DiT-B 动作专家，动作时域 50，四次积分步。六个骨干是 Qwen3.5-0.8B、Qwen3-VL-2B、Qwen3-VL-4B、Qwen3.5-2B、Qwen3.5-4B、Qwen3.5-9B。

结果：80.63%、83.78%、85.52%、84.12%、85.50%、83.83%。也就是说，从 0.8B 到 4B 这一段规模是涨的，从 4B 到 9B 这一段反而掉了。9B 的卡时是 509.2，比 4B 的 394.4 高 29.1%，成功率低 1.67 个百分点；它的 83.83% 只比 Qwen3-VL-2B 的 83.78% 高 0.05 个百分点，而训练设备时间是后者的 2.38 倍。

这里必须跟上作者的免责：每个配置只有一个训练 seed，所以这些是配方层面的点估计边界，不是 seed 稳健的架构排名。

另外三个基准：LIBERO-plus、RoboCasa、CALVIN

LIBERO 用 Qwen3.5-4B 单独训了 40k 步，四个 suite 各 10 个任务、每任务 50 次 episode，总成绩 1935/2000 = 96.75%，Long suite 也有 92.00%。

真正有信息量的是 LIBERO-plus。同一个 LIBERO checkpoint 不加训练，直接零样本丢进 10,030 个扰动变体，每个变体一次 episode，微平均 8027/10030 = 80.03%。也就是说，标准 LIBERO 的 96.75% 和扰动下的 80.03% 相差近 17 个百分点。按扰动类别拆开更刺眼：光照 94.92%、背景纹理 94.05%、传感器噪声 90.19%，而机器人初始状态只有 60.77%、相机视角 65.67%。

RoboCasa GR1 Tabletop 是另一类难点：29 维绝对关节目标（每臂 7、每手 6、腰 3），24 个任务各 50 次 episode，每 episode 最多 720 步，每次预测执行 12 步动作。总成绩 574/1200 = 47.83%，任务级跨度 16% 到 76%。作者还留了一段很有价值的失效诊断：有的 rollout 在抓之前就没靠近物体，有的把物体扫飞，有的抓失败后一路跑到超时；某条被跟踪的序列里末端离目标还有 0.2 到 0.3 米，物体几乎没动，而指令关节角与实测关节角只差 0.01 到 0.06 弧度。他们把「检查生成的策略动作，再归因到控制器跟踪」写成了结论。

CALVIN 是连续任务链，衡量口径与前面完全不同。1,000 条序列、每条最多 5 个任务，主指标是平均成功前缀长度：

$$\ell =\frac{1}{N}\sum _{i=1}^N{\ell }_i=\sum _{k=1}^5{C}_k$$

其中 ℓ 取 0 到 5，Ck 是至少完成 k 个任务的序列比例。实测：至少完成 1 个 88.9%，2 个 79.8%，3 个 72.1%，4 个 64.6%，5 个 57.1%，平均长度 3.625（3,625 次成功除以 1,000 条序列）。任务表独立求和也是 3,625 次成功，但分母是 4,054 次实际到达的尝试——因为一次失败会终结整条链。

两个 WAM 的复现边界

OpenWAM 用 Wan2.2-TI2V-5B 加 Wan VAE 加 ActionDiT，VAE 与 T5 冻结，三视角、33 帧窗口、视频步长 4、384×320，20 个末端动作通道映射到 80 维统一表示的 0 到 9 与 34 到 43 槽位。本地从已发布 Foundation checkpoint（step 154000）起步，四张 H200、BF16、ZeRO-2、全局 batch 64、80k 次更新。官方权重 93.84%（Clean 94.02%、Randomized 93.66%），本地 91.35%（91.30%、91.40%），差 2.49 个百分点。

LingBot-VLA 2.0 用 Qwen3-VL-4B 前缀加 32 个稀疏动作专家（top-4 路由加共享专家），深度与视频教师监督当前与未来查询。本地配置是 Muon、三张 H200、微 batch 32、全局 batch 96、50k 次更新、55 个动作与状态通道、三相机、50 动作块、十次流积分。官方 89.72%，本地 57.78%。

LiLa-WAM 走的是另一条路：冻结 DINOv3 ViT-L/16，紧凑的动作模型，头相机 320×240，14 个关节动作通道，预测 32 步、执行前 16 步、十次流匹配。它的任务条件不是语言，而是任务名选中的预计算视觉转移向量——检查代码里 set_task(task_name) 载入 task_cond.npy，_predict_chunk 明确把指令参数留着不用。所以「unseen」这个标签在这套运行里不代表理解了未见自然语言指令。官方 89.60%（224/250），本地 88.80%（222/250），每任务只有 5 次 episode。

图 4｜12 个代表性任务的逐任务成功率热力图：click_bell 从 0%、1% 一路到 57%，grab_roller 与 place_empty_cup 早就饱和，hanging_mug 换任何骨干都低。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

图 5｜同一个 LIBERO checkpoint 零样本进 LIBERO-plus：标准 96.75% 掉到扰动下 80.03%，最脆弱的两类是机器人初始状态 60.77% 与相机视角 65.67%。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

图 6｜CALVIN 的两种口径：左边整条链全部完成的只有 57.1%，至少完成一个的有 88.9%；右边六类横向推块任务里，向右推 30.58%、向左推 61.29%，其余 28 类任务合计 94.44%。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

选型结论：按算力预算分三档

原文给出的三条预算线

这是整篇报告最直接可用的部分。作者把 12 个单元摊成一张成本—能力图，然后给出三条筛选线，每条都同时给了卡时上限和成功率地板：

团队预算	成功率地板	原文给出的可行配置	实测卡时
200 个 H200 卡时	80%	ABot-M0 + Qwen3.5-0.8B	174.1
250 个 H200 卡时	84%	ABot-M0 + Qwen3.5-2B	212.9
300 个 H200 卡时	85%	ABot-M0 + Qwen3-VL-4B	288.1

另外 Qwen3-VL-2B 在「250 卡时、83%」这一档也成立（214.0 卡时、83.78%）。作者把这四条称作筛选，不是保证——换一个训练 seed 或者换一套没测过的任务混合，结论就可能不成立。

三种偏好与覆盖率

总分本身是加权和，权重是可以换的政策，而不是学出来的常数：

$$S_{\text{bal}}=0.30P+0.20T+0.20D+0.15V+0.15R$$

偏好档	权重顺序 P / T / D / V / R	适用场景
均衡	0.30 / 0.20 / 0.20 / 0.15 / 0.15	一般复现决策
训练受限	0.30 / 0.35 / 0.10 / 0.10 / 0.15	算力有限但要做多轮适配
部署受限	0.30 / 0.10 / 0.35 / 0.10 / 0.15	显存与延迟主导

因为 D 全空，三种偏好下 12 个单元的总分都是横杠。可读的东西是那个覆盖率 q，它是可获得输入的权重占比：

$$q=\sum _j{w}_j{c}_j,c_D=0.2I_W+0.4I_M+0.4I_L$$

c 是各维度的可用指示量：cP 取已观测场景率数量的一半，cT 表示训练成本可测，cD 由三个部署指示量加权，cV 与 cR 恒为 1（哪怕判据得 0 分，它也是可审计的）。

原文举的例子很能说明问题：ABot Qwen3-VL-2B 有 P 83.78、H 214.049 卡时、V 75、R 80，算出 T 56.46；7.766 GB 的权重产物只提供了 D 的存储分量，显存与 p95 延迟都缺，所以 D 与总分都是横杠。可用输入权重是 0.30 + 0.20 + 0.20×0.20 + 0.15 + 0.15 = 84%。

84% 这个数在表里出现了六次，全是 ABot 的六个骨干。LingBot 官方只有 49%，因为 P 与 T 都缺；LiLa 两个单元只有 45%，因为 P、T、D 缺三项。这些百分比不是成绩，是欠账清单。

原文点名的两个跟进对象

OpenWAM 是作者最想继续追的一个：本地 91.35% 是这份快照里本地训练方法的最高两场景成绩，262.068 卡时比 ABot Qwen3.5-4B 的 394.4 低约 33.5%。但作者同时说清楚了两件事——评测器不同、初始化与数据窗口不同，所以这不构成架构优势；视频基座的预训练成本不在那 262.068 卡时里，所以也不构成全生命周期成本优势。

LingBot 暴露的是「预算保真」问题：本地记录的 174.365 卡时和 ABot 0.8B 的 174.1 几乎一样，成功率却是 57.78% 对 80.63%。作者把它读成一个关于适配配方的信号，而不是关于架构的信号：本地曝光是 96 × 50,000 = 480 万个窗口，参考配方是 1024 × 50,000 = 5120 万个窗口，差 10.67 倍；要在 batch 96 下追平，需要约 533,334 次更新。他们认为这与「适配不足」一致，但不把曝光认定为唯一原因。

LiLa-WAM 值得单独说，因为它测的是另一种服务契约。它的 89.60% 与 88.80% 是在「任务名选中的预计算视觉转移向量」这个前提下拿到的：固定任务库存下，这能省运行时间与训练负担，代价是你得为每个任务构建并分发条件文件，而且没有面对任意新请求的指令接口。所以作者写得很直接——需要任意自然语言指令的应用，这套接口不满足能力闸门，不管那个 Clean 成功率多高。这段话我认为是整份报告里最有工程味道的一句判断：接口不匹配是一票否决，不是扣分项。

图 7｜12 个单元的完整画像：能力 P、训练 T、部署 D、研究价值 V、复现证据 R、均衡总分、可用输入覆盖率 q。D 与总分整列是横杠。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

图 8｜左边是成本—能力散点：横轴是本地下游训练卡时，纵轴是 Clean 成功率，点越靠左上越好；右边是覆盖率柱状图，最长的那六根 84% 全来自 ABot。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

成功率排行会骗你在哪

这一节是这篇报告对我最有用的地方。它给出的不是「还有别的指标」这种泛泛提醒，而是几个可以逐条对照的反例。

反例一：同一个评测器，89.72% 与 57.78%

LingBot-VLA 2.0 是最干净的反例。两次成绩用的是同一个本地评测器、同样 50 个任务、同样每任务 100 次 episode、同样未见指令、同样 seed 0，两次都没有跳过任务。差别只在权重从哪来：一个是从官方发布包加载，一个是本地按公开配方训了 50k 步。

结果差 31.94 个百分点。而这个本地训练的卡时是 174.365，比 ABot 两个 4B 配置里的任何一个都便宜。

这条反例的杀伤力在于它拆掉了一个常见假设：只要配方公开，复现就等于拿分。报告给出的解释是曝光不足加上配方敏感，并且明确没有把曝光认定为唯一原因——batch、学习率预热、数据转换、教师路径、精度、初始化都可能参与。

更值得抄下来的是它的任务级证据：本地最差的六个任务是 place_cans_plasticbox 2/100、handover_block 5/100、pick_dual_bottles 10/100、put_bottles_dustbin 13/100、pick_diverse_bottles 14/100、lift_pot 16/100，而官方在这六个上是 89、95、89、83、85、100。同一套代码、同一个仿真器，差距集中在需要精确接触与对位的任务上。

反例二：贵 29% 反而更低，贵 36.9% 只差 0.02 个点

第一个数字是 9B。Qwen3.5-9B 比 Qwen3.5-4B 多花 29.1% 的卡时，成功率低 1.67 个百分点。它比 Qwen3-VL-2B 高 0.05 个百分点，却用了 2.38 倍的训练设备时间。

第二个数字是同规模的 4B。Qwen3.5-4B 的 85.50% 与 Qwen3-VL-4B 的 85.52%，差 0.02 个百分点；但 Qwen3.5-4B 的训练墙钟时间多 36.9%，名义吞吐低 26.9%（27.0 对 37.0 samples/s）。作者在排障记录里找到了原因：线性注意力的加速组件不可用，回退到了更慢的 PyTorch 路径。他们也很克制地说，这些测量描述的是这次实验的软件环境，启用加速后的收益需要重新测量。

我认为这一条对做工程的人最有说服力：0.02 个百分点的「平手」背后，是一整个软件栈的差异。如果你的选型标准只看到成功率，你会以为两者一样；实际上一张表上的两行，成本差了 106.3 个卡时。

反例三：口径本身就在动

CALVIN 是口径反例。同一个模型，你可以说它「88.9%」，也可以说它「3.625」，也可以说它「57.1%」——分别对应至少完成一个任务、平均成功前缀长度、五个任务全完成。报告把这三个数都列出来，并且明确条件任务率不能替代序列指标，因为分母不同（4,054 次实际到达的尝试 vs 5,000 个计划位置）。

口径还能细到方向。六类横向推块任务合计 196/423 = 46.34%，而其余 28 类任务合计 94.44%。拆开看，向右推 63/206 = 30.58%，向左推 133/217 = 61.29%。作者没有把方向差异归因给任何机制，而是列出了该查的四件事：示范数量、有符号动作分布、初始物体位置、归一化统计，再加上失败回放与动作时域消融。

还有一个更隐蔽的口径问题：LIBERO-plus 的 10,030 个变体里有 101 个任务出现重复输出，其中 3 个任务的成败标签互相冲突。作者用「套件 + 任务号」作唯一键，取修改时间最新的那条作重跑记录，得到 8,027 次成功；如果把三个冲突任务全判失败或全判成功，总分边界是 80.01% 到 80.04%。这个细节不影响结论，但它告诉你：一个 80.03% 的背后，是先决定「哪一条记录算数」。

反例四：任务级回退与 loss 曲线

平均值会掩盖任务级回退。9B 相对 4B，hanging_mug 从 30/34 涨到 38/36，stack_bowls_three 从 82/80 涨到 85/88，但 click_alarmclock 从 22/13 掉到 3/9，pick_dual_bottles 从 85/83 掉到 72/67。同一个升级动作，一半任务涨，一半任务崩。

训练 loss 也不是能力的代理。Qwen3.5-4B 与 Qwen3.5-9B 的最后 10k 平均 loss 是 0.955×10⁻³ 与 0.958×10⁻³，几乎相同，成功率却是 85.50% 与 83.83%；反过来，Qwen3.5-0.8B 与 Qwen3-VL-2B 的尾段均值都在 1.11×10⁻³ 附近，成功率却差了 3.15 个百分点。作者对 panel(d) 的注解只有一句：训练 loss 更低本身不能证明任务表现更好。

图 9｜同一个评测器下的官方权重与本地权重：(a) Clean 成功率 89.72% 对 57.78%，© 六个最弱任务的逐条对比，差距集中在需要精确接触的任务上。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

图 10｜OpenWAM 是本地训练里成绩最高的一个：91.35% 的两场景平均、262.068 卡时，但它的评测器与动作空间都和 ABot 不同，因此不能当成架构优势。
图源：RoboSeed: Multidimensional Evaluation of Vision-Language-Action and World-Action Models（arXiv:2610.40026v1），arXiv 非独占许可

局限与失效场景

作者自己列出的证据边界

报告在 ABot 一节末尾用六条把边界钉死了，值得原文照抄的要点是：

• 每个完成的配置只有一个训练 seed。每任务 100 次 episode 描述的是这个 checkpoint，不是训练波动。
• 模型规模指的是名义 VLM 大小，完整策略还含空间模块、动作专家和投影层，它们的规模会随隐藏宽度变化。
• 更新步数、batch、数据是受控的，但骨干预训练历史、依赖版本、kernel 路径是系统性差异。
• 内存缺统一测量协议，rollout 时间依赖并发与仿真负载，两者都不能用来证明最低部署显存或严格延迟优势。
• 不同数据集的动作空间、训练步数、学习率都不同，跨数据集分数不构成单一 scaling law；这份报告没有任何真机结果。
• CALVIN 的 ABCD 训练包含 D，不是留出环境的迁移测试；条件任务率与链长都不是留出环境迁移分。

成本口径的四个空洞

第一个空洞是继承预训练。LingBot 与 OpenWAM 都继承了基座，ABot 与 LiLa 继承了 VLM 与视觉先验，这些成本不在任何 T 里。

第二个空洞是失败试验。所有调不通的配置、重跑的评测队列都没有计量。报告里有一个很具体的例子：Qwen3.5-2B 的 Randomized 评测因为 VGGT 访问故障影响了 19 个任务，最终 9 小时 5 分里包含了三条队列（4:07:32 加 2:47:13 加 2:10:58）的修复负担。这个时间被保留在原始记录里，但不是成功 rollout 的速度估计。

第三个空洞是工程人力。整个框架没有人力维度，而实际选型里人力往往是最贵的一项。

第四个空洞是美元。作者明确说因为上面三项缺失，他们不给美元总额，也不给端到端成本赢家。你能拿到的只有「设备卡时」这一层。

什么时候这套框架会失效

第一，当你的应用接口和被测接口不一致时。LiLa-WAM 的 89.60% 很好看，但它用任务名选预计算视觉向量；如果你需要任意自然语言指令，作者的结论是这套接口不满足能力闸门——不管那个数字多高。

第二，当你的预算显著偏离锚点时。T 的锚点是 64 与 1024 卡时、D 的锚点是 8 到 80 GiB；换成 8 张卡的小团队或者 64 卡的集群，同一批分数的高低顺序可能变。作者把锚点和权重做成可编辑的版本化政策，就是在承认这一点。

第三，当你需要多 seed 稳健性时。这是全篇最硬的失效条件：12 个单元没有一个满足「三个独立训练 seed 有完整评测」，而 Qwen3.5-2B 比 Qwen3-VL-2B 高 0.34 个百分点这种差距，作者自己都说单 seed 不构成稳健优越性主张。

第四，当你要跨方法比较架构时。第三道闸门明确不过，所以「世界模型比 VLA 强」这种结论在这份数据上不成立。OpenWAM 的 91.35% 高 5.85 个百分点，但初始化、数据窗口、观测、动作空间、曝光、kernel、评测器路径全都不同。

第五，当你要上真机时。报告明确写了没有真机结果，并且把真机验证放进了未来工作。仿真里的 RoboTwin 成功率不等于产线可用性。

落地判断：实验室、初创、大厂怎么用

实验室：用 V 和 R 当立项检查表

对做机制研究的组来说，这套框架里真正能直接抄的是 V 的四条和 R 的五条，而不是总分。

具体做法：立项时先问「我的隔离实验准备跑几个 seed」。三个是硬门槛，达不到就得不到那 25 分，也就别指望论文里的消融能被别人当证据。再问「我的迁移测试是不是同一个 checkpoint 不动地丢进新分布」，因为另训几个基准的 checkpoint 不算。

R 的五条更适合当交付清单：配置与权重的映射、原始任务记录、每场景 50 任务每任务至少 20 次 episode、训练区间与卡数、多 seed 完整评测。对照下来，连这份报告自己都只拿到 80 分。

初创：先按卡时和成功率地板筛，再逐条补证据

预算在 200 到 300 个 H200 卡时这个区间的团队，可以直接用原文那三条线做第一轮筛选：先定一个成功率地板（比如 84%），再定一个卡时上限（比如 250），然后在表里找同时满足的配置。

但筛选完别急着定，去把 T 的可比性核一遍：那个卡时是不是含继承了预训练、评测算不算在内、batch 和更新步数是不是和你打算用的一致。LingBot 那 174.365 卡时看起来和 ABot 0.8B 一样便宜，但它的本地曝光只有参考配方的 9.4%（480 万个窗口对 5120 万个），OpenWAM 那边是 16.86%（512 万对 3037.6 万）。这个差别决定了你不能把「便宜」直接当成「划算」。

大厂：先把部署维度测出来，再谈总分

真正会被卡住的往往是 D。这份报告里 12 个单元一个都没测出配对的峰值显存与 p95 延迟，而这两项在你的采购和上线评审里是硬门槛。

可执行的清单是：固定同一张卡、batch 1、预热后采几百个请求、记录相机输入与动作时域、积分步数、是否含预处理与解码，然后算 p95。别用训练显存替代推理显存，也别因为编码器冻结就以为它不花钱。

顺便说一句部署工程本身也能创造价值：报告里的 PX 评测系统在不重训模型的前提下，把同等并发下的端到端吞吐提到约 2 倍（12 个任务上是 2418.949 秒降到 1182.580 秒，2.045 倍），全 50 任务上 episode 吞吐是 1.88 倍（六 worker）到 2.31 倍（十六 worker）。更值钱的是它的归因：约 95% 的 episode 时间花在 reset、渲染、观测与物理上，剩下 5% 才是网络与等待，所以就算把这一块彻底消掉，理论上也只有约 1.053 倍——这是一个工作负载级的 Amdahl 上界，但它能让你避免把钱投错地方。

还有一个反例值得记住：这批吞吐实验里，原始入口是 98/120，改进后的 harness 是 101/120，看起来像是顺带涨了 3 次成功。作者去查了 seed 清单，12 个抽样任务里有 11 个的接受 seed 列表与历史入口不同，于是把这 3 次差异判为不可归因，只保留「同等并发下约两倍加速」这个结论。这个动作很小，但它正是 R 维度想逼出来的习惯——分母相同不等于样本相同。

顺带说一句 worker 数的陷阱。报告里有一个两卡实验：墙钟时间从 1002.641 秒降到 619.499 秒（1.62 倍），但设备分配从 0.279 卡时涨到 0.344 卡时（多 23.6%）。加卡能缩短完成时间，同时增加设备成本；如果你的目标函数里只有墙钟，这个交换看起来永远是赚的。

一条最小可执行流程

如果你不想引入整套评分，只想拿它的骨架，我建议按这个顺序走：

仅示意，不是论文伪代码

1. 过闸门
   接口：我的应用是任意语言指令，还是固定任务库存？
   范围：我算的成本含不含继承的预训练？
   因果：我要的是架构结论，还是只要一个能用的配置？

2. 定地板
   写下一个成功率地板（例如 84%）与一个卡时上限（例如 250 H200 卡时）
   在地板与上限都满足的候选里做初筛

3. 补三项最缺的测量
   预热后 batch 1 的峰值显存
   p95 策略请求延迟（含相机与积分步口径）
   至少两个新 seed 的完整评测

4. 只在这时才算加权分
   输出五维分数 + 可用输入覆盖率 q
   q < 100% 时不写总分，只写欠账清单

这套流程最反直觉的地方在第 4 步：覆盖率不到 100% 就不给总分。但正是这一条，把「排行榜思维」挡在了门外。

术语速查表

五个维度与符号

术语	原文含义与计算口径
能力 P	Clean 与 Randomized 两场景任务宏平均成功率的均值乘 100，两场景缺一即写横杠
训练可负担性 T	分配卡数乘记录训练时长的 H200 卡时，经 64 到 1024 的对数效用锚点折算成 0 到 100
部署可负担性 D	权重产物 GB、预热后推理峰值显存 GiB、p95 请求延迟毫秒三项按 0.2 / 0.4 / 0.4 加权
研究价值 V	可执行机制、决策对照、机制隔离（三 seed）、迁移测试四条各 25 分的家族级评分
可复现证据 R	配置映射、原始任务记录、50 任务且每任务 20 次 episode、训练区间与卡数、三 seed 完整评测，各 20 分
覆盖率 q	可获得输入的权重占全部正权重之比，用来描述证据欠账而不是成绩
均衡总分 S_bal	0.30 P 加 0.20 T 加 0.20 D 加 0.15 V 加 0.15 R，任一正权重维度缺失则整项写横杠
三道闸门	任务接口、训练范围、因果架构排序所需的多 seed 与匹配条件
评估单元	checkpoint、训练配方、执行接口、评测器构成的四元组，而不是一个模型名
固定锚点	成本与延迟效用函数里预先声明的上下界，不随候选增减而变化

读分数时的三个提醒

第一，横杠不等于 0。0 分是「测出来了并且超出你的预算锚点」，横杠是「没测」。框架把两者分开处理，也在 JSON 里分别存成 0 与 null。

第二，T 好不代表可用。作者原话是停掉的训练可以同时有漂亮的 T 和很差的 P，所以 T 永远不能单独读。

第三，V 与 R 是家族级共享的。看到 ABot 的 V 是 75，别以为它的每一个骨干都有迁移证据；那条迁移证据只绑定在 LIBERO 那个 checkpoint 上。