写在前面

【从零走向AGI】旨在深入了解通用人工智能(AGI)的发展路径,从最基础的概念起,逐步构建完整的知识体系。
项目地址🔗:https://github.com/AI-mzq/From-Zero-to-AGI.git

【三年面试五年模拟】算法工程师秘籍。AIGC、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、图像处理、元宇宙、AGI、SLAM等AI行业面试笔试经验分享.
项目地址🔗:https://github.com/WeThinkIn/AIGC-Interview-Book.git

魔方AI空间 | 知乎:猫先生 | 从零走向AGI | 面试面经

AIGC算法岗/开发岗面试面经交流社群(涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源)欢迎大家加入:https://t.zsxq.com/YtJ09

导读

长程机器人任务的奖励很难只靠最终成败定义:拧螺丝失败,应该扣掉当前插入的进度,但不应清零已经装好的机翼;执行时间变长,也不等于任务倒退。Grana 让一个视觉语言奖励模型先找“当前最早未完成的子任务”,再估计它的连续进度,最后把已完成子任务的功劳与当前子任务进度组合成整项进度。

训练监督不要求标注者给每帧打 0 到 1 的分数。标注者只标子任务边界,以及某段执行是正常、次优还是发生倒退;系统据此构造稠密进度曲线。Grana 先在 200 项以短任务为主的数据上预训练,再在目标长任务、不同本体和公开奖励基准上适配。

结果要按量纲读:在 50 项未见任务且不给目标奖励标签、不做微调的条件下,进度 RMSE 为 0.180,对比最强基线 RoboMeter 的 0.227,下降 20.7%;五项长程任务各用 15 条标注轨迹适配,误差比各任务最低的对比方法低 16.1%–31.6%;下游策略的零样本奖励实验在 star insertion 与 tube transfer 上达到 65.0% 和 66.7%。这些是奖励预测误差与特定策略试验结果,不是“长任务成功率提高 20.7%”。

猫先生认为,Grana 最值得关注的是把“完成过什么”和“当前失败损失什么”拆成可以组合的两层,而不是再训练一个更大的打分模型。它让奖励更接近长程操作中的功劳分配问题;代价是仍需人工定义子任务顺序、边界与执行质量,质量差的分解会把误差带进整项分数。

  • 论文标题:Grana: Compositional Reward Modeling for Long-Horizon Robot Manipulation
  • 论文地址:https://arxiv.org/abs/2611.24926
  • 项目主页:https://research.nvidia.com/labs/gear/grana/
  • GitHub:https://github.com/NVlabs/Grana

原文脉络

论文从长程奖励的两个难题出发:跨任务迁移和失败后的进度追踪。方法部分先定义子任务选择与局部进度的组合,再说明如何把稀疏的子任务边界和动作质量标注转成稠密目标,最后把进度差用于离线强化学习与进度加权行为克隆。实验依次检查标注协议、零样本预测、长程与跨本体适配、子任务组合和下游策略收益,结论保留组合假设与未来工作。

1-2. 背景与相关工作:时间过去了,不等于事情做成了

通用机器人奖励模型能从大量视频中学到跨任务评价,但短任务上的预训练能否迁移到多分钟长任务,过去缺少系统证据。已有长程方法常用任务专用的子任务分类器或固定动作词表;换一套子任务描述时,模型结构本身就可能阻碍复用。

另一条路直接让视觉语言模型看画面打分,或用已完成的子任务边界构造进度,但两类信息都不完整。只看边界,会漏掉螺丝反复对不准、拿起后又掉落的失败;只看动作质量,又可能把整项进度降到零,抹掉前面已经装好的零件。Grana 试图把“完成到哪里”和“当前这一段做得怎样”同时保留下来。

3. 方法与核心架构:从局部进度组合出整项进度

Grana 的整体思路:短任务预训练、子任务选择、局部进度与下游策略使用
图 1:论文 Figure 1 概括 Grana。预训练覆盖多种短程任务;推理时根据语言描述选出当前未完成子任务并预测其局部进度,再把其位置与已完成子任务的功劳组合;得到的进度可服务离线 RL、进度加权克隆和跨本体适配。

3.1 子任务选择与进度组合

输入包含多视角观测、整项任务描述和按顺序排列的子任务列表。Grana 选出最早未完成的子任务 k t k_t kt​,预测它的局部进度 p ^ t ( k t ) ∈ [ 0 , 1 ] \hat p_t(k_t)\in[0,1] p^​t​(kt​)∈[0,1],再以等权方式计算整项进度:

P ^ t = k t + p ^ t ( k t ) K \hat P_t=\frac{k_t+\hat p_t(k_t)}{K} P^t​=Kkt​+p^​t​(kt​)​

九个步骤完成六个、第七个做了一半,整项进度就是 6.5 / 9 6.5/9 6.5/9;第七步完全失败退回开始时,分数回到 6 / 9 6/9 6/9,前六个步骤的功劳仍然保留。子任务描述是语言输入,顺序和数量不写死进模型结构,同一任务可以用不同粒度或不同有效顺序查询。

这一组合假设前面的子任务在局部失败后仍然完成;如果当前子任务选错,整项进度会偏移。论文用任务顺序定义每个被查询子任务的训练目标:更早的步骤给 1,真正未完成的步骤给局部进度,更晚的步骤给 0。这样即使模型选错,也能从反馈中学习“哪些描述尚不该有进度”。

3.2 稀疏标注怎样变成稠密进度

子任务选择与局部进度共享一个基于 Qwen3.5-4B 的视觉语言模型,用 LoRA 训练适配器、时间 Transformer 和进度头,底座保持冻结。局部进度以相邻分箱上的分布表示,其均值给出连续估计;选择使用交叉熵,进度训练则对离目标更远的预测加大权重。

如何从完整轨迹得到连续进度:子任务边界与动作质量标注的组合
图 2:论文 Figure 2 展示共享预测器如何从语言描述的当前子任务与多帧观测预测局部进度,再和子任务索引组合为整项进度;该状态可被策略学习过程直接使用。

标注者不直接给每帧数值,而是标记:每个子任务是否成功结束,以及其中哪些区间为正常、次优、发生物理倒退。构造器在正常区间推进较快、次优区间推进较慢,倒退时把当前子任务进度重置为零;恢复后重新累积,已完成的先前子任务不被扣分。

这套设计把人工标注从“每帧打分”改成“标少数事件与区间”。论文的标注研究用了 100 条轨迹和 12 名标注者;子任务边界加动作质量标注的平均接受率为 0.90,平均每视频分钟耗 1.5 分钟,而直接数值打分接受率 0.76、耗 2.6 分钟。

子任务边界与动作质量为何要一起使用
图 3:论文 Figure 3 用螺丝插入失败与恢复说明两种标注的分工。只标子任务边界会漏掉失败,只看动作质量可能丢掉已完成步骤;两者组合才能把插入进度清零,同时保留前面六个步骤的功劳。

猫先生认为,这不是“让标注更便宜”这么简单。奖励曲线如何在下一次尝试中回升,决定了策略能否从失败中恢复;如果把所有失败都当成整项任务倒退,长程操作里的正确步骤也会失去信用。Grana 把这种信用分配写进数据构造,而不是留给模型自己猜。

3.3 进度怎样进入策略训练

预测进度 P ^ ( s ) \hat P(s) P^(s) 的相邻差值提供动作反馈:上升表示推进,下降表示倒退。离线强化学习把 H H H 步动作块上的折扣进度增量作为奖励,训练 IQL 的价值函数,再用 BPPO 更新策略。

进度加权行为克隆则把每个动作步的进度变化映射为高、中、低三档非负模仿权重,按权重归一化动作损失。即使一条示范最终成功,中间也可能有无效摸索;稠密进度差可以降低这些片段的权重,而不必把整条轨迹丢掉。

4. 实验:误差、适配与策略收益分别说明什么

4.1 标注协议与监督有效性

除了标注接受率与耗时,论文还比较了官方 RoboMeter、用原始目标训练的 RoboMeter 和用 Grana 构造目标训练的版本。在飞机与红车装配上,构造目标训练的模型在 Q-Rank 与 Down–Up 两项一致性指标上均最高。Q-Rank 检查同一子任务中高质量关键帧是否更常排在低质量关键帧之前;Down–Up 检查失败附近是否先降后升。随机分数可能在 Down–Up 上取巧,两个指标一起看能避免只奖励单调变化。

监督实验支持两件事:稀疏边界与动作质量标注可以构造出可学习的进度曲线;好的目标也能改善已有的 RoboMeter 架构,而不是只能配合 Grana 自身使用。

4.2 零样本与预训练规模

零样本进度预测与预训练任务数缩放
图 4:论文 Figure 6 比较 50 项未见任务上的零样本进度 RMSE,以及预训练任务数从 15 增至 200 时的误差变化。两幅图使用不同纵轴尺度,不能把视觉斜率直接当成同一量纲的提升幅度。

50 项未见任务上,Grana 不给目标任务的奖励标签、不做微调,RMSE 为 0.180;RoboMeter 为 0.227,相对下降 20.7%。预训练任务数从 15 增至 200,留出任务 RMSE 下降 35.3%,训练计算与其它设置固定。

这项结果衡量奖励预测的误差,不做目标策略成功率的直接换算。它支持短任务预训练能提供可迁移的进度知识,但不证明任意新任务都能零样本获得准确奖励。

4.3 长程、跨本体与子任务组合

五项长程任务最多包含 18 个子任务,评测使用每个任务 24–30 条未见测试轨迹。所有学习方法用 15 条目标任务标注轨迹适配,Grana 在每个任务上的 RMSE 都最低,比各任务最低的对比模型再低 16.1%–31.6%。飞机与红车任务上,用 15 条标注轨迹适配的 Grana 也优于基线使用 100 条轨迹的结果;平均比最强适配基线 SARM2 低 37.7%。

跨本体实验把模型从 YAM 迁移到 Tianji,用 10 条标注轨迹适配,RMSE 为 0.452,RoboMeter 为 0.556,下降 18.7%。自动子任务选择加局部进度组合,在飞机装配上相对只用整项预测降低 17.3% 的 D15 误差、13.4% 的 D100 误差;红车零样本装配中,累计 RMSE 从 1.578 降到 0.524。组合仍然受子任务选择错误影响,这些数字包含选择误差,不应把它当成只测局部进度头的结果。

4.4 下游策略是否真的受益

零样本离线 RL 使用同一批 BC 策略 rollout,两种任务分别有 50 与 45 条轨迹。Grana 奖励在 star insertion 上达到 65.0%,tube transfer 上为 66.7%;最强竞争奖励分别为 50.0% 与 41.7%。两种任务的评测分别为 20 与 12 次试验,绝对值仍应谨慎看待。

长程任务上的进度加权学习结果
图 5:论文 Figure 8 报告飞机与红车装配的进度加权策略结果。每项成功率来自 12 次评测,比较使用同一父策略和同一批新数据,以分离奖励权重带来的差异。

进度加权克隆在飞机与红车装配上分别达到 58% 对未加权克隆的 42%,SARM2 为 33%/42%。第二轮使用共同父策略收集 12 条全部成功的 rollout,排除第一轮 DAgger 数据后,加权克隆达到 75%/67%,未加权为 50%/42%。父策略完全相同、新数据全部成功时,最终成败无法区分轨迹内部的优劣,收益来自稠密进度对局部动作片段的再分配。

策略实验使用 GR00T-2 世界动作模型,固定初始化、数据和训练流程,只改变奖励源。论文还把奖励用于拖拉机装配的测试时模型预测控制,作为辅助应用证据。

5. 讨论、局限与可复现性

组合公式假设先前完成的子任务不会因后续失败而失效;如果物体被撞掉、装配被破坏,或者任务允许回退,固定等权与“已完成即保留”就会失真。论文也指出,当前子任务选择错误会扭曲整项进度。

人工仍需定义任务顺序、子任务粒度和动作质量区间。更细的分解不一定更好,标注成本、歧义和模型选择误差都会增加;更粗的分解又会漏掉关键失败。Grana 的收益依赖标注协议与评价口径,不能把 1.5 分钟/视频分钟当成所有团队、所有任务的固定开销。

长任务与策略实验的样本量有限:五项长任务每任务 24–30 条测试轨迹,策略实验为 12 或 20 次评测,部分比较是单套初始化与数据。论文观察到留出 RMSE 排序与有限策略试验成功率的同向关系,但这不足以把奖励误差直接当作部署性能。

公开仓库提供标注、缓存构建、预训练、推理与评测工具,包含 Qwen3.5 和 Qwen3.8 的多种尺寸配置,采用 Apache-2.0 许可;使用仍需自备任务数据与标注,第三方依赖另有许可。复现应固定奖励模型 checkpoint、奖励转动作收益的规则、策略初始化与每任务试验次数,才能与论文数字对齐。

总结:把长程奖励变成可追溯的功劳分配

Grana 的核心技术价值可以收在三点。第一,用语言描述选择当前未完成子任务,使子任务集合可换而不必重训分类器;第二,用局部进度加已完成步骤的功劳构成整项进度,让失败可以局部回退;第三,用边界与动作质量标注构造稠密奖励,使人工不必逐帧打数值分。

实验分别支持零样本奖励迁移、15 条轨迹的长任务适配、跨本体迁移,以及奖励在离线 RL 与进度加权克隆中的下游作用。最值得带回工程实践的是奖励的信用结构:保留已完成工作的信用,准确扣除当前失败造成的局部损失,才能给长程策略提供可恢复的反馈。

边界同样清楚:组合依赖子任务顺序和“已完成不回退”的假设,标注仍需人力,策略收益的样本规模有限。Grana 让奖励更可解释、更可追溯,但还没有替代任务建模、演示数据与实机验证。

推荐阅读

► 技术资讯: 魔方 AI 新视界

► 项目应用:开源视界

► 技术专栏: 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐