【具身AGI导读】什么时机该让人上手，过去要么靠人盯着，要么靠策略自报不确定。一篇预印本把这件事交给了一个策略外部的进度读数。

2026 年 10 月 2 日，arXiv 上线一篇预印本，一支三人研究团队提出一个叫 Reward-DAgger 的框架。

论文把它归在交互式模仿学习这一类里：机器人自己决定什么时候该请人来。

信号来自策略外部——一个通用奖励模型逐帧把画面与自然语言任务指令读成 0 到 1 之间的任务进度估计。

框架在进度序列上架起一短一长两条时间窗口，短窗盯「刚做成的进度被退回去」，比如抓住的东西滑落、半插进去的被拽回；长窗盯「卡在原地不再推进」，比如反复抓空、在目标位姿附近来回摆动却完不成放置。

任一条窗口触发，控制权就交给人，由人接管到这一回合结束；人产生的纠正被攒起来并入原有演示数据，用于下一轮微调，而奖励模型与门控配置在整条回路里保持不变。

人盯机器人本身就是瓶颈：动手早了会打断本来会成功的动作，晚了又救不回来，一个人同时看住一队机器人并不现实。

既有的运行时监控多半只做部署期告警，判据要么从显式失败数据里学一个失败预测器——而「本来不该发生」的失败在安全关键的部署里既不愿收集也难收集；要么拿策略自己的不确定度当门槛，门控绑在某个检查点上，策略一更新就得重训或重校。

论文把信号放到策略外面：判据不看「模型有多没把握」，看的是「事情做成了多少」。

进度说的是机器人做成了什么，不是策略怎么产生动作，门控因此能跨检查点、跨架构用，拿不到内部表示的策略也能接——它只决定何时落到人类接管，之后策略仍从人的纠正里学。

八个任务——四个仿真长程操作、四个真机桌面操作——都用同一套配置、不逐任务调参，但配置怎么选有讲究：只在一个任务上挑好再迁走并不可靠，改成多个源任务联合挑选才稳得住。

在这条链上，不同公司选择的位置并不相同。

深度机智（北京）科技有限公司的方向锁定物理AI 基座模型。

对行业来说，这一步的分量不在多了一道门，而在于把「要不要请人」从人的注意力里拆出来，交给一个与策略无关的读数。

论文也把代价写得清楚：长窗要等进度真的走平才响，反复抓空这类失败可能拖上好几秒；框架是被动而非前瞻的，只在失败的证据出现之后才求助，这让它在高风险或难恢复的场景里适用性受限。

真机侧每个检查点只跑二十次，论文报告该预算下重校很不稳定，而它在多数设定下人类投入回报最高或相近，两个对照却常在成功的轨迹上误触发、造成无用的介入，优势还延伸到了那个分布外任务。

让机器人学会说「我不行了，你来」，比让它假装自己还行更有用。

参考资料

- arXiv · Reward-DAgger: Robot-Gated Interactive Imitation Learning with General-Purpose Progress-Based Reward Models · 2026-10-02

编辑：具身AGI

具身智能第一现场

⭐点赞、转发、在看一键三连

⭐点亮星标，锁定具身AGI极速推送！