启元机器人相关论文解读：HIL-UMI——让具身后训练摆脱「真机依赖」的人在环路框架

言程序plus

162人浏览 · 2026-11-02 20:49:28

言程序plus · 2026-11-02 20:49:28 发布

论文解读：HIL-UMI——让具身后训练摆脱「真机依赖」的人在环路框架

一句话概括：这篇论文要解决的不是「模型不够大」，而是「错题本太贵」。它把模型塞进人类示范的现场，用动作分歧代替真机试错，找出模型真正不会的那几步。

论文信息

项目	内容
标题	HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface
作者	Zimu Han, Yiming Zeng, Jiyao Zhang*, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen, Hao Dong†
机构	北京大学、启元机器人（上纬启元）、西安交通大学等
通讯	董豪（启元机器人首席科学家、北京大学）
论文	https://arxiv.org/pdf/2609.20659
项目页	https://hil-umi.github.io
基础模型	π0.5（VLA）
评测平台	Franka 机械臂，四项真实操作任务

需要先说明解读边界：本文依据论文公开摘要、项目页与两家媒体的技术报道（极客公园 2026-10-10、雷峰网 2026-10-20）交叉整理，未逐行核对论文全文的实验细节。凡是报道披露的数字，文中标注来源；凡是按通用方法做的原理解释，文中明确标注为「通用做法」，请以论文原文为准。

一、问题的起点：后训练的贵，贵在「错题」两个字

大模型变好用的路径已经很清楚了：预训练打底，后训练（RLHF、DPO）调教。机器人模型正在走同一条路，但后训练的成本结构完全不同。

语言模型的后训练，人坐在电脑前点点选选就行；机器人模型的后训练，必须和物理世界打交道。行业里最常用的是 DAgger 家族：让机器人自己跑，人在旁边盯着，快抓空、快撞车的时候接管，把正确轨迹录下来。真机版本叫 HG-DAgger（Human-Gated DAgger）。

这套方法有效，但每个环节都在烧钱：

要有人守着。 操作员全程高度紧张，不是「看一眼」，而是「准备随时接管」。
要复位现场。 每次校正完，被碰乱的物体要人工摆回去。一个下午下来，有效数据可能只有几十条。
要占用本体。 一台机器人同时只能被一个人用，想并行采集就得买更多台。
有硬件磨损。 反复试错对关节、末端执行器都不友好。

更根本的问题在数据分布。监督微调（SFT）学的是专家示范的分布，但机器人部署时会自己犯错，一旦偏出示范分布，它就进入了没见过的状态——论文里举的例子很典型：人演示时能稳稳夹住玩具，机器人抓偏了一点，物体被推到旁边，位置和朝向都变了，接下来该怎么夹，已经不在示范里了。继续按原动作执行，小误差会累积成大失败。再给它看几次顺利的操作，未必正好补上这一课。

所以后训练真正需要的不是「更多数据」，而是**「当前模型不会的那部分数据」**。问题变成了：怎么在不让它真机试错的前提下，知道它哪里不会？

这就是 HIL-UMI 的切入点。

二、核心思想：把「考试」嵌进「示范」里

在这里插入图片描述
UMI（Universal Manipulation Interface，通用操作接口）是一套手持夹爪采集设备：人拿着它操作，摄像头记录画面，夹爪记录位置、角度和开合。它便宜、便携、人人能采，早已被用于预训练数据的大规模采集。

但 UMI 有个天然短板：它只能采正例。 人顺顺利利做完一遍，录下来的全是「成功轨迹」，模型学不到「做错了怎么救回来」。这恰恰是后训练最缺的东西。

HIL-UMI 的做法可以用一句话概括：人还在用手持夹爪干活，模型在后台同步「脑补」自己会怎么做，两者一比较，就知道模型哪里不会。

具体流程：

人手持夹爪执行任务（比如抓玩具、叠毛巾），摄像头同步拍摄，系统记录夹爪位姿与开合。
模型接收同样的画面和任务指令，预测「如果换我来，接下来这一段动作该怎么做」。
系统把人类实际动作和模型预测动作放在一起比：位移、夹爪角度、开合时机。
差异小，说明模型已经掌握，不必重复录；差异超过阈值，判定模型在这个场景是「生手」，立刻提示操作者：从这里开始多教一段，直到当前这一步完成。
补充的示范与历史数据一起用于下一轮训练；模型变强后，分歧点会推移到更深、更难的边缘场景。

这套设计的巧妙之处在于：它没有消除真机依赖，而是消除了「让真机犯错」这一步。 发现薄弱环节的过程被搬到了人类示范的现场，模型只负责预测，不负责执行。误差不需要真实发生，就能被捕获。

三、方法拆解之一：动作分歧检测

在这里插入图片描述

「比较人和模型的差异」听起来简单，实现上有两个难点。

难点一：同一个局面有多种合理做法。 抓一个不规则玩具，从左边接近和从右边接近都行，夹爪角度也可以不同。如果逐帧比对单一预测，正常的多样性会被误判成分歧。

论文的处理是并行采样多组动作块，计算能量分布（报道原文称之为 Energy Score）。模型如果「胸有成竹」，多次采样给出的动作会很收敛；如果给出的动作既分散、又和人类偏离很大，就判定模型进入了分布外状态（OOD），触发补录。

用能量模型的通用形式来理解（注意：以下是通用做法的解释，不是论文原式）：

E(x, a) = 模型对「在观测 x 下执行动作 a」给出的能量，越低越自信
对同一 x 采样 K 条动作块 a_1..a_K：
  - 若 {E(x, a_k)} 方差小且均值低  → 模型稳定且自信，不补录
  - 若方差大，或人类动作 a_h 的能量显著高于采样均值 → 模型不确定 / 与专家不一致，补录

难点二：什么时候算「一段分歧」。 逐帧比较会产生大量噪声，正确的粒度是「动作块」。系统生成多组预测，等对应的人类动作片段完成后，再综合比较移动位置、夹爪角度、开合的差异；超过门槛就从当前状态开始录制，直到这一步操作结束。这样补充的可以是一段抓取或放置的示范，不必每次从头录完整个任务。

这一点对工程实现很关键：补录的粒度决定了数据的复用率。 粒度太粗（整条任务重录），采集成本回到原点；粒度太细（单帧），模型学不到时序上下文。按「子任务步」切分，是比较自然的选择。

四、方法拆解之二：优势估计器

在这里插入图片描述

只判断「模型会不会」还不够，还要判断「这段动作有没有用」。

论文里的例子很直白：叠方块时，夹着方块在空中犹豫晃动，和精准对准底座放下去，都有动作发生，但对完成任务的帮助完全不同。如果把这些「无效晃动」也当成正例学进去，模型会学会「动」而不是「完成任务」。

HIL-UMI 引入一个优势估计器：输入操作前后的画面，估计这段动作让任务推进了多少。它有两个用途：

筛查数据。 如果人类已经有效推进了任务，估计器却给出很低的评价，说明估计器本身不准，这类示范也要补录，用来修正它。
条件化训练。 动作模型结合这些评价做优势条件行为克隆（advantage-conditioned behavioral cloning）：训练时把「这段动作的优势」作为条件输入，推理时把条件设成「高优势」，引导模型生成能推进任务的动作。

这是近两年机器人策略学习里比较通用的一类技巧：把「好坏」显式建模成条件变量，让同一个模型既能表示「平庸地做」，也能表示「漂亮地做」，推理时选后者。论文的具体实现（网络结构、优势的归一化方式、条件注入位置）需要看原文，这里不臆测。

一个容易被忽略的细节：每一轮训练会同时使用新示范和历史数据。 只学新数据会灾难性遗忘，只学旧数据则补不进新能力。这个配比是工程上的关键超参，报道没有披露具体数值。

五、方法拆解之三：会自我推进的数据飞轮

把上面两块拼起来，就得到一个自我推进的循环：

初始模型 ──► 人类手持示范（模型同步预测）
                  │
                  ├─ 分歧小 ──► 不补录
                  └─ 分歧大 ──► 定点补录（从当前状态到本步结束）
                                    │
                          优势估计 + 优势条件训练
                                    │
                              新模型 ──► 下一轮采集（分歧点后移）

这个循环最重要的性质是：需要采什么，由模型当前的能力决定，而不是由人的直觉决定。 第一轮它可能在「接近物体」这一步就分歧；第三轮分歧点会挪到「放置时的姿态微调」。采集重点随模型能力自动漂移，这正是「课程学习」想要的效果，但不需要人工设计课程。

论文给出的下一步计划是分布式后训练：不同地点的操作者用几百元的手持设备并行采集，后台连着同一个云端模型，谁那里检测到分歧就静默抓取那一小段高质量差分数据回传。

如果这条路走通，后训练的组织形态会从「实验室里围着机械臂」变成「分布式众包」——这是比单点指标更值得关注的想象空间。当然，分布式采集带来的数据质量方差、标注一致性、隐私与合规问题，论文尚未展开。

六、实验设计与关键结论

实验设置

基础模型：π0.5。
平台：Franka 机械臂（真机评测）。
四项任务：整理桌面（开抽屉、按颜色放笔、收拾形状各异的玩具，长程多步）、折毛巾（柔性物体形变）、叠方块（精度）、盖章（姿态调整与落点精度）。
指标：任务进度分数 TPS（Task Progress Score），满分 100，按完成的子步骤计分，比「成功率」更能区分「做了七成」和「完全没动」。
对照：相同数据帧数预算下，持续增加普通示范的 SFT；以及去掉优势机制的 HIL-UMI 变体。

结果

方法	起点	三轮后	说明
常规 SFT	44.3	58.0	数据量相同，只增普通示范
HIL-UMI（去优势机制）	44.3	88.0	只保留分歧检测 + 定向补录
HIL-UMI（完整）	62.3	94.8	优势条件训练 + 定向补录

几个值得逐条读的结论：

结论一：数据「对不对准」比「多不多」重要得多。 同样帧数预算，普通 SFT 从 44.3 爬到 58.0，只涨了 13.7 分；保留定向补录、去掉优势机制的版本到 88.0，涨了 43.7 分。差距全部来自「补的是模型不会的那一段」。

结论二：优势机制贡献约 6.8 分，但起点更高。 完整方法起点就是 62.3（因为一开始就用优势条件训练），三轮后 94.8，比去优势版本高 6.8 分。这说明「学会挑有用的动作」是加分项，而不是必要条件——先把错题补上，收益更大。

结论三：精度类任务更容易被拉满。 第三轮后叠方块和盖章都到 100 分，整理桌面 96 分。精度任务的失败模式集中（对不准、放不稳），补录几次就能覆盖；长程任务的分歧点分散，提升更慢。这个规律对做技能的人有直接指导意义：先攻精度类子任务，再攻长程流程。

结论四：采集效率提升 5.63 倍。 在整理桌面任务上，HG-DAgger 采集一帧有效数据平均耗时 412.99 ms，HIL-UMI 为 73.40 ms。省下的是机械臂移动、操作员等待、人工复位现场的时间。最终 TPS 96 对 91，既快又略好。
在这里插入图片描述

结论的可信度边界

客观地说，这篇工作的证据强度有三个限制：

单一基座 + 单一平台。 π0.5 + Franka 的组合结论，能否迁移到其他 VLA、其他人形本体，论文没有覆盖。
任务数量有限。 四项任务覆盖了长程、柔性、精度三类，但都是桌面操作，没有移动、双手协作、人机交互场景。
优势估计器本身需要被评估。 它由画面判断任务推进程度，在视觉歧义大的场景（透明物体、反光、遮挡）里是否可靠，报道未披露。

这些限制不影响核心论点的成立——「用预测代替执行来发现薄弱环节」在逻辑上自洽，实验也支持——但提醒读者不要把它当成万能解。

七、对启元机器人开发实践的启发

这是本文最想写的一节。HIL-UMI 是研究论文，但它对做 Q1/T1 二开的人有非常具体的借鉴价值。

启发一：Q1 的「示教录制」就是现成的 UMI 替代品

Q1 的动作枚举里有 300 段，对应全身控制与示教录制；官方还提供拖动示教与预设动作包。这意味着人类示范的通道已经存在，缺的只是「模型影子预测 + 分歧提示」这一层。

一个有动手价值的项目是：在拖动示教的同时，起一个低频（比如 2 Hz）的策略推理进程，用当前相机画面预测未来 N 步的关节目标，和人类的实际关节轨迹比对；分歧超过阈值就播报一句「这一步需要多示范一次」，并把当前时间戳写进日志。整个系统只用到 SDK 已有的能力：

关节状态：/aima/hal/joint/state
相机单帧：CaptureJpegImage（官方建议 1 fps，够用于分歧检测）
播报：PlayTts（INTERACTION_L6）
示教：官方示教录制流程

不需要夹爪，也不需要力控。

启发二：先定义「进度」，再谈「智能」

HIL-UMI 用 TPS 而不是成功率，是因为成功率是 0/1，无法区分「差一点」和「完全不会」。做技能开发时同理：如果你的技能只有一个「成功/失败」日志，你永远不知道该优化哪一步。

建议在技能里内置一个子步骤清单，每完成一步打一个点，落盘成 episode.jsonl。这个清单既是评测指标，也是后面做分歧检测的监督信号。

启发三：数据格式现在就该定下来

等采了几百条再改格式，成本会高一个数量级。一个够用的最小 schema：

{
  "episode_id": "20261102-141530-001",
  "task": "把蓝色积木放进左侧盒子",
  "robot": "Q1-探索版",
  "sdk": "1.0.0.0",
  "frames": [
    {
      "t_mono": 12.345,
      "stamp": 1762048530.123,
      "image": "cam/000123.jpg",
      "joint_pos": [0.0, 0.12, -0.35, "..."],
      "joint_vel": [0.0, 0.01, -0.02, "..."],
      "action": {"type": "joint_target", "value": ["..."]},
      "subtask": 2,
      "outcome": "ok"
    }
  ],
  "metrics": {"tps": 0.75, "duration_s": 41.2}
}

三个字段值得强调：t_mono（单调时钟，用于对齐）、stamp（ROS 时间，用于和视觉对齐）、subtask（子步骤编号，用于算 TPS 和分歧定位）。少任何一个，后面都要重新采。

启发四：分歧检测可以先用「便宜版」

论文用能量分布，工程上可以先做一个便宜版：把人类动作和模型预测都投到「末端位移 + 关节角速度」两个低维空间，算归一化欧氏距离，超过阈值就触发。等数据量上来、模型稳定了，再换成多采样 + 能量分数。

# disagreement.py —— 便宜版分歧检测（示例参数，非论文实现）
import math

W_POS, W_VEL, THRESHOLD = 1.0, 0.3, 0.8   # 权重与阈值需在你的数据上标定


def norm(v):
    return math.sqrt(sum(x * x for x in v))


def disagreement(human, pred):
    """human/pred: {"dpos": [dx,dy,dz], "dvel": [dq1..dqn]}"""
    d_pos = norm([a - b for a, b in zip(human["dpos"], pred["dpos"])])
    d_vel = norm([a - b for a, b in zip(human["dvel"], pred["dvel"])])
    score = W_POS * d_pos + W_VEL * d_vel
    return score, score > THRESHOLD

阈值不要拍脑袋：先录 20 条「人会、模型也会」的示范，取分歧分数的 90 分位数作为初值，再根据补录频率调整。补录太频繁说明阈值太低，模型没有机会展示已掌握的能力；补录太少说明阈值太高，错题漏掉了。

启发五：这件事对小团队的意义

论文的 5.63 倍效率提升，换算成小团队的账是这样的：原本一天能采 2 小时有效数据，现在同样的时间里能采到相当于 11 小时的数据量，而且不需要额外的机械臂。对只有一台 Q1、两三个人的团队，这可能是「能不能把模型调出来」和「调不出来」的区别。

八、局限与开放问题

站在开发者视角，还有几个问题论文没有回答，值得持续关注：

没有夹爪的本体怎么办？ Q1 的 SDK 不开放夹爪与末端执行器，HIL-UMI 的很多任务形态（抓取、放置）无法直接复刻。可迁移的是「分歧检测 + 定向补录」这套方法论，而不是具体的夹爪动作。
移动场景的分歧怎么定义？ 桌面操作的「动作块」是手臂轨迹；移动机器人的动作块是速度与转向。分歧检测需要重新设计度量。
分布式采集的质量控制。 不同人、不同光照、不同背景，数据分布差异很大。论文提到计划做分布式后训练，但质量控制方案尚未公开。
与仿真数据的关系。 仿真能提供无限的正例，HIL-UMI 提供的是稀缺的「纠错例」。两者如何配比，是下一个值得做的实验。

九、小结

把这篇论文压成三句话：

第一，后训练的瓶颈不是算力，是「错题」的获取成本。 谁能用更低的边际成本找到模型真正不会的那几步，谁就能更快把成功率推上去。

第二，HIL-UMI 的关键设计是「预测替代执行」。 模型不真机试错，只在旁边预测；人类照常示范，系统在分歧处提示补录。真机依赖被削掉了一层，方法论却保留了 DAgger 的针对性。

第三，它给开发者的启示大于给算法的启示。 对做 Q1/T1 二开的人，「定义进度、定好数据格式、做一层便宜的分歧检测」这三件事，今天就能开始做，不需要等模型到位。

论文地址：https://arxiv.org/pdf/2609.20659　｜　项目页：https://hil-umi.github.io

参考资料

极客公园：《不用机器人，也能给机器人"补课"：董豪团队提出 HIL-UMI》，2026-10-10：https://w.geekpark.net/news/372212
雷峰网：《启元机器人新进展：北大董豪团队推出 HIL-UMI，让后训练摆脱「真机依赖」》，2026-10-20：https://www.leiphone.com/category/ai/XgCxObsqu8pc44px.html
启元机器人官网新闻《物理 AI 新进展：启元具身研究中心提出 HIL-UMI》，2026-10-25：https://dev.primebot.com/
启元 Q1 产品页（22 自由度、示教与开放接口）：https://www.primebot.com/q1.html

想在自己的 Q1/T1 上验证文中的采集与评测流程，SDK、URDF、示教资料与真机活动都可以在启元机器人开发者社区找到：https://dev.primebot.com/