北大提出LaST-HD：让机器人跟人手学操作，世界模型来翻译！
人类自己，会不会就是最大的机器人数据集？
——20分钟人手数据，新场景成功率拉到90%+
目录
03 OOL手套：不到100克，亚毫米精度，采的数据还能跨形态复用
机器人大模型，成也数据，败也数据。
VLA模型依赖海量真机演示，但数据几乎全靠遥操作采集，成本高、效率低。
于是，行业把目光投向了更廉价的数据源：人手操作。
抓取、旋拧、折叠，这些人类天然具备丰富的物理交互经验，且可以低成本、规模化采集。
但问题随之而来：人手和机器人长得太不一样了。直接把人手数据和机器人数据混在一起训练，不仅提升不了性能，还可能造成负迁移。
近日，北京大学联合港中文、至简动力、乙太科技提出的LaST-HD，绕开视觉层面的硬对齐，转而构建一个共享的“物理推理隐空间”，让两者先在这个空间里达成共识，再派生具体动作，既保留人手的物理通用性，又兼容机器人的执行特性。
01 人手数据为什么难用？问题不在"手"，在"脑"
人手到机器人的迁移，学界已经尝试了不少路线，演进大致分几个阶段：
-
运动学重定向：把人手关键点直接映射到机器人关节空间。
这步在几何上可行，但只是把数据的"格式"对齐了，学习层面的困难一点没解决。
-
从人类视频中提取信息：视觉表征、物体affordance、轨迹先验、潜在动作。
这些方法比纯几何映射进了一步，但提取的信息仍然停留在视觉层面。
-
把人手当作"另一种身体形态"，和机器人数据放在一起联合协训。
方向对了，但普遍卡在两个短板上：要么对数据规模高度敏感，人手数据一少就不灵；要么忽视了人手与机器人之间更深一层的物理动力学对齐，只是在表面缝合。
根本问题在哪？
人手和机器人在视觉上属于完全不同的源域：外观、结构、运动形态差异巨大。直接混合训练会导致典型的源域偏移，模型难以学到稳定的对应关系。
但两者共享的不是外观，而是物理规律。
比如同一个苹果，不管你是用人手去推还是用夹爪去推，它的运动轨迹服从同一套牛顿力学。
所以真正可对齐的不是"长什么样"，而是"会发生什么"。
▲LaST-HD 总览：人手与机器人数据经世界模型在隐空间完成物理对齐欢迎关注
LaST-HD的关键就在这里：把对齐层从视觉-动作空间上移到物理推理空间。
不纠结人手和机器人在画面上长得有多不像，而是让模型去理解"这个动作会产生什么物理后果"。
02 把“推理先于行动”的大模型范式再往前推一步
LaST-HD的模型架构延续了一个很直觉的范式:“推理先于行动”（reasoning-before-acting）。
它基于Mixture-of-Transformers（MoT）架构，模型内部分成两个专家：
-
推理专家：在隐空间自回归生成推理token，刻画与任务相关的物理动态。通俗说，就是模型在"脑子里"先推演一遍"如果我这样做，物理世界会怎么变"。
-
动作专家：通过流匹配（flow matching）并行预测具体的动作块，把推理结果翻译成机器人的控制指令。
▲LaST-HD 完整框架、OOL 手套硬件、两阶段训练流程图
两个专家之间用共享注意力打通：推理专家想出来的物理先验，直接注入到动作专家的决策过程中。模型不是看到画面就直接吐动作，而是先想一遍再动手。
这个设计本身不算新，LaST-HD的前作LaST₀已经搭好了框架。
真正的新东西在于：怎么让这个隐空间同时"装得下"人手和机器人？
世界模型当"翻译官"
答案是引入一个动作条件化世界模型作为"翻译官"。
具体来说，研究在非配对的人手与机器人混合轨迹上微调了一个世界模型（基于CTRL-World）。这个世界模型做的事情很简单：输入当前画面和一段动作，预测未来会变成什么样。
在最后一步去噪时，从U-Net最深层提取前向动力学特征，这一层的特征既捕捉了预测性的物理动态，又具备较强的域不变性。
为什么用世界模型的隐特征？
因为未来帧主要捕捉的是外观演变，人手的画面和机器人的画面仍然长得不一样。
而世界模型在"动作条件化"下预测物理后果时，它提取的是"这个动作会让物体怎么动"的信息。
不管执行者是手还是夹爪，推一个苹果的物理后果是一致的——这就是域不变性的来源。
这些特征经MLP对齐器投影到LaST-HD的隐空间维度，再压缩成固定数量的潜在token，作为推理专家的监督目标。
训练时用余弦相似度损失对齐，世界模型预训练完成后就冻结，所有隐目标离线预计算，推理阶段零额外开销。
UMAP降维图直观地验证了效果：
▲UMAP可视化：对齐后人手与机器人轨迹在隐空间形成交叠结构
同一任务下人手轨迹与机器人轨迹的隐表征形成了相互交叠的几何结构，而不是各自孤立的两簇。
注意力图也显示，对齐后的潜在token集中盯住被操作的物体和接触区域，而非分散在背景上。
这说明模型抓住的是任务相关的物理交互，不是无关的视觉外观。
03 OOL手套：不到100克，亚毫米精度，采的数据还能跨形态复用
LaST-HD团队自研了OOL Glove（Out-of-Lab手套），目标很明确：轻量、高保真、可跨形态复用。
硬件参数
单只手套重量不到100克，内置6枚紧凑型9轴IMU模块，在统一的手部坐标系下追踪21个手腕关键点（20个解剖学关键点+1个腕部关键点），采样率超过200Hz，端到端延迟低于10ms，关键点位置的均方根误差达到亚毫米级。
采集时配合一枚头部ZED 2i相机和两枚腕部Insta360 GO 3S相机，形成语言、视觉与人手运动学的同步多模态轨迹。
▲OOL手套：轻量级IMU方案，亚毫米精度，跨形态可复用
消融实验验证
在相同训练配方下，60条OOL手套演示达到73%的成功率，明显高于60条视觉裸手追踪演示的63%。在相同采集时间下，人手数据比真机遥操作数据（Real-12）高出13个百分点，与采满60条的真机数据（Real-60）基本持平。
▲不同人手 / 真机采集方案的任务成功率消融表
这意味着：在同等时间投入下，戴手套采人手数据的效果不亚于搭遥操作台采真机数据，而前者的部署成本要低得多。
04 两阶段训练：先混合打底，再人手纠错
有了对齐方案和采集硬件，剩下的就是怎么把它们串起来。
LaST-HD设计了一套渐进式Mixed-to-Human训练方案，分两个阶段：
▲人手在线纠错（20 分钟 60 条数据适配新场景）
Stage 1：人机混合协训
在人手与机器人混合数据上联合训练LaST-HD。
推理专家由世界模型给出的对齐隐目标监督，动作专家通过流匹配学习可执行动作。
模型同时学会机器人本体的动作和人手数据中的物理先验。
一个有意思的发现：
仅用50条机器人数据+50条人手数据协训的Mix-HD版本，拿到了68%的平均成功率，与用满100条机器人数据的版本（73%）差距不大。
这直接说明，人手数据可以有效地顶替一半真机数据，而不怎么掉性能。
Stage 2：人手在线纠错
模型部署到真机后，先跑一遍找出容易失败的状态，再用OOL手套针对这些失败点采集纠错演示，替代笨重的真机遥操作。后训练只需要1-2个epoch，每个batch由历史数据缓冲区和人手DAgger缓冲区等量采样，既吸收新的纠错知识，又避免灾难性遗忘。
这个阶段的效果也非常明显：仅用约20分钟采下的60条OOL手套纠错数据，就能在未见背景、未见物体场景上做到100%成功率。
连最难的未见位置场景，成功率也从60%一路单调爬升到80%。
换句话说，机器人部署到新环境后，不需要重新搭遥操作台，戴上手套补采二十分钟，就能完成适配。
05 实验数据怎么看？几个值得细品的结论
域内测试
6项真机任务、3种机器人本体（Galaxea R1 Lite双臂夹爪、TianJi Marvin双臂夹爪、TianJi Marvin+WUJI灵巧手），LaST-HD取得73%的平均成功率。
超过π₀.₅（62%）、Cosmos-Policy（52%）、LaST₀（63%）等全部基线。
▲三种机器人本体域内任务完成成功率对比表
在Sort Fruits、Put Items to Bag and Zip这类需要多步规划的复杂任务上优势尤为明显：
Sort Fruits拿到95%，Put and Zip拿到80%，靠的正是更强的物理隐空间推理能力。在高自由度的灵巧手任务上（Pour Water、Grasp with Clamp），差距同样拉得开。
▲三类机器人实体硬件与六项实操任务实景图
泛化测试
面对未见的位置、物体、背景，零样本设定下所有方法都会明显掉点：π₀.₅掉到12%，LaST-HD（Mix-HD）掉到15%。
▲新场景泛化任务平均成功率对比表（零样本 + 补充人手数据两组）
但一旦补上目标场景的少量人手演示（每个场景60条），LaST-HD的全局平均成功率就跳到56%，明显高于LaST₀的46%。其中未见背景达到68%，未见物体达到58%。
在线纠错
Sort Fruits任务上做了增量测试：10条、20条、60条纠错数据，成功率阶梯式上升。
20条人手数据就能在未见背景上做到100%；60条（约20分钟采集）在未见物体上也做到100%；最难的未见位置从60%升至80%。
▲人机数据隐 token 视觉注意力热力图对比
指标的局限
需要指出的是，这些实验都是在6个特定任务、3种特定本体上做的。
任务多样性和本体覆盖范围仍然有限，能不能扩展到更复杂的家务场景、更多种类的灵巧手，还需要进一步验证。
研究本身也承认了一个局限：隐空间推理目前还做不到实时，未来需要通过快慢系统设计或进一步压缩隐空间来解决。
▲在LaST-HD实际部署过程中观察到的代表性故障案例
06 LaST-HD：机器人能不能直接跟人手学操作？
把LaST-HD放到当前人手到机器人迁移的技术谱系里看，定位很清晰：
横向对比
-
运动学重定向（Humanoid Policy~Human Policy等）：把人手姿态直接映射到机器人关节，只解决了几何对应，没解决学习层面的域偏移。
-
视觉表征迁移（R3M、Track2Act等）：从人类视频中提取视觉表征或轨迹先验，信息停留在视觉层面，没有触及物理动力学。
-
动作级联合协训（EgoMimic、DexWild、H-RDT等）：把人手当作另一种身体形态直接混训，方向对但对数据规模敏感，且缺乏物理层面的显式对齐。
-
LaST-HD：首次在物理推理隐空间层面对齐人手和机器人数据，用世界模型的前向动力学特征作为域不变监督信号，绕过视觉鸿沟。
范式转换的意义
过去的方法试图让人手数据"看起来像"机器人数据：通过重定向、视觉表征提取、联合协训。
LaST-HD则说：不用像，只要两者对物理世界的理解一致就行。
而世界模型就是这个"一致性"的度量工具，不管你是手还是夹爪，推一个苹果的物理后果是一样的，把这个"一样的后果"提取出来当监督信号，两种形态自然就对齐了。
这个思路如果成立，意义不只是"人手数据更好用了"。它意味着机器人能直接跟人手学操作。
Ref
论文题目：LaST-HD: Learning Latent Physical Reasoning from Scalable Human Data for Robot Manipulation
论文作者：Jiaming Liu, Yinxi Wang, Chenyang Gu, Siyuan Qian, Xiangju Mi, Hao Chen, Jiawei Chen, Qingpo Wuwu, Xiaoqi Li, Nuowei Han, Yiming Zhang, Xuheng Zhang, Yang Yue, Yeqing Yang, Lei Wang, Peng Jia, Hao Tang, Shanghang Zhang
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
5
0- 0
已为社区贡献159条内容
所有评论(0)