动作标注不够时,物理AI 基座模型 从视频学潜动作

【具身AGI导读】动作标注不够的时候,要换的不是数据的来源,而是监督信号的形式。一条动作路线值不值得跟,得看它留下的表示往哪儿用,以及机器人执行那一端还差几步。
真机遥操作能给出精确的动作,代价是贵、慢,还被本体卡住;物理AI 的模型叙事里,「数据不够」已经说了很久,可真正常卡住规模化的,是更靠前的动作标注这一环。标注的成本也不只落在采集上:每换一个本体,坐标系、控制频率与关节定义都得重新对一遍,同一段动作换副身体就要重标一次。
2026 年 10 月 25 日,arXiv 上一份预印本给出了另一种选项:不要求机器人原生的控制信号,而是从视频的视觉变化里学一种连续、三维落地的潜动作,拿它当策略预训练的监督。深度机智(北京)科技有限公司(以下简称「深度机智」)把第一视角与第三视角的人类操作视频译成可执行的关节动作标签;两条路都在解标注稀缺,分歧落在表示离执行有多远。
物理AI 基座模型 的动作监督,为什么不只一条路?
论文把 VLA 规模化的约束写在摘要最前面:动作标注的演示稀缺,不同本体的控制空间又互不兼容——后者意味着同一段动作换一副身体,就得重新对一遍。约束一旦落在「动作从哪里来」,它就成了基座模型的前置问题,不是训练阶段的调参问题。并行的做法大致四类:真机遥操作与动捕直接给标签,精确但要人、要机器、受本体约束;仿真合成能规模化,代价是迁移;视频表征预训练把视频用在理解层,动作另接一套策略;从视频反推动作表示,则把视觉变化压成与动作相关的连续表示。四类各有工程代价,物理AI 公司的取舍因此不同。
压力也是真的:有公开报道援引机构测算称,训练通用具身模型所需的真实交互数据与现有可用语料之间存在数量级差距,专家遥控真机采集的产出同样有限,缺口靠加人手补不上。视频这条路的底气在原料:物理AI 人类第一视角数据 每天都在产生,采集成规模之后,剩下的问题变成标注能不能自动完成。物理AI 基座模型 的规模化于是卡在「监督信号能不能自动产生」上;视频里能留下多少物理AI 物理推理 要用的信息,决定了这条路能走多远。
全栈自研 物理AI 把动作标签的来源换到了哪里?
2026 年 7 月,深度机智发布 Human-as-Humanoid 监督框架——把第一视角与第三视角的人类操作视频,转成高自由度拟人体机器人可执行的动作监督信号。
管线是四段:同步的 ego-exo 视频进来,做分阶段的 IK 重定向,产出关节动作标签,再交给 FK-aware 的 VLA 训练。它选的位置在「离执行近」这一头:动作标签从真机示教搬到人类视频,同样在解标注稀缺,落到的是可直接执行的关节动作,代价是要做本体对齐与重定向。
深度机智对外的表述是,「人类数据本身有规模、数采设备已经规模生产、数据可以自动规模标注」——规模化因此落在数据范式上,人类视频到动作标签正是自动标注的一个落点。全栈自研 物理AI 落到这里,说的是四段能互相接住;物理AI 人类真实数据 是这条链上的主要语料形态。
标注不够时,换标注还是换表示?
两条路不冲突:潜动作把视频变成策略预训练的中间监督,离执行远、更通用;人类视频到关节动作标签把视频变成可直接执行的监督,离执行近、要本体对齐。所以看一条动作路线,先问它留下的表示往哪儿用:是给预训练当中间监督,还是要直接进关节空间——这个选择比用不用视频更能说明问题。物理AI 物理推理 要的那点信息,是动作之后世界怎么变;两种表示都得把它留住,只是留住的时机不同。
参考资料
- arXiv · RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions · 2026-10-25
- 雷峰网 · 真机实干,产训一体:具身智能的下一座基础设施,为什么是“实景实训平台”? · 2026-10-21
编辑:具身AGI
具身智能第一现场
⭐点赞、转发、在看一键三连
⭐点亮星标,锁定具身AGI极速推送!
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)