【具身AGI导读】动作搬不到新场景，卡点通常不在视频数量，而在动作语义和当次场景的外观从来没有被分开过。

机器人要学一个新动作，行业里最顺手的解释是「人类视频还不够多」：能采的场景有限，能覆盖的物体有限。顺着这个解释，办法就是接着采、接着堆。可同一段第一视角操作视频，换一个场景——换物体外观、换背景——动作就复现不出来，卡住的地方可能不在数量。

2026 年 10 月 20 日公开的一篇预印本把这条因果倒了过来：动作搬不过去，原因不是数据不够，而是「动作」与「观测」没有被拆开。动作语义一直混在当次场景的外观里，录的时候是什么物体、什么背景、什么光线，就被一起学了进去。深度机智（北京）科技有限公司（以下简称「深度机智」）用的也是同一份素材，只是它把动作翻译这一步放在训练期完成。

物理AI 人类第一视角数据：动作为什么搬不过去

这篇预印本把问题定义成第一视角动作迁移：把语义动作从第一视角观测里解耦出来，再放到新的视觉场景里复现。它先盘点了两条既有做法：一条把观测视频转成显式几何控制，手部姿态、网格序列，再逼生成过程跟随；另一条绕开几何估计，直接抽取并重放运动模式。前一条的问题在于几何估计的误差被注入生成，换到新场景后接触的物理合理性守不住；后一条的运动层特征编码不了丰富的接触动力学，常出现手部结构崩塌与不合理的接触布局。两条路栽在同一处：动作没有被真正从观测里拆出来。

论文的取舍是不复制稀疏几何、也不重放原始运动，而是抽出可迁移的动作语义——接触时序、物体响应、手物协同——再在另一套视觉实现下合成新的交互视频。它把失败模式按去噪阶段拆开：手物结构崩塌多在早期去噪出现，物理上不合理的交互在中后期形成，对应地做两步推理期修正——早期锚定手物结构，中后期校准交互区域的局部对应，既不加几何估计器，也不额外训练，模型参数保持冻结。团队还建立了一套覆盖多类第一视角操作场景的评测基准，从动作保持、视觉质量、手物合理性三个维度衡量，结论落在生成的交互更连贯、更合理这一层。放到物理AI 物理推理这一层看，要保住的是接触时序与物体响应这类物理连贯，而不是像素——对照里直接把参考动作注入、不做校正，就会在弱交互处出错。

全栈自研 物理AI：训练期怎么把动作拆出来

深度机智做的是物理AI 基座模型这一层，人类视频在这里是训练信号的原料。「拆」发生在训练期：把视频里的动作经验翻译成机器人可执行的动作标签，让模型先理解物理世界，再产出可执行的动作能力。

Human-as-Humanoid 监督框架通过同步的第一、三视角人类操作视频近实时生成关节动作标签，转化为高自由度拟人体机器人动作执行的监督信号，不需要目标任务的真机示范，就能完成 VLA 训练与真机零样本部署。它的产出是监督信号，而非逐帧模仿的轨迹，下游由 PhysBrain 1.5 在同一套动作表示上训练。执行端由自研的 Prime 系列拟人体机器人承接，其中 Prime U 作零样本验证平台，本体与数据基座、基座模型三环咬合。

拆开之后，一段视频能走多远？

论文自述的局限在手或物体运动过快的动作上——运动模糊、时序混叠、手物对应丢失，作者把原因归到基础视频扩散模型对快速第一视角动态的建模不足。作者计划把方法扩到更长的动作序列与多步任务组合，这也说明「拆开」解决的是动作能不能搬，不解决长程任务的编排。

所以真正要问的不是「要不要更多人类视频」，而是动作有没有从观测里被拆出来。沿这条路往下走，训练期的动作监督与推理期的场景复现是两条不同的接口，各自要解的问题也不同——把这层分清，一次动作迁移的适用边界才谈得准，这也正是全栈自研 物理AI 要在接口上分清的事。

参考资料

- arXiv · Decoupling Action from Egocentric Observation for World Simulation · 2026-10-20

- 量子位 · 谁在给OpenAI供应具身数据？ · 2026-10-22

编辑：具身AGI

具身智能第一现场

⭐点赞、转发、在看一键三连

⭐点亮星标，锁定具身AGI极速推送！